KR20150092402A - 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법 - Google Patents

Abstract

본 발명은 차량에 부착하는 카메라를 이용하여 수집한 영상을 컴퓨터 비전과 각종 센서를 통해 분석하여 운전자에게 정보를 제공하고, 범죄나 사고 상황을 인식하여 저장장치에 저장하며, 무선 네트워크로 주변 차량들과 수집한 정보를 교환하여 더 나은 정보를 제공할 수 있도록 하는 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법을 제공하기 위한 것으로서, 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술을 적용하여 차량 간 무선통신을 통해 서로가 수집한 정보를 메타데이터 수준에서 교환하며, 상기 수집한 사건사고 정보를 무선통신을 통해 유선백본망에 연결된 중앙 관제 서버로 전달하는 차량용 스마트 카메라 장치와, 차량용 스마트 카메라 장치로부터 전달되는 정보를 받아 정보를 필요로 하는 사용자가 검색할 수 있는 정보를 보유하고 있는 중앙관제 서버와, 상기 중앙 관제 서버에 접속하여 필요한 정보를 키워드 검색이나 시공간 검색을 통해 자신이 원하는 정보의 존재여부를 확인하고, 거래 성사를 통해 전달된 해당 정보가 존재하는 저장지점에 저장된 정보를 다운로드 받는 사용자(정보 구매자) 단말기를 포함하여 구성되는데 있다.

Description

영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법{System and method for smart vehicular camera technology using visual metadata tagging and wireless communication, and information trading services}

본 발명은 차량에 부착하는 카메라를 이용하여 수집한 영상을 컴퓨터 비전과 각종 센서를 통해 분석하여 운전자에게 정보를 제공하고 범죄나 사고 상황을 인식하여 저장장치에 저장하고 네트워크로 공유하는 차량용 카메라 기술과, 그 정보를 주변 차량들과 중앙 서버에 무선 네트워크를 통해 전송하여 해당 상황에 대한 정보공유를 가능하게 하고 필요한 경우 해당영상을 구매하기를 원하는 구매자에게 영상 및 센서 정보를 판매하는 서비스 제공 시스템 및 방법에 관한 것이다.

최근 스마트폰 기술이 급격하게 발전함에 따라 그와 관련된 마이크로프로세서, 이미지 센서 및 GPS 센서 등의 개발이 급격하게 이루어지고 그 비용 또한 낮아지고 있다. 이러한 소형 장치들의 개발이 용이한 환경에서 다수의 연구소 및 차량용 내비게이션 업체에서 차량용 카메라 리코딩 시스템, 즉 블랙박스의 개발을 활발하게 진행하고 있다. 또한 각종 센서와 영상정보를 이용한 운전자 보조 시스템 (ADAS : advanced driver assistant system)에 대한 연구가 각종 센서들의 고성능화에 따라 연구 개발에 박차를 가하고 있다.

차량의 통신 기술을 살펴보면, 인프라와 차량, 차량과 차량 간 무선통신을 이용해 정보를 교환하고 더 나은 정보를 얻을 수 있는 기술에 대한 연구를 진행하고 있다. 현재 차량 외부와 통신하는 기술은 인프라와 통신하는 하이패스 서비스가 있으나 외부 네트워크로 연결하지는 못하며 이동통신망을 이용한 네트워크는 해당 네트워크의 사용이 유료이므로 사용에 제한이 따른다. 따라서 센서네트워크나 무선 애드 혹 네트워크 기반의 연구가 진행 중이며, 관련 표준인 WAVE(Wireless Access in Vehicular Environment)가 IEEE에서 제정 중에 있다.

차량에 적용하는 블랙박스나 운전자 보조 시스템은 각자 카메라를 장착하고 이용하고 있으나 각각 단일 기능만을 수행하는 문제가 있다. 일반적인 블랙박스는 영상을 지속해서 살피는 중 특정한 사건이 발생하면 센서가 해당 사건을 감지하고 그 시점의 영상을 저장매체에 저장한 후 이용자가 그것을 살펴볼 수 있도록 구성한다. 또한 운전자 보조 시스템은 영상 정보와 센서 정보를 이용하여 차량 주변의 정보를 수집하여 운전자에게 영상이나 알람으로 정보와 경고를 준다. 제공하는 정보로는 전방 도로에 존재하는 차량 간 거리 정보, 보행자나 동물 등의 장애물 정보, 차선 이동 관련 경고 및 도로 표지판 관련 정보 등의 정보가 있다. 이러한 기능을 함께 수행할 수 있는 장치를 적용할 경우 이용자의 편의성도 증가하며 장치 구성에있어서도 간단하게 적용이 가능하다.

차량에 장착하는 네트워크 모듈 및 이동통신단말기와 연동하여 네트워크를 제공하는 장치 및 관련 서비스가 증가하고 있다. 그러나 현 상황에서의 네트워크 모듈은 전체 네트워크에 접속하지 못하거나 유료 통신망을 사용하는 문제가 있다. 블랙박스에 적용하는 무선 네트워크 장치의 경우 간단하게는 카메라 모듈을 무선으로 이용하기 위함이거나, 디스플레이 모듈을 갖춘 장치인 스마트 폰 등과 1대 1로 연결하여 블랙박스 내의 영상을 재생하는 수준으로만 사용이 가능하다. 그리고 이동통신단말기를 이용하는 경우 전체 네트워크에 연결하기 때문에 상대적으로 많은 서비스를 제공할 수 있는 여건이 존재하나 현재는 내비게이션 장치에서의 교통상황 정보 이외의 활용이 전무한 실정이다.

따라서 차량에 부착된 센서들로 각종 정보의 습득 이후에 해당 정보를 주변의 차량과 공유하고 도로 외부의 사용자가 필요한 정보의 경우 그것을 중앙 관제 서버로 전달하여 외부 이용자가 쉽게 검색할 수 있도록 할 필요가 있다.

국내등록특허 제10-1252053호 : 블랙박스 정보 공유 시스템 및 방법 국내공개특허 제2012-0012104호 : 녹화 영상물 거래 중계 방법 및 시스템

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 차량에 부착하는 카메라를 이용하여 수집한 영상을 컴퓨터 비전과 각종 센서를 통해 분석하여 운전자에게 정보를 제공하고, 범죄나 사고 상황을 인식하여 저장장치에 저장하며, 무선 네트워크로 주변 차량들과 수집한 정보를 교환하여 더 나은 정보를 제공할 수 있도록 하는 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 차량용 카메라 장치로 및 센서 장치로 수집된 도로 상황 정보, 범죄나 사고 상황에 대한 영상 및 센서 정보를 분석하여 사건/사고 정보, 위치 정보, 시간 정보외 각종 센서정보 등의 수집 정보를 집약한 메타데이터를 생성하고 해당 정보를 중앙 관제 서버로 전달하여 해당 서버에서 이용자가 메타데이터에 포함된 키워드를 기반으로 한 정보 검색이 가능한 기술을 제공하는데 있다.

본 발명의 또 다른 목적은 중앙 관제 서버에서 검색한 정보를 토대로 해당 영상 및 센서 정보를 보유한 차량을 연결하고 상기 정보의 보유자가 상기 보유한 정보를 거래할 수 있는 정보거래 서비스 제공 시스템 및 방법을 제공하는데 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템의 특징은 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술을 적용하여 차량 간 무선통신을 통해 서로가 수집한 정보를 메타데이터 수준에서 교환하며, 상기 수집한 사건사고 정보를 무선통신을 통해 유선백본망에 연결된 중앙 관제 서버로 전달하는 차량용 스마트 카메라 장치와, 차량용 스마트 카메라 장치로부터 전달되는 정보를 받아 정보를 필요로 하는 사용자가 검색할 수 있는 정보를 보유하고 있는 중앙관제 서버와, 상기 중앙 관제 서버에 접속하여 필요한 정보를 키워드 검색이나 시공간 검색을 통해 자신이 원하는 정보의 존재여부를 확인하고, 거래 성사를 통해 전달된 해당 정보가 존재하는 저장지점에 저장된 정보를 다운로드 받는 사용자(정보 구매자) 단말기를 포함하여 구성되는데 있다.

바람직하게 상기 차량용 스마트 카메라 장치는 차량 주변의 정보를 센서와 영상수집 장치로 수집하는 원시 데이터 수집부와, 상기 수집된 정보를 분석하여 유의미한 정보인 메타데이터를 추출하는 메타데이터 추출부와, 상기 추출한 메타데이터를 저장하는 메타데이터 저장부와, 상기 추출한 메타데이터를 주변의 차량과 교환하여 정보의 수준을 향상시키는 메타데이터 교환부와, 상기 수집된 정보가 사건사고에 대한 내용을 담고 있을 때 그 내용을 중앙관제 서버로 전달하는 사건사고 전달부와, 상기 수집한 정보를 토대로 운전자에게 도움이 되는 정보를 제공하는 운전정보 표시부와, 상기 수집된 정보를 구매하는 요청을 수락하였을 때 해당 정보를 사용자가 다운로드 할 수 있게 하는 원본 정보 제공부를 포함하여 구성되는 것을 특징으로 한다.

바람직하게 상기 원시 데이터 수집부는 차량에 부착될 수 있는 다수의 유무선 카메라들로 수집받는 영상정보와, GPS, RADAR, 근접 센서, 가속도 센서, 자이로 센서 중 적어도 하나로부터 수집받는 센서정보와, 차량의 OBD로부터 받을 수 있는 차량 상태 정보 전체를 지속적으로 수집하는 것을 특징으로 한다.

바람직하게 상기 중앙 관제 서버는 차량용 스마트 카메라 장치로부터 전달된 사건사고 메타데이터 정보를 수집하는 사건사고 수집부와, 사용자가 중앙 관제 서버에 보관된 정보를 검색할 수 있도록 하는 데이터베이스 검색부와, 차량용 스마트 카메라 장치를 보유하고 있는 정보 보유자에게 해당 자료의 판매에 대한 승인을 받기 위한 작업을 수행하는 정보구매 승인부와, 해당 자료의 구매결정이 이루어졌을 때 상기 자료를 보유한 정보의 저장지점을 사용자에게 알려주는 저장지점 전달부를 포함하여 구성되는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 방법의 특징은 스마트 차량용 카메라 장치를 통해 수집된 정보(영상정보, 센서정보)를 기반으로 생성된 메타데이터를 원본데이터와 함께 데이터베이스(DB)에 저장한 후, 주변 차량들과 정보 교환을 수행하며 운전자들에게 제공하는 단계와, 상기 스마트 차량용 카메라 장치에서 운전자들에게 제공되는 운전정보를 기반으로 정보 구매의 요청이 있는 경우, 해당 사항을 승인하고, 승인된 운전정보(영상정보, 센서정보)를 전달하는 단계와, 중앙 관제서버를 통해 상기 스마트 차량용 카메라 장치에서 전송되는 메타데이터를 저장한 후, 정보를 구매하고자하는 사용자가 검색을 요청해올 때 그 질의를 분석하고 상기 저장된 메타데이터를 검색하여, 해당 메타데이터를 제공한 스마트 차량용 카메라 장치에게 승인을 요청하는 단계와, 상기 승인 요청의 결과로 스마트 차량용 카메라 장치로부터 승인확인이 이루어지면, 정보 구매를 요청한 사용자에게 해당 정보의 저장위치를 알려주는 단계를 포함하여 이루어지는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 방법의 다른 특징은 차량용 스마트 카메라 장치를 통해 차량에 부착되어 있는 카메라와 GPS, 레이더(radar), 가속도 센서, 자이로 센서, 자동차운행기록장치(On Board Diagnostics : OBD)를 포함하는 각종 센서들로부터 차량 주변의 영상자료와 센서데이터를 지속적으로 수집하는 단계와, 상기 수집한 영상과 센서들의 정보를 분석하고 각각 영상 메타데이터와 센서 메타데이터를 추출하는 단계와, 상기 추출된 영상 메타데이터와 센서 메타데이터를 합한 메타데이터 자료와 원본 데이터 자료를 각각 데이터베이스와 내장 저장장치에 저장하는 단계와, 상기 메타데이터를 무선 네트워크를 통해 주변 차량들에게 전달하여 각 차량에서 측정된 메타데이터를 기반으로 해당 시점에 대한 수집 메타데이터를 공유하는 단계와, 상기 수집한 메타데이터 정보 중 사건 사고 정보가 존재할 경우 해당 정보를 무선네트워크를 통해 중앙관제 서버로 메타데이터를 전송하는 단계와, 상기 공유하여 수집한 메타데이터 정보를 조합하여 운전자에게 적절한 정보를 알람이나 스크린을 통하여 전달하는 단계와, 상기 단계를 반복으로 수행하는 중 보유한 정보를 구매하고자하는 요청이 올 경우, 해당 정보의 구매를 승인하고 중앙관제 서버로부터 저장지점을 확보한 사용자에게 해당 자료를 제공하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 차량용 스마트 카메라 장치는 유선/무선 백본망에 중앙 관제서버 및 사용자 단말기가 서로 연결되어있으며, 도로 상의 차량 정보를 전달받을 네트워크 인프라가 설치되어 있는 것을 특징으로 한다.

바람직하게 상기 생성되는 메타데이터는 수집된 정보가 영상정보인 경우, 컴퓨터 비전의 기술로 분석하여 해당 정보의 특징이나 사건들에 대한 정보를 추출하여 메타데이터를 생성하고, 수집된 정보가 센서정보인 경우, 프로토콜에 따라 각 정보를 분류하여 하나의 값으로 취득하여 메타데이터를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법은 다음과 같은 효과가 있다.

첫째, 차량용 블랙박스나 운전자보조시스템을 결합하여 하나의 카메라 및 센서 장치로 운전자 보조를 위한 정보제공과 사고 상황에 따른 영상 정보 저장 기능을 수행할 수 있다.

둘째, 기존의 블랙박스와 대비하여 영상 분석을 이용하여 자신의 사고가 아닌 주변의 사고에 대한 감지와 범죄자 등의 분석이 가능하여 다양한 정보의 수집이 가능하다.

셋째, 기존의 운전자보조시스템과 대비하여 무선 네트워크 기능을 이용한 차량 간 정보교환으로 단일 차량에서 수집된 정보보다 더 높은 신뢰도를 가지는 정보의 수집 및 활용이 가능하다.

넷째, 수집한 정보들은 각 차량에 설치한 스마트 차량용 카메라 장치의 데이터베이스에 저장하므로 원본 정보를 각각의 차량에서 분산하여 저장하고 있어 관제 서버의 부하가 적으며, 중앙 관제 서버는 각 차량에서 보내오는 사건/사고 정보를 담은 메타데이터들을 수집하여 사용자가 원하는 정보를 실시간으로 검색하고 제공할 수 있다.

다섯째, 각 차량에 저장된 영상 정보 및 센서 정보는 중앙 관제 서버에서 검색을 통해 요청을 보내오는 사용자에게 판매가 가능하여 장치 보유자가 금전 이득을 볼 수 있어 장치의 보급률 향상에 도움을 주며, 정보를 요청하는 사용자 또한 장치 사용자가 많아질수록 높은 확률로 정보를 검색할 수 있어 이득을 볼 수 있다.

도 1 은 본 발명의 실시예에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템을 나타낸 블록도
도 2 는 본 발명에 실시예에 따른 차량용 스마트 카메라 장치가 제공할 운전자 보조 시스템(ADAS)에서 사용하는 6가지 기능에 대한 내용과 차량 간 네트워크를 이용한 3가지 기능에 대한 예시를 나타낸 화면
도 3 은 도 1의 메타데이터 추출부에서 영상 정보를 수집하였을 때 영상 메타데이터를 생성하기 위한 작업 순서와 그 내용에 대한 블록도
도 4 는 본 발명에 실시예에 따른 도 1의 스마트 차량용 카메라 장치가 동작하는 과정의 흐름을 도시한 순서도
도 5 는 본 발명에 실시예에 따른 차량용 스마트 카메라 장치와 중앙관제 서버와 사용자가 각각 네트워크에 연결되는 구조를 나타내는 개념도
도 6 은 본 발명의 실시예에 따른 도로 상에서 사고가 발생한 경우와 그 영상을 확보한 차량의 정보가 사용자에게 전달되는 일련의 과정을 보이는 예시도
도 7 은 본 발명의 실시예에 따른 위치와 시간 정보를 이용하여 필요한 정보를 시각적으로 검색할 수 있는 검색 화면의 예시도
도 8 은 본 발명의 실시예에 따른 스마트 차랑용 카메라 장치와 중앙 관제 서버와 정보 구매자에 대한 전체 작업의 흐름을 도시한 순서도

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1 은 본 발명의 실시예에 따른 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템을 나타낸 블록도이다.

도 1과 같이, 정보 거래 서비스 제공 시스템은 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술을 적용하여 차량 간 무선통신(150)을 통해 서로가 수집한 정보를 메타데이터 수준에서 교환하며, 상기 수집한 사건사고 정보를 무선통신을 통해 유선백본망(140)에 연결된 중앙 관제 서버(120)로 전달하는 차량용 스마트 카메라 장치(110)와, 차량용 스마트 카메라 장치(110)로부터 전달되는 정보를 받아 정보를 필요로 하는 사용자(130)가 검색할 수 있는 정보를 보유하고 있는 중앙관제 서버(120)와, 상기 중앙 관제 서버에 접속하여 필요한 정보를 키워드 검색이나 시공간 검색을 통해 자신이 원하는 정보의 존재여부를 확인하고, 거래 성사를 통해 전달된 해당 정보가 존재하는 저장지점에 저장된 정보를 다운로드 받는 사용자(정보 구매자) 단말기(130)로 구성된다. 이때, 상기 중앙관제 서버(120)는 사용자 단말기(130)에서 확인하는 해당 정보가 존재할 경우 해당 원본 정보를 보유한 차량용 스마트 카메라 장치(110)에게 구매 요청에 대한 승인을 수행하고, 거래가 성사되면 해당 정보가 존재하는 저장지점을 사용자 단말기(130)에게 알려준다.

그리고 상기 차량용 스마트 카메라 장치(110)은 도 1에서 도시하고 있는 것과 같이, 다시 메타데이터 추출부(112)와, 메타데이터 저장부(113)와, 메타데이터 교환부(114)와, 사건사고 전달부(115)와, 운전정보 표시부(116)와, 원본 정보 제공부(117)로 구성된다.

이때, 상기 메타데이터 추출부(112)는 차량 주변의 정보를 센서와 영상수집 장치로 수집한다. 즉, 상기 원시 데이터 수집부(111)는 차량에 부착될 수 있는 다수의 유무선 카메라들로 수집받는 영상정보와, GPS, RADAR, 근접 센서, 가속도 센서, 자이로 센서 등으로부터 수집받는 센서정보와, 차량의 OBD로부터 받을 수 있는 차량 상태 정보 전체를 지속적으로 수집한다.

그리고 상기 메타데이터 추출부(112)는 상기 수집된 정보를 분석하여 유의미한 정보인 메타데이터를 추출한다. 즉, 상기 메타데이터 추출부(112)는 원시 데이터 수집부(111)로부터 받은 영상정보를 컴퓨터 비전 등의 기술로 분석하여 해당 영상의 특징이나 사건들에 대한 정보를 추출하며, 각 센서들의 정보를 수집하여 프로토콜에 따라 각 정보를 분류하여 저장하고 연속적인 값으로 이루어진 데이터의 경우 평균 등의 계산으로 하나의 값으로 취득하여 메타데이터를 생성한다.

그리고 상기 메타데이터 저장부(113)는 상기 추출한 메타데이터를 저장한다.

또한 상기 메타데이터 교환부(114)는 상기 추출한 메타데이터를 주변의 차량과 교환하여 정보의 수준을 향상시킨다. 즉, 상기 메타데이터 교환부(114)는 MANET 혹은 VANET 등의 무선 애드혹 네트워크 등과 같은 형태로 네트워크로 연결된 주변 차량들과 각각 수집한 메타데이터를 교환하고 그 정보를 조합하여 더 높은 신뢰도를 가지는 정보를 생성한다.

그리고 사건사고 전달부(115)는 상기 수집된 정보가 사건사고에 대한 내용을 담고 있을 때 그 내용을 중앙관제 서버(120)로 전달한다. 즉, 상기 사건사고 전달부(115)는 메타데이터에 사고, 사건 및 범죄현장 등에 대한 정보가 포함 될 경우 근거리 무선 네트워크나 이동통신 네트워크 등의 네트워크를 통해 중앙 관제 서버(120)로 메타데이터를 전달한다.

그리고 상기 운전정보 표시부(116)는 상기 수집한 정보를 토대로 운전자에게 도움이 되는 정보를 제공한다. 즉, 상기 운전정보 표시부(116)는 정보 교류를 통해 높은 신뢰도를 갖는 정보들을 그 종류에 맞게 운전자에게 소리 알람, 차량에 부착된 디스플레이 장치에 영상 표시를 하여 운전자에게 전달한다.

또한 원본 정보 제공부(117)는 상기 수집된 정보를 구매하는 요청을 수락하였을 때 해당 정보를 사용자가 다운로드 할 수 있게 한다. 즉, 상기 원본 정보 제공부(117)는 영상 및 센서 정보의 구매 요청에 대한 승인을 자동 및 수동으로 수행할 수 있도록 하며, 구매가 이루어졌을 때 해당 원본 정보를 구매자가 네트워크를 통해 직접 다운로드 받을 수 있도록 하거나 상기 중앙 관제 서버(120)로 전달해 간접적으로 다운로드 받을 수 있도록 한다.

또한, 상기 중앙 관제 서버(120)는 도 1에서 도시하고 있는 것과 같이, 다시 사건사고 수집부(121)와, 데이터베이스 검색부(122)와, 정보구매 승인부(123)와, 저장지점 전달부(124)로 구성된다.

이때, 상기 사건사고 수집부(121)는 차량용 스마트 카메라 장치(110)로부터 전달된 사건사고 메타데이터 정보를 수집한다.

그리고 상기 데이터베이스 검색부(122)는 사용자가 중앙 관제 서버(120)에 보관된 정보를 검색할 수 있도록 제공한다. 즉, 상기 데이터베이스 검색부(122)는 데이터베이스에 저장된 메타데이터를 검색하기 위한 검색 서버에서 사용자가 메타데이터 기반의 키워드 검색이나 사건이 발생한 시간 및 위치 정보를 토대로 검색할 수 있도록 제공한다.

그리고 상기 정보구매 승인부(123)는 차량용 스마트 카메라 장치(110)를 보유하고 있는 정보 보유자에게 해당 자료의 판매에 대한 승인을 받기 위한 작업을 수행한다. 즉, 상기 정보구매 승인부(123)는 사용자가 원하는 정보를 찾고 상기 정보를 구매하고자 할 때 정보 보유자에게 구매의사를 전달하고 동의를 얻는 과정과 정보 구매에 대한 동의를 중앙관제 서버(120)에서 자동 동의 혹은 자동 거부에 대한 설정이 가능하도록 한다.

그리고 상기 저장지점 전달부(124)는 해당 자료의 구매결정이 이루어졌을 때 상기 자료를 보유한 정보의 저장지점을 사용자에게 알려준다. 즉, 상기 저장지점 전달부(124)는 상기 정보의 저장지점을 사용자에게 알려주고 원본 정보 제공부(117)를 통해 사용자가 다운로드 받을 수 있도록 하며, 정보 보유자가 중앙관제 서버(120)를 통해 다운로드 받도록 할 때 상기 저장지점 전달부(124)는 중앙관제 서버(120) 내부에 임시 저장 지점을 만들어 해당 정보를 보관하고 사용자가 다운로드 받을 수 있도록 한다.

도 2 는 본 발명에 실시예에 따른 차량용 스마트 카메라 장치가 제공할 운전자 보조 시스템(ADAS)에서 사용하는 6가지 기능에 대한 내용과 차량 간 네트워크를 이용한 3가지 기능에 대한 예시를 보이고 있다.

도 2(a)는 방향지시등 없이 차선을 넘어가는 일을 방지하기 위한 차선 침범 방지 기술(lane departure warning)이며, 도 2(b)는 전방의 차량과의 거리를 측정하여 충돌이 발생할 수 있을 정도로 근접할 경우 경고를 주는 기술(forward collision warning)이다. 도 2(c)는 야간 운전시 상대 차선에서 차량이 접근할 경우 상향등을 잠시 하향하게 하여 상대 차량에게 피해를 주지 않도록 하는 기술(high beam assistant)이고, 도 2(d)는 도로 위에 보행자를 찾는 기술로 보행자가 존재할 경우 경고를 하는 기술(pedestrian detection)이며, 도 2(e)는 도로 주변의 표지판을 인식하여 해당 정보를 알려주는 기술(traffic sign recognition)이다. 또한 도 2(f)는 도로상의 신호등을 인식하여 그 정보를 알려주는 기술(traffic light recognition)이다.

한편, 도 2(g) 내지 2(i)는 차량 간 통신으로 제공할 수 있는 기능에 대한 예시로서, 도 2(g)는 긴급차량이 소리로 자신의 존재를 알리지 않고 무선통신을 통해 주변 차량들에게 자신의 존재와 진행할 경로를 알림으로써 주변 차량의 유연한 대처가 가능한 기술(emergency vehicle)이며, 도 2(h)는 특정 차량이 사고가 발생했을 때 그 정보를 주변 차량에게 전달하는 기술(accident video forwarding)이며, 도 2(i)는 사고 지역을 확인한 차량이 이후 해당 장소로 진입하는 차량들에게 정보를 제공하는 기술(propagation of local hazard warning)이다.

이러한 기술들을 스마트 차량용 카메라 장치(110)가 수행하여 다양한 정보를 운전자에게 제공하고, 사건 사고에 대한 내용을 전달하여 여러 서비스에서 응용할 수 있으며, 해당 정보를 필요한 사람이 구할 수 있도록 한다.

도 3 은 도 1의 메타데이터 추출부에서 영상 정보를 수집하였을 때 영상 메타데이터를 생성하기 위한 작업 순서와 그 내용에 대한 블록도이다.

도 3에서 도시하고 있는 것과 같이, 메타데이터 추출부(112)는 차량용 스마트 카메라 장치(110)가 영상정보를 수집할 경우, 해당 영상(340)에서 특징점의 추출(330)과 물체 혹은 글자 등의 인식(320)을 컴퓨터 비젼을 통해서 수행하고 그 작업을 통해 얻어낸 키워드 혹은 상황을 영상 메타데이터화(310) 하는 작업 순으로 수행한다.

아울러, 센서 정보도 마찬가지로 각 센서에 대한 정보를 읽어 내고 그것을 인지할 수 있는 형태로 정리하여 센서 메타데이터화 한다.

이러한 영상 메타데이터와 센서 메타데이터를 합하여 메타데이터를 생성하며 그 정보를 저장 및 공유한다.

도 4 는 본 발명에 실시예에 따른 도 1의 스마트 차량용 카메라 장치가 동작하는 과정의 흐름을 도시한 순서도이다. 이때, 상기 스마트 차량용 카메라 장치(110)는 도 4의 시작과 종료를 지속적으로 반복하며 동작한다.

도 4를 참조하여 설명하면, 상기 스마트 차량용 카메라 장치(110)는 먼저 차량에 부착되어 있는 카메라와 GPS, 레이더(radar), 가속도 센서, 자이로 센서, 자동차운행기록장치(On Board Diagnostics : OBD) 등 각종 센서들로부터 차량 주변의 영상자료와 센서데이터를 지속적으로 수집한다(410).

그리고 상기 수집한 영상과 센서들의 정보를 분석하고 각각 영상 메타데이터와 센서 메타데이터를 추출한다(420).

이어 추출된 영상 메타데이터와 센서 메타데이터를 합한 메타데이터 자료와 원본 데이터 자료를 각각 데이터베이스와 내장 저장장치에 저장한다(430). 이때, 상기 해당 메타데이터는 그 원본이 되는 센서자료, 영상자료의 저장 위치를 데이터베이스에 함께 저장하여 필요에 따라 확인할 수 있도록 한다.

이어 상기 메타데이터는 무선 네트워크를 통해 주변 차량들에게 전달되고, 주변 차량들 역시 각 차량에서 측정한 메타데이터를 전달해 주어 해당 시점에 대한 수집 정보를 공유한다(440).

그리고 수집한 메타데이터 정보 중 사건 사고 정보가 존재할 경우 해당 정보를 무선네트워크를 통해 중앙관제 서버(120)로 메타데이터를 전송한다(450).

그리고 상기 공유하여 수집한 메타데이터 정보를 조합하여 운전자에게 적절한 정보를 알람이나 스크린을 통하여 전달한다(460).

이 작업을 반복으로 수행하는 중 보유한 정보를 구매하고자하는 요청이 올 경우, 해당 정보의 구매를 승인하여 중앙관제 서버(120)에서 사용자에게 자신이 저장하고 있는 원본 정보의 저장 지점을 알려 줄 수 있도록 한다(470).

그리고 상기 중앙관제 서버(120)로부터 저장지점을 확보한 사용자가 해당 자료의 다운로드를 시도할 경우 해당 정보를 제공한다(480).

도 5 는 본 발명에 실시예에 따른 차량용 스마트 카메라 장치와 중앙관제 서버와 사용자가 각각 네트워크에 연결되는 구조를 나타내는 개념도이다.

도 5에서 도시하고 있는 것과 같이, 유선/무선 백본망(140)에 중앙 관제서버(530)와 사용자 단말기(540)가 서로 연결되어있으며, 도로 상의 차량 정보를 전달받을 네트워크 인프라가 설치되어 있다.

그리고 각 차량용 스마트 카메라 장치(110)는 서로 무선 네트워크(510)로 연결되며 각각의 차량용 스마트 카메라 장치(110)에서 수집한 메타데이터를 교환하고, 사건 사고 정보를 담은 메타데이터는 네트워크 인프라와 연결되어있는 차량용 스마트 카메라 장치(110)까지 전달되어 중앙관제 서버(530)로 전송되는 구조를 가지도록 한다.

이때, 각 차량용 스마트 카메라 장치(110)간 그룹(510, 520) 들은 각각 네트워크 인프라와 연결된 차량과 무선 네트워크를 구축하게 되며 그것은 모바일 애드혹 네트워크(MANET) 혹은 차량 애드혹 네트워크(VANET) 등으로 연결될 수 있다. 현 시점에서는 네트워크 인프라가 매우 적기 때문에 이동통신망을 적용하여 사건 사고 정보를 전달시켜야할 것이다.

도 6 은 본 발명의 실시예에 따른 도로 상에서 사고가 발생한 경우와 그 영상을 확보한 차량의 정보가 사용자에게 전달되는 일련의 과정을 보이는 예시이다.

도 6에서 도시하고 있는 것과 같이, 사고가 발생한 두 차량(610)을 확인하는 3대의 차량(620) 그룹은 각각 메타데이터(650)를 생성해서 중앙관제 서버(630)로 전달하게 된다.

이후, 상기 사고를 검색하고자하는 사용자(640)는 해당 중앙관제 서버(630)에 접속하여 상기 사고를 검색하면 해당 중앙관제 서버(630)는 그 사건의 정보를 가지고 있는 영상 보유자에게 구매 요청 메시지를 전달한다.

그리고 상기 영상 보유자가 해당 정보의 판매를 승인하면, 그 사실을 중앙관제 서버(630)에게 알리고 중앙관제 서버(630)는 해당 영상을 보유하고 있는 차량용 스마트 카메라 장치의 저장 위치를 알려준다.

이에, 사용자는 중앙관제 서버(630)에서 알려준 저장 위치에 해당되는 차량용 스마트 카메라 장치로부터 원하는 영상을 다운로드 받는다.

도 7 은 본 발명의 실시예에 따른 위치와 시간 정보를 이용하여 필요한 정보를 시각적으로 검색할 수 있는 검색 화면의 예시이다.

도 7에서 도시하고 있는 것과 같이, 중앙 관세 서버(630)를 검색하는 사용자(640)는 해당 정보를 검색하기 위해 키워드를 이용해서 검색하거나 지도 화면(700)을 두고 시간과 공간에 기반한 검색을 수행할 수 있다. 이때, 해당 시간에서 사고지점을 나타내는 마킹 표시(710)를 통해서 확인을 할 수 있으며, 시간대가 다른 정보는 점(720)의 형태로 표시한다.

한편, 시간정보를 바꿀 경우 해당 정보가 활성화 되어 마킹 표시와 점의 표시가 서로 교체되며 나타난다. 따라서 사용자는 해당시간에 맞는 자료를 보다 쉽게 검색할 수 있다.

도 8 은 본 발명의 실시예에 따른 스마트 차랑용 카메라 장치와 중앙 관제 서버와 정보 구매자에 대한 전체 작업의 흐름을 도시한 순서도이다.

도 8을 참조하여 설명하면, 먼저 스마트 차량용 카메라 장치는 반복적으로 정보(영상정보, 센서정보)를 수집(811)한 후, 수집된 정보 중 영상정보는 컴퓨터 비전 등의 기술로 분석하여 해당 정보의 특징이나 사건들에 대한 정보를 추출하고, 센서정보는 프로토콜에 따라 각 정보를 분류하여 하나의 값으로 취득한 메타데이터를 생성한다(812).

그리고 생성된 메타데이터를 원본데이터와 함께 데이터베이스(DB)에 저장한 후(813), 주변 차량들과 정보 교환을 수행하며(814) 운전정보를 운전자들에게 제공한다(816).

이어 운전자들에게 제공되는 운전정보를 기반으로 정보 구매의 요청이 있는 경우, 해당 사항을 승인하고(817) 승인된 운전정보(영상정보, 센서정보)를 전달할 수 있게 한다(S818).

한편, 중앙 관제서버는 상기 스마트 차량용 카메라 장치가 사건 사고 메타데이터를 전송해오면(815), 그것을 수집하여 DB에 메타데이터를 저장한다(821).

그리고 정보를 구매하고자하는 사용자가 검색을 요청해올 때 그 질의를 분석하고 상기 DB를 검색하여(822), 해당 메타데이터를 제공한 스마트 차량용 카메라 장치에게 승인 요청을 한다(823).

상기 승인 요청의 결과로 스마트 차량용 카메라 장치로부터 승인확인이 이루어지면, 정보 구매를 요청한 사용자가 이용료를 결재한 후 해당 정보의 저장위치를 사용자에게 알려준다(824).

또한 상기 사용자는 검색하고자하는 정보가 있을 때 중앙관제 서버의 정보 검색 서버에 접속하고(831), 해당 정보를 키워드나 시공간 정보를 이용하여 검색한다(832).

그리고 상기 정보 검색 후 해당 내용이 존재하면 결재 작업이 이루어지고 다운로드를 수행하게 된다(833). 즉, 사용자가 다운로드를 요청해올 때 스마트 차량용 카메라 장치는 그에 응하여 사용자가 요청한 사건/사고 데이터를 전송하게 된다(819).

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (8)

1. 영상 메타데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술을 적용하여 차량 간 무선통신을 통해 서로가 수집한 정보를 메타데이터 수준에서 교환하며, 상기 수집한 사건사고 정보를 무선통신을 통해 유선백본망에 연결된 중앙 관제 서버로 전달하는 차량용 스마트 카메라 장치와,
   차량용 스마트 카메라 장치로부터 전달되는 정보를 받아 정보를 필요로 하는 사용자가 검색할 수 있는 정보를 보유하고 있는 중앙관제 서버와,
   상기 중앙 관제 서버에 접속하여 필요한 정보를 키워드 검색이나 시공간 검색을 통해 자신이 원하는 정보의 존재여부를 확인하고, 거래 성사를 통해 전달된 해당 정보가 존재하는 저장지점에 저장된 정보를 다운로드 받는 사용자(정보 구매자) 단말기를 포함하여 구성되는 것을 특징으로 하는 정보 거래 서비스 제공 시스템.
2. 제 1 항에 있어서, 상기 차량용 스마트 카메라 장치는
   차량 주변의 정보를 센서와 영상수집 장치로 수집하는 원시 데이터 수집부와,
   상기 수집된 정보를 분석하여 유의미한 정보인 메타데이터를 추출하는 메타데이터 추출부와,
   상기 추출한 메타데이터를 저장하는 메타데이터 저장부와,
   상기 추출한 메타데이터를 주변의 차량과 교환하여 정보의 수준을 향상시키는 메타데이터 교환부와,
   상기 수집된 정보가 사건사고에 대한 내용을 담고 있을 때 그 내용을 중앙관제 서버로 전달하는 사건사고 전달부와,
   상기 수집한 정보를 토대로 운전자에게 도움이 되는 정보를 제공하는 운전정보 표시부와,
   상기 수집된 정보를 구매하는 요청을 수락하였을 때 해당 정보를 사용자가 다운로드 할 수 있게 하는 원본 정보 제공부를 포함하여 구성되는 것을 특징으로 하는 정보 거래 서비스 제공 시스템.
3. 제 2 항에 있어서,
   상기 원시 데이터 수집부는 차량에 부착될 수 있는 다수의 유무선 카메라들로 수집받는 영상정보와, GPS, RADAR, 근접 센서, 가속도 센서, 자이로 센서 중 적어도 하나로부터 수집받는 센서정보와, 차량의 OBD로부터 받을 수 있는 차량 상태 정보 전체를 지속적으로 수집하는 것을 특징으로 하는 정보 거래 서비스 제공 시스템.
4. 제 1 항에 있어서, 상기 중앙 관제 서버는
   차량용 스마트 카메라 장치로부터 전달된 사건사고 메타데이터 정보를 수집하는 사건사고 수집부와,
   사용자가 중앙 관제 서버에 보관된 정보를 검색할 수 있도록 하는 데이터베이스 검색부와,
   차량용 스마트 카메라 장치를 보유하고 있는 정보 보유자에게 해당 자료의 판매에 대한 승인을 받기 위한 작업을 수행하는 정보구매 승인부와,
   해당 자료의 구매결정이 이루어졌을 때 상기 자료를 보유한 정보의 저장지점을 사용자에게 알려주는 저장지점 전달부를 포함하여 구성되는 것을 특징으로 하는 정보 거래 서비스 제공 시스템.
5. 스마트 차량용 카메라 장치를 통해 수집된 정보(영상정보, 센서정보)를 기반으로 생성된 메타데이터를 원본데이터와 함께 데이터베이스(DB)에 저장한 후, 주변 차량들과 정보 교환을 수행하며 운전자들에게 제공하는 단계와,
   상기 스마트 차량용 카메라 장치에서 운전자들에게 제공되는 운전정보를 기반으로 정보 구매의 요청이 있는 경우, 해당 사항을 승인하고, 승인된 운전정보(영상정보, 센서정보)를 전달하는 단계와,
   중앙 관제서버를 통해 상기 스마트 차량용 카메라 장치에서 전송되는 메타데이터를 저장한 후, 정보를 구매하고자하는 사용자가 검색을 요청해올 때 그 질의를 분석하고 상기 저장된 메타데이터를 검색하여, 해당 메타데이터를 제공한 스마트 차량용 카메라 장치에게 승인을 요청하는 단계와,
   상기 승인 요청의 결과로 스마트 차량용 카메라 장치로부터 승인확인이 이루어지면, 정보 구매를 요청한 사용자에게 해당 정보의 저장위치를 알려주는 단계를 포함하여 이루어지는 것을 특징으로 하는 정보 거래 서비스 제공 방법.
6. 차량용 스마트 카메라 장치를 통해 차량에 부착되어 있는 카메라와 GPS, 레이더(radar), 가속도 센서, 자이로 센서, 자동차운행기록장치(On Board Diagnostics : OBD)를 포함하는 각종 센서들로부터 차량 주변의 영상자료와 센서데이터를 지속적으로 수집하는 단계와,
   상기 수집한 영상과 센서들의 정보를 분석하고 각각 영상 메타데이터와 센서 메타데이터를 추출하는 단계와,
   상기 추출된 영상 메타데이터와 센서 메타데이터를 합한 메타데이터 자료와 원본 데이터 자료를 각각 데이터베이스와 내장 저장장치에 저장하는 단계와,
   상기 메타데이터를 무선 네트워크를 통해 주변 차량들에게 전달하여 각 차량에서 측정된 메타데이터를 기반으로 해당 시점에 대한 수집 메타데이터를 공유하는 단계와,
   상기 수집한 메타데이터 정보 중 사건 사고 정보가 존재할 경우 해당 정보를 무선네트워크를 통해 중앙관제 서버로 메타데이터를 전송하는 단계와,
   상기 공유하여 수집한 메타데이터 정보를 조합하여 운전자에게 적절한 정보를 알람이나 스크린을 통하여 전달하는 단계와,
   상기 단계를 반복으로 수행하는 중 보유한 정보를 구매하고자하는 요청이 올 경우, 해당 정보의 구매를 승인하고 중앙관제 서버로부터 저장지점을 확보한 사용자에게 해당 자료를 제공하는 단계를 포함하여 이루어지는 것을 특징으로 하는 정보 거래 서비스 제공 방법.
7. 제 5 항 또는 제 6 항에 있어서,
   상기 차량용 스마트 카메라 장치는 유선/무선 백본망에 중앙 관제서버 및 사용자 단말기가 서로 연결되어있으며, 도로 상의 차량 정보를 전달받을 네트워크 인프라가 설치되어 있는 것을 특징으로 하는 정보 거래 서비스 제공 방법.
8. 제 5 항 또는 제 6 항에 있어서, 상기 생성되는 메타데이터는
   수집된 정보가 영상정보인 경우, 컴퓨터 비전의 기술로 분석하여 해당 정보의 특징이나 사건들에 대한 정보를 추출하여 메타데이터를 생성하고,
   수집된 정보가 센서정보인 경우, 프로토콜에 따라 각 정보를 분류하여 하나의 값으로 취득하여 메타데이터를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 정보 거래 서비스 제공 방법.

Images