KR102117588B1 - 차량 관련 데이터 수집 장치 및 방법 - Google Patents

차량 관련 데이터 수집 장치 및 방법 Download PDF

Info

Publication number
KR102117588B1
KR102117588B1 KR1020180045134A KR20180045134A KR102117588B1 KR 102117588 B1 KR102117588 B1 KR 102117588B1 KR 1020180045134 A KR1020180045134 A KR 1020180045134A KR 20180045134 A KR20180045134 A KR 20180045134A KR 102117588 B1 KR102117588 B1 KR 102117588B1
Authority
KR
South Korea
Prior art keywords
vehicle
image data
terminal
data
time
Prior art date
Application number
KR1020180045134A
Other languages
English (en)
Other versions
KR20190121610A (ko
Inventor
김대희
서동민
오혜용
Original Assignee
엔쓰리엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔쓰리엔 주식회사 filed Critical 엔쓰리엔 주식회사
Priority to KR1020180045134A priority Critical patent/KR102117588B1/ko
Priority to JP2018196772A priority patent/JP2019192194A/ja
Priority to US16/386,263 priority patent/US20190325667A1/en
Publication of KR20190121610A publication Critical patent/KR20190121610A/ko
Application granted granted Critical
Publication of KR102117588B1 publication Critical patent/KR102117588B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명의 일 양태는 차량과 관련된 데이터를 수집하는 방법을 개시하고 있다. 상기 방법은 차량 운행 정보를 취급하는 제 1 단말로부터, 차량 운행과 관련된 네비게이션(navigation) 스트리밍(streaming) 영상 데이터 및 차량 운행과 관련된 데이터를 획득하는 단계, 인코더에서, 유선 또는 무선 네트워크를 통해 상기 제 1 단말로부터 수신되는 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩하는 단계 및 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행과 관련된 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계를 포함한다.

Description

차량 관련 데이터 수집 장치 및 방법{VEHICLE-RELATED DATA COLLECTING APPARATUS AND METHOD}
본 발명은 데이터 수집 및 전송 장치 및 방법에 관한 것으로, 보다 상세하게는, 차량의 이동 환경에서의 영상을 수집 및 저장하고, 전송하는 장치 및 방법에 관한 것이다.
차량 관련 데이터를 수집하는 방법과 관련하여, 종래의 방식은 개별적인 차량관련 데이터 수집장치들이 각각 영상, 음성 및 정형 데이터를 수집 저장하는 방식이 이용되고 있다. 예컨대, 하나의 차량에 네비게이션(navigation) 단말, 블랙박스(blackbox) 단말, 그 밖의 각종 영상 센서들이 장착되어, 네비게이션 단말에서는 차량 운행과 관련된 데이터를 취급하고, 블랙박스에서는 차량의 전후방 운행영상을 취급하며, 그 밖에 각종 차량 탑재 영상센서에서 차량과 관련된 영상 데이터를 개별적으로 획득하는 방식을 취해왔다.
다만, 이렇게 다수의 장치에서 별도로 취급되는 차량 이동 환경에서의 영상, 음성 및 운행정보 데이터는 각 장치별로 저장 및 활용되어 사고발생시 해당 시점의 차량과 관련된 데이터에 대한 종합적인 분석을 어렵게 만든다. 또한, 각 단말들은 사고와 동시에 파손됨에 따라 개별 데이터들이 유실될 염려도 있어, 실제 사고에서 여러 단말 또는 센서로부터의 복수 개의 영상 및 비영상 데이터를 효율적으로 활용하지 못하는 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 차량과 관련된 각 단말에서의 차량 운행과 관련된 스트리밍 영상 데이터, 그 밖의 다른 형태의 차량 운행 데이터 및 차량 주변의 영상 데이터를 종합적으로 수집하여 외부 단말로 전송하는 차량 관련 데이터 수집 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 차량과 관련된 데이터를 수집하는 방법은 차량 운행 정보를 취급하는 제 1 단말로부터, 차량 운행과 관련된 네비게이션(navigation) 스트리밍(streaming) 영상 데이터 및 차량 운행과 관련된 데이터를 획득하는 단계, 인코더에서, 유선 또는 무선 네트워크를 통해 상기 제 1 단말로부터 수신되는 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩하는 단계 및 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행과 관련된 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계를 포함할 수 있다.
상기 차량 관련 데이터 수집 방법은 차량 주변을 촬영하는 제 2 단말로부터, 차량 주변에 대한 영상 데이터를 획득하는 단계를 더 포함하되, 상기 저장하는 단계는 상기 스트리밍 영상 데이터, 상기 차량 운행과 관련된 데이터 및 상기 차량 주변 영상 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계를 포함할 수 있다.
상기 차량 관련 데이터 수집 방법은 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 실시간으로 차량 외부의 제 3 단말로 전송하는 단계를 더 포함할 수 있다.
상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 실시간으로 상기 제 3 단말로 전송하는 단계는 상기 제 3 단말로부터 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터와 관련된 영상 출력조건 정보를 획득하는 단계, 상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하는 단계 및 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 차량 주변 영상 데이터를 조절된 해상도로 상기 제 3 단말로 전송하는 단계를 포함할 수 있다.
상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하는 단계는, 상기 인코더에서 상기 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩한 데이터의 제 1 기준해상도 및 상기 제 2 단말로부터 획득되는 차량 주변 영상 데이터의 제 2 기준해상도가 상기 영상 출력조건 상에서 유지되면서 상기 제 3 단말로의 데이터 전송 대역폭이 최소가 되도록 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 결정하는 단계를 포함할 수 있다.
상기 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계는, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터의 일부를 큐(queue)에 기록하는 단계, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 상기 제 3 단말로 중계하는 단계 및 상기 제 3 단말로부터 주기적으로 수신되는 상태 보고를 기반으로 상기 제 3 단말로 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 중계하는 중계 모드 및 로컬 스토리지에 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 저장하는 기록 모드 중 하나로 동작 모드를 스위칭하는 단계를 포함할 수 있다.
상기 동작 모드를 스위칭 하는 단계는, 상기 제 3 단말로부터의 상태 보고의 무응답 시점을 기준으로 큐로부터 버퍼링된 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터가 상기 로컬 스토리지에 기록되도록 동작 모드를 스위칭하는 단계를 포함할 수 있다.
상기 동작 모드를 스위칭 하는 단계는 주기적으로 상기 제 3 단말로부터 상태 보고를 수신하는 단계, 상기 제 3 단말로부터의 보고 시간을 측정하여 평균 보고 수신 시간을 계산하는 단계, 상기 제 3 단말로부터의 상기 상태 보고의 수신 시간과 임계시간을 비교하여 녹화 장애 발생 여부를 판단하는 단계 및 상기 판단 결과에 따라 상기 중계 모드 또는 상기 기록 모드로의 스위칭을 수행하는 단계를 포함하되, 상기 장애 발생 여부의 판단은 상기 측정된 평균 보고 수신 시간 및 최대 버퍼링 가능 시간 중 적어도 하나를 고려하여 측정된 보고 지연 시간을 기반으로 판단될 수 있다.
상기 제 1 단말은 네비게이션 단말을 포함하고, 상기 제 2 단말은 블랙박스(blackbox) 단말을 포함할 수 있다.
영상 센서로부터, 차량의 주차와 관련된 보조 영상 데이터를 획득하는 단계를 더 포함하되, 상기 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터, 차량 주변 영상 데이터, 및 상기 보조 영상 데이터는 시간 정보를 기반으로 동기화되어 저장될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 차량과 관련된 데이터를 수집하는 장치는 차량 운행 정보를 취급하는 제 1 단말로부터, 유선 또는 무선 네트워크를 통해, 차량 운행과 관련된 네비게이션(navigation) 스트리밍(streaming) 영상 데이터 및 차량 운행과 관련된 데이터를 획득하여, 상기 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩하는 인코더, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행과 관련된 데이터를, 시간 정보를 기반으로 동기화하여, 로컬 스토리지에 저장하도록 제어하는 콘트롤러 및 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행과 관련된 데이터를 저장하는 로컬 스토리지를 포함할 수 있다.
상기 콘트롤러는 차량 주변을 촬영하는 제 2 단말로부터, 차량 주변에 대한 영상 데이터를 획득하되, 상기 콘트롤러는 상기 스트리밍 영상 데이터, 상기 차량 운행과 관련된 데이터 및 상기 차량 주변 영상 데이터를, 시간 정보를 기반으로 동기화하여, 상기 로컬 스토리지에 저장할 수 있다.
상기 차량 관련 데이터 수집 장치는 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 실시간으로 차량 외부의 제 3 단말로 전송하는 통신부를 더 포함할 수 있다.
상기 콘트롤러는, 상기 제 3 단말로부터 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터와 관련된 영상 출력조건 정보를 획득하고, 상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하며, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 차량 주변 영상 데이터를 조절된 해상도로 상기 제 3 단말로 전송하도록 제어할 수 있다.
상기 콘트롤러는, 상기 인코더에서 상기 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩한 데이터의 제 1 기준해상도 및 상기 제 2 단말로부터 획득되는 차량 주변 영상 데이터의 제 2 기준해상도가 상기 영상 출력조건 상에서 유지되면서 상기 제 3 단말로의 데이터 전송 대역폭이 최소가 되도록 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 결정할 수 있다.
상기 콘트롤러는, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터의 일부를 큐(queue)에 기록하고, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 상기 제 3 단말로 중계하며, 상기 제 3 단말로부터 주기적으로 수신되는 상태 보고를 기반으로 상기 제 3 단말로 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 중계하는 중계 모드 및 로컬 스토리지에 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 저장하는 기록 모드 중 하나로 동작 모드를 스위칭하도록 제어할 수 있다.
상기 콘트롤러는, 상기 제 3 단말로부터의 상태 보고의 무응답 시점을 기준으로 큐로부터 버퍼링된 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터가 상기 로컬 스토리지에 기록되도록 동작 모드를 스위칭하도록 제어할 수 있다.
상기 콘트롤러에서의 동작 모드를 스위칭은, 주기적으로 상기 제 3 단말로부터 상태 보고를 수신하여, 상기 제 3 단말로부터의 보고 시간을 측정하여 평균 보고 수신 시간을 계산하고, 상기 제 3 단말로부터의 상기 상태 보고의 수신 시간과 임계시간을 비교하여 녹화 장애 발생 여부를 판단하며, 상기 판단 결과에 따라 상기 중계 모드 또는 상기 기록 모드로의 스위칭을 수행하되, 상기 장애 발생 여부의 판단은 상기 측정된 평균 보고 수신 시간 및 최대 버퍼링 가능 시간 중 적어도 하나를 고려하여 측정된 보고 지연 시간을 기반으로 판단될 수 있다.
상기 제 1 단말은 네비게이션 단말을 포함하고, 상기 제 2 단말은 블랙박스(blackbox) 단말을 포함할 수 있다.
상기 콘트롤러는 영상 센서로부터, 차량의 주차와 관련된 보조 영상 데이터를 획득하며, 상기 네비게이션 스트리밍 영상 데이터, 상기 차량 운행 데이터, 차량 주변 영상 데이터, 및 상기 보조 영상 데이터는 시간 정보를 기반으로 동기화되어 저장될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른 차량과 관련된 데이터를 수집하는 시스템은 차량 운행 정보를 취급하는 제 1 단말로부터, 차량 운행과 관련된 네비게이션(navigation) 스트리밍(streaming) 영상 데이터 및 차량 운행과 관련된 데이터를 획득하고, 상기 제 1 단말로부터 수신되는 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩하며, 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행과 관련된 데이터를, 시간 정보를 기반으로 동기화하여, 외부의 제 3 단말로 전송하는 차량 관련 데이터 수집 장치 및 상기 차량관련 데이터 수집장치로부터 상기 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터 및 상기 차량 운행과 관련된 데이터를 수신하여 저장하는 제 3 단말을 포함할 수 있다.
본 발명의 차량 관련 데이터 수집 장치 및 방법에 따르면, 차량 운행과 관련된 스트리밍 영상 데이터를 실시간으로 인코딩하여 확보하고, 다른 형태의 차량 운행 데이터 및 차량 주변 영상 데이터를 시간 기반으로 동기화하여 저장함으로써 이동 환경의 영상뿐만 아니라 운행 정보 데이터를 효율적으로 관리할 수 있고, 외부 단말로의 실시간 전송의 효율화를 달성하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량 정보 수집 장치를 포함하는 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 차량 정보 수집 장치가 시간 정보를 기반으로 동기화하여 차량과 관련된 데이터를 저장하는 방법을 설명하기 위한 개념도,
도 3은 본 발명의 일 실시예에 따른 차량 정보 수집 장치의 인코더(encoder)를 구체적으로 나타낸 상세블록도,
도 4는 본 발명의 일 실시예에 따른 차량 정보 수집 장치의 인코딩부를 구체적으로 나타낸 상세블록도,
도 5는 본 발명의 일 실시예에 따른 차량 정보 수집 장치의 영상 분배기가 적용하고 있는 POD(Pixel On Demand) 방식을 나타낸 개념도,
도 6은 본 발명의 일 실시예에 따른 차량 정보 수집 장치로부터 수신되는 데이터를 외부의 제 3 단말에서 활용하는 예시적인 화면을 나타낸 도면,
도 7은 본 발명의 다른 실시예에 따른 차량 정보 수집 장치 기반의 이중 녹화를 위한 시스템을 개략적으로 나타낸 개념도,
도 8은 본 발명의 다른 실시예에 따라 이중 녹화를 수행하는 차량 정보 수집 장치의 구성을 구체적으로 나타낸 상세블록도,
도 9는 도 8의 스위칭부에서의 장애 판단 방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 차량 정보 수집 장치를 포함하는 시스템을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량정보 수집장치를 포함하는 시스템은 차량정보 수집장치(110), 제 1 단말(120), 제 2 단말(130), 영상 센서(140) 및 제 3 단말(150)을 포함할 수 있다.
도 1을 참조하면, 차량정보 수집장치(110)는 차량과 연관된 단말로써, 차량에 탑재될 수도 있고, 차량과 탈착식으로 접속될 수도 있으며, 차량과 물리적으로 떨어져 휴대용으로 가지고 다닐 수 있는 단말일 수도 있다. 차량정보 수집장치(110)는 차량 관련 데이터 수집 장치 등으로 불릴 수 있다. 차량정보 수집장치(110)는 제 1 단말(120), 제 2 단말(130) 및 영상 센서(140)와 유선 및/또는 무선 네트워크를 통해 연결되어 있을 수 있다.
제 1 단말(120)은 차량 운행과 관련된 데이터를 취급하는 단말이다. 제 1 단말(120)은 네비게이션 장치일 수 있다. 제 1 단말(120)은 차량운행과 관련하여, GPS(Global Positioning System), GIS(Geographic Information Systems) 정보를 확보할 수 있는 능력이 있으며, 시간 정보를 함께 취급할 수 있다. 즉, 특정 시간(예컨대, 현재 시간)에 어느 위치에 차량이 위치하며, 어느 경로를 통해 어느 출발지로부터 어느 목적지로 향하고 있는지에 관한 다양한 정보를 취급한다.
제 1 단말(120)은 사용자의 입력에 따라 현재 위치와 입력된 목적지에 최적화된 경로를 적어도 하나 산출하고, 산출된 적어도 하나의 경로 중 사용자가 선택한 하나의 경로를 기반으로 차량의 운행을 지원한다. 이때, 제 1 단말(120)은 생성된 경로와 차량의 관계를 나타내는 네비게이션 운행과 관련된 영상 데이터를 생성한다. 그 밖에 차량의 운행에 있어서, 현재 차량의 지리적인 위치, 속도, 운행방향, 교통상황, 경도, 위도, 주변 건물 등의 상황(주변 건물명, 주변 음식점, 주변 주유소 등)과 관련된 정형 또는 비정형 데이터를 생성할 수 있다. 그리고는, 제 1 단말(120)은 네비게이션 영상 데이터를 스트리밍(streaming) 형태로 차량정보 수집장치(110)의 인코더(112)로 제공한다. 이때, 반드시 운행 중인 영상만을 제공하는 것이 아니라, 운행이 아닌 사용자가 설정과 관련된 데이터를 입력하는 화면 데이터도 스트리밍 형태로 인코더(112)로 제공할 수 있다. 그리고, 그 밖의 차량 운행과 관련된 정형 또는 비정형 데이터를 인코더(112) 및/또는 콘트롤러(114)로 제공할 수 있다. 네비게이션이 오프된 상태인 경우, 영상 데이터의 인코더(112)로의 전송은 중지될 수 있다. 이 경우, 인코더(112)는 인코딩을 수행하지 않을 수 있다.
제 2 단말(130)은 차량 주변의 영상을 촬영하는 카메라를 포함하는 단말이다. 제 2 단말(130)은 블랙박스 단말일 수 있다. 제 2 단말(130)은 차량의 전방 및/또는 후방에 복수 개 이상 배치되어, 차량의 전방 및/또는 후방의 운행 영상을 생성할 수 있다. 또한, 차량의 측방향에도 배치되어 차량의 측방 또는 3차원적으로 상방향 및/또는 하방향으로의 영상도 촬영을 통해 생성할 수 있다. 차량 주행 중뿐만 아니라 주차 중 정지영상의 녹화도 가능하며, 차선이탈 등 특수한 상황에 대한 영상을 시간정보와 함께 생성할 수 있다. 제 2 단말(130)에서 생성된 차량 주변 영상 데이터는 차량정보 수집장치(110)의 영상분배기(114)로 유선 및/또는 무선 네트워크를 통해 제공될 수 있다.
그 밖에 적어도 하나 이상의 영상 센서(140)가 차량에 탑재되어 영상을 수집 및 생성할 수 있다. 영상 센서는 주차 보조 등을 위해 차량의 전방, 후방, 측방 등에 제 2 단말(130)에 부가적으로 배치되는 장비로서, 주차보조 영상 등을 생성할 수 있다. 또한, 표현을 영상 센서(140)라고 했지만, 반드시 영상만을 취급하는 것은 아니고, 초음파 센서, 음성 센서와 같은 다양한 센서도 활용가능하다. 그리고, 상기 다양한 센서로부터 수집되는 텍스트 형태 또는 숫자 형태의 데이터도 로컬 스토리지에 저장되거나 및/또는 제 3 단말(150)로 전송될 수 있다.
차량정보 수집장치(110)는 제 1 단말(120), 제 2 단말(130) 및 영상 센서(140)로부터 적어도 하나의 영상 데이터 및 차량 운행과 관련된 적어도 하나의 영상, 음성, 정형 및/또는 비정형 데이터를 수신하여 로컬 스토리지(116)에 저장하거나 및/또는 통신부(118)를 통해 외부의 제 3 단말(150)로 제공한다.
차량정보 수집장치(110)는 인코더(112), 콘트롤러(114), 로컬 스토리지(116) 및 통신부(118)를 포함할 수 있다.
인코더(112)는 제 1 단말(120)로부터 네비게이션 스트리밍 영상 데이터를 실시간으로 수신하여 인코딩을 수행한다. 인코더(112)는 유선 및/또는 무선으로 제 1 단말(120)과 연결될 수 있다. 유선의 경우, HDMI(High-Definition Multimedia Interface) 또는 DVI(Digital Visual Interface) 등 디지털 인터페이스를 통해 연결될 수 있다. 인코더(112)가 디지털 인터페이스를 통해 제 1 단말(120)과 연결될 때, 제 1 단말(120)은 인코더(112)와의 연결을 인식하여 제 1 단말(120)의 디스플레이 화면 데이터(예컨대, 네비게이션에서 출력되는 영상 데이터)를 실시간으로 인코더(112) 측으로 제공할 수 있다. 이때, 제 1 단말(120)에 인코더(112)가 인식되도록 인코더(112)와 연관된 드라이버가 설치되는 것이 바람직하다. 또한, 인코더(112)는 외부로부터의 제어명령을 입력받아 제 1 단말(120)을 제어할 수 있도록 지원할 수도 있다. 예컨대, 외부의 제 3 단말(150)의 사용자에게 제 1 단말(120)의 네비게이션 스트리밍 영상 데이터를 실시간으로 전송하면, 상기 제 3 단말(150)의 사용자 또는 제 3 단말(150)과 연결된 사용자는 네비게이션 영상을 실시간으로 보면서 제 1 단말(120)에 대한 제어명령을 차량정보 수집장치(110)로 제공할 수 있다. 그러면, 상기 제어명령은 인코더(112)를 매개로 제 1 단말(120)로 제공되어 원격 제어가 가능하도록 할 수 있다.
인코더(112)는 인코딩 기능, 네트워크 기능 및 컴퓨터 명령 해석 기능을 포함할 수 있다. 인코더(112)는 디지털 인터페이스를 통해 유선으로 연결된 제 1 단말(120)로부터 디스플레이 화면 정보(네비게이션 스트리밍 영상 데이터일 수 있음)를 수신한다. 그리고는, 인코더(112)는 수신된 네비게이션 스트리밍 영상 데이터를 실시간으로 인코딩하여 로컬 스토리지(116)에 저장하거나 또는 통신부(118)를 통해 제 3 단말(150)로 제공한다. 이때, 인코딩된 데이터는 실시간 통신 프로토콜(RTP 또는 RTSP)를 통해 제 3 단말(150)로 제공되어 제 3 단말(150)의 사용자가 해당 데이터를 보고 즉시 원격지에서 제어명령을 내릴 수 있도록 한다.
인코더(112)는 바이패스 모니터(미도시)를 통해 자신이 인코딩한 화면을 바이패스 모니터로 제공하여 차량정보 수집장치(110)의 사용자가 인코더(112)를 통해 실시간 전송되는 영상 데이터를 확인할 수 있도록 한다. 상기 바이패스 모니터는 유선 및/또는 무선 네트워크로 연결된 디스플레이가 가능한 단말을 포함한다. 또한, 인코더(112)의 인코딩, 네트워크 및/또는 시스템 설정 화면을 상기 바이패스 모니터로 제공하여 인코더(112)의 사용자가 인코더(112)와 연결된 사용자 인터페이스(예컨대, 키보드, 마우스, 터치 패드 등)(미도시)를 통해 인코더(112)의 상기 설정 정보를 변경할 수 있도록 할 수 있다. 인코더(112)는 제 1 단말(120)로부터 수신되는 네비게이션 스트리밍 영상 데이터 이외의 차량운행과 관련된 정형 및/또는 비정형 데이터는 콘트롤러(114)로 제공한다.
콘트롤러(114)는 영상 데이터를 분배하는 기능을 수행하며, 또한, 차량운행과 관련하여 수집된 데이터를 로컬 스토리지(116)에 저장한다. 여기서, 영상 데이터를 분배하는 기능은 콘트롤러(114) 내의 영상 분배기에서 수행할 수 있다. 영상 분배기는 수집된 영상의 분배를 제어하는 분배기(미디어 배포자(MD: Media Distributor)라 불릴 수 있음)이다. 영상 분배기는 서버와 같은 역할을 수행할 수 있다. 복수 개의 포트를 통해 수집된 영상에 대해 제 3 단말(150)에서의 영상 출력조건에 최적화된 형태로 영상을 분배하여 제공하는 역할을 수행한다. 이는 이하 도 5를 통해 보다 상세히 설명한다.
또한, 콘트롤러(114)는 수집된 차량과 관련된 영상, 음성, 및 정형/비정형 데이터를, 시간 정보를 기반으로 서로 동기화시키고, 동기화된 복수 개의 데이터를 로컬 스토리지(116)에 저장한다.
또한, 콘트롤러(114)는 통신부(118)를 통해 동기화된 차량 관련 각종 데이터를 제 3 단말(150)로 제공할 수 있다.
통신부(118)는 통신 기능을 포함하는 구성요소로써, 안테나 및/또는 통신 프로세서와 같은 하드웨어로써 구현될 수 있다.
제 3 단말(150)은 차량정보 수집장치(110)로부터 동기화된 차량 관련 데이터를 수신한다. 그리고는 수신된 데이터를 연결된 디스플레이 수단(예컨대, TV, 모니터, 또는 터치스크린 등)을 통해 표시할 수 있다. 이때, 디스플레이 수단에 복수 개의 영상 데이터를 표시할 수 있고, 하나의 물리적인 스크린을 논리적으로 여러 셀(cell)로 나누어 서로 다른 영상들을 표시할 수 있다. 이때, 셀로 나누어진 영상의 크기 등을 고려하여 영상출력조건 정보를 생성할 수 있고, 이를 통신부(118)를 통해 콘트롤러(114)의 영상 분배기로 보낼 수 있다. 영상 분배기는 수신된 영상 출력조건 정보를 고려하여 전송할 영상 데이터의 해상도를 조절할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량 정보 수집 장치가 시간 정보를 기반으로 동기화하여 차량과 관련된 데이터를 저장하는 방법을 설명하기 위한 개념도이다.
도 2를 참조하면, 차량정보 수집장치의 콘트롤러는 수집된 차량 관련 데이터를 시간 정보를 기반으로 동기화하여, 로컬 스토리지에 저장한다. 또한, 동기화된 차량 관련 데이터는 타임스탬프(timestamp)와 같은 시간정보를 삽입하여 제 3 단말로 제공될 수 있다.
이때, 시간정보와 함께 저장되는 정보는 인코더를 통해 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터, 적어도 하나의 차량 주변 영상 데이터(차량 후방 영상, 차량 전방 영상 등), 보조영상 데이터(차량 측방, 주차 보조 영상, 차량 내부 영상 등), 차량 운행 데이터(차량 위치, GPS 정보, GIS 정보, 속도, 방향, 경로, 출발지, 목적지, 목적지 검색과 관련된 로그 데이터, 교통상황, 주변정보 등)를 포함할 수 있다. 이러한 차량 관련 데이터가 시간정보와 함께 동기화되어 로컬 스토리지에 저장될 수 있다. 이때, 물리적으로 저장되는 파일 위치를 동일하게 할 수도 있고, 다르게 할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 차량 정보 수집 장치의 인코더를 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인코더는 영상 수신부(310), 제 1 변환부(320), 제 2 변환부(330), 인코딩부(340), 제 2 변환부(350), 믹서(360), 명령 수신부(370) 및 명령 제공부(380)를 포함할 수 있다.
도 3을 참조하면, 영상 수신부(310)는 제 1 단말로부터 네비게이션 스트리밍 영상 데이터를 수신한다. 영상 수신부(310)는 유선(예컨대, 디지털 인터페이스) 또는 무선으로 연결된 상태에서 제 1 단말의 네비게이션 스트리밍 영상 데이터를 실시간으로 수신할 수 있다.
영상 수신부(310)는 HDMI/DVI와 같은 디지털 인터페이스를 활용할 수 있고, 이를 통해 수신된 네비게이션 스트리밍 영상 데이터를 MIPI CSI(Mobile Industry Processor Interface for Camera Serial Interface)로 변환할 수 있다. MIPI CSI는 제 1 단말과 호스트 프로세서와의 인터페이스이다. 이는 CSI-1, CSI-2, CSI-3 및 CSI-4와 같은 표준 프로토콜에 따른다.
제 1 변환부(320)는 영상 수신부(310)로부터 MIPI CSI 기반의 네비게이션 스트리밍 영상 데이터를 수신하여 YUV 데이터 포맷으로 변환한다. 본 발명의 실시예에 따르면, 변환된 YUV 데이터는 YUV 420 데이터 포맷을 포함할 수 있다. 상기 YUV 420 데이터 포맷들은 기존 시스템들과의 호환성을 위한 레가시 포맷(legacy YUV 420)과 보다 저비용 실행을 위한 넌-레가시 YUV 420(non-legacy YUV 420) 포맷을 포함할 수 있다. 제 1 변환부(320)는 두 개로 분할된 채널을 통해 제 2 변환부(330, 350)로 상기 YUV 포맷의 네비게이션 스트리밍 영상 데이터를 제공한다. 이때, 제 2 변환부(330)를 통한 채널에서는 인코딩을 통해 콘트롤러로의 전송이 이루어지고, 제 2 변환부(350)를 통한 채널에서는 믹싱을 통해 바이패스 모니터(305)로의 화면 데이터 제공이 이루어질 수 있다.
제 2 변환부(330, 350)는 상기 YUV 데이터를 RGB 데이터로 변환한다. YUV 포맷은 높은 압축률을 가질 수 있기 때문에, 이를 적색(R), 녹색(G), 및 청색(B)을 갖는 낮은 압축률의 RGB 포맷의 데이터로 변환하는 것이 바람직하다. 제 2 변환부(330)의 변환 방법은 4:2:0, 4:2:2, 및 4:4:4 변환 방식 중 적어도 하나가 사용될 수 있다. 다만 반드시 이에 국한되는 것은 아니다.
인코딩부(340)는 제 2 변환부(330)에서 변환된 RGB 포맷의 제 1 단말의 네비게이션 스트리밍 영상 데이터를 인코딩한다. 인코딩 방식으로는 HEVC(High Efficiency Video Coding)(H.265), H.264/AVC, SVC(Scalable Video Coding), MVC(Multiview Video Coding), DivX, WMV(Window Media Video), VP8, VP9 등 다양한 방식이 사용될 수 있다. 이는 사용자 설정에서 선택가능하고, 사용자 인터페이스를 통해 변경될 수 있다. 또한, 인코딩부(340)는 사용자 설정을 통해, 해상도, 프레임 레이트(frame rate) 및/또는 비트레이트(bit rate)를 변경하여 데이터를 인코딩할 수 있다. 인코딩부(340)는 하나의 프레임 단위로 데이터를 인코딩할 수 있고, 또는 하나의 프레임을 분할한 분할 프레임 단위(예컨대, 1/4 프레임)로 인코딩하여 인코딩된 데이터를 콘트롤러로 제공할 수 있다.
콘트롤러는 인코딩부(340)를 통해 인코딩된 제 1 단말의 네비게이션 스트리밍 영상 데이터를 제 3 단말로 전송한다. 콘트롤러는 인코딩부(340)로부터 하나의 완성된 프레임을 수신하여 패킷화한 후, 제 3 단말로 전송할 수 있다. 또는, 분할 프레임 단위의 인코딩된 데이터를 수신하여 패킷화하여 제 3 단말로 전송할 수도 있다. RTP 또는 RTSP와 같은 실시간 통신 프로토콜을 통해 인코딩된 데이터를 제 3 단말로 전송한다.
믹서(360)는 제 2 변환부(350)를 통해 변환된 RGB 포맷의 네비게이션 스트리밍 영상 데이터를 HDMI/DVI와 같은 디지털 인터페이스 및/또는 무선 네트워크를 통해 출력가능한 형태로 믹싱한다. 믹싱된 데이터는 상기 디지털 인터페이스 및/또는 무선 네트워크를 통해 연결된 바이패스 모니터(305)로 제공된다.
이러한 믹싱 과정을 통한 비디오 스트림 출력에 따라 바이패스 모니터(305)는 차량정보 수집장치에서 처리되어 제 3 단말 측으로 전송되는 화면을 차량정보 수집장치의 사용자에게 표시할 수 있고, 상기 차량정보 수집장치의 사용자는 현재 원격 제어될 가능성이 있는 제 1 단말의 화면을 확인할 수 있고, 또한 원격 제어에 의해 변경되는 제 1 단말의 네비게이션 화면을 확인할 수 있다. 예컨대, 원격지의 제 3 단말의 사용자가 제 1 단말의 특정 아이콘을 클릭하여 아이콘을 열었을 경우, 이러한 제 1 단말의 화면 내의 변화가 바이패스 모니터(305)에 표시되어 차량정보 수집장치의 사용자가 지각할 수 있도록 한다.
명령 수신부(370)는 콘트롤러를 매개로 제 3 단말로부터의 제어명령을 수신한다. 상기 제어명령은 제 1 단말에 대한 원격지에서의 제어명령으로 제 1 단말의 화면을 보면서 제 3 단말의 사용자가 제 3 단말과 연결된 사용자 인터페이스(미도시)를 이용하여 제공하는 명령어들이다. 이는 커서 이동, 커서 클릭, 문자/숫자/부호 입력, 명령어 입력 등을 포함할 수 있다.
명령 제공부(380)는 명령 수신부(370)에서 수신한 제어명령을 파싱하여 제 1 단말로 제공한다. 제 1 단말은 이를 수신하여 제 3 단말과 연관된 사용자의 명령을 이행한다.
도 4는 본 발명의 일 실시예에 따른 차량 정보 수집 장치의 인코딩부를 구체적으로 나타낸 상세블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인코딩부(400)는 코덱 선택부(410), 해상도 조절부(420), 프레임 레이트 조절부(430) 및 비트레이트 조절부(440)를 포함할 수 있다.
도 4를 참조하면, 코덱 선택부(410)는 복수 개의 코덱들(코덱 1, 코덱 2, ...코덱 N) 중 하나의 코덱 방식을 선택한다. 코덱 선택부(410)는 사용자 설정에 따라 여러 코덱 중 하나를 선택가능하다. 코덱 선택부(410)는 디폴트(default)로 설정된 코덱 1로 인코딩을 수행하다가, 사용자 설정에 의해 코덱 변경이 있을 경우, 변경설정된 코덱 2를 통해 인코딩을 수행할 수 있도록 제어한다.
해상도 조절부(420)는 인코딩과 관련하여 프레임의 해상도를 조절한다. 즉, 인코딩된 데이터의 표현의 섬세함의 정도를 조절할 수 있다. 이는 수평화소 및 수직 화소의 수로 정의될 수 있다. 이 역시 디폴트 값으로 설정되는 수치가 존재할 수 있고, 사용자 인터페이스를 통해 사용자가 임의로 값을 변경할 수 있다. 또는 복수 개의 모드(3840x2160, 1920x1080, 1280x720, 1024x768, 800x600, 320x180 등)를 설정해 놓고, 이 중 하나를 가변선택하도록 할 수 있다.
프레임 레이트 조절부(430)는 인코딩과 관련하여 프레임 레이트를 조절하고, 비트레이트 조절부(440)는 비트레이트를 조절한다. 프레임 레이트 조절부(430)는 fps 15, 30, 60 등 다양한 프레임 레이트를 마련하고 있을 수 있고, 해상도 상관없이 설정한 fps 적용할 수 있다. 프레임 레이트와 비트레이트도 디폴트 값으로 일정 값이 설정되고, 사용자 인터페이스를 통해 사용자가 임의로 해당 값을 변경할 수 있다. 프레임 레이트는 초당 들어가는 프레임 수를, 비트 레이트는 초당 들어가는 정보의 양으로 정의될 수 있다. 사용자는 이러한 프레임 레이트 및/또는 비트레이트를 임의로 조절함으로써 제 1 단말의 네비게이션 영상 데이터의 화질을 효과적으로 조절할 수 있다. 즉, 차량정보 수집장치의 사용자는 제 1 단말의 특성에 따라 고화질의 데이터를 취급하는 경우, 차량정보 수집장치의 인코딩 관련 파라미터를 고화질로 맞춰 인코딩이 수행되도록 하여 원격지의 사용자도 고화질의 네비게이션 영상을 시청할 수 있도록 하고, 반대로 비교적 저화질의 데이터를 취급해도 무방한 경우, 인코딩 관련 파라미터를 저화질에 적합한 값으로 맞춰 인코딩 효율을 높일 수 있다.
도 5는 본 발명의 일 실시예에 따른 차량 정보 수집 장치의 영상 분배기가 적용하고 있는 POD(Pixel On Demand) 방식을 나타낸 개념도이다.
도 5의 (a)는 일반적인 방식으로 복수 개의 영상을 제 3 단말로 제공하는 경우를 나타낸 개념도이다. 여기서, 영상 1(510-1)은 인코더에서 실시간으로 인코딩된 네비게이션 스트리밍 영상 데이터일 수 있고, 영상 2(510-2) 및 영상 3(510-3)는 제 2 단말로부터 획득한 차량 전방 영상 및 차량 후방 영상일 수 있다. 또한, 영상 4는 영상 센서로부터 획득한 차량 측방 영상일 수 있다. 각각의 영상 데이터(510-1~510-4)는 모두 특정 해상도를 가지며, 10Mbps(bit per second)의 대역폭을 사용하여 제공될 때 적절한 품질을 가질 수 있다. 이에, 이러한 10Mbps의 대역폭이 각각 필요한 영상 1 내지 영상 4(510-1~510-4)를 차량정보 수집장치가 제 3 단말로 전송하기 위해서는, 10Mbps x 4 = 40Mbps의 대역폭이 필요하게 된다.
도 5의 (b)는 본 발명의 일 실시예에 따른 차량정보 수집장치의 영상분배기가 사용하는 POD 방식을 설명하기 위한 개념도이다. 도 5의 (b)에서도 도 5의 (a)의 상황과 동일하게, 인코더로부터 인코딩된 네비게이션 스트리밍 영상, 차량 주변 영상 등이 모두 10Mbps의 비트레이트가 적절한 해상도를 가지고 있다고 가정한다. 이러한 적절한 해상도는 전송의 기준이 되는 해상도로써, 네비게이션 스트리밍 영상 데이터의 경우에는 인코딩된 데이터의 인코딩 해상도를 나타내고, 그 밖의 인코더를 거치지 않고 영상분배기로 수신된 영상 데이터에 대해서는, 수신될 때의 해상도를 나타낸다. 기준 해상도는 사용자 설정에 따라 변경될 수 있다. 또한, 영상이 아닌 데이터는 본 발명의 일 실시예에 따른 POD 방식의 적용을 받지 않는 것이 바람직하다.
상기와 같은 실시예에 있어서, 영상분배기는 40Mbps의 대역폭을 사용하여 입력되는 영상 1 내지 4(510-1~510-4)를 모두 수신하고, 수신된 영상들에 대해 적절한 해상도 조절을 통해 전송대역폭의 효율을 극대화한다. 영상분배기는 제 3 단말로부터 영상출력조건 정보를 획득할 수 있다. 영상 출력조건 정보는 제 3 단말에서 영상을 출력하는 조건과 관련된 정보로, 출력되는 영상의 개수 및 영상식별정보, 출력 영상의 크기, 배치에 대한 정보를 포함한다. 예컨대, 영상 1 내지 4(510-1~510-4)가 모두 출력되며, 이때, 4등분된 크기로 영상 1 내지 4(510-1~510-4)가 제 3 단말에서 표시된다면 출력영상의 식별번호와 해당 식별번호에 대응되는 영상의 출력 크기 정보가 제 3 단말로부터 영상분배기로 제공된다.
영상분배기는 제 3 단말로부터 수신된 영상 출력 조건 정보 중 영상식별번호를 기반으로 전송해야 할 영상을 특정하고, 영상의 출력크기 정보를 기반으로 특정된 영상의 대응되는 해상도를 결정할 수 있다. 이때, 해상도는 영상들의 원(original) 해상도가 제 3 단말에서의 영상출력조건 상에서 유지되면서, 제 3 단말로의 영상 전송을 위한 대역폭이 최소가 되도록 하는 해상도 값으로 결정될 수 있다. 예컨대, 도 5의 (b)의 실시예에서는, 10Mbps의 전송 대역폭을 요구하는 해상도의 영상 4개가 전송되는 상황에서, 제 3 단말에서는 해당 영상들이 1/4의 크기로 출력되고 있기에, 모든 영상의 해상도가 1/4로 감소하여도 제 3 단말의 출력화면에서는 이를 구분하기 어렵다고 판단할 수 있다. 이에, 해상도를 1/4로 조절하여, 한 영상당 10Mbps의 대역폭을 요구하던 것을, 2.5Mbps의 대역폭을 통해 전송함으로써, 전체적으로 40Mbps가 아닌, 2.5Mbps x 4 = 10Mbps의 대역폭으로 4개 영상을 전송하도록 하는 것이 바람직하다. 이것이 본 발명의 영상분배기에서 사용하는 POD 방식이다.
본 발명의 실시예에 따르면, 중첩된 형태로 제 3 단말의 디스플레이 수단에서 영상을 표시할 수도 있기에, 10Mbps의 기준 해상도를 갖는 복수 개의 영상의 조합된 화면임에도, 10Mbps를 넘는 대역폭이 요구될 수도 있다. 또한, 제 3 단말의 디스플레이 수단의 전체 영역에 영상이 표출되고 있지 않을 수도 있기에(텍스트, 숫자 또는 기타 다른 형식의 데이터가 표시될 수도 있음), 10Mbps 이하의 대역폭을 사용하는 경우가 발생할 수도 있음은 물론이다.
도 6은 본 발명의 일 실시예에 따른 차량 정보 수집 장치로부터 수신되는 데이터를 외부의 제 3 단말에서 활용하는 예시적인 화면을 나타낸 도면이다.
도 6을 참조하면, 차량정보 수집장치는 시간 정보를 기반으로 동기화된 복수 개의 영상, 음성 및 정형/비정형 데이터를 로컬 스토리지에 직접 저장하였다가 추후 이를 추출하여 검토하거나, 실시간으로 외부의 제 3 단말로 전송하여 이를 활용할 수 있다.
차량정보 수집장치로부터 제 3 단말로 전송된 데이터는 도 6의 도면과 같이 활용될 수 있다. 즉, 차량정보 수집장치의 뷰어(viewer)에서는, 영상 선택 아이콘(610)을 통해 어느 영상을 출력할지 결정할 수 있다. 출력 영상의 종류는 수집된 영상의 종류에 대응된다. 즉, 네비게이션 스트리밍 영상, 차량 전방 영상, 차량 후방 영상, 차량 측방 영상, 그 밖의 주차 보조 영상 및 차량 운행 데이터를 종합해 놓은 영상 등을 포함할 수 있다.
도 6의 실시예에서는, 네비게이션 영상, 차량 전방 및 후방 영상과 차량 운행 데이터 종합 영상을 4개의 분할된 셀(cell)에 표시하는 것을 가정한다. 하나의 모니터에는 복수 개의 셀(630-1, 630-2, 630-3, 630-4)을 포함하여, 여러 셀에서 각각 하나의 의미있는 화면을 출력할 수 있다. 이때, 하나의 물리적인 모니터는 캔버스(620: canvas)라고 부를 수 있다. 즉, 캔버스(620)는 복수 개의 정사각형, 또는 직사각형 셀(630-1, 630-2, 630-3, 630-4)로 분할될 수 있다.
도 6의 실시예에 따르면, 제 3 단말은 연결된 모니터에 네비게이션 스트리밍 영상은 셀(630-1)에, 차량 후방 영상은 셀(630-2)에, 차량 전방 영상은 셀(630-3)에, 그리고 차량 운행 데이터를 종합한 화면은 셀(630-4)에 표시하고 있다. 이때, 각 셀에 들어갈 화면의 특정, 및 각 셀의 크기는 제 3 단말의 사용자 인터페이스(미도시)를 통해 설정 및 변경가능하다. 또한, 차량 운행 데이터 종합 화면에 표시할 운행데이터의 선택도 사용자 임의로 변경가능하다. 예컨대, 차량 운행데이터로는, 차량의 속도, GPS/GIS 위치, 해당 시점의 경로, 주변상점, 주변 교통 상황(사고 소식 포함), 교통 체증과 관련된 데이터 중 적어도 일부를 표시할 수 있다. 또한, 기 저장된 지도와 GPS/GIS 위치를 동기화하여, 저장된 지도 상에 오브젝트 형태로 차량정보 수집장치가 포함된 차량이 표시되도록 할 수도 있다.
그리고, 일자 선택 아이콘(640)에서, 제 3 단말로 전송된 과거 데이터를 화면에 표시할 것인지, 아니면 실시간으로 전송되는 현재 데이터를 화면에 표시할 것인지 선택할 수 있다. 만약, 현재 실시간으로 전송되는 데이터를 화면에 표시할 때에는, 화면의 표시 설정과 관련하여, 각 셀(630-1, 630-2, 630-3, 630-4)의 크기, 각 셀(630-1, 630-2, 630-3, 630-4)에 표시되는 영상의 특정과 관련된 정보를 실시간으로 차량정보 수집장치로 전송하는 것이 바람직하다. 그래야, 차량정보 수집장치의 영상 분배기에서 POD 방식을 사용하여 최적의 해상도로 조절된 영상 데이터를 전송할 수 있다.
만약, 과거 데이터를 화면에 표시하고자 할 때, 전체 셀(630-1, 630-2, 630-3, 630-4)의 데이터 시점을 특정할 수 있다. 예컨대, 과거 3월의 특정 일자(예컨대, 15일)로 데이터 재생 시점을 특정할 수 있고, 이때, 해당 일자의 시간바(650: time bar)가 화면의 하단에 표시될 수 있다. 이때, 시간바(650)를 이용하여 특정 시점을 설정하면, 해당 시점의 데이터가 로딩되어 각 셀(630-1, 630-2, 630-3, 630-4)에 표시되게 된다. 즉, 3/15일 03:15:04의 시점을 재생하면, 3/15일 03:15:04의 시점의 네비게이션 스트리밍 영상이 셀(630-1)에, 3/15일 03:15:04의 시점의 차량 후방 영상이 셀(630-2)에, 3/15일 03:15:04의 시점의 차량 전방 영상이 셀(630-3)에, 그리고 3/15일 03:15:04의 시점의 차량 운행 데이터를 종합한 화면이 셀(630-4)에 표시될 수 있다. 즉, 제 3 단말의 사용자는 해당 시점의 다양한 영상 및 음성, 정형/비정형 데이터를 화면을 통해 한눈에 확인함으로써, 특정 시점의 상황을 종합적으로 파악할 수 있다. 이때, 제 3 단말은 영상 분석 모듈(미도시)을 활용할 수 있다. 예컨대, 영상 분석 모듈을 통해 다수의 영상을 시간의 흐름에 따라 분석하고, 기저장된 검출항목에 따라 특정이벤트를 검출하면, 검출된 이벤트와 관련된 시점의 다른 영상을 자동으로 함께 검출 및 분석하도록 하여, 효율적인 차량관련 상황에 대한 분석이 이루어지도록 할 수 있다.
또한, 각 셀별로 데이터의 시점을 다르게 특정하여 표시하는 것(예컨대, 셀(630-1)은 시점 1의 영상을, 셀(630-2)은 시점 2의 영상을 표시)은 본 기술분야의 통상의 기술자에게는 자명할 것이다.
추가적으로, 각 셀들은 중첩된 형태로 배치될 수 있다. 예컨대, 하나의 셀이 다른 셀들보다 앞서 있는 형태로 존재할 수 있다. 네비게이션 스트리밍 영상이 입체적으로 봤을 때, 튀어나와 있는 것처럼 표시되도록 할 수 있고, 그 하위 단에 다른 영상들이 배치되도록 하여, 중첩된 영상 배치가 되도록 할 수도 있다. 중첩된 영상의 배치, 중첩된 셀에 들어갈 영상의 특정 및 중첩 셀의 크기 등도 사용자 인터페이스를 통해 임의로 조정가능하다.
도 7은 본 발명의 다른 실시예에 따른 차량 정보 수집 장치 기반의 이중 녹화를 위한 시스템을 개략적으로 나타낸 개념도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량 정보 수집 장치 기반의 이중 녹화를 위한 시스템은 제 1 단말(710-1), 제 2 단말(710-2), 영상 센서(710-3), 차량정보 수집장치(720), 네트워크(730) 및 제 3 단말(740)를 포함할 수 있다.
도 7을 참조하면, 차량정보 수집장치(720)는 영상정보 제공 장치들(710-1~710-3)로부터 수신되는 데이터를 제 3 단말(740)로 중계하여 제 3 단말(740)가 실시간 기록 또는 화면 출력을 수행하게 구성될 수 있다. 차량정보 수집장치(720)는 실시간으로 동영상을 수신할 수 있고, 수신된 동영상을 제 3 단말(740)로 제공할 수 있으며, 제 3 단말(740)로부터 주기적으로 수신 관련 보고를 수신하여 정보 수신에 이상이 없는지 확인할 수 있다. 그리고는, 수신 불능 상태가 되었을 시 수신 불능 지점을 검출하여 검출 지점부터 데이터를 기록하도록 하여 복구 지연 시간으로 인한 녹화 또는 수신 단절을 없앨 수 있다.
차량정보 수집장치(720)는 제 3 단말(740)로부터의 원격 동영상 중계를 요청받아 중계 동작을 수행할 수 있다. 차량정보 수집장치(720)는 영상정보 제공 장치들(710-1~710-3)로부터의 동영상을 수신하여 수신된 동영상을 일정 시간(예컨대, 장애 복구 시간을 위해 최소 15초 내외일 수 있음) 큐(queue)에 버퍼링(buffering)할 수 있다. 그리고 나서, 차량정보 수집장치(720)는 버퍼링과 함께 제 3 단말(740)로 네트워크(730)를 매개로 동영상 스트림 및/또는 그외의 다른 데이터들을 중계할 수 있다.
네트워크(730)는 2G, 3G, LTE(Long Term Evolution) 등과 같은 광대역 통신 프로토콜뿐만 아닐, 와이파이(wifi), 지그비(zigbee) 및/또는 블루투스(bluetooth)와 같은 근거리 통신 프로토콜을 모두 포함할 수 있다.
본 발명의 일 실시예에 따르면, 차량정보 수집장치(720)는 녹화 기능 및 통신/중계 기능을 구비한 장치로써, VCR(Video Cassette Recorder), DVR(Digital Video Recorder), PVR(Personal Video Recorder), 또는 PC, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 소비자 전자기기(CE), 무선 통신 기능을 갖는 재생 가전제품, 인터넷 가전제품, 셋톱 박스 등을 포함할 수 있다.
제 3 단말(740)는 차량정보 수집장치(720)로부터 수신되는 동영상 스트림을 기록할 수 있다. 제 3 단말(740)는 특정 주기에 따라 현재 녹화 가능 여부 및/또는 정상 녹화 여부 등에 대한 정보를 포함하는 상태 보고 메시지를 생성하여 차량정보 수집장치(720)로 전송할 수 있다. 제 3 단말(740)이 녹화 불능 상태(예컨대, 네트워크 장애 또는 녹화 기능 장애 등으로 인해)가 되었을 시, 차량정보 수집장치(720)는 일정시간 상태 보고가 없음을 통해 이를 감지할 수 있다. 이때, 차량정보 수집장치(720)는 무응답 시점을 기준으로 큐로부터 중단 부분을 찾아 녹화를 이어서 수행할 수 있다.
제 3 단말(740)은 차량정보 수집장치(720)와 직접 연결된 녹화 기능을 구비한 장치이다. 제 3 단말(740) 역시 차량정보 수집장치(720)와 같이, VCR, DVR, PVR, 및 각종 컴퓨팅 장치 및/또는 단말을 포함할 수 있다. 제 3 단말(740)은 대용량 데이터베이스(745)와 연동하면서, 대용량 데이터베이스(745)에 차량정보 수집장치(720)로부터 수신한 데이터들을 저장할 수 있다.
본 발명의 실시예에 따르면, 차량정보 수집장치(720) 및 제 3 단말(740)는 공동 데이터베이스(745)에 상호연계하여 동영상 스트림을 기록할 수 있다. 이때, 차량정보 수집장치(720)는 공동 데이터베이스(745)에 이미 기록된 동영상 스트림을 기반으로 제 3 단말(740)로부터의 녹화가 중단된 시점을 찾아 큐의 버퍼링된 동영상 스트림의 해당 지점부터 공동 데이터베이스(745)에 기록할 수 있다. 이를 통해 공동데이터베이스에는 끊김 없는(seamless) 녹화 영상이 별도의 작업없이 기록되도록 할 수 있다.
본 발명의 일 실시예에 따르면, 제 3 단말(740)의 녹화 장애 발생 시에도 끊김 없이 녹화가 가능하고, 원본 동영상 변환이 없는 녹화 기록의 경우 저사양(예컨대, 데스크 탑) 기기만으로도 구현이 가능하다.
도 8은 본 발명의 다른 실시예에 따라 이중 녹화를 수행하는 차량 정보 수집 장치의 구성을 구체적으로 나타낸 상세블록도이다. 도 8에 도시된 바와 같이, 차량정보 수집장치는 콘트롤러(810), 통신부(820) 및 로컬 스토리지(830)를 포함할 수 있다. 또한, 콘트롤러(810)는 영상 분배기를 포함하되, 그 외에, 영상 수신부(812), 버퍼링부(814), 스위칭부(816)를 포함할 수 있다. 상기 각 구성요소는 하나의 하드웨어 프로세서 또는 복수 개의 하드웨어 프로세서로 구현가능하며 복수 개의 구성요소가 복수 개의 프로세서에 분산되어 구현될 수 있다. 또한, 프로세서는 해당 구성요소의 기능을 지시하기 위한 명령어를 포함하는 메모리(미도시)로부터의 명령어를 기반으로 기능을 수행할 수 있다.
도 8을 참조하면, 영상 수신부(812)는 영상 제공 장치들로부터 동영상 스트림을 수신할 수 있다. 영상 수신부(812)는 인코더를 통해 실시간으로 인코딩된 네비게이션 스트리밍 영상, 그 밖의 차량 주변 영상 스트림을 수신하는 기능을 수행한다. 영상 수신부(812)는 안테나 및/또는 통신 프로세서를 포함할 수 있다. 영상 영상 수신부(812)는 실시간으로 동영상 스트림을 수신할 수 있고, 여러 채널을 통해 다중화된 복수 개의 동영상 스트림을 수신할 수 있다.
버퍼링부(814)는 영상 수신부(812)로부터 수신된 동영상 스트림을 적어도 하나의 큐에 일시적으로 저장할 수 있다. 상기 버퍼링부(814)는 최대 버퍼링 시간이 설정되어 있을 수 있다. 이는 디폴트 값으로 설정될 수 있고, 또는 사용자 인터페이스(미도시)를 통해 사용자가 직접 설정할 수 있다. 이는 녹화 또는 중계 동작 실행 중에도 가변될 수 있다. 다만, 최대 버퍼링 시간은 제 3 단말(850)로부터의 상태 보고 주기보다는 긴 것이 바람직하다. 버퍼링부(814)는 스위칭부(816)의 제어신호에 따라 큐에 버퍼링된 동영상 스트림의 특정 부분(또는 특정 프레임)부터 로컬 스토리지(830)에 저장할 수 있다.
스위칭부(816)는 버퍼링부(814) 및/또는 영상 수신부(812)로부터 동영상 스트림을 수신하여 통신부(820) 또는 로컬 스토리지(830)로 제공할 수 있다. 통신부(820)로 제공하는 모드를 제 1 모드(또는 중계 모드라 부를 수 있음), 로컬 스토리지(830)로 제공하는 모드를 제 2 모드(또는 기록 모드라 부를 수 있음)로 정의할 수 있다. 경우에 따라서는, 중계와 기록을 동시에 수행하도록 할 수 있다. 다만, 본 발명의 다른 실시예에서는, 하나의 모드를 선택 적용하는 것을 가정한다.
스위칭부(816)는 기본적으로 제 1 모드로 동작하도록 설정될 수 있다. 제 1 모드에 따르면, 제 3 단말(850)의 정상 녹화를 가정하여, 버퍼링부(814) 및/또는 영상 수신부(812)를 통해 수신되는 동영상 스트림을 제 3 단말(850)로 중계한다.
스위칭부(816)는 통신부(820)로부터 전달되는 제 3 단말(850)로부터의 상태 보고 메시지를 기반으로 제 3 단말(850)의 정상 녹화 동작 여부를 판단하여, 현재 정상 녹화가 이루어지고 있는지, 또는 그렇지 않는지에 대한 정보를 획득할 수 있다. 예컨대, 정상 녹화가 이루어지지 않는 녹화 장애 상황이 검출된 경우, 스위칭부(816)는 제 1 모드에서 제 2 모드로 동작 모드를 스위칭할 수 있다. 녹화 장애 상황의 검출과 관련하여, 스위칭부(816)는 제 3 단말(850)로부터 수신되는 상태 보고 시간을 미리 설정된 임계 시간과 비교하여 임계 시간 이상 상태 보고가 수신되지 않는 경우, 녹화 장애 상황이 발생된 것으로 판단할 수 있다. 이때, 임계 시간은 최대 버퍼링 시간으로 설정될 수 있다. 또는, 스위칭부(816)는 임계 조건에 따라 녹화 장애 상황 발생을 판단할 수 있다. 임계 조건은 상태 보고의 평균 수신 시간값보다 상태 보고의 지연 시간(예컨대, 가장 최근 상태 보고 시점부터 상태 보고가 수신되고 있지 않는 현재 시점까지의 시간)이 큰 경우 및/또는 상태 보고 지연 시간이 설정된 최대 버퍼링 시간의 절반의 시간보다 큰 경우라는 조건을 포함할 수 있다. 위 임계 조건이 만족되면 제 3 단말(850)와의 연결이 해제 또는 제 3 단말(850)의 녹화 불능으로 판단하고, 차량정보 수집장치(800)가 직접 동영상 스트림을 녹화하는 제 2 모드로 스위칭한다. 제 2 모드에 따르면, 스위칭부(425)는 동영상 스트림이 직접 저장부(429)에 저장되도록 한다. 스위칭부(816)는 버퍼링부(814)에서 버퍼링된 스트림을 수신하여 로컬 스토리지(830)로 제공하거나, 버퍼링부(814)에 지시를 줘서 버퍼링부(814)에서 직접 로컬 스토리지(830)에 동영상 스트림을 저장하도록 할 수 있다. 이때, 보고의 무응답 시점부터 제 3 단말(850)이 동영상 스트림을 기록하지 않았다고 가정하고, 무응답 시점을 찾아 해당 시점부터 버퍼링부(814)의 큐에 저장된 동영상을 로컬 스토리지(830)에 저장할 수 있다.
또한, 스위칭부(816)는 제 3 단말(850)로부터 보고가 재개되는 경우, 상태보고를 다시 수신한 시점에 제 2 모드에서 제 1 모드로 스위칭하여 다시 제 3 단말(850)이 동영상 스트림을 녹화하도록 하고, 자신은 중계기 역할을 하도록 할 수 있다.
통신부(820)는 제 3 단말(850)과의 연결을 제공한다. 이는 유선 또는 무선 네트워크로 연결될 수 있다. 통신부(820)는 모뎀, 안테나, 통신용 모뎀 및/또는 통신 프로세서 등일 수 있다. 이를 통해 제 3 단말(850)과 동영상 스트림을 비롯한 각종 정보를 송수신할 수 있다. 통신부(820)는 스위칭부(816)가 제 1 모드인 경우, 동영상 스트림을 제 3 단말(850)로 전달할 수 있다. 통신부(820)는 주기적으로 제 3 단말(850)로부터 상태 보고를 수신할 수 있고, 이를 스위칭부(816)에 제공할 수 있다.
로컬 스토리지(830)는 제 2 모드인 경우, 스위칭부(816) 또는 버퍼링부(814)로부터 버퍼링된 동영상 스트림을 수신받아 자체 메모리(미도시) 및/또는 데이터베이스(미도시)에 저장할 수 있다. 상기 자체 메모리는 차량정보 수징장치(800) 내에 상주하는 하드 디스크, 플래시 디스크, RAM/ROM 등의 메모리일 수 있다.
도 9는 도 8의 스위칭부에서의 장애 판단 방법을 나타낸 흐름도이다.
도 9를 참조하면, 차량정보 수집장치의 스위칭부는 통신부를 통해 워커로부터 상태 보고 메시지를 수신하고 모니터링할 수 있다(S910).
그리고는, 상기 스위칭부는 제 3 단말로부터 수신되는 상태 보고 메시지의 수신 시간 정보를 일정용량 기록할 수 있다. 그리고는, 이를 기반으로 보고의 평균 주기를 계산할 수 있다(S920).
스위칭부는 상태 보고 메시지 모니터링 결과 및 보고 메시지 평균 주기 정보를 기반으로 다음의 스위칭 조건(또는 임계 조건)을 통해 장애 발생 여부를 판단할 수 있다.
- 스위칭 조건
Rt = 제 3 단말로부터 수신되는 상태 보고 수신 시간
Bm = 설정된 최대 버퍼링 시간
Vt = Rt의 평균 주기
Tn = 측정된 Rt의 지연 시간
(i) Vt < Tn && (ii) Tn > (Bm / 2)를 만족하는 경우 스위칭 수행
상기 스위칭 조건에 따르면, 스위칭부는 상태 보고 수신 시간을 기준으로 지연시간(Tn)을 측정하여 측정된 지연시간이 평균 주기(Vt)보다 큰지 판단한다(S930). 그리고/또는 측정된 지연시간(Tn)이 최대 버퍼링 시간(Bm)의 절반보다 큰 경우 녹화 장애 상태가 발생했다고 판단할 수 있다(S940). 이때, 지연시간은 무응답시점을 기준으로 기산될 수 있다. 또한, 스위칭 조건은 반드시 최대 버퍼링 시간(Bm)의 절반을 기준으로 할 것은 아니고, 사용자가 임의로 설정한 시간 조건, 최대 버퍼링 시간(Bm) 자체 및/또는 최대 버퍼링 시간(Bm)을 기준으로 일정 시간을 뺀 새로운 참조시간을 기준으로 할 수 있다. 이는 사용자 인터페이스를 통해 사용자가 임의로 설정할 수 있다.
이때, 스위칭부는 장애 발생을 감지하여 모드 변경을 지시하는 제어 신호를 제공할 수 있다(S950). 또한, 동시에, 무응답 시점(예컨대, 최근 상태 보고 신호 수신 시간)을 검출하여 해당 시점부터의 버퍼링된 동영상 스트림을 저장할 것을 지시하는 제어 신호를 버퍼링부에 제공할 수 있다.
또한, 스위칭부는 제 2 모드로 스위칭된 상태, 즉, 장애 발생이 진행되고 있는 상황에서 다시 상태 보고가 재개되는 시점을 상태 보고 수신을 기점으로 파악할 수 있다. 이때, 스위칭부는 제 2 모드에서 제 1 모드로 모드를 변경할 것으로 지시하는 제어신호를 생성할 수 있다.
전술한 바와 같이, 제 1 모드에서는 버퍼링된 동영상 스트림을 통신부를 통해 제 3 단말로 전송한다. 반면, 제 2 모드에서는 로컬 스토리지로 버퍼링된 동영상 스트림을 전송한다. 스위칭 지시 제어 신호를 수신하면, 제 1 모드인 경우, 제 2 모드로 동작모드를 스위칭하고, 제 2 모드인 경우, 제 1 모드로 스위칭할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (21)

  1. 차량에 대한 데이터를 수집하는 방법에 있어서,
    차량 운행 정보를 취급하는 제 1 단말로부터, 상기 차량에 탑재된 차량 정보 종합 화면 스트리밍 영상 데이터 및 차량 운행 데이터를 획득하는 단계;
    인코더에서, 유선 또는 무선 네트워크를 통해 상기 제 1 단말로부터 수신되는 차량 정보 종합 화면 스트리밍 영상 데이터를 실시간으로 인코딩하는 단계;
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계;
    차량 주변을 촬영하는 제 2 단말로부터, 차량 주변에 대한 영상 데이터를 획득하는 단계; 및
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 실시간으로 차량 외부의 제 3 단말로 전송하는 단계를 포함하되,
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 실시간으로 상기 제 3 단말로 전송하는 단계는,
    상기 제 3 단말로부터 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터와 관련된 영상 출력조건 정보를 획득하는 단계;
    상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하는 단계; 및
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 차량 주변 영상 데이터를 조절된 해상도로 상기 제 3 단말로 전송하는 단계를 더 포함는 차량 데이터 수집 방법.
  2. 제 1 항에 있어서,
    상기 저장하는 단계는 상기 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계를 포함하는 차량 데이터 수집 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하는 단계는,
    상기 인코더에서 상기 차량 정보 종합 화면 스트리밍 영상 데이터를 실시간으로 인코딩한 데이터의 제 1 기준해상도 및 상기 제 2 단말로부터 획득되는 차량 주변 영상 데이터의 제 2 기준해상도가 상기 영상 출력조건 상에서 유지되면서 상기 제 3 단말로의 데이터 전송 대역폭이 최소가 되도록 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 결정하는 단계를 포함하는 차량 데이터 수집 방법.
  6. 제 2 항에 있어서, 상기 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를, 시간 정보를 기반으로 동기화하여, 저장하는 단계는,
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터의 일부를 큐(queue)에 기록하는 단계;
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 상기 제 3 단말로 중계하는 단계; 및
    상기 제 3 단말로부터 주기적으로 수신되는 상태 보고를 기반으로 상기 제 3 단말로 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 중계하는 중계 모드 및 로컬 스토리지에 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 저장하는 기록 모드 중 하나로 동작 모드를 스위칭하는 단계를 포함하는 차량 데이터 수집 방법.
  7. 제 6 항에 있어서, 상기 동작 모드를 스위칭 하는 단계는,
    상기 제 3 단말로부터의 상태 보고의 무응답 시점을 기준으로 큐로부터 버퍼링된 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터가 상기 로컬 스토리지에 기록되도록 동작 모드를 스위칭하는 단계를 포함하는 차량 데이터 수집 방법.
  8. 제 6 항에 있어서, 상기 동작 모드를 스위칭 하는 단계는
    주기적으로 상기 제 3 단말로부터 상태 보고를 수신하는 단계;
    상기 제 3 단말로부터의 보고 시간을 측정하여 평균 보고 수신 시간을 계산하는 단계;
    상기 제 3 단말로부터의 상기 상태 보고의 수신 시간과 임계시간을 비교하여 녹화 장애 발생 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 중계 모드 또는 상기 기록 모드로의 스위칭을 수행하는 단계를 포함하되,
    상기 장애 발생 여부의 판단은 상기 측정된 평균 보고 수신 시간 및 최대 버퍼링 가능 시간 중 적어도 하나를 고려하여 측정된 보고 지연 시간을 기반으로 판단되는 차량 데이터 수집 방법.
  9. 제 1 항에 있어서,
    상기 제 1 단말은 네비게이션 단말을 포함하고,
    제 2 단말은 블랙박스(blackbox) 단말을 포함하는 차량 데이터 수집 방법.
  10. 제 1 항에 있어서,
    영상 센서로부터, 차량의 주차와 관련된 보조 영상 데이터를 획득하는 단계를 더 포함하되,
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터, 차량 주변 영상 데이터, 및 상기 보조 영상 데이터는 시간 정보를 기반으로 동기화되어 저장되는 차량 데이터 수집 방법.
  11. 차량에 대한 데이터를 수집하는 장치에 있어서,
    차량 운행 정보를 취급하는 제 1 단말로부터, 유선 또는 무선 네트워크를 통해, 상기 차량에 탑재된 차량 정보 종합 화면의 스트리밍(streaming) 영상 데이터 및 차량 운행 데이터를 획득하여, 상기 차량 정보 종합 화면 스트리밍 영상 데이터를 실시간으로 인코딩하는 인코더;
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터를, 시간 정보를 기반으로 동기화하여, 로컬 스토리지에 저장하도록 제어하는 콘트롤러; 및
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터를 저장하는 로컬 스토리지를 포함하되,
    상기 콘트롤러는 차량 주변을 촬영하는 제 2 단말로부터, 차량 주변에 대한 영상 데이터를 획득하며,
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 실시간으로 차량 외부의 제 3 단말로 전송하는 통신부를 더 포함하고,
    상기 콘트롤러는,
    상기 제 3 단말로부터 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터와 관련된 영상 출력조건 정보를 획득하고;
    상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하며;
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 차량 주변 영상 데이터를 조절된 해상도로 상기 제 3 단말로 전송하도록 제어하는 차량 데이터 수집 장치.
  12. 제 11 항에 있어서,
    상기 콘트롤러는 상기 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를, 시간 정보를 기반으로 동기화하여, 상기 로컬 스토리지에 저장하는 차량 데이터 수집 장치.
  13. 삭제
  14. 삭제
  15. 제 11 항에 있어서, 상기 콘트롤러는,
    상기 인코더에서 상기 차량 정보 종합 화면 스트리밍 영상 데이터를 실시간으로 인코딩한 데이터의 제 1 기준해상도 및 상기 제 2 단말로부터 획득되는 차량 주변 영상 데이터의 제 2 기준해상도가 상기 영상 출력조건 상에서 유지되면서 상기 제 3 단말로의 데이터 전송 대역폭이 최소가 되도록 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 결정하는 차량 데이터 수집 장치.
  16. 제 12 항에 있어서, 상기 콘트롤러는,
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터의 일부를 큐(queue)에 기록하고;
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 상기 제 3 단말로 중계하며;
    상기 제 3 단말로부터 주기적으로 수신되는 상태 보고를 기반으로 상기 제 3 단말로 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 중계하는 중계 모드 및 로컬 스토리지에 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터를 저장하는 기록 모드 중 하나로 동작 모드를 스위칭하도록 제어하는 차량 데이터 수집 장치.
  17. 제 16 항에 있어서, 상기 콘트롤러는,
    상기 제 3 단말로부터의 상태 보고의 무응답 시점을 기준으로 큐로부터 버퍼링된 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터 및 상기 차량 주변 영상 데이터가 상기 로컬 스토리지에 기록되도록 동작 모드를 스위칭하도록 제어하는 차량 데이터 수집 장치.
  18. 제 16 항에 있어서, 상기 콘트롤러에서의 동작 모드를 스위칭은,
    주기적으로 상기 제 3 단말로부터 상태 보고를 수신하여, 상기 제 3 단말로부터의 보고 시간을 측정하여 평균 보고 수신 시간을 계산하고, 상기 제 3 단말로부터의 상기 상태 보고의 수신 시간과 임계시간을 비교하여 녹화 장애 발생 여부를 판단하며, 상기 판단 결과에 따라 상기 중계 모드 또는 상기 기록 모드로의 스위칭을 수행하되,
    상기 장애 발생 여부의 판단은 상기 측정된 평균 보고 수신 시간 및 최대 버퍼링 가능 시간 중 적어도 하나를 고려하여 측정된 보고 지연 시간을 기반으로 판단되는 차량 데이터 수집 장치.
  19. 제 11 항에 있어서,
    상기 제 1 단말은 네비게이션 단말을 포함하고,
    상기 제 2 단말은 블랙박스(blackbox) 단말을 포함하는 차량 데이터 수집 장치.
  20. 제 11 항에 있어서,
    상기 콘트롤러는 영상 센서로부터, 차량의 주차와 관련된 보조 영상 데이터를 획득하며,
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터, 상기 차량 운행 데이터, 차량 주변 영상 데이터, 및 상기 보조 영상 데이터는 시간 정보를 기반으로 동기화되어 저장되는 차량 데이터 수집 장치.
  21. 차량에 대한 데이터를 수집하는 시스템에 있어서,
    차량 운행 정보를 취급하는 제 1 단말로부터, 상기 차량에 탑재된 차량 정보 종합 화면의 스트리밍(streaming) 영상 데이터 및 차량 운행 데이터를 획득하고, 상기 제 1 단말로부터 수신되는 차량 정보 종합 화면 스트리밍 영상 데이터를 실시간으로 인코딩하며, 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터를, 시간 정보를 기반으로 동기화하여, 외부의 제 3 단말로 전송하는 차량 데이터 수집 장치; 및
    상기 차량 데이터 수집 장치로부터 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 운행 데이터를 수신하여 저장하는 제 3 단말을 포함하되,
    상기 차량 데이터 수집 장치는 차량 주변을 촬영하는 제 2 단말로부터, 차량 주변에 대한 영상 데이터를 획득하며,
    상기 차량 데이터 수집 장치는,
    상기 제 3 단말로부터 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터와 관련된 영상 출력조건 정보를 획득하고;
    상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 상기 차량 주변 영상 데이터의 해상도를 조절하며;
    상기 실시간으로 인코딩된 차량 정보 종합 화면 스트리밍 영상 데이터 및 차량 주변 영상 데이터를 조절된 해상도로 상기 제 3 단말로 전송하도록 제어하는 차량 데이터 수집 시스템.
KR1020180045134A 2018-04-18 2018-04-18 차량 관련 데이터 수집 장치 및 방법 KR102117588B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180045134A KR102117588B1 (ko) 2018-04-18 2018-04-18 차량 관련 데이터 수집 장치 및 방법
JP2018196772A JP2019192194A (ja) 2018-04-18 2018-10-18 車両関連のデータ収集装置及び方法
US16/386,263 US20190325667A1 (en) 2018-04-18 2019-04-17 Vehicle-related data collecting apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045134A KR102117588B1 (ko) 2018-04-18 2018-04-18 차량 관련 데이터 수집 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190121610A KR20190121610A (ko) 2019-10-28
KR102117588B1 true KR102117588B1 (ko) 2020-06-02

Family

ID=68237970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045134A KR102117588B1 (ko) 2018-04-18 2018-04-18 차량 관련 데이터 수집 장치 및 방법

Country Status (3)

Country Link
US (1) US20190325667A1 (ko)
JP (1) JP2019192194A (ko)
KR (1) KR102117588B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199349A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 遠隔監視システム、配信制御装置、及び方法
WO2023277185A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー 車載装置、データ生成方法、データ生成プログラムおよび車両システム
CN113766266B (zh) * 2021-09-10 2024-02-13 阿波罗智联(北京)科技有限公司 音视频处理方法、装置、设备以及存储介质
US11936700B1 (en) * 2023-02-16 2024-03-19 GM Global Technology Operations LLC Vehicle video streaming system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005140638A (ja) * 2003-11-06 2005-06-02 Mitsubishi Electric Corp ナビゲーション装置、道路映像情報作成装置およびこれらを用いた道路映像情報利用システム並びに記録媒体
KR102077553B1 (ko) * 2013-04-29 2020-02-14 팅크웨어(주) 차량용 영상 처리 장치 및 데이터 처리 방법
KR102151233B1 (ko) * 2014-05-08 2020-09-02 현대모비스 주식회사 데이터 통합형 ａｖｎ 장치 및 이를 구비하는 데이터 통합형 ａｖｎ 시스템
EP4160150A1 (en) * 2016-08-26 2023-04-05 Panasonic Intellectual Property Corporation of America Three-dimensional information processing method and three-dimensional information processing apparatus

Also Published As

Publication number Publication date
US20190325667A1 (en) 2019-10-24
JP2019192194A (ja) 2019-10-31
KR20190121610A (ko) 2019-10-28

Similar Documents

Publication Publication Date Title
KR102117588B1 (ko) 차량 관련 데이터 수집 장치 및 방법
EP2674938B1 (en) Video sender and video receiver
JP5706637B2 (ja) 情報処理装置及びその制御方法、表示装置及びその制御方法、及び、画像転送システム
US11039104B2 (en) Apparatus and method to transmit data by extracting data in shop floor image, apparatus and method to receive data extracted in shop floor image, and system to transmit and receive data extracted in shop floor image
US9467913B2 (en) Camera image display system
US10917604B2 (en) Captured image display device, captured image display method, and captured image display program
JPWO2013132828A1 (ja) 通信システムおよび中継装置
JP2002135758A (ja) 車載用映像データ伝送システム、車載用映像データ受信装置、車載用映像データ送信装置
JP4157887B2 (ja) 静止画像を共に出力する保安監視システム
US10306173B2 (en) Imaging apparatus, imaging method, and program
KR101874853B1 (ko) 모바일 장치와 디스플레이 장치 간의 동기화 방법 및 장치, 모바일 장치, 디스플레이 장치
CN110727485A (zh) 一种屏幕界面可选择性共享方法及系统
KR20210106855A (ko) 실시간 차량 관련 데이터 수집 장치 및 방법
JP5829826B2 (ja) 監視装置およびプログラム
JP4100359B2 (ja) 信号伝送システム、データ送信装置、及びデータ受信装置
US11010019B2 (en) Video data streaming monitoring device, method, and program, and terminal device, and video data streaming monitoring system
KR20190121680A (ko) 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템
US10412144B2 (en) Transmitter and receiver for remote control support, operation method thereof and remote control system
JP2010068189A (ja) 監視システム
WO2013076778A1 (ja) 映像送信装置、映像受信装置、映像送信方法及び映像受信方法
JP6554200B1 (ja) 遠隔制御サポートのための送信機、受信機、その動作方法、及び遠隔制御システム
KR101342880B1 (ko) 다채널 무선 데이터 송수신을 이용한 ｄｖｒ 장치 및 방법
KR101486519B1 (ko) 복수의 고해상도 영상을 원격지로 전송하는 방법
KR101415505B1 (ko) 디지털 방송 중계 시스템의 운영 장치와 이를 이용한 카메라 제어 방법
CN110958478A (zh) 基于屏幕叠加的数据处理系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant