KR20150014264A - 교통 사고 현장 재현 장치 및 방법 - Google Patents

교통 사고 현장 재현 장치 및 방법 Download PDF

Info

Publication number
KR20150014264A
KR20150014264A KR1020130089705A KR20130089705A KR20150014264A KR 20150014264 A KR20150014264 A KR 20150014264A KR 1020130089705 A KR1020130089705 A KR 1020130089705A KR 20130089705 A KR20130089705 A KR 20130089705A KR 20150014264 A KR20150014264 A KR 20150014264A
Authority
KR
South Korea
Prior art keywords
time
moving object
unit
traffic accident
dimensional
Prior art date
Application number
KR1020130089705A
Other languages
English (en)
Inventor
한승준
김주완
민경욱
최정단
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130089705A priority Critical patent/KR20150014264A/ko
Priority to US14/320,421 priority patent/US20150029308A1/en
Publication of KR20150014264A publication Critical patent/KR20150014264A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

여러 차량에서 다양한 시점에서 촬영된 블랙박스 영상 뿐만 아니라 도로변의 CCTV 등 다양한 환경에서 촬영된 영상을 근거로 실사 기반의 3차원 교통 사고 과정으로 복원하여 교통 사고 시점을 포함한 전후 장면을 다양한 각도에서 재현할 수 있도록 하는 교통 사고 현장 재현 장치 및 방법을 제시한다. 제시된 장치는 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상과 음향을 입력받는 정보 수집부, 입력받은 영상을 근거로 고정 객체의 3차원 형상을 복원하여 3차원 사고 환경을 구축하는 고정 객체 복원부, 입력받은 영상을 시간에 대해 정렬시키고 정렬된 영상에서 이동 객체의 모션을 검출하고 검출된 이동 객체의 모션을 복원된 고정 객체가 포함된 3차원 사고 환경에 시간별로 합성하는 이동 객체 복원부, 및 시간에 따른 재생 요구에 근거하여 이동 객체 복원부의 합성 결과를 근거로 해당 시간의 교통 사고 현장을 재현하되 3차원의 이동 객체가 움직이는 교통 사고 현장을 재현하는 재현부를 포함한다.

Description

교통 사고 현장 재현 장치 및 방법{Apparatus and method for reconstructing scene of traffic accident}
본 발명은 교통 사고 현장 재현 장치 및 방법에 관한 것으로, 보다 상세하게는 교통 사고 발생시 촬영된 여러 가지 영상 정보를 이용하여 교통 사고 현장을 3차원적으로 재현하도록 하는 교통 사고 현장 재현 장치 및 방법에 관한 것이다.
종래의 블랙박스는 차량에 고정되어 장착되어 있다. 그러한 블랙박스에 저장된 영상은 고정된 시점에서만 교통 사고 장면을 재생하는 단점이 있으며, 앞의 장애물에 의해 가려진 음영지역 부분은 볼 수 없는 문제점이 있다.
기존의 블랙박스 영상을 이용한 사고 판단은 블랙박스의 촬영된 영상만을 가지고 주관적으로 판단하고 있다. 그러나, 블랙박스 영상은 광각의 렌즈를 사용하므로 그 영상의 왜곡이 매우 심하다. 그로 인해 왜곡된 영상으로 주관적 판단을 하기 때문에 간혹 잘못된 판단을 하는 경우가 발생한다. 따라서, 블랙박스 영상의 3차원 복원을 통해 정확한 사고 상황의 재현 및 판단이 필요하다.
좀 더 정확한 교통 사고 분석을 위해서는 교통 사고 장면에 음영 지역이 없어야 되며, 다양한 시점에서 교통 사고 장면을 시간에 따라 재현할 수 있어야 하며, 복원된 교통 사고 장면에서 차량간의 거리 측정 등 길이, 면적 등의 측정 기능을 제공해야 한다.
또한, 기존 교통 사고 현장을 재현하는 기술은 교통 사고가 난 장면을 카메라와 같은 영상 센서와 레이저 스캐너를 이용하여 교통 사고 현장을 3차원으로 복원할 수 있었다. 이러한 기존의 교통 사고 현장을 재현하는 기술에 의해서는 교통 사고 현장에 대해 다양한 시점에서 교통 사고 현장을 조망할 수는 있으나, 교통 사고 이전부터 시간이 흐름에 따른 차량, 사람 등의 움직임까지 3차원으로 복원하지는 못한다.
이전에는 블랙박스에 저장된 차량의 움직임 정보 등을 이용하여 3차원 그래픽으로 시뮬레이션을 해 주는 경우도 있다. 그러나, 이러한 경우에는 실제 교통 사고 상황과 3차원 그래픽을 이용하여 복원한 사고 시뮬레이션과 분명한 차이가 존재하며, 실제 교통 사고 상황을 그대로 반영하였다고 보기 어렵다.
다시 말해서, 블랙박스 영상을 보는 방법은 블랙박스 영상만을 확인하기 때문에 블랙박스가 촬영하지 못한 부분에 대해서는 확인할 수 있는 방법이 없으며, 서로 별개로 촬영된 영상이 존재할 경우 별도로 교통 사고 장면을 보면서 교통 사고 상황을 유추하는 방법을 사용하였다. 따라서, 정확한 교통 사고 현장 재현이 어려운 단점이 있다. 한편, 사고 현장을 레이저 스캐너와 영상 센서를 이용하여 3차원으로 재현하는 방법은 정확한 사고 현장을 재현할 수 있는 장점이 있지만, 교통 사고 이전의 상황을 재현할 수 없어서 실제의 교통 사고 원인을 파악하는데 제한이 있다.
관련 선행기술로는, 사고 발생시 자동으로 수신되는 차량용 블랙박스 정보와 GIS 정보, 센서 및 기상 정보를 기반으로 현장조사 없이 자동으로 교통 사고 상황을 재현하도록 하는 내용이, 대한민국등록특허 제1040118호(교통사고 재현 시스템 및 그 제어방법)에 게재되었다.
대한민국등록특허 제1040118호에 게재된 발명은 차량 블랙박스 정보와 GIS 정보, 센서 및 기상 정보를 기반으로 가상의 사고 환경을 구축하고 교통 사고 상황을 객체들 사이의 상호 관련성을 그래피컬하게 표현하는 정도이다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 여러 차량에서 다양한 시점에서 촬영된 블랙박스 영상 뿐만 아니라 도로변의 CCTV 등 다양한 환경에서 촬영된 영상을 근거로 실사 기반의 3차원 교통 사고 과정으로 복원하여 교통 사고 시점을 포함한 전후 장면을 다양한 각도에서 재현할 수 있도록 하는 교통 사고 현장 재현 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 교통 사고 현장 재현 장치는, 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상과 음향을 입력받는 정보 수집부; 상기 입력받은 영상을 근거로 상기 고정 객체의 3차원 형상을 복원하여 3차원 사고 환경을 구축하는 고정 객체 복원부; 상기 입력받은 영상을 시간에 대해 정렬시키고, 상기 정렬된 영상에서 상기 이동 객체의 모션을 검출하고, 상기 검출된 이동 객체의 모션을 상기 복원된 고정 객체가 포함된 상기 3차원 사고 환경에 시간별로 합성하는 이동 객체 복원부; 및 시간에 따른 재생 요구에 근거하여, 상기 이동 객체 복원부의 합성 결과를 근거로 해당 시간의 교통 사고 현장을 재현하되 3차원의 이동 객체가 움직이는 교통 사고 현장을 재현하는 재현부;를 포함한다.
바람직하게, 상기 정보 수집부는 차량에 설치된 블랙박스, 노변에 설치된 CCTV, 및 휴대폰으로부터 영상과 음향을 입력받을 수 있다.
바람직하게, 상기 고정 객체 복원부는, 상기 정보 수집부에서 수집되는 영상의 특징을 추출하는 특징 추출부; 상기 추출된 특징의 대응점을 검색하는 대응점 검색부; 상기 검색된 대응점의 3차원 위치 좌표를 구하는 최적화부; 및 실측 또는 추정 데이터를 근거로, 상기 3차원 위치 좌표의 스케일을 보정하는 보정부;를 포함할 수 있다.
바람직하게, 상기 이동 객체 복원부는, 상기 입력받은 영상을 시퀀스별로 시간에 대해 정렬시키는 시간 정렬부; 시각 동기를 맞춘 영상 시퀀스별로 존재하는 상기 이동 객체의 모션의 위치를 구하는 이동 객체 모션 복원부; 및 상기 3차원 사고 환경에 상기 이동 객체의 모션을 시각 동기를 맞춰서 합성하는 합성부;를 포함할 수 있다.
바람직하게, 상기 시간 정렬부는 상기 입력받은 영상 사이의 영상 변화의 차이가 최소가 되는 시점을 서로간의 시각 동기가 일치하는 동일 시점으로 하여 정렬시킬 수 있다.
바람직하게, 상기 시간 정렬부는 상기 입력받은 영상에 상기 음향이 포함되어 입력되는 경우 공통의 음향을 근거로 정렬시킬 수 있다.
바람직하게, 상기 시간 정렬부는 상기 입력받은 영상의 타임코드를 조정한 신호를 입력받아 이를 근거로 정렬시킬 수 있다.
바람직하게, 상기 재현부는 3차원 랜더링 작업을 수행하여 상기 교통 사고 현장을 재현할 수 있다.
바람직하게, 상기 이동 객체 복원부에서의 합성 결과를 저장하는 데이터베이스를 추가로 포함할 수 있다.
본 발명의 바람직한 실시양태에 따른 교통 사고 현장 재현 방법은, 정보 수집부가, 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상과 음향을 입력받는 단계; 고정 객체 복원부가, 상기 입력받은 영상을 근거로 상기 고정 객체의 3차원 형상을 복원하여 3차원 사고 환경을 구축하는 단계; 이동 객체 복원부가, 상기 입력받은 영상을 시간에 대해 정렬시키고, 상기 정렬된 영상에서 상기 이동 객체의 모션을 검출하고, 상기 검출된 이동 객체의 모션을 상기 복원된 고정 객체가 포함된 상기 3차원 사고 환경에 시간별로 합성하는 단계; 및 재현부가, 시간에 따른 재생 요구에 근거하여, 상기 합성하는 단계에서의 합성 결과를 근거로 해당 시간의 교통 사고 현장을 재현하되 3차원의 이동 객체가 움직이는 교통 사고 현장을 재현하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 여러 가지 블랙박스, CCTV, 휴대폰 등 교통 사고 전후의 장면을 촬영한 다양한 소스의 영상을 융합하여 실사 기반의 3차원 교통 사고 현장을 재현할 수 있다.
매우 사실적으로 교통 사고 직전의 상황부터 교통 사고 발생 장면까지 3차원으로 사실적으로 재현할 수 있어서, 복합적인 교통 사고 원인이 있는 경우 정확하고, 사실에 근거한 교통 사고 원인 분석이 가능한 장점이 있다.
도 1은 본 발명의 실시예 설명에 채용되는 교통 사고 현장의 일예를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 교통 사고 현장 재현 장치의 구성을 설명하기 위한 도면이다.
도 3은 도 2에 도시된 고정 객체 복원부의 내부 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에서 대응점과 카메라와의 관계를 설명하기 위한 도면이다.
도 5는 도 2에 도시된 이동 객체 복원부의 내부 구성을 나타낸 도면이다.
도 6은 본 발명의 실시예에서 영상 시퀀스의 시각 동기 정렬을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 교통 사고 현장 재현 방법을 개략적으로 설명하는 플로우차트이다.
도 8은 도 7에 도시된 고정 객체에 대한 3차원 모델 복원 단계를 보다 구체적으로 설명하기 위한 플로우차트이다.
도 9는 도 7에 도시된 이동 객체 모션 모델 복원 단계를 보다 구체적으로 설명하기 위한 플로우차트이다.
본 발명에서는 보다 정확한 교통 사고 원인 분석을 위해 실사 기반의 3차원 교통 사고 현장으로 복원하고, 교통 사고 현장을 재현하기 위해서 하나의 영상을 활용하는 것이 아니라 다른 차량에서 촬영된 블랙박스 영상과 도로에 설치되어 있는 CCTV 영상, 휴대폰(스마트폰 등)에 의해 촬영된 영상 등 여러 형태로 촬영된 교통 사고 장면에 대한 영상들을 활용하여 융합한다. 또한, 본 발명은 정확한 측량 정보를 얻기 위해서 교통 사고 지역에 대한 차선 정보 등 다양한 객체에 대한 길이 정보 등을 획득하거나 GIS 시스템과 연계함으로써 복원된 영상의 객체에 대한 크기 값도 알 수 있으며 측정 정밀도를 더욱 높일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 교통 사고 현장 재현 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예 설명에 채용되는 교통 사고 현장의 일예를 나타낸 도면이다.
도 1에 예시된 바와 같이, 도로 한복판에서 교통 사고가 발생하였을 경우, 본 발명의 장치는 교통 사고 장면을 촬영 및 녹음한 여러 차량에 설치된 블랙박스의 영상/음향, 도로 인프라에 설치된 CCTV의 영상, 및 주변의 보행자가 자신의 휴대폰으로 촬영 및 녹음한 영상/음향 등을 제공받는다. 또한, 본 발명의 장치는 도로 환경에 대한 객체의 측정정보(예컨대, 도로 차선 길이, 차량 번호판 길이) 등을 제공받을 수 있다.
이와 같이, 본 발명의 장치는 실사 기반 3차원 교통 사고 현장 복원 및 재현을 위해, 교통 사고 현장을 지나는 차량들로부터의 블랙박스 영상/음향, 사고 현장을 찍은 도로 인프라에 설치된 CCTV의 영상, 사고 현장 주변의 휴대폰 영상/음향 등 교통 사고 장면을 다양한 시점에서 촬영한 영상 및/또는 음향 데이터가 필요하다.
한편, 본 발명의 장치는 고정밀의 GIS 시스템 등과 연계하거나, 직접 측량을 하여 차선, 연석 등 교통 사고 현장에 있는 특징 정보에 대한 측량 정보가 필요하기도 하다.
교통 사고 현장에 대한 영상 데이터는 음영 지역을 제거하고, 3차원 복원의 정확도를 높이기 위해 가능한 많은 영상 정보가 확보되는 것이 좋다.
도 2는 본 발명의 실시예에 따른 교통 사고 현장 재현 장치의 구성을 설명하기 위한 도면이다.
도 2에 도시된 장치는 정보 제공 수단(10, 12, 14), 정보 수집부(16), 고정 객체 복원부(18), 지리정보시스템(20), 이동 객체 복원부(22), 재현부(24), 및 데이터베이스(26)를 포함한다.
정보 제공 수단의 블랙박스(10)는 각각의 차량에 장착된다. 블랙박스(10)는 차량 전/후방 및 차량 주변의 외부 환경을 촬영 및 녹음한 정보(예컨대, 영상 및 음향 정보)를 정보 수집부(16)에게로 제공한다. 즉, 블랙박스(10)는 차량에 접근하는 타 차량이나 사람, 기타 이동 객체, 고정 객체 등에 대한 영상 정보 및 음향 정보를 촬영 및 녹음하여 정보 수집부(16)에게로 제공할 수 있다. 한편, 블랙박스(10)는 교통 사고가 발생하게 되면 교통 사고 시점을 기준으로 그 전후의 소정 시간의 영상/음향 정보를 정보 수집부(16)에게로 전송할 수 있도록 한다.
정보 제공 수단의 CCTV(12)는 노변(roadside)에 설치되되 도로쪽을 향하도록 설치된다. CCTV(12)는 도로상의 이동 객체(예컨대, 차량, 자전거, 오토바이 등) 및 도로 주변의 고정 객체(예컨대, 나무, 건물 등)를 포함한 각종의 환경을 촬영 및 녹음한 정보를 정보 수집부(16)에게로 제공한다. 만약, 사람이 도로 위 또는 도로 주변에 서있다면 해당 사람은 고정 객체가 될 수 있으나, 움직이고 있다면 해당 사람은 이동 객체가 될 수 있다.
정보 제공 수단의 휴대폰(14)은 사람이 휴대하는 기기로서 영상 촬영 및 음향 녹음이 가능하다. 교통 사고가 발생하였을 경우 도로 주변의 보행자는 휴대폰(14)을 통해 교통 사고가 발생한 현장(이동 객체 및 고정 객체 포함)의 상황을 촬영 및 녹음한 정보를 정보 수집부(16)에게로 제공한다.
이와 같이, 블랙박스(10)와 CCTV(12) 및 휴대폰(14)은 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상 정보와 음향 정보를 정보 수집부(16)에게로 제공할 수 있다.
정보 수집부(16)는 블랙박스(10)와 CCTV(12) 및 휴대폰(14)으로부터 제공되는 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상 정보와 음향 정보를 입력받는다.
고정 객체 복원부(18)는 정보 수집부(16)를 통해 입력받은 영상을 근거로 고정 객체의 3차원 형상을 복원한다. 고정 객체 복원부(18)는 복원된 고정 객체의 3차원 형상을 하나 이상 포함하는 3차원 사고 환경을 구축할 수 있다. 여기서, 3차원 사고 환경은 하나 이상의 고정 객체를 포함하므로 3차원 고정 환경이라고도 칭할 수 있다.
지리정보시스템(20)은 공간상 위치 정보에 해당하는 지리자료와 이에 관련된 속성자료(Attribute data; 예컨대, 고도, 경사도 등)를 통합한 지형 정보를 고정 객체 복원부(18)에게로 제공한다. 예를 들어, 고정 객체 복원부(18)가 교통 사고가 발생된 현장의 지형 정보를 요청하게 되면 지리정보시스템(20)은 교통 사고가 발생된 현장의 지형 정보를 전송해 줄 수 있다. 이와 같이 지리정보시스템(20)과 연계하게 되면 복원된 영상의 객체에 대한 크기 값도 알 수 있으며 측정 정밀도를 더욱 높일 수 있다.
이동 객체 복원부(22)는 정보 수집부(16) 및 고정 객체 복원부(18)로부터의 정보를 참고하여 고정된 환경 정보에 대응하여 발생하는 이동 객체의 모션 정보를 복원하고 합성한다. 보다 상세하게는, 이동 객체 복원부(22)는 정보 수집부(16)를 통해 입력받은 영상을 시간에 대해 정렬시키고, 정렬된 영상에서 이동 객체의 모션을 검출하고, 검출된 이동 객체의 모션을 복원된 고정 객체가 포함된 3차원 사고 환경에 시간별로 합성한다.
재현부(24)는 사용자로부터 시간에 따른 재생 요구를 입력받게 되면 이동 객체 복원부(22)의 합성 결과를 근거로 해당 시간의 교통 사고 현장을 재현한다. 이때, 재현부(24)는 실사 기반의 3차원의 이동 객체가 움직이는 교통 사고 현장을 재현한다.
재현부(24)는 교통 사고 현장 재현을 위해 고정 객체 복원부(18) 및 이동 객체 복원부(22)에 의해 구해진 3차원 사고 현장에 대한 모델링 데이터를 이용한다. 고정 객체 복원부(18)에 의해 고정 객체에 대한 3차원 모델링 정보가 추출되고, 이동 객체 복원부(22)에 의해 이동 객체에 대한 3차원 모델링 정보가 추출되므로, 재현부(24)는 일반적인 컴퓨터 그래픽 기법을 이용하여 3차원 렌더링 작업을 수행하여 교통 사고 현장을 표출할 수 있으며, 다양한 시점에서 3차원 사고 장면을 조망할 수 있게 한다.
고정 객체의 경우는 위치와 자체에 대한 3차원 모델링 정보가 항상 고정되어 있지만, 이동 객체의 경우는 시간별로 위치와 자세 정보가 변하는 3차원 모델링 정보를 가지고 있다. 따라서, 시간 정보를 이용하여 프레임을 변경시키면 해당 프레임에서의 이동 객체에 대한 3차원 모델링 정보를 근거로 이동 객체는 교통 사고 상황과 동일하게 움직이게 된다. 결국, 사용자가 시간에 따른 재생을 요구하면, 차량, 사람 등 이동 객체는 움직이게 되어 사고 장면을 그대로 재현하게 되며, 다양한 시점에서 교통 사고 장면을 조망하는 것이 가능하게 된다.
데이터베이스(26)는 이동 객체 복원부(22)에서의 합성 결과(즉, 이동 객체의 모션을 복원된 고정 객체가 포함된 3차원 사고 환경에 시간별로 합성시킨 결과물)를 저장한다. 데이터베이스(26)의 정보는 사고 현장 재현 정보로서 축적되어 자료화된다.
데이터베이스(26)에 저장된 정보는 재현부(24)에 의해 추후에 언제든지 읽혀져서 교통 사고 현장을 재현시킬 수 있다. 사고 현장 재현 정보는 교통 사고 상황의 자세한 정보를 가지고 있기 때문에 그 정보의 활용도가 높다.
사고의 책임 소재 판단 이외에 사고 현장 재현 정보가 자료로서 잘 축적되었을 경우, 사고 발생 지역의 주변상황, 운전자의 행위 및 차량의 운동 상태 등을 종합한 안전정보로서 활용할 수 있다. 그리고, 사고 상황에 따른 차량의 상태(파손정도, 에어백 상태, 미끌림 상태) 등의 정보화는 물론이고 차량 제조사에서 차량의 안정도 향상을 위한 기반 데이터로 활용가능하다. 또한, 도로별, 차량별, 운전자별 사고 발생 유형 및 상태 등에 대한 정밀한 통계 자료로 활용가능하다.
도 3은 도 2에 도시된 고정 객체 복원부(18)의 내부 구성을 나타낸 도면이고, 도 4는 본 발명의 실시예에서 대응점과 카메라와의 관계를 설명하기 위한 도면이다.
고정 객체 복원부(18)는 특징 추출부(30), 대응점 검색부(32), 최적화부(34), 및 보정부(36)를 포함한다.
특징 추출부(30)는 정보 수집부(16)에서 수집되는 모든 영상에 대해 특징들을 추출한다. 여기서, 영상의 특징을 추출하는 방법은 당업자라면 주지의 기술로 충분히 이해할 수 있으리라 본다.
대응점 검색부(32)는 특징 추출부(30)에 의해 추출된 특징들의 대응점을 모든 영상에 대해 검색한다. 대응점 검색을 수행함에 있어서, 대응점 검색부(32)는 각각의 영상 시퀀스들은 서로 시간적으로 연속된 영상이라는 특징을 사용하여 각 영상 시퀀스의 프레임 사이들의 대응점 검색을 1차적으로 수행한 후에, 영상 시퀀스 사이의 대응점 검색을 2차적으로 수행한다. 이때, 도 4와 같이 대응점과 카메라의 관계를 이용하여 등극선 기하(epipolar geometry)가 맞지 않는 대응점들은 제거한다. 이를 위해서는 RANSAC(random sample consensus) 방법 등이 사용될 수 있다. 여기서, 등극선 기하라 함은 3차원의 한 점을 두 카메라에서 얻은 영상정보는 카메라의 위치와 이를 보는 영상점의 두 벡터는 공통평면상에 존재한다는 이론이다.
대응점 검색에 대해 보다 자세히 설명하면 다음과 같다. 도 4에 대응점과 카메라의 기하학 관계를 나타내었는데, 이 기하학 관계를 등극선 기하(epipolar geometry)라고 한다. 3차원 공간상에 존재하는 점들은 카메라의 영상의 2차원 평면상에 투영(projection)되어 나타난다. 이와 같이 3차원 공간상의 점들이 각각의 2차원 평면상에 투영된 점들의 쌍을 찾는 것이 대응점을 찾는 것이며, 이들 대응점들의 쌍은 하기의 수학식 1과 같은 관계가 성립한다.
(수학식 1)
Figure pat00001
여기서, x'는 각 대응점들에 대한 이미지 1의 좌표를 나타내고, x는 이미지 2의 좌표를 나타내고, F는 기초(fundamental) 행렬을 의미하고, T는 X'의 트랜스포즈(franspose)를 나타낸다.
그리고, 기초 행렬(F)은 하기의 수학식 2와 같이 정의된다.
(수학식 2)
Figure pat00002
여기서, K'는 이미지 1(카메라 1)의 보정행렬(calibration matrix)을 나타내고, K는 이미지 2(카메라 2)의 보정행렬을 나타내고, t 및 R은 각각 이미지 1과 이미지 2 사이의 이동 및 회전을 나타내는 행렬이다. -T는 K'의 역트랜스포즈를 의미한다. 그리고, [·]×는 교대 행렬(skew-symmetric matrix) 함수이고, 벡터 이라고 할 때, [t]× =
Figure pat00004
으로 정의될 수 있다.
앞서 설명한 것과 같이 모든 대응점은 상기의 수학식 1의 조건을 만족해야 한다. 다시 말해서, 수학식 1의 조건을 만족하지 못하는 대응점은 잘못 찾아진 대응점이므로 제거되어야 한다. 이를 위해서 RANSAC(random sample consensus) 방법 등이 사용될 수 있다. RANSAC은 무작위로 선택한 샘플 정보들이 원하는 조건을 만족하는지 확인하는 강인(robust) 알고리즘이다. RANSAC을 이용하면 기초 행렬(F)을 구하기 위해 필요한 샘플 수만큼을 무작위로 선택하여 기초 행렬(F)를 구하고, 구해진 기초 행렬(F)을 사용하여 상기의 수학식 1의 조건을 만족하는지 확인한다. 이러한 동작을 여러 번 반복하여 수행하였을 때 가장 많은 수의 대응점들이 수학식 1의 조건을 만족하는 경우의 기초 행렬 값이 참값이 된다. 이때, 수학식 1의 조건을 만족하지 않는 대응점들은 제거한다. 도 4에서, 점(1,2,3,4)은 수학식 1의 조건을 만족하는 점이고, 점(5)은 수학식 1의 조건을 만족하지 못하는 점으로 보면 된다.
최적화부(34)는 대응점 검색부(32)에서 검색된 대응점의 3차원 위치 좌표를 구한다. 블랙박스(10)와 CCTV(12) 및 휴대폰(14)의 내부 파라미터들은 알려지지 않았으므로, 최적화부(34)는 대응점들의 3차원 위치 좌표를 보다 정확하게 얻기 위해 내부 파라미터 및 대응점의 2차원 좌표들을 변수로 하고 각각을 최적화하는 3차원 위치 좌표와 각 카메라(즉, 블랙박스(10)와 CCTV(12) 및 휴대폰(14))의 내부 파라미터를 구한다. 이러한 최적화를 위해 성긴 번들 조정(sparse bundle adjustment) 등의 방법을 사용할 수 있다. 성긴 번들 조정은 대응점의 3차원 위치 좌표가 영상에 재투영(reprojection)될 때 발생하는 오차를 최소화하는 카메라 파라미터와 각 3차원 위치 좌표값의 최적값을 찾는 것이다.
보정부(36)는 실측 또는 추정 데이터를 근거로, 3차원 위치 좌표의 스케일을 보정한다. 다시 말해서, 최적화부(34)에 의해 구해진 각 대응점의 3차원 위치 좌표의 정확한 스케일(scale)을 알 수 없으므로, 보정부(36)는 차선의 폭, 연석의 크기, 차량의 크기 또는 특정 물체의 크기 등을 실측 또는 사용자가 추정하여 입력한 값에 대응하여 전체 3차원 위치 좌표 값들의 스케일을 보정한다. 이에 의해, 고정 객체에 대한 정확한 3차원 위치 좌표를 복원할 수 있고, 하나 이상의 3차원의 고정 객체를 포함하는 3차원 사고 환경을 구축할 수 있게 된다.
도 5는 도 2에 도시된 이동 객체 복원부(22)의 내부 구성을 나타낸 도면이고, 도 6은 본 발명의 실시예에서 영상 시퀀스의 시각 동기 정렬을 설명하기 위한 도면이다.
이동 객체 복원부(22)는 다수의 영상 시퀀스에서 관찰되는 모션을 검출하고 이를 합성하여 시간에 따른 사고 상황의 전방위적인 상황을 조망할 수 있도록 한다. 이를 위해, 이동 객체 복원부(22)는 시간 정렬부(40), 이동 객체 모션 복원부(42), 및 합성부(44)를 포함한다.
시간 정렬부(40)는 입력되는 영상 시퀀스에 대해 시간에 대한 정렬 작업을 수행한다. 즉, 시간 정렬부(40)는 입력받은 영상을 시퀀스별로 시간에 대해 정렬시킨다. 도 6에 예시된 바와 같이, 각 영상 시퀀스는 서로 다른 카메라(예컨대, 차량A의 블랙박스, 차량 B의 블랙박스, 행인 A의 스마트폰)로 촬영된 영상이기 때문에 시각 동기 정보가 없다. 따라서, 시간 정렬부(40)는 이들의 시각 동기를 맞추기 위해 다음과 같은 몇 가지 방법을 사용할 수 있다. 첫 번째 방법은, 비슷한 방향으로 보는 영상 시퀀스의 경우 영상 시퀀스 사이의 대응점을 구할 때 등극성 기하에 의해 제외되는 대응점의 개수 또는 비율이 최소가 되는 시점을 동일 시점으로 볼 수 있다. 이는 서로 간의 영상 사이의 영상 변화의 차이가 최소가 되는 시점을 의미하며 서로 간의 시각 동기가 일치할 때 발생한다. 따라서, 이와 같이 서로 간의 영상 사이의 영상 변화의 차이가 최소가 되는 시점을 기준으로 영상 시퀀스들을 정렬시킬 수 있다. 두 번째 방법은, 만일 영상 시퀀스들이 음향정보를 포함한다면 공통의 음향 정보를 이용하여 동기를 맞출 수 있다. 이와 같이 공통의 음향 정보를 이용하여 영상 시퀀스들을 시간에 대해 정렬시킬 수 있다. 세 번째 방법은, 영상 시퀀스들에서 공통의 모션이 관찰되었다면 그 모션을 기준으로 시각 동기를 맞춘다. 이와 같이 공통의 모션을 이용하여 영상 시퀀스들을 시간에 대해 정렬시킬 수 있다. 마지막으로, 음향이나 시각적으로 동기를 맞출 수 없다면, 사용자가 직접 보면서 영상의 타임코드를 조정하여 동기를 맞출 수도 있다. 여기서, 만일 음향을 이용하여 차량 사고와 같은 충돌 소리를 가지고 영상 시각 동기를 맞출 경우 소리의 전달 시간을 고려하여 촬영하는 카메라와 교통 사고 장소까지의 거리도 고려하여 시간 정렬 작업을 수행하여야 된다.
도 6에 예시한 바와 같이 서로 간의 영상 사이의 영상 변화의 차이가 최소가 되는 시점 또는 공통의 음향 정보가 있는 시점 또는 공통의 모션이 있는 시점 또는 조정된 타임코드가 t-2, t+1이라고 가정한다면, 각 카메라(도 6에서는 차량 A의 블랙박스, 차량 B의 블랙박스, 행인 A의 스마폰 등)의 영상 시퀀스들은 시간 정렬부(40)에 의해 좌측 또는 우측으로 쉬프트되어 시각 동기가 정렬된다. 즉, 도 6에서는 t+1의 시간에 행인 A의 스마트폰의 영상과 동기가 맞추어지고, t-2의 시간에는 차량 B의 블랙박스의 영상과 동기가 맞추어진다.
이동 객체 모션 복원부(42)는 시각 동기를 맞춘 영상 시퀀스별로 존재하는 이동 객체의 모션의 위치를 구한다. 즉, 이동 객체 모션 복원부(42)는 시간 정렬부(40)에 의해 시각 동기를 맞춘 영상 시퀀스 사이에서의 대응점을 구하고, 그 시점의 물체의 절대 위치를 구할 수 있다. 이때, 고정 객체 복원부(18)에서 구해진 고정 객체의 형상을 제거함으로써 이동 객체 만의 위치(보다 상세하게는, 이동 객체의 모션의 위치)를 구하는 것이 가능하다.
합성부(44)는 3차원 사고 환경에 이동 객체의 모션을 시각 동기를 맞춰서 합성한다. 이동 객체 모션 복원부(42)에서 구해진 영상 시퀀스별 이동 물체별 모션은 개별적으로 존재하므로 그 이용 가치가 떨어진다. 따라서, 합성부(44)는 영상 시퀀스별 이동 물체별 모션을 고정 객체 복원부(18)에 의한 3차원 고정 환경에 시간별로 동기시켜 합성하여 최종적인 전체 합성 결과를 얻는다.
앞서의 설명에서는 고정 객체 복원부(18)가 3차원 사고 환경을 구축하는 것으로 설명하였는데, 합성부(44)가 3차원 사고 환경을 구축하는 것으로 하여도 무방하다.
합성부(44)가 3차원 사고 환경을 구축할 수 있는 경우에는, 합성부(44)는 고정 객체 복원부(18)에서 얻어진 고정 환경에 대한 대응점의 3차원 위치 좌표와 카메라 간의 등극성 기하학 정보로부터 교통 사고 현장에 대한 실사 기반의 3차원의 고정 환경을 구축한다. 그리고, 합성부(44)는 이동 객체 모션 복원부(42)에 의해 얻어진 각각의 이동 객체의 모션을 시간 동기를 맞춰 실사 기반의 3차원의 고정 환경위에 합성한다. 이때, 최적의 결과를 얻기 위해 각 이동 객체의 모션의 결과를 최적화하는 것이 바람직하다.
이와 같이 하면, 최종적으로 고정적인 3차원 사고 환경과 시간에 따른 각 물체의 모션 정보를 얻을 수 있고, 이를 통해 시간에 따른 정확한 3차원 사고 정보를 복원할 수 있게 된다.
도 7은 본 발명의 실시예에 따른 교통 사고 현장 재현 방법을 개략적으로 설명하는 플로우차트이다.
본 발명의 실시예에 따른 교통 사고 현장 재현 장치는 블랙박스(10), CCTV(12), 휴대폰(14)으로부터 입력받은 영상 정보 및 음향 정보를 이용하여 교통 사고 현장을 3차원적으로 복원한다.
이와 같이 교통 사고 현장을 3차원적으로 복원하여 재현하는 방법은 도 7에서와 같이 크게 세 단계로 구성된다고 볼 수 있다.
먼저, 단계 S10에서, 고정 객체 복원부(18)는 정보 수집부(16)에 의해 수집된 블랙박스(10), CCTV(12), 휴대폰(14) 등의 영상 시퀀스 단위로 건물, 도로 등 배경이 되는 움직이지 않는 고정 객체 영역에 대한 3차원 개체 정보를 복원한다.
이어, 단계 S20에서, 이동 객체 복원부(22)는 앞서 생성된 정보를 참고하여 고정된 환경 정보에 대응하여 발생하는 이동 객체의 모션 정보를 복원하고 합성한다.
마지막으로, 단계 S30에서, 재현부(24)는 3차원 렌더링 작업을 수행하여 교통 사고 현장을 재현한다. 예를 들어, 사용자가 시간에 따른 재생을 요구하면, 재현부(24)는 차량, 사람 등의 이동 객체는 움직이게 하고, 나무, 보도블럭, 건물 등의 고정 객체는 고정되게 하여, 교통 사고 장면을 그대로 재현하게 된다.
도 8은 도 7에 도시된 고정 객체에 대한 3차원 모델 복원 단계를 보다 구체적으로 설명하기 위한 플로우차트이다.
먼저, 단계 S11에서, 고정 객체 복원부(18)의 특징 추출부(30)가 모든 영상에 대해 특징들을 추출한다.
이어, 단계 S12에서, 고정 객체 복원부(18)의 대응점 검색부(32)는 특징 추출부(30)에서 추출된 특징들의 대응점을 모든 영상에 대해 검색한다.
그리고 나서, 단계 S13에서, 고정 객체 복원부(18)의 최적화부(34)는 대응점 검색부(32)에서 검색된 대응점의 3차원 위치 좌표를 구한다.
마지막으로, 단계 S14에서, 고정 객체 복원부(18)의 보정부(36)는 차선의 폭, 연석의 크기, 차량의 크기 또는 특정 물체의 크기 등을 실측 또는 사용자가 추정하여 입력한 값에 대응하여 전체 3차원 위치 좌표 값들의 스케일을 보정한다.
도 9는 도 7에 도시된 이동 객체 모션 모델 복원 단계를 보다 구체적으로 설명하기 위한 플로우차트이다.
먼저, 단계 S21에서, 이동 객체 복원부(22)의 시간 정렬부(40)는 전체 이동 객체에 대한 모션을 3차원 복원하기 위해서 입력된 영상 시퀀스에 대해 시간에 대한 정렬 작업을 시행한다.
이어, 단계 S22에서, 이동 객체 복원부(22)의 이동 객체 모션 복원부(42)는 시간 정렬부(40)에 의해 시각 동기가 맞춰진 영상 시퀀스 사이에서의 대응점을 구하고, 그 시점의 물체의 절대 위치를 구한다. 이때, 이동 객체 모션 복원부(42)는 고정 객체 복원부(18)가 구한 고정 형상을 제거함으로써 이동체 만의 위치를 구할 수 있다.
마지막으로, 단계 S23에서, 이동 객체 복원부(22)의 합성부(44)는 이동 객체 모션 복원부(42)에서 구한 이동 객체들의 모션을 3차원 고정환경에 동기된 시간별 모션이 되게 합성함으로써, 최종적인 전체 합성 결과를 얻는다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 블랙박스 12 : CCTV
14 : 휴대폰 16 : 정보 수집부
18 : 고정 객체 복원부 20 : 지리정보시스템
22 : 이동 객체 복원부 24 : 재현부
26 : 데이터베이스 30 : 특징 추출부
32 : 대응점 검색부 34 : 최적화부
36 : 보정부 40 : 시간 정렬부
42 : 이동 객체 모션 복원부 44 : 합성부

Claims (17)

  1. 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상과 음향을 입력받는 정보 수집부;
    상기 입력받은 영상을 근거로 상기 고정 객체의 3차원 형상을 복원하여 3차원 사고 환경을 구축하는 고정 객체 복원부;
    상기 입력받은 영상을 시간에 대해 정렬시키고, 상기 정렬된 영상에서 상기 이동 객체의 모션을 검출하고, 상기 검출된 이동 객체의 모션을 상기 복원된 고정 객체가 포함된 상기 3차원 사고 환경에 시간별로 합성하는 이동 객체 복원부; 및
    시간에 따른 재생 요구에 근거하여, 상기 이동 객체 복원부의 합성 결과를 근거로 해당 시간의 교통 사고 현장을 재현하되 3차원의 이동 객체가 움직이는 교통 사고 현장을 재현하는 재현부;를 포함하는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  2. 청구항 1에 있어서,
    상기 정보 수집부는 차량에 설치된 블랙박스, 노변에 설치된 CCTV, 및 휴대폰으로부터 영상과 음향을 입력받는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  3. 청구항 1에 있어서,
    상기 고정 객체 복원부는,
    상기 정보 수집부에서 수집되는 영상의 특징을 추출하는 특징 추출부;
    상기 추출된 특징의 대응점을 검색하는 대응점 검색부;
    상기 검색된 대응점의 3차원 위치 좌표를 구하는 최적화부; 및
    실측 또는 추정 데이터를 근거로, 상기 3차원 위치 좌표의 스케일을 보정하는 보정부;를 포함하는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  4. 청구항 1에 있어서,
    상기 이동 객체 복원부는,
    상기 입력받은 영상을 시퀀스별로 시간에 대해 정렬시키는 시간 정렬부;
    시각 동기를 맞춘 영상 시퀀스별로 존재하는 상기 이동 객체의 모션의 위치를 구하는 이동 객체 모션 복원부; 및
    상기 3차원 사고 환경에 상기 이동 객체의 모션을 시각 동기를 맞춰서 합성하는 합성부;를 포함하는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  5. 청구항 4에 있어서,
    상기 시간 정렬부는 상기 입력받은 영상 사이의 영상 변화의 차이가 최소가 되는 시점을 서로간의 시각 동기가 일치하는 동일 시점으로 하여 정렬시키는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  6. 청구항 4에 있어서,
    상기 시간 정렬부는 상기 입력받은 영상에 상기 음향이 포함되어 입력되는 경우 공통의 음향을 근거로 정렬시키는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  7. 청구항 4에 있어서,
    상기 시간 정렬부는 상기 입력받은 영상의 타임코드를 조정한 신호를 입력받아 이를 근거로 정렬시키는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  8. 청구항 1에 있어서,
    상기 재현부는 3차원 랜더링 작업을 수행하여 상기 교통 사고 현장을 재현하는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  9. 청구항 1에 있어서,
    상기 이동 객체 복원부에서의 합성 결과를 저장하는 데이터베이스를 추가로 포함하는 것을 특징으로 하는 교통 사고 현장 재현 장치.
  10. 정보 수집부가, 교통 사고 현장과 그 주변의 고정 객체 및 이동 객체에 대한 영상과 음향을 입력받는 단계;
    고정 객체 복원부가, 상기 입력받은 영상을 근거로 상기 고정 객체의 3차원 형상을 복원하여 3차원 사고 환경을 구축하는 단계;
    이동 객체 복원부가, 상기 입력받은 영상을 시간에 대해 정렬시키고, 상기 정렬된 영상에서 상기 이동 객체의 모션을 검출하고, 상기 검출된 이동 객체의 모션을 상기 복원된 고정 객체가 포함된 상기 3차원 사고 환경에 시간별로 합성하는 단계; 및
    재현부가, 시간에 따른 재생 요구에 근거하여, 상기 합성하는 단계에서의 합성 결과를 근거로 해당 시간의 교통 사고 현장을 재현하되 3차원의 이동 객체가 움직이는 교통 사고 현장을 재현하는 단계;를 포함하는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  11. 청구항 10에 있어서,
    상기 입력받는 단계는 차량에 설치된 블랙박스, 노변에 설치된 CCTV, 및 휴대폰으로부터 영상과 음향을 입력받는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  12. 청구항 10에 있어서,
    상기 3차원 사고 환경을 구축하는 단계는,
    상기 입력받는 단계에 의해 입력받은 영상의 특징을 추출하는 단계;
    상기 추출된 특징의 대응점을 검색하는 단계;
    상기 검색된 대응점의 3차원 위치 좌표를 구하는 단계; 및
    실측 또는 추정 데이터를 근거로, 상기 3차원 위치 좌표의 스케일을 보정하는 단계;를 포함하는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  13. 청구항 10에 있어서,
    상기 합성하는 단계는,
    상기 입력받은 영상을 시퀀스별로 시간에 대해 정렬시키는 단계;
    시각 동기를 맞춘 상기 영상 시퀀스별로 존재하는 상기 이동 객체의 모션의 위치를 구하는 단계; 및
    상기 3차원 사고 환경에 상기 이동 객체의 모션을 시각 동기를 맞춰서 합성하는 단계;를 포함하는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  14. 청구항 13에 있어서,
    상기 정렬시키는 단계는 상기 입력받은 영상 사이의 영상 변화의 차이가 최소가 되는 시점을 서로간의 시각 동기가 일치하는 동일 시점으로 하여 정렬시키는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  15. 청구항 13에 있어서,
    상기 정렬시키는 단계는 상기 입력받은 영상에 상기 음향이 포함되어 입력되는 경우 공통의 음향을 근거로 정렬시키는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  16. 청구항 13에 있어서,
    상기 정렬시키는 단계는 상기 입력받은 영상의 타임코드를 조정한 신호를 입력받아 이를 근거로 정렬시키는 것을 특징으로 하는 교통 사고 현장 재현 방법.
  17. 청구항 10에 있어서,
    상기 재현하는 단계는 3차원 랜더링 작업을 수행하여 상기 교통 사고 현장을 재현하는 것을 특징으로 하는 교통 사고 현장 재현 방법.
KR1020130089705A 2013-07-29 2013-07-29 교통 사고 현장 재현 장치 및 방법 KR20150014264A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130089705A KR20150014264A (ko) 2013-07-29 2013-07-29 교통 사고 현장 재현 장치 및 방법
US14/320,421 US20150029308A1 (en) 2013-07-29 2014-06-30 Apparatus and method for reconstructing scene of traffic accident

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130089705A KR20150014264A (ko) 2013-07-29 2013-07-29 교통 사고 현장 재현 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150014264A true KR20150014264A (ko) 2015-02-06

Family

ID=52390164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130089705A KR20150014264A (ko) 2013-07-29 2013-07-29 교통 사고 현장 재현 장치 및 방법

Country Status (2)

Country Link
US (1) US20150029308A1 (ko)
KR (1) KR20150014264A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112580A (ko) 2015-03-20 2016-09-28 주식회사 엠디테크 Obd, gps 및 블랙박스 영상정보를 이용한 교통사고 현장 재현시스템 및 그 방법
KR20160112817A (ko) * 2015-03-20 2016-09-28 현대자동차주식회사 사고 정보 분석 장치, 이를 포함하는 서버 및 사고 정보 분석 방법
KR20180000202A (ko) * 2016-06-22 2018-01-02 한국전자통신연구원 보행항법 알고리즘 검증을 위한 참조 데이터 셋 구축 장치 및 방법
KR20180024756A (ko) * 2016-08-31 2018-03-08 아진산업(주) 다시점 블랙박스 영상 데이터를 이용한 교통사고 분석시스템
KR20180024757A (ko) * 2016-08-31 2018-03-08 아진산업(주) 다시점 블랙박스 카메라 영상을 이용한 도로교통정보 제공시스템
KR20210106079A (ko) 2020-02-20 2021-08-30 주식회사 트위니 이동로봇을 활용한 현장 3차원 복원 시스템 및 방법
CN115578433A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
KR102633427B1 (ko) * 2023-08-14 2024-02-07 주식회사 카비 교통사고 현장 재구성 리포트를 만드는 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015106320A1 (en) * 2014-01-16 2015-07-23 Bartco Traffic Equipment Pty Ltd System and method for event reconstruction
KR101714158B1 (ko) * 2015-06-09 2017-03-08 현대자동차주식회사 차량사고 기록장치 및 그의 사고정보 생성 방법
CN105046731B (zh) * 2015-06-25 2018-07-03 西安理工大学 事故现场虚拟多关注视角转换的三维动态再现方法
CN105306890A (zh) * 2015-10-20 2016-02-03 中国科学院成都生物研究所 一种基于多模态信息的图像处理方法及生态相机伴侣系统
US10460534B1 (en) 2015-10-26 2019-10-29 Allstate Insurance Company Vehicle-to-vehicle accident detection
JP7043785B2 (ja) 2017-10-25 2022-03-30 株式会社Ihi 情報生成装置
CN109814721B (zh) * 2019-02-19 2022-04-12 湖北警官学院 基于vr技术的交通事故现场处置学习训练系统及方法
FR3095883A1 (fr) * 2019-05-09 2020-11-13 Psa Automobiles Sa Fourniture automatisée de données représentatives d’un accident d’un véhicule, par ce dernier et par des véhicules voisins
US11308741B1 (en) 2019-05-30 2022-04-19 State Farm Mutual Automobile Insurance Company Systems and methods for modeling and simulation in vehicle forensics
US10719966B1 (en) 2019-06-11 2020-07-21 Allstate Insurance Company Accident re-creation using augmented reality
US10977784B1 (en) 2019-11-26 2021-04-13 The Toronto-Dominion Bank System and method for photo-based estimation with fraud prevention
US11710278B2 (en) 2019-12-02 2023-07-25 International Business Machines Corporation Predictive virtual reconstruction of physical environments
CN111177887A (zh) * 2019-12-09 2020-05-19 武汉光庭信息技术股份有限公司 一种基于真实驾驶场景构造仿真轨迹数据的方法和装置
WO2022113196A1 (ja) * 2020-11-25 2022-06-02 日本電気株式会社 交通イベント再現システム、サーバ、交通イベント再現方法、及び非一時的なコンピュータ可読媒体
EP4036891A1 (en) * 2021-01-29 2022-08-03 Zenseact AB Unforeseen vehicle driving scenarios

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112580A (ko) 2015-03-20 2016-09-28 주식회사 엠디테크 Obd, gps 및 블랙박스 영상정보를 이용한 교통사고 현장 재현시스템 및 그 방법
KR20160112817A (ko) * 2015-03-20 2016-09-28 현대자동차주식회사 사고 정보 분석 장치, 이를 포함하는 서버 및 사고 정보 분석 방법
KR20180000202A (ko) * 2016-06-22 2018-01-02 한국전자통신연구원 보행항법 알고리즘 검증을 위한 참조 데이터 셋 구축 장치 및 방법
KR20180024756A (ko) * 2016-08-31 2018-03-08 아진산업(주) 다시점 블랙박스 영상 데이터를 이용한 교통사고 분석시스템
KR20180024757A (ko) * 2016-08-31 2018-03-08 아진산업(주) 다시점 블랙박스 카메라 영상을 이용한 도로교통정보 제공시스템
KR20210106079A (ko) 2020-02-20 2021-08-30 주식회사 트위니 이동로봇을 활용한 현장 3차원 복원 시스템 및 방법
CN115578433A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN115578433B (zh) * 2022-09-30 2023-09-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
KR102633427B1 (ko) * 2023-08-14 2024-02-07 주식회사 카비 교통사고 현장 재구성 리포트를 만드는 방법

Also Published As

Publication number Publication date
US20150029308A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
KR20150014264A (ko) 교통 사고 현장 재현 장치 및 방법
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
US9858717B2 (en) System and method for producing multi-angle views of an object-of-interest from images in an image dataset
KR101235815B1 (ko) 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
CN103248911B (zh) 多视点视频中基于空时结合的虚拟视点绘制方法
KR101314120B1 (ko) 3차원 도시 모델링 장치 및 방법
JP7058277B2 (ja) 再構成方法および再構成装置
EP3447730A1 (en) Three-dimensional reconstruction method
JP2005056295A (ja) ３６０度画像変換処理装置
KR101965878B1 (ko) 시각적 피처들을 이용한 이미지들의 자동 연결
KR100529401B1 (ko) 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법
JP2008527542A (ja) ナビゲーション及びインスペクションシステム
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
CN112750203B (zh) 模型重建方法、装置、设备及存储介质
US20120027371A1 (en) Video summarization using video frames from different perspectives
CN114067062A (zh) 一种真实驾驶场景仿真方法、系统、电子设备和存储介质
WO2004008744A1 (ja) 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
Edelman et al. Tracking people and cars using 3D modeling and CCTV
JP4272966B2 (ja) ３ｄｃｇ合成装置
CN114549595A (zh) 数据处理方法、装置、电子设备及存储介质
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
Tao et al. Automated processing of mobile mapping image sequences
Manuel et al. Videogrammetry in vehicle crash reconstruction with a moving video camera

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid