KR102660425B1 - 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 - Google Patents
블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 Download PDFInfo
- Publication number
- KR102660425B1 KR102660425B1 KR1020230077550A KR20230077550A KR102660425B1 KR 102660425 B1 KR102660425 B1 KR 102660425B1 KR 1020230077550 A KR1020230077550 A KR 1020230077550A KR 20230077550 A KR20230077550 A KR 20230077550A KR 102660425 B1 KR102660425 B1 KR 102660425B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- server
- vehicle
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 24
- 235000000332 black box Nutrition 0.000 title 1
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 230000000873 masking effect Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 3
- 238000007667 floating Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Remote Sensing (AREA)
- Primary Health Care (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 측면은, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버를 제공한다. 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버는, 적어도 하나의 프로세서(processor) 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다. 적어도 하나의 단계는, 차량의 카메라 모듈이 획득한 차량 주변 영상을 수신하는 단계, 수신된 영상을 분석하여 영상에 포함된 객체를 인식하고, 인식한 객체에서 지역 정보를 추출하는 단계, 인식한 객체를 모델링하여 3차원 객체 정보를 모델링하는 단계, 수신된 영상에서 지역 정보를 마스킹하고, 지역 정보를 제거하여 지리 정보를 구분하는 단계 및 지리 정보가 구분되면 구분된 지리 정보에 GPS 좌표, 크기, 겉보기 거리, 지리 정보 유형 중 적어도 하나를 포함하는 메타데이터를 매핑하는 단계를 포함할 수 있다.
Description
본 발명은 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법에 관한 것으로, 더욱 상세하게는 수신된 영상에서 객체를 검출하여 3차원 모델링하고, 지역정보 및 지리정보를 추출하는 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법에 관한 것이다.
자동차 산업의 발전 및 자율주행 기술의 연구 및 발전에 따라 이미지 객체 인식 분야 및 컴퓨터 비전 처리 기술은 많은 발전이 이뤄지고 있다. 또한, 최근 첨단 운전자 지원 시스템 등의 상용화에 따라 도로 환경을 포함하는 도로상의 객체들에 대한 인식 및 검출 기술이 요구되었으며, 다양한 센서를 통해 획득한 차량 주변의 정보를 분석하고 해석해야 하는 딥러닝 기술의 접목 또한 발전하게 되었다.
이동하는 차량의 관점에서 획득된 이미지는 주변 환경에 대한 정보를 실시간으로 획득할 수 있으며, 다른 차량, 보행자, 도로 표지판 및 신호등과 같은 주변 환경 정보에 대한 인식은 많은 개선 요구를 받고 있으나, 단순히 정적인 이미지의 분석은 급변하는 교통 환경에 실시간 또는 짧은 기간내에 효율적인 정보를 제공하기 어렵다는 단점이 존재한다.
이에 따라, 다수의 영상으로부터 도로를 포함하는 지역 및 지리적 정보를 검출하고, 실시간성을 반영할 수 있는 블랙박스 영상 합성 기반 3차원 객체 정보 획득 방법에 대한 연구가 필요한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면은, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버를 제공한다.
블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버는, 적어도 하나의 프로세서(processor) 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
적어도 하나의 단계는, 차량의 카메라 모듈이 획득한 차량 주변 영상을 수신하는 단계, 수신된 영상을 분석하여 영상에 포함된 객체를 인식하고, 인식한 객체에서 지역 정보를 추출하는 단계, 인식한 객체를 모델링하여 3차원 객체 정보를 모델링하는 단계, 수신된 영상에서 지역 정보를 마스킹하고, 지역 정보를 제거하여 지리 정보를 구분하는 단계 및 지리 정보가 구분되면 구분된 지리 정보에 GPS 좌표, 크기, 겉보기 거리, 지리 정보 유형 중 적어도 하나를 포함하는 메타데이터를 매핑하는 단계를 포함할 수 있다.
또한, 적어도 하나 이상의 차량으로부터 동일한 위치에 대해 연속된 시간의 영상을 적어도 하나 이상 수신하는 단계 및 수신된 적어도 하나 이상의 영상을 상호 비교하여 특정 시간대에만 존재하는 객체를 유동 객체로 결정하는 단계를 포함하고, 3차원 객체 정보를 모델링하는 단계는, 결정된 유동객체를 모델링 대상에서 제외할 수 있다.
또한 수신된 영상에서 업체의 상호 및 로고를 검출하는 단계, 수신된 영상에서 업체의 상호 및 로고가 미리 정해진 개수의 프레임에서 연속적으로 검출 되는지 확인하는 단계 및 포털 사이트를 통해 검출된 업체의 운영 상태, 운영 시간, 업종을 확인하여 추가 정보로 제공하는 단계를 포함할 수 있다.
또한, 수신된 영상은, 객체의 개수가 많고 지리가 급변하는 구간에서는 높은 프레임으로 이미지가 캡쳐되고, 동일한 패턴의 지리인 경우 낮은 프레임으로 이미지가 캡쳐된 영상일 수 있다.
이때, 영상을 수신하는 단계는, 서로 다른 시간에 서로 다른 차량으로부터 영상을 수신하고, 추출된 지역정보 및 구분된 지리정보들 중 동일한 지리적 위치에 존재하는 지역 정보 및 지리정보들을 클러스터링하는 단계를 더 포함할 수 있다.
상기와 같은 본 발명에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법을 이용할 경우에는 다수의 차량이 통행하며 획득한 영상 정보를 분석하여 실시간성과 정확성이 높은 지역정보 및 지리 정보를 획득할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버의 구동 환경을 나타낸 예시도이다.
도 2는 카메라 모듈의 일 예를 설명하기 위한 예시도이다.
도 3은 차량의 이동에 따라 획득한 영상을 분석하는 일 예를 설명하기 위한 도시한 예시도이다.
도 4는 서버의 영상 처리를 설명하기 위한 예시도이다.
도 5는 차량의 이동에 따라 획득한 영상을 분석하여 객체를 분리하는 일 예를 설명하기 위한 예시도이다.
도 6은 도 1에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버에 대한 하드웨어 구성도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
도 1은 본 발명의 일 실시예에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버의 구동 환경을 나타낸 예시도이다.
도 2는 카메라 모듈의 일 예를 설명하기 위한 예시도이다.
도 3은 차량의 이동에 따라 획득한 영상을 분석하는 일 예를 설명하기 위한 도시한 예시도이다.
도 4는 서버의 영상 처리를 설명하기 위한 예시도이다.
도 5는 차량의 이동에 따라 획득한 영상을 분석하여 객체를 분리하는 일 예를 설명하기 위한 예시도이다.
도 6은 도 1에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버에 대한 하드웨어 구성도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
도 1은 본 발명의 일 실시예에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버의 구동 환경을 나타낸 예시도이다.
도 1을 참조하면, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버(100)(이하, '서버(100)'라고 함)는 차량(110)에 탑재된 카메라 모듈(120)을 통해 차량(120)이 정차 및 이동중 카메라 모듈(120)을 통해 획득한 영상을 네트워크를 통해 획득할 수 있다.
이때, 차량(110)은 자동차(승용차), 트럭, 오토바이, 자전거, 버스, 기차, 트램, 비행기, 헬리콥터, 보트, 잠수함, 선박, 드론, 전기스쿠터, ATV, 스노모빌, 개인용 선박(예: 제트 스키), 골프 카트, 호버크래프트, 스케이트보드, 전기 스케이트보드, 세그웨이, UGV, UAV, 및 자율주행차 등 탈 것 및 이동 수단이 될 수 있으며, 다만, 이하 설명의 편의를 위해 "차량"으로 설명하기로 한다.
또한, 카메라 모듈(120)은 블랙박스, 대시캠, 후방 카메라, 측면 카메라, 수중 카메라, 적외선 카메라, 360도 카메라, 라이다 센서, 감시 카메라, 나이트 비전 카메라, 교통 카메라, 바디 카메라, 고속 카메라, 동작 감지 카메라, 충돌 방지 카메라, 차량 백업 카메라, 3D 카메라 중 적어도 어느 하나를 포함할 수 있고, 디지털 카메라 및 디지털 카메라가 포함된 전자장치를 의미할 수 있다. 다만, 이하 설명의 편의를 위해 '카메라 모듈'로 설명하기로 한다.
차량(110)에는 적어도 하나 이상의 카메라 모듈(120)이 장착될 수 있으며, 카메라 모듈(120)은 차량(110)의 이동에 따라 차량 주변의 이미지를 획득하여 영상을 수집할 수 있다.
한편, 차량(110)은 서버(100)와 유무선 네트워크 통신을 통해 상호 연결될 수 있으며, 카메라 모듈(120)을 통해 획득한 영상을 서버(100)에 전송할 수 있다.
또한, 차량(110)은 카메라 모듈(120)에서 촬영된 영상을 저장부에 저장하여 임시 또는 영구 보관할 수 있다.
한편, 서버(100)는 카메라 모듈(120)에서 촬영된 영상을 실시간 또는 서버(100)와 카메라 모듈(120)이 통신 가능한 영역에 진입하는 경우 일괄하여 유무선 네트워크를 통해 수신할 수 있다.
이때, 유무선 통신 방식은 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신 등 다양한 통신방법을 포함할 수 있으나, 이에 제한되는 것은 아니다. 한편, 서버(100)는 카메라 모듈(120)과 직접 연결되어 카메라 모듈(120)이 획득한 지리 정보를 직접 수신할 수 있으나, 이하에서는 설명의 편의를 위해 서버(100)는 차량(110)을 통해 카메라 모듈(120)이 획득한 영상을 유무선 네트워크를 통해 수신하는 것으로 설명한다.
서버(100)는 차량(110)을 통해 영상을 획득하면, 영상을 분석하여 영상에 포함된 객체를 인식하고, 인식한 객체에서 지역 정보를 추출할 수 있다.
또한, 서버(100)는 차량(110)을 통해 수신된 영상에서 객체가 구분되면, 연속된 영상을 사용하여 3차원 객체 정보를 모델링할 수 있다.
또한, 서버(100)는 차량(110)을 통해 수신된 영상에서 객체를 구분하고, 지역 정보를 추출하고, 추출된 지역 정보 및 유동 객체를 제거함으로써 3차원 객체 정보를 모델링할 수 있다.
여기서, 지역 정보는 교통 통행에 필요한 물건을 제외한 부동산으로, 예컨대, 공원, 호텔, 상가 건물, 광고 간판, 주택, 오피스 빌딩, 공공시설, 쇼핑몰, 백화점, 현지 법률, 지역 행사, 소음 수준, 기상 조건 및 지역 랜드마크 등이 포함될 수 있다.
또한, 지리정보는 교통과 직접적으로 관련 있는 정보로서 도로 표면, 교통 표지판, 교량, 위치 좌표(위도, 경도), 속도, 방향/방위, 이동 거리, 타임 스탬프, GPS 신호 강도, 로컬 중력, 지면 고도, 도로 기울기, 교통 정보 및 도로 상태와 같은 지리적 특징 정보를 포함할 수 있다.
도 2는 카메라 모듈의 일 예를 설명하기 위한 예시도이다.
도 1 및 도 2를 참조하면, 카메라 모듈(120)은 제1 영상 획득부(210), 제2 영상 획득부(220), 영상 처리부(230), 통신부 (240) 및 저장부(250)를 포함할 수 있다.
예를 들어, 제1 영상 획득부(210)는 차량(110)의 전면에 위치한 카메라가 될 수 있다. 이때, 제1 영상 획득부(210)는 차량의 전방을 촬영하여 진행 방향의 도로 및 주변 환경의 이미지를 연속적으로 캡쳐하여 영상을 생성할 수 있다.
일 예로, 제1 영상 획득부(210)는 주변의 광량과 객체의 개수에 따라 프레임 속도를 조절하여 영상을 생성할 수 있다. 예컨대, 객체의 개수가 많고 지리가 급변하는 구간에서는 높은 프레임으로 이미지를 캡쳐함으로써 많은 객체의 변화를 면밀하게 획득하고, 동일한 패턴의 지리(예: 연속 직진 도로)인 경우 낮은 프레임으로 이미지를 캡쳐함으로써 영상 품질을 향상시키면서, 영상 용량의 최적화를 달성할 수 있다.
예컨대, 제1 영상 획득부(210)는 차량(110)의 전면에 배치되어 차량(110) 진행 방향의 이미지를 캡쳐하여 다른 차량, 도로 표지판, 주요 건물, 구조물 및 보행자를 식별할 수 있다.
또한, 다른 실시예에 따르면, 제1 영상 획득부(210)는 적외선 또는 열화상 카메라일 수 있으며, 이를 통해, 제1 영상 획득부(210)는 가시광선이 없는 경우에도 차량이 동물, 사람 및 사물을 포함하는 물체의 열 신호를 감지할 수 있어, 어둡거나 가시성이 좋지 않은 조건에서 지리 정보를 포함하는 영상을 획득할 수 있다.
한편, 제2 영상 획득부(220)는 차량(110)의 제1 영상 획득부(210)과 미리 정해진 거리만큼 이격되어 설치된 별도의 카메라일 수 있다. 예를 들어, 제2 영상 획득부(220)는 제1 영상 획득부(210)와 다른 종류의 카메라를 통해 영상을 획득할 수 있다.
일 예로, 제1 영상 획득부(210)가 일반 디지털 카메라인 경우, 제2 영상 획득부(220)는 적외선 카메라를 사용하여 안개가 많거나 야간 등 가시광선에 의해 영상을 확보하기 어려운 경우에도 적외선에 기초한 영상을 확보하여 제1 영상 획득부(210)를 통해 확보한 영상과 함께 보다 정확한 영상을 획득할 수 있다.
한편, 제2 영상 획득부(220)는 제1 영상 획득부(210)와 다른 방향, 예컨대, 차량(110)의 후면 또는 측면에 배치하여 일반적으로 운전자의 사각지대에 있는 영역의 이미지를 캡쳐함으로써 영상을 획득할 수 있다.
또한, 제2 영상 획득부(220)는 제1 영상 획득부(210)와 동일한 유형의 카메라로서 일정 거리 이격되어 설치됨으로써 동일한 장면에 대한 다른 위치의 이미지로부터 깊이를 측정하고 촬영 환경의 3차원 영상을 획득할 수 있다.
예를 들어, 제1 영상 획득부(210) 및 제2 영상 획득부(220)는 상대 위치 및 방향을 포함하여 카메라 간의 기하학적 관계와 초점 거리 및 광학 중심 위치를 포함하는 광학 속성을 식별하고, 동일한 시간에 찍힌 둘 이상의 이미지에 대해 광학 속성을 반영하여 이미지를 보정할 수 있다.
그 다음, 이미지가 보정되면 영상 처리 알고리즘을 사용하여 두 이미지 간의 시차를 계산할 수 있다. 이때, 시차는 두 이미지에서 점의 x 좌표 차이를 의미할 수 있다. 일 예로, 어느 하나 이미지의 각 픽셀에 대해 영상처리 알고리즘은 다른 이미지의 동일한 라인을 따라 가장 일치하는 픽셀을 찾고, 다른 이미지에서 일치하는 픽셀의 위치를 찾아, 두 픽셀 사이의 거리를 측정함으로써, 시차를 계산할 수 있다. 일 예로, 블록매칭, 준글로벌 블록매칭 및 그래프 컷 알고리즘을 사용하여 시차를 산출할 수 있으며, 시차 맵을 생성하고 아래의 수학식을 통해 깊이 정보를 추정할 수 있다.
여기서 Z는 깊이, f는 카메라의 초점 거리, T는 거리를 의미하고, d는 시차로서 카메라간 거리를 의미한다. 이를 통해, 제1 영상 획득부(210) 및 제2 영상 획득부(220)로부터 이미지의 객체까지의 깊이를 추정할 수 있다.
깊이 정보가 추정되고 나면, 이미지의 3D 구조를 재구성할 수 있다. 예를 들어, 이미지의 각 픽셀은 깊이와 함께 이미지의 x 및 y 좌표를 사용하여 3D 포인트로 변환될 수 있다. 이러한 모든 3D 포인트 세트는 이미지의 3D 구조를 나타내는 포인트 클라우드를 형성할 수 있다. 또한, 포인트 클라우드는 3D 메쉬 또는 다른 유형의 3D 모델을 형성하기 위해 추가적인 알고리즘에 의해 산출될 수 있다.
한편 영상 처리부(230)는 제1 영상 획득부(210) 및 제2 영상 획득부(220)로부터 획득한 영상을 처리할 수 있다. 예를 들어, 영상 처리부(230)는 제1 영상 획득부(210) 및 제2 영상 획득부(220)로부터 촬영된 영상을 획득하면, 촬영된 영상에 포함된 노이즈를 필터링 할 수 있다.
예를 들어, 야간이나 저조도 조건에서 획득된 이미지에는 높은 수준의 노이즈가 포함될 수 있으며, 영상 처리부(230)는 노이즈가 포함된 픽셀을 선별하여 노이즈를 필터링함으로써 객체 인식 모델이 이미지를 더 선명하고 쉽게 인식하도록 할 수 있다.
일 예로, 가우시안 필터를 사용함으로써 이미지를 컨볼루션 함으로써 노이즈를 제거할 수 있으며, 이는 노이즈로 인한 픽셀값의 급격한 변화를 평균화함으로써 주변 픽셀들의 노이즈로 인한 영향을 감소시킬 수 있다. 또한, 각 픽셀의 값을 주변 픽셀의 중앙값으로 대체하는 중간값 필터를 사용함으로써 노이즈를 제거할 수 있다.
영상 처리부(230)는 영상의 객체를 보다 분명하게 검출할 수 있도록, 색상 대비, 밝기 및 색상 균형과 같이 색상 정보를 조정하여 이미지를 향상시킬 수 있다.
예를 들어, 영상의 노출이 부족한 경우 그림자 영역에 있는 개체의 세부 정보가 손실될 수 있다. 이때, 영상 처리부(230)는 히스토그램 균등화와 같은 기술을 사용하여 대비를 높이고 이러한 세부 정보를 가져와 해당 영역에서 개체를 인식하는 개체 인식 모델의 기능을 향상시킬 수 있다.
히스토그램 균등화는 이미지 향상에 사용되는 알고리즘 중 하나로서, 가장 빈번한 강도 값을 분산시켜 이미지의 전체 대비를 높일 수 있다. 이를 통해 그림자와 하이라이트를 더 뚜렷하게 만들 수 있으며, 영상에서 특징의 가시성을 향상시킬 수 있다.
또한, 영상 특징 향상을 위해 영상 처리부(230)는 영상의 가장자리 및 기타 고주파 구성 요소를 증강하여 선명화를 할 수 있다. 한편, 영상 처리부(230)는 이미지에서 객체 인식에 유용한 특징을 추출할 수 있다. 예컨대, 특징은 객체의 가장자리, 모서리, 텍스처, 색상, 모양 또는 한 객체를 다른 객체와 구별하는 데 도움이 되는 기타 객체의 특성이 포함될 수 있다.
예를 들어, 이미지에서 차량을 인식하려고 할 때 영상 처리부(230)는 가장자리 감지 알고리즘을 사용하여 차량의 윤곽을 식별할 수 있으며, 색상 히스토그램을 사용하여 다양한 색상의 차량을 구별할 수 있다.
일 예로, 영상에서 특징을 추출하기 위해 영상 처리부(230)는 SIFT(Scale-Invariant Feature Transform) 알고리즘을 통해 특징을 추출할 수 있다.
예컨대, SIFT는 이미지의 특징점을 식별하고 스케일, 방향 및 아핀(affine) 왜곡에 대해 변하지 않는 각 특징점에 대한 디스크립터를 생성할 수 있다. 한편, 영상 처리부(230)는 CNN(Convolutional Neural Networks)과 같은 딥 러닝 모델을 사용하여 특징을 추출할 수 있다. 예를 들어, CNN은 레이블이 지정된 대규모 이미지 데이터 세트에 대한 학습을 통해 개체 인식과 같은 주어진 작업에 가장 유용한 특징을 추출하는 방법을 학습할 수 있다.
또한, 영상 처리부(230)는 제1 영상 획득부(210) 및 제2 영상 획득부(220)로부터 획득한 영상을 보강하여 원본 영상의 변형을 생성하여 물체 인식 모델을 위한 훈련 데이터를 확장할 수 있다. 예를 들어, 원본 영상의 변형은 배율, 회전, 변환 또는 기타 변형의 변형이 포함될 수 있다.
예를 들어, 원본 이미지가 특정 각도의 차량만 표시하는 경우 영상 처리부(230)는 다른 각도의 차량을 보여주는 추가 이미지를 생성할 수 있으며, 이는 물체 인식 모델이 모든 각도에서 차량을 인식하는 방법을 학습하여 다용도성과 정확성을 향상시킬 수 있다.
다만, 영상처리부(230)는 카메라 모듈(120)에 포함되지 않을 수 있으며, 영상 처리부(230)의 기능은 후술하는 서버(100)에서 통합 수행될 수 있다.
통신부(240)는 블루투스(Bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 이용하여 서버(100)와 통신할 수 있다. 그러나, 이는 일 예에 불과할 뿐이며, 이에 한정되는 것은 아니다.
저장부(250)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 등 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 카메라 모듈(120)은 인터넷 상에서 저장부(250)의 저장 기능을 수행하는 웹 스토리지(web storage) 등 외부 저장 매체를 운영할 수도 있다.
도 3은 차량의 이동에 따라 획득한 영상을 분석하는 일 예를 설명하기 위한 도시한 예시도이다.
도 1 및 도 3을 참조하면, 차량(110)은 그 이동 경로(301 내지 306)에 따라 객체(310)를 인식할 수 있다. 예를 들어, 차량(110)이 이동함에 따라 경로(301 내지 306)상에서 차량(110)의 위치가 변경되고, 차량(110)의 카메라 모듈(120)이 촬영하는 객체(310)의 모습은 다각적으로 변경될 수 있다.
예를 들어, 카메라 모듈(120)은 차량(110)의 이동에 따라 연속적으로 획득되는 이미지를 서로 정합하여 저장할 수 있다. 일 예로, 카메라 모듈(120)은 SURF(Speeded-Up Robust Features) 또는 SIFT(Scale-Invariant Feature Transform) 알고리즘을 사용하여 이미지에서 특징점을 추출하고 디스크립터를 계산할 수 있다. 그 다음, 카메라 모듈(120)은 FLANN(Fast Library for Approximate Nearest Neighbors)를 포함하는 매칭 알고리즘을 사용하여 두 이미지의 디스크립터를 일치시킬 수 있으며, RANSAC(Random Sample Consensus) 알고리즘과 같은 컴퓨터 비전 알고리즘을 사용하여 이미지를 정렬하는 기하학적 변환을 산출함으로써 이미지를 정렬할 수 있다.
또한, 카메라 모듈(120)은 이미지 내의 물체를 감지하기 위해 CNN(Convolutional Neural Networks) 기반의 딥러닝 학습 모델을 사용할 수 있다. 일 예로, 카메라 모듈(120)은 실시간 객체 감지를 위해 비교적 연산이 빠른 YOLO(You Only Look Once) 알고리즘을 사용할 수 있다. 예컨대, 연속적으로 획득되는 이미지에서 객체가 감지되면 칼만 필터 또는 헝가리 알고리즘과 같은 객체 추적 알고리즘을 사용하여 현재 프레임의 객체를 이전 프레임의 해당 객체와 연결함으로써 시간이 지남에도 불구하고 연속적으로 객체를 추적할 수 있다.
또한, 카메라 모듈(120)은 연속적으로 획득되는 영상의 객체(310)의 형태를 추정할 수 있다. 예를 들어, 카메라 모듈(120)은 객체에 대해 간단한 형태의 박스를 마스킹하여 객체의 윤곽보다 큰 형태로서 복잡한 형태의 객체의 형태를 추정할 수 있다. 일 예로, 윤곽선은 Canny edge Detector와 같은 엣지 검출 알고리즘을 사용하여 획득할 수 있다. 이때, 산출된 객체에 대한 등고선에서 종횡비, 조밀성 또는 푸리에 디스크립터와 같은 더 복잡한 모양 디스크립터를 산출할 수 있다. 객체의 형상 추정에 있어 촬영되는 영상에서 객체의 위치 및 방향에 대해 그 형상이 변하지 않도록 하기 위해 카메라 모듈(120)은 윤곽선을 표준 크기로 조정하거나 표준 방향으로 회전하는 등의 정규화를 수행할 수 있다.
또한, 카메라 모듈(120)에서 차량(110)의 이동에 따라 촬영된 영상의 객체(310)는 그 이동에 따라 형상이 변경될 수 있으므로, 연속된 이미지의 객체 형상 디스크립터를 비교하여 객체의 모양 변환을 추정할 수 있다.
예컨대, 객체의 윤곽 기반 모양 디스크립터의 경우 한 집합의 한 지점에서 다른 집합의 가장 가까운 지점까지의 모든 거리 중 가장 큰 거리를 계산하는 하우스도르프 거리와 같은 보다 정교한 거리 측정을 사용함으로써 차량(110)의 이동에 따른 영상내 객체(310)의 모양 변화를 추정할 수 있다.
한편, 카메라 모듈(120)이 둘 이상의 카메라를 포함하는 경우, 카메라 모듈(120)은 객체 또는 카메라의 움직임으로 인해 발생하는 두 개의 연속 프레임 사이에서 이미지 객체의 움직임 패턴을 추정함으로써 옵티컬 플로우를 산출할 수 있다.
예를 들어, Lucas-Kanade 또는 Farneback 알고리즘은 기본적으로 움직임을 추정하기 위해 시간 경과에 따른 픽셀 강도의 변화를 검출할 수 있으며, 옵티컬 플로우가 산출되면 객체의 픽셀이 한 프레임에서 다음 프레임으로 이동하는 방식을 추정할 수 있고, 이를 통해 영상내 객체의 움직임을 추정할 수 있다.
도 4는 서버의 영상 처리를 설명하기 위한 예시도이다. 도 4를 참조하면, 서버(400)는 영상 수신부(410), 제1 필터부(420), 지역정보 추출부(430), 3D 영상 모델링부(440) 및 지리정보 추출부(450)를 포함할 수 있다.
영상 수신부(410)는 차량(110)의 카메라 모듈(120)로부터 차량(110)이 이동하며 서로 다른 위치에서 획득한 영상을 수신할 수 있다. 이때, 영상 수신부(410)는 유무선 네트워크를 통해 실시간으로 영상을 수신할 수 있으며, 이에 제한되지 않고, 차량(110)이 유무선 네트워크가 가능한 영역에 진입하는 경우 차량(110)의 주행에 따라 획득된 영상을 일괄로 수신할 수 있다.
예를 들어, 영상 수신부(410)는 서로 다른 적어도 하나 이상의 차량(110)으로부터 수신되는 영상을 획득할 수 있다. 예를 들어, 동일한 객체는 해당 영역을 지나가는 서로 다른 많은 차량들에 의해 촬영될 수 있다. 이때, 영상 수신부(410)는 서로 다른 차량에서 서로 다른 시간에 수신되는 영상을 수신할 수 있다.
제1 필터부(420)는 다수의 차량에서 수집된 영상을 필터링하여 전처리를 통해서도 수신된 영상을 사용하기에 부적절한 경우, 예컨대 표준화하기에 표본 데이터가 지나치게 적거나, 노이즈가 심한 영상을 필터링 하여 제거할 수 있다. 예를 들어, 제1 필터부(420)는 가우시안 블러, 중앙값 필터링과 같은 노이즈 필터링 기술을 통해 노이즈를 제거하고 영상을 처리할 수 있다. 한편, 제1 필터부(420)는 앞서 도 2를 참조하여 설명한 영상처리부(230)의 기능을 수행할 수 있으며, 카메라 모듈(120)이 영상처리부(230)의 기능을 포함하지 않는 경우 서버(100)의 제1 필터부(420)가 해당 기능을 수행할 수 있다.
지역정보 추출부(430)는 필터링 된 영상에서 객체를 인식하고 차량(110)의 이동 경로 상의 지역 정보를 추출할 수 있다.
여기서, 지역 정보는 교통과는 직접적으로 관련이 없으나, 해당 지역의 생활에 필요한 시설들에 대한 정보를 포함할 수 있다. 일 예로, 상가 건물에 속한 상가의 운영 시간, 계속 영업 및 폐업 여부, 실시간 운영 여부, 시설 이용 가부 대기 여부 및 예상 대기 시간과 같은 지역의 생활 시설의 이용과 관련된 정보를 추출할 수 있다.
일 예로, 지역정보 추출부(430)는 수신한 영상에서 객체를 인식하고, 객체를 적어도 하나 이상의 지역 정보에 속하는 카테고리로 분류할 수 있다.
지역정보 추출부(430)는 영상 수신부(410)를 통해 수신한 이미지의 각 프레임에 대해 다중 모드 객체 감지 및 인식(MODR, Multi-modal Object Detection and Recognition)은 YOLOv4 또는 Faster R-CNN과 같은 CNN(Convolutional Neural Networks)을 사용하여 건물, 간판, 랜드마크, 차량 및 보행자와 같은 다양한 객체를 감지하고 식별할 수 있다. 또한, 지역정보 추출부(430)는 의미론적 분할(semantic segmentation)을 사용하여 영상의 컨텍스트를 이해하고 이미지를 적어도 하나 이상의 카테고리(예: 도로, 보도, 건물 등)를 나타내는 세그먼트로 구분할 수 있다. 이때, 지역정보 추출부(430)는 촬영된 영상이 3D카메라 또는 스테레오 카메라로서 깊이 정보를 포함하는 경우 감지 정확도를 개선하기 위해 공간에 대한 추가 컨텍스트를 제공할 수 있다.
그 다음, 지역정보 추출부(430)는 검출된 객체를 적어도 하나 이상의 컨텍스트를 사용하여 컨텍스트 객체 분류(COC, Contextual Object Classification)를 수행할 수 있다. 일 예로, 지역정보 추출부(430)는 CNN 기반의 딥러닝 학습 모델을 기초로 건물을 모양, 크기, 위치, 주변 물체 등에 따라 '쇼핑몰' 또는 '주거용 건물'로 분류할 수 있다.
또한, 지역정보 추출부(430)는 시간(예: 낮/밤), 기상 조건, 심지어 지역 문화 측면과 같은 상황 정보를 기초로 객체를 분류할 수 있다. 일 예로, 특정 지역의 공원 근처에 위치한 음식점이 서비스를 제공하지 않을 때에는 간판에 전등이 꺼지는 특징을 지속적으로 검출하는 경우, 전등의 켜짐과 꺼짐 시기를 검출함으로써 해당 음식점의 영업 시간을 추정할 수 있다.
그 다음, 지역정보 추출부(430)는 감지된 객체에서 보다 상세한 객체 정보를 추출하는 세부 정보 추출(FGIE, Fine-grained Information Extraction)을 수행할 수 있다. 예를 들어, 수신된 영상에서 쇼핑몰의 간판이 검출된 경우, 지역정보 추출부(430)는 특수 데이터 세트에서 훈련된 Google의 Tesseract와 같은 OCR 알고리즘을 사용하여 쇼핑몰의 상호, 운영시간 및 연락처를 획득할 수 있다. 일 예로, LogoNet와 같은 특수 이미지 인식 모델을 기초로 쇼핑몰의 로고를 인식함으로써 특정 브랜드나 매장을 식별할 수 있다.
또한, 지역정보 추출부(430)는 수신한 영상의 각 프레임에 대해 시계열적 일관성을 확인하는 임시 일관성 검사(TCC, Temporal Consistency Check)를 수행할 수 있다. 예컨대, 지역정보 추출부(430)는 수신된 영상에 포함된 연속된 프레임에서 업체의 상호 및 로고가 미리 정해진 개수의 프레임에서 연속적으로 검출되는지 확인하고, 미리 정해진 개수의 프레임에서 동일한 업체의 상호 및 로고가 감지되는 경우 해당 감지가 정확한 것임을 확인할 수 있다. 예컨대, 지역정보 추출부(430)는 수신된 영상에서'호텔' 표지판이 미리 정해진 개수의 프레임에서 연속적으로 검출되는 경우 감지된 '호텔'이 정확하게 감지된 것임을 확인할 수 있다. 다시 말하면, 지역 정보 추출부(430)는 수신된 영상에 포함된 연속된 프레임에서 객체의 일관된 검출을 확인함으로써 검출된 객체의 감지 정확성을 증대시킬 수 있다.
여기서, 지역정보 추출부(430)는 Kanade-Lucas-Tomasi(KLT) 특징 추적기와 같은 추적 알고리즘을 사용하여 시간에 따라 연속된 프레임에서 걸쳐 감지된 객체를 추적할 수 있다.
또한, 지역정보 추출부(430)는 다양한 외부 데이터 소스로부터 데이터를 확대하여 보강할 수 있다. 예를 들어, 지역정보 추출부(430)는 업체의 상호(예: 이그나이트) 및 로고가 검출되면 유무선 네트워크를 통한 포털 사이트(예: Google 또는 Naver)을 통해 해당 업체의 운영 상태, 운영 시간, 업종을 확인하고 업체 정보를 추가 정보로 제공할 수 있다. 또한, 이에 제한되지 않으며, 확대 및 보강된 데이터를 지역정보 추출부(430)는 검출한 데이터와 교차검증 함으로써 검출된 데이터의 신뢰성을 확보할 수 있다. 또한, 지역정보 추출부(430)는 외부 데이터 소스로부터 검출된 객체에 대한 부가 정보로서 리뷰 및 평점을 제공할 수 있다.
지역정보 추출부(430)는 이와 같이 검출 및 검증된 정보를 병합하여 지역 정보를 생성할 수 있다.
한편, 지역정보 추출부(430)에 의해 수신된 영상에서 객체가 검출되고 나면, 제2 필터링부는 검출된 객체를 적어도 하나 이상의 카테고리로 분류할 수 있다. 예를 들어, 영상 수신부(410)에서 서로 다른 시간에 서로 다른 차량(110)으로부터 수신된 영상을 수신하면, 지역정보 추출부(430)는 서로 다른 차량(110)으로부터 수신된 영상에서 추출된 객체들을 식별하고, 동일한 지리적 위치에 존재하는 동일한 객체들을 클러스터링 할 수 있다. 즉, 객체가 인식되고, 인식된 객체가 지역정보 및 지리정보로 구분되면, 제2 필터링부는 추출된 지역정보 및 구분된 지리정보들 중 동일한 지리적 위치에 존재하는 지역정보 및 지리정보들을 클러스터링하여 관리할 수 있다.
그 다음, 3D 영상 모델링부(440)는 연속된 영상의 이미지가 촬영된 카메라의 자세를 추정하여, 검출된 객체를 3차원 모델링할 수 있다. 예를 들어, 3D 영상 모델링부(440)는 SfM(Structure from Motion) 프로세스를 통해 수신된 영상이 촬영된 카메라의 자세를 추정할 수 있다. 예컨대, 3D 영상 모델링부(440)는 다양한 각도에서 촬영된 2차원, 3차원 사진 또는 동영상을 포함하는 이미지를 기초로 각 사진, 동영상의 각 영상 프레임별 카메라의 자세를 추정할 수 있다.
SfM(Structure from Motion)은 컴퓨터 비전 기술로, 하나 이상의 2D 이미지(예: 동일한 객체에 대해 연속하여 촬영된 2D 이미지)를 사용하여 3차원 구조를 재구축(Reconstruction)하는 기법중 하나이다. SfM은 카메라가 객체를 지나면서 촬영한 이미지에 포함된 특징들의 움직임 또는 위치 변화를 이용하여 3차원 구조를 추론할 수 있다.
예를 들어, SfM 알고리즘은 특징을 추출하고(Feature Extraction), 2D 이미지내에서 특징들을 매칭하고(Feature Matching), 번들 조절 기법을 사용하여 다수의 이미지에서 카메라의 움직임과 객체의 3차원 구조를 산출할 수 있다.
또한, SfM을 사용하는 경우 객체의 3D 구조를 재구성하기 위해 각 이미지에 대한 카메라 자세를 시퀀스로 추정하며, 예컨대, 카메라의 위치(x, y, z 좌표)와 회전(pitch, yaw, roll, 각도 등)을 추정할 수 있다.
예를 들어, 3D 영상 모델링부(440)는 SfM을 통해 카메라의 자세를 추정하고, 여러 이미지들 사이에 특징점을 추적함으로써 여러 사진들에 대한 카메라의 자세들 사이의 상대적 움직임을 사용하여 특징점의 3차원 위치를 삼각측량하여 희소 3차원 포인트(sparse 3D points)를 기초로 3차원 모델을 생성하여 3차원 객체 모델링 파일을 생성할 수 있다. 여기서 특징점은 수신된 이미지에서 검출된 적어도 하나의 객체가 될 수 있으며, 예컨대, 각 이미지에 포함된 객체의 윤곽, 특징점, 객체 중심점 등이 될 수 있다.
이때, 3D 영상 모델링부(440)는 MVS(Multiview View Stereo)를 사용하여 2차원 이미지들로부터 밀도가 높은 3차원 모델을 생성할 수 있다. 예컨대, SfM에서 추정한 카메라 자세와 3차원 포인트를 획득한 다음 포토메트릭 스테레오를 사용하여 이미지의 각 픽셀에 대한 표면 법선과 깊이를 추정할 수 있다.
여기서, 3D 영상 모델링부(440)는 SfM 프로세스로 추정된 여러개의 카메라 자세들을 쌍으로 짝지어서 스테레오 짝(stereo pair)을 생성할 수 있다. 이때, 3D 영상 모델링부(440)는 스테레오 짝에 해당하는 각 이미지들을 딥러닝 기반 스테레오 깊이 맵 추정(deep learning based stereo depth map estimation)을 사용하여 깊이맵(depth map)을 생성할 수 있다.
예컨대, SfM을 통해 카메라 자세를 추정할 사진이 P1~Pk(예: k개의 시리즈 사진)개 존재하고, P1~Pk개의 사진은 시간의 순서에 따라 촬영된 것이라 가정할 때, 3D 영상 모델링부(440)는 시간순으로 가장 인접하여 촬영된 Pn과 Pn+1 사진을 스테레오 짝으로 생성할 수 있다. 시간의 순서에 따라 촬영된 시리즈 사진들은 인접한 시간에 촬영된 사진에서, 가장 적은 카메라의 자세 차이(예: 카메라의 자세, 각도, 피치, 롤, 요, 위치 등)가 적을 수 있다. 이를 통해 3D 영상 모델링부(440)는 다수의 사진으로 구현된 멀티뷰(Multi view)를 스테레오 뷰(Stereo view)로 짝지어 깊이맵(depth map)을 생성함으로써, 보다 정교한 3차원 객체 모델링 파일을 생성할 수 있다.
한편, 3D 영상 모델링부(440)는 서로 다른 차량에서 촬영된 영상에 기반하여 클러스터링된 동일한 지리적 위치에 존재하는 동일한 객체들에 대해, 해당 객체가 촬영된 시각 및 카메라 자세 차이를 검출하고, 촬영된 시각 및 카메라 자세 차이가 가장 적은 이미지끼리 스테레오뷰로 짝지어 깊이 맵을 생성함으로써 보다 정교한 3차원 객체 모델링 파일을 생성할 수 있다.
또한, 3D 영상 모델링부(440) 희소 3차원 포인트 클라우드(point cloud)와 카메라 자세를 기초로 표면(surface)을 추정하기 위한 알고리즘(예: Poisson surface reconstruction, view-dependent simplification 등)을 적용하여 객체의 표면을 커버하는 조밀한 3차원 포인트(Dense 3D point) 클라우드를 생성하여 객체의 3D 텍스처 메쉬를 생성할 수 있다.
다시 말하면, 3D 영상 모델링부(440) 2차원 이미지 상에서 SfM을 사용하여 카메라의 자세를 추정하고 희소 3D 포인트 클라우드를 생성하고, MVS는 SfM을 통해 생성된 희소 3D 포인트 클라우드의 전체 표면(Surface)을 덮는 조밀한 3D 포인트 클라우드 또는 3D 텍스처 메쉬를 생성하여 3D 이미지를 생성할 수 있다. 한편, 후술하는 바와 같이, 지리정보 추출부(450)에 의해 유동 객체로 결정된 객체는 3D 영상 모델링부(440)에서 3차원 모델링을 수행하지 않을 수 있다.
지리 정보 추출부(450)는 획득된 영상에서 검출된 지역 정보를 마스킹하고, 지역 정보를 제거함으로써 온전한 지리 정보만을 구분 및 추출할 수 있다.
일 예로, 지리 정보 추출부(450)는 영상을 분석하여 도로 옆의 대형 광고판이 지역 정보로서 식별되었다고 가정할 때, 대형 광고판은 영상에서 특정 직사각형 형태로 식별될 수 있다(예: 왼쪽 상단의 픽셀 좌표(x1, y1) 및 오른쪽 하단의 픽셀 좌표(x2, y2)). 이때, 지리 정보 추출부(450)는 대형 광고판을 식별하는 좌표의 크기와 동일한 크기의 마스크 이미지를 생성할 수 있다.
한편, 지리 정보 추출부(450)는 수신된 영상에서 마스킹된 지역 정보를 제거함으로써 영상에서 지리 정보만을 획득할 수 있다. 또한, 지리 정보 추출부(450)는 획득된 영상에서 지리 정보 및 지역정보와 무관한 유동 객체(예: 사람, 동물, 나무, 폐기물과 같이 임시적으로 존재하는 객체)를 식별하여 제거할 수 있다.
예를 들어, 지리 정보 추출부(450)는 연속적으로 획득된 이미지의 세트에서 미리 정해진 일정 시간차를 두고 수신된 영상정보를 상호 비교하여 특정 시간대에만 존재하는 객체들은 지리정보 및 지역정보와 무관한 유동 객체인 것으로 결정하여, 마스킹 처리 후 영상에서 제거할 수 있다. 예를 들어, 지리정보 추출부(450)는 적어도 하나 이상의 차량으로부터 동일한 위치에 대해 연속된 시간의 영상을 적어도 하나 이상 수신할 수 있다. 이때, 지리 정보 추출부(450)는 수신된 적어도 하나 이상의 영상을 상호 비교하여 특정 시간대에만 존재하는 객체를 유동 객체로 결정하고, 유동 객체를 제거함으로써 수신된 영상에서 지리정보 및 지역 정보만을 추출할 수 있다.
이를 통해, 지리 정보 추출부(450)는 영상에서 지역정보 및 지리 정보와 무관한 정보들을 제거할 수 있으며, 개인의 불필요한 사생활 침해를 사전에 예방할 수 있다.
지역정보 및 유동 객체를 제거하고 나면, 지리 정보 추출부(450)는 지리 정보를 획득할 수 있다. 예를 들어, 지리 정보 추출부(450)는 도로 표면, 교통 표지판, 교량 등과 같은 지리적 특징 감지를 위해 미리 훈련된 딥러닝 모델(예: CNN, YOLO, SSD 또는 Faster R-CNN를 포함하는 객체 감지 모델)을 통해 지리 정보를 수집하고 인식할 수 있으며, 각 지리정보에 레이블을 지정할 수 있다.
한편, 지리 정보 추출부(450)는 Mean Shift 또는 CAMShift(Continuously Adaptive Mean Shift)와 같은 추적 알고리즘을 사용하여 연속된 여러 프레임에서 감지된 객체, 즉 지리 정보를 추적하여 검출한 지리정보의 정확성을 확보할 수 있다. 일 예로, 지리 정보 추출부(450)는 연속된 여러 프레임에서 감지되지 않는 객체, 예컨대 차량 앞유리에 일시적으로 반사되거나 차량 내부 물체들의 움직임을 지리 정보가 아닌 것으로 판단하고 제거할 수 있다.
지리 정보 추출부(450)는 지리 정보가 구분되고 추출되면, 구분된 지리 정보에 메타데이터(예: GPS 좌표, 크기, 겉보기 거리, 지리 정보 유형 등)를 매핑하여 데이터베이스 또는 지리 정보 시스템으로 생성 및 저장할 수 있다.
도 5는 차량의 이동에 따라 획득한 영상을 분석하여 객체를 분리하는 일 예를 설명하기 위한 예시도이다.
도 1 및 도 5를 참조하면, 차량(110)은 그 이동 경로(501 내지 506)에 따라 객체(510, 520)를 인식할 수 있다. 예를 들어, 차량(110)이 이동함에 따라 경로(501 내지 506)가 변경되고 차량(110)의 카메라 모듈(120)이 촬영하는 객체(510, 520)의 모습은 다각적으로 변경될 수 있다.
이때, 차량(110)의 카메라 모듈(120)을 통해 촬영되는 객체(510, 520) 중 사람(510)의 경우 그 움직임 또는 시간의 변화에 따라 그 위치에 존재하였다가 존재하지 않게 될 수 있으나, 건물(520)의 경우 시간의 변화에도 동일한 위치에서 계속 촬영된 영상에 포함될 수 있다.
이때, 서버(100)는 사람과 같이 움직임 또는 시간의 변화에 따라 변화하는 유동 객체(510)를 마스킹하고, 제거할 수 있다.
이를 통해, 서버(100)는 촬영된 영상에서 정확한 지역정보를 추출하고, 검출된 지역 정보를 제거하여 지리 정보를 획득할 수 있으며, 유동 객체(510)를 제거함으로써 사생활 및 개인정보의 보호와 보관 데이터 용량을 감소시킬 수 있다.
도 6은 도 1에 따른 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버에 대한 하드웨어 구성도이다.
도 6을 참조하면, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버(600)는, 적어도 하나의 프로세서(processor, 610) 및 적어도 하나의 프로세서(6610)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 620)를 포함할 수 있다.
여기서 적어도 하나의 프로세서(610)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(620) 및 저장 장치(660) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(620)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버(600)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver, 630)를 포함할 수 있다. 또한, 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 (600)는 입력 인터페이스 장치(640), 출력 인터페이스 장치(650), 저장 장치(660) 등을 더 포함할 수 있다. 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버(600)에 포함된 각각의 구성 요소들은 버스(bus, 670)에 의해 연결되어 서로 통신을 수행할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (5)
- 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버로서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들을 저장하는 메모리를 포함하고,
상기 적어도 하나의 단계는,
차량의 카메라 모듈이 획득한 차량 주변 영상을 수신하는 단계;
상기 수신된 영상을 분석하여 상기 영상에 포함된 객체를 인식하고, 인식한 상기 객체에서 지역 정보를 추출하는 단계;
상기 인식한 객체를 모델링하여 3차원 객체 정보를 모델링하는 단계;
상기 수신된 영상에서 상기 지역 정보를 마스킹하고, 상기 지역 정보를 제거하여 지리 정보를 구분하는 단계;
상기 지리 정보가 구분되면 구분된 지리 정보에 GPS 좌표, 크기, 겉보기 거리, 지리 정보 유형 중 적어도 하나를 포함하는 메타데이터를 매핑하는 단계;
상기 수신된 영상에서 업체의 상호 및 로고를 검출하는 단계;
상기 수신된 영상에서 상기 업체의 상호 및 로고가 미리 정해진 개수의 프레임에서 연속적으로 검출 되는지 확인하는 단계; 및
포털 사이트를 통해 상기 검출된 업체의 운영 상태, 운영 시간, 업종을 확인하여 추가 정보로 제공하는 단계;를 포함하는,
서버.
- 청구항 1에서,
적어도 하나 이상의 차량으로부터 동일한 위치에 대해 연속된 시간의 영상을 적어도 하나 이상 수신하는 단계; 및
상기 수신된 적어도 하나 이상의 영상을 상호 비교하여 특정 시간대에만 존재하는 객체를 유동 객체로 결정하는 단계;를 포함하고,
상기 3차원 객체 정보를 모델링하는 단계는,
상기 결정된 유동객체를 모델링 대상에서 제외하는 것을 특징으로 하는,
서버.
- 삭제
- 청구항 1에서,
상기 수신된 영상은,
객체의 개수가 많고 지리가 급변하는 구간에서는 높은 프레임으로 이미지가 캡쳐되고, 동일한 패턴의 지리인 경우 낮은 프레임으로 이미지가 캡쳐된 영상인 것을 특징으로 하는,
서버.
- 청구항 1에서,
상기 영상을 수신하는 단계는,
서로 다른 시간에 서로 다른 차량으로부터 상기 영상을 수신하고,
추출된 상기 지역정보 및 구분된 상기 지리정보들 중 동일한 지리적 위치에 존재하는 지역 정보 및 지리정보들을 클러스터링하는 단계;를 더 포함하는,
서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230077550A KR102660425B1 (ko) | 2023-06-16 | 2023-06-16 | 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230077550A KR102660425B1 (ko) | 2023-06-16 | 2023-06-16 | 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102660425B1 true KR102660425B1 (ko) | 2024-04-24 |
Family
ID=90883982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230077550A KR102660425B1 (ko) | 2023-06-16 | 2023-06-16 | 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102660425B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130089068A (ko) * | 2012-02-01 | 2013-08-09 | 현대모비스 주식회사 | 카메라를 이용한 차량 위치 보정 장치 및 방법 |
| KR101804471B1 (ko) * | 2016-06-30 | 2017-12-04 | 주식회사 이누씨 | 영상 분석 방법 및 장치 |
| KR20200063294A (ko) * | 2018-11-19 | 2020-06-05 | 주식회사 아이서티 | 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법 |
| KR102206834B1 (ko) * | 2020-04-28 | 2021-01-25 | 네이버랩스 주식회사 | 도로정보 변화 감지 방법 및 시스템 |
| JP2021057634A (ja) * | 2019-09-26 | 2021-04-08 | 日本精機株式会社 | 映像記録装置 |
| KR20210152221A (ko) | 2020-06-08 | 2021-12-15 | 현대자동차주식회사 | 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 |
| KR102414632B1 (ko) * | 2021-06-02 | 2022-06-30 | (주)에이아이매틱스 | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 |
-
2023
- 2023-06-16 KR KR1020230077550A patent/KR102660425B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130089068A (ko) * | 2012-02-01 | 2013-08-09 | 현대모비스 주식회사 | 카메라를 이용한 차량 위치 보정 장치 및 방법 |
| KR101804471B1 (ko) * | 2016-06-30 | 2017-12-04 | 주식회사 이누씨 | 영상 분석 방법 및 장치 |
| KR20200063294A (ko) * | 2018-11-19 | 2020-06-05 | 주식회사 아이서티 | 차량용 블랙박스 영상의 자동 수집이 가능한 객체추적 시스템 및 방법 |
| JP2021057634A (ja) * | 2019-09-26 | 2021-04-08 | 日本精機株式会社 | 映像記録装置 |
| KR102206834B1 (ko) * | 2020-04-28 | 2021-01-25 | 네이버랩스 주식회사 | 도로정보 변화 감지 방법 및 시스템 |
| KR20210152221A (ko) | 2020-06-08 | 2021-12-15 | 현대자동차주식회사 | 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 |
| KR102414632B1 (ko) * | 2021-06-02 | 2022-06-30 | (주)에이아이매틱스 | 다중 관측정보를 이용한 고정객체의 위치 결정 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6439820B2 (ja) | 対象識別方法、対象識別装置、及び分類器訓練方法 | |
| Braun et al. | Pose-rcnn: Joint object detection and pose estimation using 3d object proposals | |
| KR102338665B1 (ko) | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 | |
| Alvarez et al. | Combining priors, appearance, and context for road detection | |
| Yao et al. | Estimating drivable collision-free space from monocular video | |
| Hu et al. | A multi-modal system for road detection and segmentation | |
| CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 | |
| CN110651310A (zh) | 估计对象密度和/或流量的深度学习方法及相关方法和软件 | |
| GB2520338A (en) | Automatic scene parsing | |
| US11430199B2 (en) | Feature recognition assisted super-resolution method | |
| Palaniappan et al. | Moving object detection for vehicle tracking in wide area motion imagery using 4d filtering | |
| CN112215074A (zh) | 基于无人机视觉的实时目标识别与检测追踪系统及方法 | |
| Lefebvre et al. | Vehicle detection and tracking using mean shift segmentation on semi-dense disparity maps | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| Nagy et al. | ChangeGAN: A deep network for change detection in coarsely registered point clouds | |
| Bajracharya et al. | Results from a real-time stereo-based pedestrian detection system on a moving vehicle | |
| Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions | |
| JP2020126432A (ja) | 画像処理システム、画像処理方法 | |
| Rahaman et al. | Lane detection for autonomous vehicle management: PHT approach | |
| Kamenetsky et al. | Aerial car detection and urban understanding | |
| KR102660425B1 (ko) | 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법 | |
| Lee et al. | independent object detection based on two-dimensional contours and three-dimensional sizes | |
| Ho et al. | Localization on freeways using the horizon line signature | |
| Hua et al. | Onboard monocular pedestrian detection by combining spatio-temporal hog with structure from motion algorithm | |
| Fanta-Jende et al. | Semantic Real-Time Mapping with UAVs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |