KR20180067199A - 객체 인식 장치 및 방법 - Google Patents

객체 인식 장치 및 방법 Download PDF

Info

Publication number
KR20180067199A
KR20180067199A KR1020160168678A KR20160168678A KR20180067199A KR 20180067199 A KR20180067199 A KR 20180067199A KR 1020160168678 A KR1020160168678 A KR 1020160168678A KR 20160168678 A KR20160168678 A KR 20160168678A KR 20180067199 A KR20180067199 A KR 20180067199A
Authority
KR
South Korea
Prior art keywords
position information
vehicle
interest
region
image
Prior art date
Application number
KR1020160168678A
Other languages
English (en)
Inventor
이원오
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160168678A priority Critical patent/KR20180067199A/ko
Publication of KR20180067199A publication Critical patent/KR20180067199A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G06K9/00818—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 객체 인식 방법은 자차의 위치 정보를 획득하는 단계; 상기 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시키는 단계; 카메라에 의해 촬영된 영상에서 상기 객체를 검출하기 위한 관심 영역을 결정하는 단계; 상기 결정된 관심 영역 상에서 검출기를 이용하여 상기 객체를 검출하는 단계 및 미리 학습된 인식기를 통해 상기 검출된 객체가 참-양성(true positive) 및 거짓-양성(false positive) 중 어느 것인지 여부를 판단하여 인식 결과를 생성하는 단계를 포함한다.

Description

객체 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING OBJECT}
본 발명은 객체 인식 장치 및 방법에 관한 것이다.
종래 기술에 따른 표지판 검출 시스템은 한국공개특허공보 제10-2015-0085988호, 제10-2015-0082823호, 제10-2015-0081480호에 개시된 바와 같이, 카메라로부터 영상을 입력받고 학습된 분류기(검출용)를 통해서 표지판의 후보 영역을 검출한 다음, 검출된 후보 영역을 학습된 분류기(인식용)를 이용하여 인식하는 로직으로 구성된다.
이러한 종래 기술의 경우 트레이닝된 검출기 및 인식기를 이용하므로, 트레이닝을 위한 데이터베이스의 양과 질이 매우 좋아야 하며, 이를 충족하더라도 미검출 및 오검출이 발생하는 경우가 매우 빈번하다는 문제가 있다.
또한, 카메라 영상의 경우 카메라와 물체 간의 거리에 따라 영상 내 물체의 크기가 달라지도록 트레이닝된 검출기를 다양한 크기로 적용해야 하므로, 이에 따라 객체 인식을 위한 처리 속도가 매우 느려지게 되는 문제가 있다.
이와 더불어, 수십 종의 표지판을 모두 인식하기 위해 다양한 검출기 및 인식기를 사용하게 되므로, 복잡도가 매우 증가되고 처리 속도 또한 저하될 수밖에 없다.
이러한 문제는 TLR(Traffic Light Recognition) 시스템에서도 동일하게 적용되며, 특징이 많은 표지판에 비해 신호등은 영상 특징이 부족하므로 이를 인식하기 위한 난이도가 매우 높다.
한편, 한국등록특허공보 제10-1339255호는 정밀 지도를 활용하여 차선 검출 관심 영역(ROI)을 설정하는 내용을 개시하고 있다. 이때 차선 검출은 트레이닝된 검출기를 사용하지 않기 때문에 위 특허에서는 관심 영역 설정에만 정밀 지도를 활용할 수 있다는 한계가 존재한다.
정리하면, 종래 기술에 따른 TSR(Traffic Sign Recognition) 및 TLR은 다음과 같은 문제점이 존재한다.
먼저, 종래 기술의 경우 표지판 및 신호등의 크기가 작아 고화소 카메라를 사용해야 하며, 이 경우 영상의 크기가 커지므로 검출 시간이 오래 걸리게 된다는 문제가 있다.
또한, 카메라와 타겟 객체의 거리에 따라 영상 내 객체의 크기가 달라지게 되므로, 다양한 크기의 검출기를 사용해야 하는데, 이를 위해 검출기의 크기를 한번 변경시킬 때마다 처리시간이 한배씩 증가하게 된다.
또한, 작은 물체를 검출해야 하는바, 검출기가 사전에 매우 정교하게 튜닝되어 있어야 하며, 이에 따라 미검출율이 상승하게 된다.
또한, 다양한 타겟 객체를 검출하기 위해서 검출기 및 인식기의 수가 증가하게 되는데, 이는 결국 처리 복잡도 및 처리 시간을 증가시키는 문제가 있다.
마지막으로, 미검출율을 줄이기 위해서 검출기의 임계값을 낮출 경우, 수많은 오검출이 발생하게 된다. 즉, 도심 등 다양한 배경 환경에서 영상 특징이 많지 않은 표지판과 신호등만을 정확하게 인식하는 것은 매우 어려운 문제이며, 검출기의 트레이닝을 아무리 완벽하게 수행하더라 하더라도 미검출율을 낮추기는 쉽지 않은 실정이다.
상술한 문제점이 발생하는 기본적이고 근본적인 원인은 도 1에 도시된 바와 같다.
도 1은 종래 기술에 따른 객체 인식 방법의 문제점을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 현재 입력되는 카메라 영상 내에서 표지판 및 신호등의 정확한 위치를 알 수 없어 영상 전체를 다양한 크기의 검출기를 통해 스캔(P1)해야하며, 이에 따라 객체 인식에 걸리는 처리 시간이 증가하게 되는 문제가 발생하게 되며, 또한 다양한 배경 환경(P2)을 가지는 경우 오검출이 발생하므로 객체 인식의 정확도가 낮아지게 되는 문제가 발생하게 된다.
본 발명의 실시예는 정밀 측위 기법에 기초하여 자차의 위치 정보를 획득하고, 영상으로부터 관심 영역을 설정하여 객체를 검출 및 인식함으로써, TSR, TLR의 기술적 문제인 미검출, 오검출 문제와 처리속도 감소 문제를 해소할 수 있는 객체 인식 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 자차의 카메라에 의해 촬영된 영상으로부터 객체를 인식 방법은 자차의 위치 정보를 획득하는 단계; 상기 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시키는 단계; 카메라에 의해 촬영된 영상에서 상기 객체를 검출하기 위한 관심 영역을 결정하는 단계; 상기 결정된 관심 영역 상에서 검출기를 이용하여 상기 객체를 검출하는 단계 및 미리 학습된 인식기를 통해 상기 검출된 객체가 참-양성(true positive) 및 거짓-양성(false positive) 중 어느 것인지 여부를 판단하여 인식 결과를 생성하는 단계를 포함한다.
또한, 본 발명의 제 2 측면에 따른 자차의 카메라에 의해 촬영된 영상으로부터 객체를 인식하는 장치는 카메라에 의해 촬영된 영상을 수신하는 통신모듈, 객체를 인식하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시키고, 상기 촬영된 영상에서 상기 객체를 검출하기 위한 관심 영역을 결정하여 검출기에 기초하여 상기 객체를 검출하고, 미리 학습된 인식기를 통해 상기 검출된 객체가 참-양성(true positive) 및 거짓-양성(false positive) 중 어느 것인지 여부를 판단하여 상기 객체의 인식 결과를 생성한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 표지판 또는 신호등이 존재할 가능성이 있는 일부 영역만 검색하고, 이미지 피라미드 기법, 다양한 크기의 검출기 사용 등 중복 검색할 필요가 없는바, 객체 인식에 소요되는 처리 시간을 최소화시킬 수 있다.
또한, 표지판이 확실히 존재하는 좁은 관심 영역에서만 검출 기법을 진행하면 되므로 미검출율, 오검출율을 최소화시킬 수 있다.
또한, 어떤 종류의 표지판이 존재하는지 정밀 지도를 통해 미리 알고 있는바, 모든 종류의 검출기 및 인식기를 사용할 필요가 없게 된다.
도 1은 종래 기술에 따른 객체 인식 방법의 문제점을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 객체를 인식하는 방법의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 객체 인식 장치의 블록도이다.
도 4는 정밀 지도 내 자차의 위치와 객체의 위치를 도시한 도면이다.
도 5는 측위 위치 변경을 통해 관심 영역을 변경시키는 예시도이다.
도 6은 본 발명의 일 실시예를 통해 객체가 인식된 결과를 도시한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 객체 인식 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 객체 인식 장치(100) 및 방법에 관한 것이다.
본 발명의 일 실시예에 따르면, 정밀 측위 기법에 기초하여 자차의 위치 정보를 획득하고, 영상으로부터 관심 영역을 설정하여 객체를 검출 및 인식함으로써, TSR, TLR의 기술적 문제인 미검출, 오검출 문제와 처리속도 감소 문제를 해소할 수 있다.
도 2는 본 발명의 일 실시예에 따라 객체를 인식하는 방법의 예시도이다.
즉, 도 2에 도시된 바와 같이 입력 영상 내에서 신호등 및 표지판이 있는 위치에 대해 대략적인 관심 영역(P3)을 결정해주고, 영상 내 표지판의 대략적인 크기를 알려준다면 종래 기술에 따른 문제를 해소할 수 있게 된다.
이하에서는 도 3 내지 도 6를 참조하여 본 발명의 일 실시예에 따른 자차의 카메라(10)에 의해 촬영된 영상으로부터 객체를 인식하는 장치(100)에 대해 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 객체 인식 장치(100)의 블록도이다.
본 발명의 일 실시예에 따른 객체 인식 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 카메라(10)에 의해 촬영된 영상을 수신한다. 이러한 카메라(10)는 자차에 미리 설치된 전방 카메라 등일 수 있다. 또는, 스마트폰의 카메라나 별도의 영상을 촬영하는 카메라일 수 있으며, 이 경우 촬영된 영상은 무선 또는 유선 네트워크를 통해 자차의 통신모듈로 전송될 수 있다.
이와 같은 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
바람직하게 통신모듈(110)은 CAN(Controller Area Network)로 구현될 수 있다.
메모리(120)에는 객체를 인식하기 위한 프로그램이 저장된다. 여기에서 객체는 신호등 또는 표지판을 의미하는 것이나 반드시 이에 한정되는 것은 아니며, 교통 정보를 획득하기 위한 다양한 식별 가능한 대상일 수 있다.
이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시키며, 프로그램을 실행시킴에 따라 촬영된 영상으로부터 객체를 인식할 수 있다.
구체적으로 프로세서는 먼저 자차의 위치 정보를 획득한다. 이때, 프로세서(130)는 위성 항법, 차량 거동 기반의 추측 항법 및 맵 매칭 기법을 이용하여 자차의 정밀 측위를 수행할 수 있다.
프로세서(130)는 위성 항법에 기초하여 자차의 제 1 위치 정보를 획득한다. 위성 항법이란 GPS, DGPS, Network-RTK 등 GNSS(Global Navigation Satellite System)를 기반으로 하는 측위 방법으로서, 절대 좌표를 위성을 통해 전달받을 수 있는 기법이다.
위치 항법의 경우 오차는 5~50m로 가변적인바, 도심 지역 등 멀티 패스가 발생하는 지역에서는 획득한 위치 정보를 전적으로 신뢰할 수 없다는 단점이 있다.
이러한 단점을 보완하기 위하여, 프로세서(130)는 차량 거동 기반의 추측 항법(Dead Reckoning)에 기초하여 제 1 위치 정보를 보정한 제 2 위치 정보를 획득한다. 차량 거동 기반의 추측 항법은 차량 센서 및 차속, 조향각, 휠오도미터, 요 레이트, 가속도 등을 측정하는 관성 측정 장치(IMU, Inertial Measurement Unit)를 활용하여 위성 항법에 의해 측정된 제 1 위치 정보를 보정하는 방법이다.
차량 거동 기반의 추측 항법은 자차의 움직임을 누적함으로써 계산되며, 시간이 지남에 따라 오차는 누적되게 된다. 그 오차는 1~10m정도로 제 1 위치 정보를 보정할 수 있으나, 오차 누적이 계속하여 발생하게 된다.
이를 위해 프로세서(130)는 미리 저장된 자율 주행용 정밀 지도를 이용하는 맵 매칭 기법에 기초하여 제 2 위치 정보를 보정한 제 3 위치 정보를 획득하여 자차의 최종 위치 정보로 적용할 수 있다.
맵 매칭 기법은 자율 주행용 정밀 지도와 자차에 설치된 하나 이상의 센서(예를 들어, 카메라, 스테레오 카메라, AVM 카메라, 라이다 등)를 통해 획득한 데이터의 비교 결과에 기초하여 차량의 위치를 상대적으로 추정한 제 3 위치 정보를 획득하는 방법이다.
여기에서 정밀 지도란 차선, 노면 정보, 표지판 정보, 신호등 정보 등의 3차원 좌표 등을 현실 세계(Real World)와 최대한 비슷하게 구축해놓은 지도를 의미한다.
이와 같은 과정을 통해 프로세서(130)는 최종적으로 cm단위의 자율 주행이 가능한 수준의 위치 정보를 획득할 수 있다.
자차의 위치 정보를 획득하고 나면, 프로세서(130)는 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시킨다.
도 4는 정밀 지도 내 자차의 위치와 객체의 위치를 도시한 도면이다.
구체적으로 프로세서는 정밀 지도에서의 자차의 위치(P5)와, 정밀 지도 내에 구축된 객체의 3차원 위치 정보(P4)를 비교하고, 비교 결과 자차의 위치와 기 설정된 거리(P6) 내에 객체가 존재하는지 여부를 판단하여, 기 설정된 거리(P6) 내에 존재하는 경우 검출 로직을 활성화시킨다.
이러한 과정을 통해 검출 로직을 활성화시키게 되면, 근처에 표지판 또는 신호등 등의 객체가 없는 경우에는 검출 로직이 비활성화되어 동작하지 않게 되므로, 객체 인식을 위한 처리 시간을 감소시킬 수 있으며 오검출되는 현상을 줄일 수 있는 효과도 기대할 수 있다.
한편, 검출 로직이 활성화된 경우 프로세서(130)는 카메라(10)에 의해 촬영된 영상에서 객체를 검출하기 위한 관심 영역을 결정한다. 이때, 프로세서(130)는 촬영된 영상과 정밀 지도를 영상의 타임 스탬프(time stamp)에 기초하여 타임 동기화 시킨다. 이는 자차의 위치가 연속해서 변하기 때문에, 같은 위치에서 얻은 영상 및 정밀 지도가 필요하기 때문이다.
타임 동기화는 영상의 타임 스탬프를 기준으로 하여 정밀 지도를 이동 또는 회전 변환시키며, 시간의 차이에 따라 차량의 위치 차이는 추측 항법의 궤적 정보를 통해 계산될 수 있다.
타임 동기화를 수행한 다음, 프로세서(130)는 정밀 지도 내의 차량 중심 좌표계로 표현된 객체의 3차원 위치 정보를 식 1을 통해 영상 좌표계로 매핑한다.
Figure pat00001
Figure pat00002
여기에서, (X, Y, Z)는 실제 현실에서의 3차원 좌표를 의미하며, (u, v)는 픽셀의 투영된 좌표를 의미한다. 그리고 A는 카메라 행렬 또는 카메라의 고유 파라미터를 의미하며, (cx, cy)는 영상 중심에서의 주요 좌표 정보(principal point)를 의미하고, (fx, fy)는 픽셀 단위에서 의 초첨 거리(focal lengths)를 의미한다.
한편, 차량의 종방향 및 횡방향의 측위가 정확할 경우, 영상 내의 관심 영역(ROI)는 정확히 결정될 수 있다. 그러나 차선 등을 활용하는 맵 매칭 기법의 특성상, 종방향의 정확도가 횡방향 측위의 정확도보다 상대적으로 낮을 수 있다.
따라서, 종방향 측위 오차로 인해 관심 영역 결정에 오류가 포함될 수 있다.
이와 같은 문제를 해소하기 위하여, 본 발명의 일 실시예에서는 프로세서(130)가 도 5에 도시된 바와 같이 차량의 종방향 위치를 변경해가며 관심 영역을 변경시킨다. 그리고 변경된 관심 영역에 객체가 검출된 경우 프로세서(130)는 해당 영역을 관심 영역으로 결정할 수 있다.
도 5는 측위 위치 변경을 통해 관심 영역을 변경시키는 예시도이다.
차량의 종방향 위치 변화는 현재 추정된 측위 위치에서 일정 범위만큼 이동하며, 가까운 곳에서 점점 먼 곳으로 이동한다(③ → ②, ④ → ①, ⑤). 이때, 종방향의 측위가 정확한 경우에는 한번의 시도로 관심 영역 결정이 완료될 수도 있다.
만약, 프로세서(130)가 일정 횟수(예를 들어 5회)만큼 종방향을 이동하여 오브젝트 검출을 시도하였으나, 검출이 되지 않은 경우 해당 결과를 실패 처리하며, 실패 처리가 기 설정된 횟수 이상 누적되게 되면 프로세서(130)는 자차의 위치 정보가 잘못 획득된 것으로 판단할 수 있다.
이와 같은 본 발명의 일 실시예는 결정된 관심 영역을 참고하여 자차의 종방향 측위 오차 보정에도 활용할 수 있다.
관심 영역이 결정되고 나면, 프로세서(130)는 결정된 관심 영역 내에서 정해진 검출기에 기초하여 객체를 검출할 수 있다. 이때, 검출기는 정밀 지도에 등록되어 있는 객체의 종류(예를 들어 표지판 또는 신호등의 종류)에 따라 미리 학습되어 있을 수 있다.
이에 따라 프로세서(130)는 학습된 검출기 중 객체의 종류에 대응되는 검출기를 선택하여 사용할 수 있다. 예를 들어 객체의 종류가 속도 표지판인 경우, 속도 표지판, 주의 표지판, 지시 표지판 중 속도 표지판에 대응되는 검출기를 선택하여 사용할 수 있다.
또한, 프로세서(130)는 정밀 지도에 등록되어 있는 객체의 크기를 식 1에 대입하여, 영상에 포함된 객체의 크기를 산출할 수 있다. 이에 따라, 본 발명의 일 실시예는 정해진 크기의 검출기만을 사용하여 객체를 검출할 수 있다.
이와 같이 영상으로부터 객체가 검출되었다면, 프로세서(130)는 검출된 객체에 대하여 미리 학습된 인식기를 통해 참-양성(true positive) 및 거짓 양성(false positive) 중 어느 것인지 여부를 판단하여 객체의 인식 결과를 생성할 수 있다.
도 6은 본 발명의 일 실시예를 통해 객체가 인식된 결과를 도시한 예시도이다.
도 6을 참조하면, 영상 내에 포함된 신호등 및 표지판에 대응되는 관심 영역(P6)을 결정할 수 있으며, 해당 관심 영역(P6) 내에 포함된 신호등, 표지판(P7)을 정확히 검출할 수 있다.
참고로, 본 발명의 실시예에 따른 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 7을 참조하여 본 발명의 일 실시예에 따른 객체 인식 장치(100)에서의 객체 인식 방법을 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 객체 인식 방법의 순서도이다.
본 발명의 일 실시예에 따른 객체 인식 방법은 먼저, 위성 항법, 차량 거동 기반의 추측 항법 및 맵 매칭 기법에 기초하여 자차의 위치 정보를 획득한다(S110).
다음으로, 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시킨다(S120). 이러한 검출 로직은 정밀 지도에서의 자차의 위치와 정밀 지도 내에 구축된 객체의 3차원 위치 정보를 비교하여 기 설정된 거리 내에 존재하는 경우, 검출 로직을 활성화시킬 수 있다.
다음으로, 카메라(10)에 의해 촬영된 영상에서 객체를 검출하기 위한 관심 영역을 결정한다(S130). 이때, 관심 영역을 결정함에 있어, 자차의 종방향 위치를 변경하여 관심 영역을 변경하고, 변경된 관심 영역에 객체가 검출된 경우 해당 영역을 관심 영역으로 결정할 수 있다.
또한, 기 설정된 횟수 이상 변경된 관심 영역에 객체가 검출되지 않은 경우에는 자차의 위치 정보가 잘못 획득된 것으로 판단할 수 있다.
다음으로, 결정된 관심 영역 상에서 검출기를 이용하여 객체를 검출한다(S140). 검출기는 정밀 지도에 포함된 객체의 종류에 따라 미리 학습되어 있으며, 학습된 검출기 중 객체의 종류에 대응되는 검출기를 선택하여 사용할 수 있다.
다음으로, 미리 학습된 인식기를 통해 상기 검출된 객체가 참-양성(true positive) 및 거짓-양성(false positive) 중 어느 것인지 여부를 판단하여 최종 인식 결과를 생성한다(S150).
한편, 상술한 설명에서, 단계 S110 내지 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 2 내지 도 6에서 이미 기술된 내용은 도 7의 객체 인식 방법에도 적용될 수 있다.
이와 같은 본 발명의 일 실시예 중 어느 하나에 의하면, 표지판 또는 신호등이 존재할 가능성이 있는 일부 영역만 검색하고, 이미지 피라미드 기법, 다양한 크기의 검출기 사용 등 중복 검색할 필요가 없는바, 객체 인식에 소요되는 처리 시간을 최소화시킬 수 있다.
또한, 표지판이 확실히 존재하는 좁은 관심 영역에서만 검출 기법을 진행하면 되므로 미검출율, 오검출율을 최소화시킬 수 있다.
또한, 어떤 종류의 표지판이 존재하는지 정밀 지도를 통해 미리 알고 있는바, 모든 종류의 검출기 및 인식기를 사용할 필요가 없게 된다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 카메라
100: 객체 인식 장치
110: 통신모듈
120: 메모리
130: 프로세서?

Claims (13)

  1. 자차의 카메라에 의해 촬영된 영상으로부터 객체를 인식 방법에 있어서,
    자차의 위치 정보를 획득하는 단계;
    상기 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시키는 단계;
    카메라에 의해 촬영된 영상에서 상기 객체를 검출하기 위한 관심 영역을 결정하는 단계;
    상기 결정된 관심 영역 상에서 검출기를 이용하여 상기 객체를 검출하는 단계 및
    미리 학습된 인식기를 통해 상기 검출된 객체가 참-양성(true positive) 및 거짓-양성(false positive) 중 어느 것인지 여부를 판단하여 인식 결과를 생성하는 단계를 포함하는 객체 인식 방법.
  2. 제 1 항에 있어서,
    상기 자차의 위치 정보를 획득하는 단계는,
    위성 항법에 기초하여 자차의 제 1 위치 정보를 획득하는 단계;
    차량 거동 기반의 추측 항법에 기초하여 상기 제 1 위치 정보를 보정한 제 2 위치 정보를 획득하는 단계 및
    미리 저장된 자율 주행용 정밀 지도를 이용하는 맵 매칭 기법에 기초하여 상기 제 2 위치 정보를 보정한 제 3 위치 정보를 획득하여 상기 위치 정보로 적용하는 단계를 포함하는 것인 객체 인식 방법.
  3. 제 2 항에 있어서,
    상기 차량 거동 기반의 추측 항법은 상기 자차에 설치된 차량 센서 및 IMU를 이용하여 상기 제 1 위치 정보를 보정하는 것인 객체 인식 방법.
  4. 제 2 항에 있어서,
    상기 맵 매칭 기법은 상기 자율 주행용 정밀 지도와 상기 자차에 설치된 하나 이상의 센서를 통해 획득한 데이터의 비교 결과에 기초하여 상기 자차의 상대적 위치가 추정된 제 3 위치 정보를 획득하는 것인 객체 인식 방법.
  5. 제 2 항에 있어서,
    상기 자차의 위치 정보에 기초하여 검출 로직을 활성화시키는 단계는,
    상기 정밀 지도에서의 상기 자차의 위치와, 상기 정밀 지도 내에 구축된 객체의 3차원 위치 정보를 비교하는 단계;
    상기 비교 결과 기 설정된 거리 내에 상기 객체가 존재하는지 여부를 판단하는 단계 및
    상기 판단 결과 기 설정된 거리 내에 존재하는 경우, 상기 검출 로직을 활성화시키는 단계를 포함하는 것인 객체 인식 방법.
  6. 제 5 항에 있어서,
    상기 관심 영역을 결정 하는 단계는,
    상기 촬영된 영상과 상기 정밀 지도를 상기 영상의 타임 스탬프에 기초하여 타임 동기화시키는 단계;
    상기 타임 동기화된 상기 정밀 지도 내의 객체의 3차원 위치 정보를 영상 좌표계로 매핑하는 단계를 포함하는 것인 객체 인식 방법.
  7. 제 6 항에 있어서,
    상기 관심 영역을 결정하는 단계는,
    상기 자차의 종방향 위치를 변경하여 관심 영역을 변경하는 단계;
    상기 변경된 관심 영역에 상기 객체가 검출된 경우 상기 관심 영역으로 결정하는 단계를 포함하는 것인 객체 인식 방법.
  8. 제 7 항에 있어서,
    상기 변경된 관심 영역에 상기 객체가 검출된 경우 상기 관심 영역으로 결정하는 단계는,
    기 설정된 횟수 이상 변경된 관심 영역에서 객체가 검출되지 않는 경우, 상기 자차의 위치 정보가 잘못 획득된 것으로 판단하는 것인 객체 인식 방법.
  9. 제 2 항에 있어서,
    상기 검출기는 상기 정밀 지도에 포함된 상기 객체의 종류에 따라 미리 학습되어 있고,
    상기 객체를 검출하는 단계는,
    상기 학습된 검출기 중 상기 객체의 종류에 대응되는 검출기를 선택하여 사용하는 것인 객체 인식 방법.
  10. 제 2 항에 있어서,
    상기 정밀 지도에 포함된 상기 객체의 크기를 산출하는 단계를 더 포함하는 객체 인식 방법.
  11. 자차의 카메라에 의해 촬영된 영상으로부터 객체를 인식하는 장치에 있어서,
    카메라에 의해 촬영된 영상을 수신하는 통신모듈,
    객체를 인식하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 자차의 위치 정보에 기초하여 객체를 검출하기 위한 검출 로직을 활성화시키고, 상기 촬영된 영상에서 상기 객체를 검출하기 위한 관심 영역을 결정하여 검출기에 기초하여 상기 객체를 검출하고, 미리 학습된 인식기를 통해 상기 검출된 객체가 참-양성(true positive) 및 거짓-양성(false positive) 중 어느 것인지 여부를 판단하여 상기 객체의 인식 결과를 생성하는 것인 객체 인식 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는 위성 항법에 기초한 자차의 제 1 위치 정보를 획득하고, 차량 거동 기반의 추측 항법에 기초하여 상기 제 1 위치 정보를 보정한 제 2 위치 정보를 획득한 뒤, 미리 저장된 자율 주행용 정밀 지도를 이용하는 맵 매칭 기법에 기초하여 상기 제 2 위치 정보를 보정한 제 3 위치 정보를 획득하여 상기 위치 정보로 적용하는 것인 객체 인식 장치.
  13. 제 11 항에 있어서,
    상기 프로세서는 상기 정밀 지도에서의 상기 자차의 위치와, 상기 정밀 지도 내에 구축된 객체의 3차원 위치 정보를 비교한 결과, 기 설정된 거리 내에 상기 객체가 존재하는지 여부를 판단하고, 상기 판단 결과 기 설정된 거리 내에 존재하는 경우, 상기 검출 로직을 활성화시키는 것인 객체 인식 장치.
KR1020160168678A 2016-12-12 2016-12-12 객체 인식 장치 및 방법 KR20180067199A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160168678A KR20180067199A (ko) 2016-12-12 2016-12-12 객체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160168678A KR20180067199A (ko) 2016-12-12 2016-12-12 객체 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180067199A true KR20180067199A (ko) 2018-06-20

Family

ID=62769814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160168678A KR20180067199A (ko) 2016-12-12 2016-12-12 객체 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180067199A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284501A (zh) * 2018-12-07 2020-06-16 现代自动车株式会社 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置
KR20200070137A (ko) * 2018-12-07 2020-06-17 아진산업(주) 카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템
WO2020138515A1 (ko) * 2018-12-24 2020-07-02 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
KR102196838B1 (ko) 2019-10-23 2020-12-30 주식회사 세븐미어캣 대상 객체의 오염도 및 파손도 인식 장치
KR102214488B1 (ko) * 2020-07-07 2021-02-10 마스코리아 주식회사 교차로에서 자율주행차의 진입 제어 시스템
KR20210108600A (ko) * 2020-02-26 2021-09-03 슈어소프트테크주식회사 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
KR20210113543A (ko) 2020-03-08 2021-09-16 김철균 딥러닝 영상처리 기술을 활용한 전기신호 처리장치
US11747477B2 (en) 2018-09-28 2023-09-05 Naver Labs Corporation Data collecting method and system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747477B2 (en) 2018-09-28 2023-09-05 Naver Labs Corporation Data collecting method and system
CN111284501A (zh) * 2018-12-07 2020-06-16 现代自动车株式会社 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置
KR20200070137A (ko) * 2018-12-07 2020-06-17 아진산업(주) 카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템
WO2020138515A1 (ko) * 2018-12-24 2020-07-02 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
US11679781B2 (en) 2018-12-24 2023-06-20 Lg Electronics Inc. Path providing device and path providing method thereof
KR102196838B1 (ko) 2019-10-23 2020-12-30 주식회사 세븐미어캣 대상 객체의 오염도 및 파손도 인식 장치
KR20210108600A (ko) * 2020-02-26 2021-09-03 슈어소프트테크주식회사 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
KR20210113543A (ko) 2020-03-08 2021-09-16 김철균 딥러닝 영상처리 기술을 활용한 전기신호 처리장치
KR102214488B1 (ko) * 2020-07-07 2021-02-10 마스코리아 주식회사 교차로에서 자율주행차의 진입 제어 시스템

Similar Documents

Publication Publication Date Title
KR20180067199A (ko) 객체 인식 장치 및 방법
US11365979B2 (en) Image processing apparatus, image processing method, computer program and computer readable recording medium
US11085775B2 (en) Methods and systems for generating and using localisation reference data
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
US20210334557A1 (en) Monocular cued detection of three-dimensional strucures from depth images
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
Cui et al. Real-time global localization of robotic cars in lane level via lane marking detection and shape registration
WO2021227645A1 (zh) 目标检测方法和装置
US11260861B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes on a roadway
JP6758160B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
WO2015087502A1 (ja) 自車位置検出装置
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
US20220270358A1 (en) Vehicular sensor system calibration
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP2019099138A (ja) 車線維持補助方法及び装置
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
WO2020156923A2 (en) Map and method for creating a map
Cui et al. Real-time global localization of intelligent road vehicles in lane-level via lane marking detection and shape registration
JP2018048949A (ja) 物体識別装置
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN110794828A (zh) 一种融合语义信息的路标定位方法
JPWO2018179616A1 (ja) 車両位置推定装置
US11908206B2 (en) Compensation for vertical road curvature in road geometry estimation
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right