KR102203218B1 - 영상 정보 공유 방법 및 장치 - Google Patents

영상 정보 공유 방법 및 장치 Download PDF

Info

Publication number
KR102203218B1
KR102203218B1 KR1020190066934A KR20190066934A KR102203218B1 KR 102203218 B1 KR102203218 B1 KR 102203218B1 KR 1020190066934 A KR1020190066934 A KR 1020190066934A KR 20190066934 A KR20190066934 A KR 20190066934A KR 102203218 B1 KR102203218 B1 KR 102203218B1
Authority
KR
South Korea
Prior art keywords
image
video
information sharing
sharing device
information
Prior art date
Application number
KR1020190066934A
Other languages
English (en)
Other versions
KR20200140120A (ko
Inventor
김경훈
이상신
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190066934A priority Critical patent/KR102203218B1/ko
Publication of KR20200140120A publication Critical patent/KR20200140120A/ko
Application granted granted Critical
Publication of KR102203218B1 publication Critical patent/KR102203218B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 영상 정보 공유 장치에서 수행하는 영상 정보 공유 방법은, 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 단계와, 획득된 상태 정보와 기 설정된 임계값의 비교 결과에 기초하여 영상 공유 조건을 만족하는지를 판단하는 단계와, 영상 공유 조건을 만족하면, 입력 영상을 송출하는 단계를 포함할 수 있다.

Description

영상 정보 공유 방법 및 장치{METHOD AND APPARATUS FOR SHARING IMAGE INFORMATION}
본 발명은 영상 정보 공유 방법 및 장치에 관한 것으로, 더욱 상세하게는 도로의 상태 정보를 포함하는 영상을 복수의 장치가 공유하는 방법과 이들 장치에 관한 것이다.
자율 주행 차량(autonomous vehicle)은 사람 운전자를 센서 및 컴퓨터로 구현된 지능과 센서 및 기타 자동화 기술로 대체하는 차량을 지칭한다.
이러한 자율 주행 차량은 신호가 존재하는 횡단보도나 교차로 구간 등이 존재하는 도로 상을 주행하기 위하여, 촬영 영상으로부터 차선, 주변의 차량, 보행자, 신호등 등의 각종 물체를 인식함으로써, 그 인식 결과에 기초하여 도로 상을 자율 주행할 수 있다.
그러나, 선행 차량의 정차, 도로 상의 차량 정체 등에 기인하여 선행 차량에 의해 전방 시야가 가려질 수 있었고, 이 경우에는 자율 주행 차량의 안정성이 위협받는 문제점이 있었다.
공개특허공보 제10-2018-0010734호, 공개일자 2018년 02월 08일.
본 발명의 일 실시예에 따르면, 도로의 상태 정보를 포함하는 영상을 자율 주행 차량 등의 이동체에 탑재될 수 있는 복수의 장치가 공유할 수 있도록 하는 영상 정보 공유 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따라 영상 정보 공유 장치에서 수행하는 영상 정보 공유 방법은, 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 단계와, 상기 획득된 상태 정보와 기 설정된 임계값의 비교 결과에 기초하여 영상 공유 조건을 만족하는지를 판단하는 단계와, 상기 영상 공유 조건을 만족하면, 상기 입력 영상을 송출하는 단계를 포함할 수 있다.
본 발명의 제 2 관점에 따른 영상 정보 공유 장치는, 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 영상 처리부와, 상기 입력 영상을 송출할 수 있는 통신부와, 상기 영상 처리부 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 영상 처리부에 의해 획득된 상태 정보와 기 설정된 임계값의 비교 결과에 기초하여 영상 공유 조건을 만족하는지를 판단하며, 상기 영상 공유 조건을 만족하면, 상기 입력 영상을 송출하도록 상기 통신부를 제어할 수 있다.
본 발명의 실시예에 의하면, 도로의 상태 정보를 포함하는 영상을 자율 주행 차량 등의 이동체에 탑재될 수 있는 복수의 장치가 공유할 수 있다.
그러므로, 선행 차량의 정차, 도로 상의 차량 정체 등에 기인하여 선행 차량에 의해 전방 시야가 가려지더라도 후행 차량이 공유 받은 영상 정보에 기초하여 전방의 도로 상황을 파악할 수 있다.
이러한 본 발명의 실시예에 따른 영상 정보 공유 기술이 자율 주행 차량에 채용될 경우에는 차량이 빈번하게 정차하거나 도로 상의 차량 정체가 빈번하게 발생하는 환경에서도 자율 주행 차량의 안정성이 확보되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 정보 공유 시스템과 이를 구현하는 영상 정보 공유 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정보 공유 장치가 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 과정을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 영상 정보 공유 장치가 입력 영상을 다른 영상 정보 공유 장치로 송출하여 공유하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 영상 정보 공유 장치의 영상 처리부에 의해 수치화되는 도로의 상태 정보에 포함될 수 있는 자유 공간 정보를 계산하는 과정을 설명하기 위한 흐름도이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 영상 정보 공유 장치에 의해 자유 공간 정보가 다양하게 계산되는 예를 설명하기 위한 입력 영상들이다.
도 8은 본 발명의 일 실시예에 따른 영상 정보 공유 장치가 자신이 탑재된 차량이 동일한 주행 차로에 운행 중인 복수의 차량 중 선행 차량인지 후행 차량인지를 판별하는 과정을 설명하기 위한 개념도이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보 공유 장치가 다른 영상 정보 공유 장치에 의해 촬영된 영상 정보를 공유 받는 과정을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 정보 공유 시스템과 이를 구현하는 영상 정보 공유 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 영상 정보 공유 시스템(100)은 복수의 영상 정보 공유 장치(110, 120)가 통신망을 통해 상호 연결되어 구성될 수 있다. 도 1에는 2개의 영상 정보 공유 장치(110, 120)를 도시하였으나 3개 이상일 수 있고 그 개수는 제한되지 않는다.
영상 정보 공유 장치(110)는 촬영부(111), 영상 처리부(112), 통신부(113), 제어부(114), 표시부(115) 및 저장부(116)를 포함하고, 영상 정보 공유 장치(120) 또한 영상 정보 공유 장치(110)와 동일한 구성을 포함할 수 있다. 예를 들어, 영상 정보 공유 장치(110, 120)는 차량 등의 이동체에 탑재될 수 있고, 탑재 위치는 촬영부(111)가 이동체의 진행방향의 전방을 촬영할 수 있는 위치일 수 있으며, 영상 정보 공유 장치(110, 120)가 탑재될 수 있는 이동체는 자율 주행 차량일 수 있다. 도 1에는 영상 정보 공유 장치(110)가 촬영부(111)를 포함하는 것으로 예시하였으나 촬영부(111)는 영상 정보 공유 장치(110)와 분리되게 독립하여 설치되어 영상 정보 공유 장치(110)와 연결 및 연동될 수 있다.
촬영부(111)는 제어부(114)의 제어에 따라 영상을 촬영하여 영상 정보 공유 장치(110)의 각 구성에 제공할 수 있다. 예를 들어, 영상 정보 공유 장치(110)가 자율 주행 차량에 탑재된 경우라면 촬영부(111)는 자율 주행 차량의 ADAS(Advanced Driver-Assistance Systems)를 구성하는 카메라일 수 있으나 이에 한정되지 않는다. 예컨대, 스마트폰 등과 같이 영상 촬영 기능을 갖는 전자장치일 수 있다.
영상 처리부(112)는 제어부(114)의 제어에 따라 촬영부(111)에 의한 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하고, 수치화된 값을 제어부(114)에 제공할 수 있다. 예를 들어, 도로의 상태 정보는 영상 정보 공유 장치(110)가 탑재된 차량의 자유 공간(Free space) 정보를 포함할 수 있다. 이러한 자유 공간 정보의 수치화된 값에 대한 설명은 아래에서 도 2를 참조하여 설명하기로 한다. 예를 들어, 영상 처리부(112)는 마이크로프로세서 등과 같은 컴퓨팅 연산 수단을 포함할 수 있다.
통신부(113)는 제어부(114)의 제어에 따라 각종 신호를 영상 정보 공유 장치(120)로 송출할 수 있다. 그리고, 통신부(113)는 촬영부(111)에 의한 입력 영상을 제어부(114)의 제어에 따라 영상 정보 공유 장치(120)로 송신할 수 있다. 예를 들어, 통신부(113)는 V2V(Vehicle to Vehicle) 통신 방식을 이용할 수 있으나 이에 한정되지 않고 다양한 통신 규격 및 통신 인터페이스를 이용할 수 있다.
제어부(114)는 영상 정보 공유 장치(110)의 각 구성을 제어할 수 있다. 이러한 제어부(114)는 영상 처리부(112)에 의해 획득된 도로의 상태 정보와 기 설정된 임계값의 비교 결과에 기초하여 영상 공유 조건을 만족하는지를 판단하며, 영상 공유 조건을 만족하면, 촬영부(111)에 의한 입력 영상을 영상 정보 공유 장치(120)로 송출하도록 통신부(113)를 제어할 수 있다. 이러한 제어부(114)는 예를 들어 마이크로프로세서 등과 같은 컴퓨팅 연산 수단을 포함할 수 있다. 여기서, 영상 공유 조건을 만족하는지 판단할 때에 이용되는 임계값은 영상 정보 공유 장치(110)가 탑재되는 차량의 제원에 기초하여 사건에 설정될 수 있다.
아울러, 제어부(114)는 입력 영상을 송출하도록 통신부(113)를 제어할 때에, 영상 공유 조건을 만족하면 기 설정된 신호를 송출하도록 통신부(113)를 제어할 수 있고, 기 설정된 신호에 대응하여 영상 정보 공유 장치(120) 등과 같은 다른 영상 정보 공유 장치로부터 영상 요청 신호가 수신되면, 영상 정보 공유 장치(120) 등과 같은 다른 영상 정보 공유 장치로 촬영부(111)의 입력 영상을 송신하도록 통신부(113)를 제어할 수 있다.
표시부(115)는 제어부(114)의 제어에 따라 영상 정보를 포함하여 각종 정보를 출력할 수 있다.
저장부(116)는 제어부(114)의 제어에 따라 제어부(114)에 의한 처리 결과를 저장하거나 촬영부(111)에 의한 입력 영상을 저장할 수 있다.
또한, 영상 정보 공유 장치(110)는 영상 정보 공유 장치(120)로부터 영상 정보를 수신하여 공유할 수 있다. 이를 위해, 제어부(114)는 통신부(111)를 통해 영상 정보 공유 장치(120)로부터 기 설정된 신호가 수신되면, 수신된 기 설정된 신호에 포함된 방향(Heading) 정보를 추출할 수 있다. 그리고, 제어부(114)는 추출된 상기 영상 정보 공유 장치(120)의 방향 정보와 자신의 방향 정보를 비교하여 동일 방향 또는 유사 방향인지를 확인할 수 있고, 동일 방향 또는 유사 방향이면, 영상 정보 공유 장치(120)에게 영상 요청 신호를 송신하도록 통신부(111)를 제어할 수 있다. 아울러, 제어부(114)는 영상 정보 공유 장치(120)로부터 영상 요청 신호에 따라 송출되는 영상을 수신하도록 통신부(113)를 제어할 수 있고, 영상 정보 공유 장치(120)로부터 수신된 영상을 화면에 표시하도록 표시부(115)를 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 정보 공유 장치(110, 120)가 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 과정을 설명하기 위한 개념도이다.
본 발명의 일 실시예에 따라 영상 정보 공유 장치(110, 120)를 포함하는 영상 정보 공유 시스템(100)에서는 도로의 상태 정보를 수치화한 값으로서 영상 정보 공유 장치(110, 120)가 탑재된 차량의 자유 공간(Free space) 정보를 이용할 수 있다. 차량의 자유 공간 정보는 해당 차량이 현재 차선에서 얼만큼 앞으로 갈 수 있는지에 대한 수량적 값이라고 정의할 수 있다. 예컨대, 자율 주행 차량이 촬영 영상을 분석한 결과에 기초하여 자신의 경로 움직임이 얼마나 자유로운지 수치적으로 표현한 값이라고 할 수도 있다. 또, 차량의 자유 공간 정보는 주행 중인 차량이 이동할 수 있는 공간으로서, 예를 들어 도로상의 빈 차선이 될 수 있다. 자유 공간 정보는 차량이 어디에서 주행하는지 여부에 따라 정의가 달라질 수 있으며, 차선이 있는 도로에서는 빈 차선으로의 앞/뒤 주행차량과의 일정 간격이 확보된 공간일 수 있다. 만약 이면도로에서의 자유 공간 정보는 자율 주행 차량이 주변 건물과의 간격 및 주/정차된 차량과의 간격 등을 고려하여 이동할 수 있는 공간이 될 수 있다.
도 2를 참조하면, 영상 처리부(112)는 촬영부(111)에 의한 입력 영상(200)을 분석하여 해당 영상에 포함된 물체를 추출한다. 예를 들어, 영상 처리부(112)는 외곽선 검출 알고리즘 등의 각종 영상 정보 분석법을 이용하여 입력 영상(200) 내에 포함된 물체들의 형상을 파악할 수 있고, 파악된 형상과 기 저장된 물체별 기준 형상 정보와의 비교 결과에 기초하여 차량(201), 차선(202), 연석(203), 보행자(204), 자전거 등의 각종 물체를 판별할 수 있다. 그리고, 영상 처리부(112)는 입력 영상(200) 내의 물체 중 차선(202)만 우선 참조하여 입력 영상(200) 내의 차량 주행 차로를 판별할 수 있고, 차선(202)의 경계선과 차량(201)의 경계선 및 입력 영상(200)의 프레임 등을 연결하여 차량 주행 차로의 전방 노면에 물체가 없는 다각형 영역(205)을 구획한 후 다각형 영역(205)의 넓이를 자유 공간 정보의 수치화된 값으로서 계산할 수 있다. 이처럼, 다각형 영역(205)을 이용하여 자유 공간 정보를 계산하는 과정에 대해서는 아래에서 다시 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 영상 정보 공유 장치(110)가 입력 영상을 영상 정보 공유 장치(120)로 송출하여 공유하는 과정을 설명하기 위한 흐름도이다.
먼저, 영상 정보 공유 장치(110)의 촬영부(111)는 영상 정보 공유 장치(110)의 제어부(114)의 제어에 따라 영상을 촬영하여 영상 정보 공유 장치(110)의 영상 처리부(112)에 제공한다(S310).
그러면, 영상 처리부(112)는 제어부(114)의 제어에 따라 촬영부(111)에 의한 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하고, 수치화된 값을 제어부(114)에 제공할 수 있다(S320).
여기서, 영상 처리부(112)에 의해 수치화되는 도로의 상태 정보는 영상 정보 공유 장치(110)가 탑재된 차량의 자유 공간 정보를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 영상 정보 공유 장치(110)의 영상 처리부(112)에 의해 수치화되는 도로의 상태 정보에 포함될 수 있는 자유 공간 정보를 계산하는 과정을 설명하기 위한 흐름도이다.
도 2 및 도 4를 참조하면, 영상 처리부(112)는 촬영부(111)에 의한 입력 영상(200)을 분석하여 해당 영상에 포함된 물체의 형상을 파악한다. 예를 들어, 영상 처리부(112)는 외곽선 검출 알고리즘 등의 각종 영상 정보 분석법을 이용하여 입력 영상(200)내에 포함된 물체들의 형상을 파악할 수 있다(S321).
그리고, 영상 처리부(112)는 단계 S321에서 파악된 형상과 기 저장된 물체별 기준 형상 정보와의 비교 결과에 기초하여 차량(201), 차선(202), 연석(203), 보행자(204), 자전거 등의 각종 물체를 판별한다(S322).
아울러, 영상 처리부(112)는 입력 영상(200) 내에서 파악된 물체 중 차선(202)의 위치에 기초하여 차량의 주행 차로를 판별한다. 예를 들어, 영상 처리부(112)는 입력 영상(200) 내에서 다수의 차선(202)이 판별된 경우에 중앙쪽에 위치하는 두 개의 차선(202) 사이를 차량의 주행 차로라고 판별할 수 있다(S323).
그리고, 영상 처리부(112)는 주행 차로의 좌우에 있는 차선(202)를 이용하여 주행 차로의 전방 노면에 물체가 없는 다각형 영역(205)를 구획한다. 예를 들어, 다각형 영역(205)의 좌우 경계선(205a, 205b)은 주행 차로의 좌우에 있는 차선(202)을 이용할 수 있고, 다각형 영역(205)의 위쪽 경계선(205c)은 주행 차로에 있는 선행 차량과 노면의 경계선을 이용할 수 있으며, 다각형 영역(205)의 아래쪽 경계선(205d)는 입력 영상(202)의 하부 프레임을 이용할 수 있다(S324).
이후, 영상 처리부(112)는 단계 S324에서 구획된 다각형 영역(205)의 넓이를 자유 공간 정보의 수치화된 값으로서 계산한다(S325).
도 5 내지 도 7은 본 발명의 실시예에 따른 영상 정보 공유 장치(110)에 의해 자유 공간 정보가 다양하게 계산되는 예를 설명하기 위한 입력 영상들이다.
영상 정보 공유 장치(110)가 탑재된 차량과 바로 앞의 차량간의 간격이 넓으면 도 5의 예시와 같은 입력 영상으로부터 자유 공간 정보가 계산될 수 있고, 영상 정보 공유 장치(110)가 탑재된 차량과 바로 앞의 차량간의 간격이 좁으면 도 6의 예시와 같은 입력 영상으로부터 자유 공간 정보가 계산될 수 있다. 도 5의 예시의 경우는 도 6의 예시보다 자유 공간 정보를 수치화한 값이 상대적으로 높게 계산될 수 있고, 도 6의 예시의 경우는 도 5의 예시보다 자유 공간 정보를 수치화한 값이 상대적으로 낮게 계산될 수 있다.
또한, 도 7의 예시와 같은 입력 영상으로부터 자유 공간 정보가 계산되는 경우는 자유 공간 정보가 '0' 또는 '없음'으로 계산될 수 있다. 도 7의 입력 영상에 대하여 자유 공간 정보를 계산하기 위하여 도 2 및 도 4를 참조하여 설명한 바와 같이 단계 S324에서 주행 차로 내에 다각형 영역(205)을 구획할 수 있는데, 다각형 영역(205)의 위쪽 경계선(205c)으로 이용하기 위한 선행 차량과 노면의 경계선이 검출되지 않는 경우에 자유 공간 정보를 '0' 또는 '없음'으로 계산할 수 있다.
다시 도 3을 참조하면, 영상 정보 공유 장치(110)의 제어부(114)는 촬영부(111)에 의한 입력 영상을 영상 정보 공유 장치(120)와 공유할지를 결정하게 되는데, 이때, 영상 공유에 대한 임계값이 이용될 수 있고, 이러한 임계값은 영상 정보 공유 장치(110)가 탑재된 차량의 제원에 기초하여 사전에 설정될 수 있다.
여기서, 복수의 영상 정보 공유 장치(110, 120)간에 영상을 공유할지를 결정하는 이유는 영상 정보 공유 장치(110)를 탑재한 차량과 영상 정보 공유 장치(120)를 탑재한 차량이 선행 차량과 후행 차량의 관계가 아니라면 상호간에 영상이 공유되더라도 공유 영상에 대한 활용성이 높지 않기 때문이다. 예컨대, 복수의 자율 주행 차량 중 선행 차량이 정차 중이고, 후행 차량이 선행 차량의 후미에 근접하게 위치한 경우 후행 차량은 선행 차량에 가려져서 전방의 도로 상황을 확인하기 어려울 수 있으며, 이 경우에 선행 차량의 전방 영상 정보가 후행 차량과 공유되면 후행 차량은 공유된 영상에 기초하여 전방의 도로 상황을 확인할 수 있는 것이다. 예를 들어, 영상 정보 공유 장치(110)는 자신이 탑재된 차량이 선행 차량으로 판별되면 입력 영상을 영상 정보 공유 장치(120)로 송신하여 후행 차량과의 영상 정보 공유를 결정할 수 있고, 자신이 탑재된 차량이 후행 차량으로 판별되면 선행 차량으로부터 송신된 영상을 수신하여 전방의 도로 상황을 확인할 수 있다.
제어부(114)는 단계 S320에서 획득된 도로의 상태 정보를 수치화한 값, 예컨대, 자유 공간 정보를 수치화한 값과 기 설정된 임계값과의 비교 결과에 기초하여 영상 공유 조건이 만족되는지를 판단할 수 있다. 예를 들어, 영상 정보 공유 장치(110)는 자신이 탑재된 차량이 선행 차량으로 판별되면 촬영부(111)에 의한 입력 영상에 대한 영상 공유 조건이 만족되었다고 판단할 수 있고 후행 차량으로 판별되면 촬영부(111)에 의한 입력 영상에 대한 영상 공유 조건이 만족되지 않았다고 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 정보 공유 장치(110, 120)가 자신이 탑재된 차량이 동일한 주행 차로에 운행 중인 복수의 차량 중 선행 차량인지 후행 차량인지를 판별하는 과정을 설명하기 위한 개념도이다.
영상 정보 공유 장치(110, 120)가 차량(201)들에 탑재된 상태이고, 2개의 차선(202) 사이의 차로를 차량(201)들이 주행하는 경우, 영상 공유 조건이 만족되는지를 판별하기 위한 자유 공간 정보의 임계값은 차량(201)의 차체 전폭(W)을 반영하여 W2 값으로 설정될 수 있다. 이는 같은 차로 상에 뒤쪽에 있는 차량(201)이 차로 변경 등을 위해 전방의 도로 상태 정보를 충분히 파악할 수 있는지를 분별하기 위한 기준값으로서 설정된 것이다. 예컨대, 제어부(114)는 단계 S402에서 획득된 자유 공간 정보의 수치화된 값이 임계값 W2 이상이면 자신이 선행 차량이라고 인식하여 영상 공유 조건이 만족되었다고 판별할 수 있다(S330).
제어부(114)는 단계 S330에서 영상 공유 조건이 만족되었다고 판별되면, 단계 S310에서 촬영부(111)에 의해 획득된 영상 정보가 영상 정보 공유 장치(120)로 송출하도록 통신부(113)를 제어할 수 있다. 이때, 영상 공유 조건이 만족되었더라도 영상 정보가 곧바로 송출되지 않고 복수의 영상 정보 공유 장치 중 어떤 장치와 영상을 공유할지를 결정하는 과정을 수행할 수도 있다. 이를 위해, 제어부(114)는 기 설정된 신호를 송출하도록 통신부(113)를 제어할 수 있다. 예컨대, 통신부(113)는 영상 정보 공유 장치(110)가 탑재된 차량이 선행 차량임을 알리는 신호를 BSM(Basic Safety Message) 메시지에 포함시켜 송출할 수 있다. 그러면, 영상 정보 공유 장치(120)는 영상 정보 공유 장치(110)로부터 수신한 신호에 대응하여 영상 요청 신호를 회신하고, 제어부(114)는 영상 정보 공유 장치(120)로부터 영상 요청 신호가 수신되면, 단계 S310에 의한 입력 영상을 송출하도록 통신부(113)를 제어할 수 있다.
이후, 통신부(113)는 제어부(114)의 제어에 따라 단계 S310에서 획득된 입력 영상을 영상 정보 공유 장치(120)로 송신하고, 영상 정보 공유 장치(120)는 영상 정보 공유 장치(110)로부터 영상을 수신함으로써, 영상 정보 공유 장치(110)에 의해 촬영된 전방 영상을 공유하게 된다. 여기서, 영상 정보 공유 장치(110)와 영상 정보 공유 장치(120)가 공유하는 영상 정보는 동영상 스틸 컷, 촬영 사진 원본, 동영상 등의 형태일 수 있으나 이러한 형태에 제한되지 않는다(S340).
도 9는 본 발명의 일 실시예에 따른 영상 정보 공유 장치(110, 120)가 다른 영상 정보 공유 장치에 의해 촬영된 영상 정보를 공유 받는 과정을 설명하기 위한 흐름도이다. 영상 정보 공유 장치(110)는 자신이 촬영한 영상을 영상 정보 공유 장치(120)와 공유할 수도 있고, 영상 정보 공유 장치(120)에 의해 촬영된 영상을 공유 받을 수도 있다. 마찬가지로, 영상 정보 공유 장치(120)는 자신이 촬영한 영상을 영상 정보 공유 장치(110)와 공유할 수도 있고, 영상 정보 공유 장치(110)에 의해 촬영된 영상을 공유 받을 수도 있다. 이러한 영상 공유 과정을 복수의 영상 정보 공유 장치(110, 120)에 의해 수행되는 것으로서 그 공유 과정은 유사한 흐름에 의해 수행되기 때문에, 이하에서는 영상 정보 공유 장치(110)가 영상 정보 공유 장치(120)의 촬영 영상을 공유 받는 과정을 대표적으로 설명하기로 한다.
영상 정보 공유 장치(110)의 제어부(114)는 다른 영상 정보 공유 장치, 예컨대 영상 정보 공유 장치(120)로부터 기 설정된 신호가 통신부(113)를 통해 수신되면(S501), 기 설정된 신호에 포함된 방향 정보를 추출한다(S502).
그리고, 제어부(114)는 다른 영상 정보 공유 장치, 예컨대 영상 정보 공유 장치(120)의 방향 정보와 영상 정보 공유 장치(110)의 방향 정보를 비교하여 동일 방향 또는 유사 방향인지를 확인한다. 이처럼, 동일 방향인지 또는 유사 방향인지를 확인하는 이유는 영상 정보 공유 장치(120)가 탑재된 차량의 주행 차로와 영상 정보 공유 장치(110)를 탑재한 차량의 주행 차로가 동일하지 않거나 서로 반대 방향으로 주행 중일 경우에는 공유하는 영상의 활용성이 낮기 때문이다(S503).
여기서, 제어부(114)는 단계 S503의 판단 결과, 동일 방향 또는 유사 방향으로 판단하여 영상 정보 공유 장치(120)가 탑재된 차량의 주행 차로가 영상 정보 공유 장치(110)를 탑재한 차량의 주행 차로와 동일하면서 서로 동일 방향으로 주행 중이라고 판단되면, 영상 요청 신호를 송출하도록 통신부(113)를 제어한다.
그러면, 통신부(113)는 제어부(114)의 제어에 따라 영상 요청 신호를 영상 정보 공유 장치(120)로 송신한다.
이후, 다른 영상 정보 공유 장치, 예컨대 영상 정보 공유 장치(120)가 영상 요청 신호에 따라 영상 정보를 송출하면, 제어부(114)의 제어에 따라 통신부(113)가 이를 수신하여 영상 처리부(112) 및 제어부(114)에 제공한다. 그러면, 영상 정보 공유 장치(110)는 영상 정보 공유 장치(120)에 의해 촬영된 영상 정보에 기초하여 전방의 도로 상황을 파악할 수 있게 된다. 이때, 제어부(114)는 영상 정보 공유 장치(120)로부터 공유 받은 영상 정보를 표시하도록 표시부(115)를 제어할 수 있고, 표시부(115)는 제어부(114)의 제어에 따라 영상 정보 공유 장치(120)에 의해 공유되는 영상 정보를 화면에 표시할 수 있다(S505).
지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 도로의 상태 정보를 포함하는 영상을 자율 주행 차량 등의 이동체에 탑재될 수 있는 복수의 장치가 공유할 수 있다.
그러므로, 선행 차량의 정차, 도로 상의 차량 정체 등에 기인하여 선행 차량에 의해 전방 시야가 가려지더라도 후행 차량이 공유 받은 영상 정보에 기초하여 전방의 도로 상황을 파악할 수 있다.
이러한 본 발명의 실시예에 따른 영상 정보 공유 기술이 자율 주행 차량에 채용될 경우에는 차량이 빈번하게 정차하거나 도로 상의 차량 정체가 빈번하게 발생하는 환경에서도 자율 주행 차량의 안정성이 확보된다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 의하면, 도로의 상태 정보를 포함하는 영상을 자율 주행 차량 등의 이동체에 탑재될 수 있는 복수의 장치가 공유할 수 있다.
이러한 본 발명의 실시예에 따른 영상 정보 공유 기술은 복수의 자율 주행 차량(autonomous vehicle) 등을 포함하는 자율 주행 교통 시스템 등의 기술분야에 적용할 수 있다. 예를 들어, 복수의 자율 주행 버스를 운용하는 자율 주행 대중교통 시스템에 적용할 수 있다.
110, 120: 영상 정보 공유 장치
111: 촬영부
112: 영상 처리부
113: 통신부
114: 제어부

Claims (5)

  1. 영상 정보 공유 장치에서 수행하는 영상 정보 공유 방법으로서,
    입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 단계와,
    상기 획득된 상태 정보와 기 설정된 임계값의 비교 결과에 기초하여 영상 공유 조건을 만족하는지를 판단하는 단계와,
    상기 영상 공유 조건을 만족하면, 상기 입력 영상을 송출하는 단계를 포함하고,
    상기 상태 정보는, 상기 영상 정보 공유 장치가 탑재된 차량의 자유 공간(Free space) 정보를 포함하는
    영상 정보 공유 방법.
  2. 제 1 항에 있어서,
    상기 수치화하여 획득하는 단계는, 상기 입력 영상에 포함된 물체 중 차선 또는 차량의 경계선을 연결하여 상기 입력 영상 내의 전방 노면에 상기 물체가 없는 다각형 영역을 구획한 후 상기 다각형 영역의 넓이를 계산해 상기 자유 공간 정보로서 획득하는
    영상 정보 공유 방법.
  3. 제 1 항에 있어서,
    상기 입력 영상을 송출하는 단계는,
    상기 영상 공유 조건을 만족하면, 기 설정된 신호를 송출하는 단계와,
    상기 기 설정된 신호에 대응하여 다른 영상 정보 공유 장치로부터 영상 요청 신호가 수신되면, 상기 다른 영상 정보 공유 장치로 상기 입력 영상을 송신하는 단계를 포함하는
    영상 정보 공유 방법.
  4. 제 1 항에 있어서,
    다른 영상 정보 공유 장치로부터 기 설정된 신호가 수신되면, 상기 기 설정된 신호에 포함된 방향 정보를 추출하는 단계와,
    상기 다른 영상 정보 공유 장치의 방향 정보와 상기 영상 정보 공유 장치의 방향 정보를 비교하여 동일 방향 또는 유사 방향인지를 확인하는 단계와,
    상기 동일 방향 또는 상기 유사 방향이면, 상기 다른 영상 정보 공유 장치에게 영상 요청 신호를 송신하는 단계와,
    상기 다른 영상 정보 공유 장치로부터 상기 영상 요청 신호에 따라 송출되는 영상을 수신하는 단계를 더 포함하는
    영상 정보 공유 방법.
  5. 입력 영상으로부터 도로의 상태 정보를 수치화하여 획득하는 영상 처리부와,
    상기 입력 영상을 송출할 수 있는 통신부와,
    상기 영상 처리부 및 상기 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 영상 처리부에 의해 획득된 상태 정보와 기 설정된 임계값의 비교 결과에 기초하여 영상 공유 조건을 만족하는지를 판단하며, 상기 영상 공유 조건을 만족하면, 상기 입력 영상을 송출하도록 상기 통신부를 제어하며,
    상기 영상 처리부는, 상기 도로 상의 차량의 자유 공간(Free space) 정보를 포함하는 상기 상태 정보를 획득하는
    영상 정보 공유 장치.
KR1020190066934A 2019-06-05 2019-06-05 영상 정보 공유 방법 및 장치 KR102203218B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190066934A KR102203218B1 (ko) 2019-06-05 2019-06-05 영상 정보 공유 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190066934A KR102203218B1 (ko) 2019-06-05 2019-06-05 영상 정보 공유 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200140120A KR20200140120A (ko) 2020-12-15
KR102203218B1 true KR102203218B1 (ko) 2021-01-14

Family

ID=73780492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190066934A KR102203218B1 (ko) 2019-06-05 2019-06-05 영상 정보 공유 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102203218B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763604B1 (ko) 2015-06-09 2017-08-01 주식회사 엠투브 무선 통신 시스템에서 위치 기반으로 주변 차량의 멀티미디어 데이터를 수신하는 방법 및 그 장치
KR101979928B1 (ko) 2014-06-24 2019-05-22 주식회사 만도 전방 차량 거리 추정 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (ja) * 1993-06-29 1995-01-13 Hitachi Ltd 車両の運転情報装置
KR20180010734A (ko) 2016-07-22 2018-01-31 기아자동차주식회사 서비스 센타 서버 및 그를 포함한 물류 유통 서비스 시스템
KR102050991B1 (ko) * 2017-08-23 2019-12-02 한국자동차연구원 차량의 주변 상황 인지 시스템 및 방법
KR102007228B1 (ko) * 2017-11-10 2019-08-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979928B1 (ko) 2014-06-24 2019-05-22 주식회사 만도 전방 차량 거리 추정 시스템 및 방법
KR101763604B1 (ko) 2015-06-09 2017-08-01 주식회사 엠투브 무선 통신 시스템에서 위치 기반으로 주변 차량의 멀티미디어 데이터를 수신하는 방법 및 그 장치

Also Published As

Publication number Publication date
KR20200140120A (ko) 2020-12-15

Similar Documents

Publication Publication Date Title
JP7467485B2 (ja) 時系列要素からの機械学習のためのグラウンドトゥルースの生成
US11027723B2 (en) Parking support method and parking support device
AU2018295099B2 (en) Autonomous vehicle collision mitigation systems and methods
US9947228B1 (en) Method for monitoring blind spot of vehicle and blind spot monitor using the same
US11366477B2 (en) Information processing device, information processing method, and computer readable medium
US20230304823A1 (en) Navigation Method, Apparatus, and System
US10810446B2 (en) Parking space line detection method and device
US20230236602A1 (en) Systems and Methods for Controlling an Autonomous Vehicle with Occluded Sensor Zones
JP2021185548A (ja) 物体検出装置、物体検出方法およびプログラム
KR20210120018A (ko) 자율 주행을 위한 3차원 특징 예측
JP2019008460A (ja) 物体検出装置、物体検出方法およびプログラム
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
EP3217318A2 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
JP6743732B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
JP2020123339A (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
CN110745145B (zh) 用于adas的多传感器管理系统
WO2017167246A1 (zh) 一种数据处理方法及设备、存储介质
CN114298908A (zh) 一种障碍物展示方法、装置、电子设备及存储介质
KR102203218B1 (ko) 영상 정보 공유 방법 및 장치
CN114729810A (zh) 人行横道检测
JP6530782B2 (ja) 車両制御装置
WO2022244356A1 (en) Light interference detection during vehicle navigation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right