KR101773410B1 - 센서의 감지 장애 영역 판단 장치 및 방법 - Google Patents

센서의 감지 장애 영역 판단 장치 및 방법 Download PDF

Info

Publication number
KR101773410B1
KR101773410B1 KR1020160087236A KR20160087236A KR101773410B1 KR 101773410 B1 KR101773410 B1 KR 101773410B1 KR 1020160087236 A KR1020160087236 A KR 1020160087236A KR 20160087236 A KR20160087236 A KR 20160087236A KR 101773410 B1 KR101773410 B1 KR 101773410B1
Authority
KR
South Korea
Prior art keywords
region
threshold value
gradient
detection failure
detection
Prior art date
Application number
KR1020160087236A
Other languages
English (en)
Other versions
KR20170092086A (ko
Inventor
김동엽
신동인
황정훈
김영욱
이재민
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of KR20170092086A publication Critical patent/KR20170092086A/ko
Application granted granted Critical
Publication of KR101773410B1 publication Critical patent/KR101773410B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/232—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 센서의 감지 장애 영역 판단 장치 및 방법에 관한 것으로서, 감지 장애 영역 판단 장치가 센서를 이용해 이동체 주변을 감지하고, 픽셀값의 그라디언트(gradient)가 제1 임계값 이상인 부분을 엣지로 검출하되, 픽셀값의 그라디언트가 제1 임계값보다 상대적으로 작은 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하여 화면에 표시한다. 이를 통해 이동체의 위치 추정을 위한 연산을 수행하기 전에 적은 연산 부담으로 센서의 감지 결과를 신뢰할 수 없는 감지 장애 영역이 발생하였는지 미리 확인 수 있다.

Description

센서의 감지 장애 영역 판단 장치 및 방법{Sensor detection failure area determining device and method}
본 발명은 센서가 감지 결과에 장애가 발생한 영역을 판단하는 기술과 관련한 것으로, 더욱 상세하게는 이동하는 물체 주변의 지형이나 지물에 대해 감지하는 센서가 감지할 수 없는 영역이 발생하였는지 판단하는 센서의 감지 장애 영역 판단 장치 및 방법에 관한 것이다.
이동하는 로봇 등의 이동체가 센서 정보를 이용하여 주변 환경에 대한 지도를 작성하고, 해당 지도로부터 현재 위치를 추정하는 SLAM(Simultaneous Localization And Mapping) 기술이 사용되고 있다.
SLAM은 이동체의 초기 위치를 기준으로 비전 센서나 거리 센서를 이용해 주변을 감지하고, 감지한 정보를 이용해 지도를 작성하며 자신의 위치를 실시간으로 추정한다.
그런데 이러한 센서의 감지 영역이 폭발이나 화재로 인한 연기로 가려지거나, 갑작스러운 직사광선이 유입되거나, 이동체가 좁은 공간을 통과하여 센서에서 감지가 어렵거나, 센서가 장애물로 가려지는 등이 이유로, 센서에서 특징점 추출을 통해 엣지를 감지할 수 없는 감지 장애 영역이 발생하게 된다.
이렇게 센서의 감지 대상에 감지 장애 영역이 발생하는 경우 이동체의 위치 판단에 오류가 발생하게 되는데, 종래 기술에서 위치 판단에 오류가 발생하였음을 확인하기 위해서는 SLAM에 따른 연산을 수행하여 인식되는 특징점의 불일치를 확인하여야만 하므로, 연산 부담이 증가되고 감지 장애 영역의 발생을 뒤늦게 확인할 수 밖에 없는 문제가 존재한다.
한국공개특허 제10-2010-0021952호(2010년 02월 26일 공개)
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 이동하는 물체 주변의 지형이나 지물에 대해 감지하는 센서의 감지 결과를 이용해, 센서가 감지할 수 없는 영역이 발생하였는지를 신속하고 정확하게 판단할 수 있는 센서의 감지 장애 영역 판단 장치 및 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 센서의 감지 장애 영역 판단 장치는, 이동체 주변을 감지하는 센서부, 정보를 표시하기 위한 표시부, 및 상기 센서부의 감지 결과에 따른 영상에서 픽셀값의 그라디언트(gradient)가 제1 임계값 이상인 부분을 엣지로 검출하되, 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않지만 제1 임계값보다 상대적으로 작은 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하고, 상기 감지 장애 영역과 관련한 정보를 상기 표시부의 화면에 표시하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 장치에 있어서, 상기 제어부는, 픽셀값의 그라디언트가 제2 임계값 이상인 픽셀이 일정 개수 이상으로 위치하는 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 장치에 있어서, 상기 제어부는, 픽셀값의 그라디언트에 대한 평균이 제2 임계값 이상인 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 장치에 있어서, 상기 제어부는, 픽셀값의 그라디언트에 대한 분산이 제2 임계값 이상인 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 장치에 있어서, 상기 제어부는, 상기 이동체의 이동에 따라 일정 시간 동안 판단한 결과, 픽셀값의 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 장치에 있어서, 상기 제어부는, 기존에 엣지가 검출되었으나 이후 엣지가 검출되지 않는 상태로 변경된 부분에 대응하는 영역 중 픽셀값의 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 센서의 감지 장애 영역 판단 방법은, 감지 장애 영역 판단 장치가 센서를 이용해 이동체 주변을 감지하는 단계, 상기 감지 장애 영역 판단 장치가 상기 센서의 감지 결과에 따른 영상에서 픽셀값의 그라디언트(gradient)가 제1 임계값 이상인 부분을 엣지로 검출하는 단계, 상기 감지 장애 영역 판단 장치가 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않지만 제1 임계값보다 상대적으로 작은 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 단계, 및 상기 감지 장애 영역 판단 장치가 상기 감지 장애 영역과 관련한 정보를 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 방법에 있어서, 상기 감지 장애 영역으로 판단하는 단계는, 상기 감지 장애 영역 판단 장치가, 픽셀값의 그라디언트가 제2 임계값 이상인 픽셀이 일정 개수 이상으로 위치하는 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 한다.
본 발명의 센서의 감지 장애 영역 판단 장치 및 방법에 따르면, 센서의 감지 영상으로부터 이동체의 위치 추정을 위한 연산을 수행하기 전에, 센서의 감지 결과를 신뢰할 수 없는 감지 장애 영역이 발생하였는지 미리 알 수 있어, 적은 연산 부담으로 센서의 감지 오류에 대해 판단할 수 있다. 이에 따라 이동체의 이동에 따라 실시간으로 센서의 감지 결과에 대한 신뢰성을 판단할 수 있고, 이동체의 동작시 발생할 수 있는 안전 사고의 위험을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 감지 장애 영역 판단 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 감지 장애 영역이 발생한 모습을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 감지 영상의 픽셀값을 나타낸 도면이다.
도 4는 도 3의 실시예에 따라 감지 장애 영역을 검출하는 모습을 나타낸 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 감지 영상의 픽셀값을 나타낸 도면이다.
도 6는 도 5의 실시예에 따라 감지 장애 영역이 검출되지 않은 모습을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 감지 장애 영역 판단 방법의 과정을 나타낸 도면이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 이동체 주변을 감지하는 센서의 감지 결과에 대해 판단하는 기술과 관련한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 감지 장애 영역 판단 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따라 감지 장애 영역이 발생한 모습을 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 감지 영상의 픽셀값을 나타낸 도면이고, 도 4는 도 3의 실시예에 따라 감지 장애 영역을 검출하는 모습을 나타낸 도면이고, 도 5는 본 발명의 다른 일 실시예에 따른 감지 영상의 픽셀값을 나타낸 도면이며, 도 6는 도 5의 실시예에 따라 감지 장애 영역이 검출되지 않은 모습을 나타낸 도면이다.
도 1 내지 도 6을 참조하면, 본 실시예의 감지 장애 영역 판단 장치(100)는 센서부(10), 표시부(20) 및 제어부(30)를 포함하여 구성된다.
센서부(10)는 카메라 등의 비전 센서나 ToF(Time Of Flight) 센서 등의 거리 센서를 이용해 이동체 주변을 감지하는 역할을 한다. 이때 이동체는 원격 제어에 따라 이동이 가능하거나 자율 주행이 가능한 로봇, 자동차 등의 장치가 될 수 있으며, 센서부(10)는 이동체에 부착되거나 적어도 이동체의 위치 이동에 따라 함께 이동하여 주변의 물체를 감지할 수 있다. 센서부(10)는 이동체 주변에 대한 감지 결과를 제어부(30)로 전달한다.
표시부(20)는 정보 표시를 위한 화면을 포함하며, 각종 정보를 해당 화면에 시각적으로 인식 가능한 형태로 표시한다. 표시부(20)는 제어부(30)의 제어에 따라, 센서부(10)의 감지 결과에 따른 감지 장애 영역과 관련한 정보를 화면에 표시하여 사용자가 이를 확인할 수 있도록 한다.
제어부(30)는 센서부(10) 및 표시부(20)를 포함한 감지 장애 영역 판단 장치 (100)의 동작을 전반적으로 제어하는 역할을 하며, 이를 위한 연산 유닛, 응용 프로그램 저장소, 메모리 등을 포함한다.
제어부(30)는 센서부(10)가 이동체 주변을 감지한 결과에 따른 영상에서 엣지를 추출하는 과정을 수행하고, 엣지가 검출되지 않은 영역 중에서 감지 장애 영역을 판단한다.
감지 장애 영역은 센서의 감지 영역이 폭발이나 화재로 인한 연기로 가려지거나, 갑작스러운 직사광선이 유입되거나, 이동체가 좁은 공간을 통과하여 센서에서 감지가 어렵거나, 센서가 장애물로 가려지는 등이 이유로, 센서의 감지 결과를 신뢰할 수 없는 영역을 의미한다. 예를 들어, 도 2는 로봇이 로봇암(2)을 이용해 건물의 문(3)을 열고 건물 내부로 진입하려는 경우, 화재로 인한 연기 때문에 시야가 가려져 감지 장애 영역(1)이 발생한 모습을 나타낸다. 이러한 경우 센서부(10)는 비전 센서나 거리 센서를 이용해 연기로 가려진 감지 장애 영역(1)에 대응하는 지형이나 지물을 정확하게 감지하는 것이 어렵게 된다.
이때 제어부(30)는 센서부(10)의 감지 결과에 따른 영상에서 인접한 픽셀(pixel) 간의 픽셀값 변화에 따라 픽셀값의 그라디언트(gradient)가 제1 임계값 이상인 부분을 엣지로 검출하고, 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않은 영역 중에서 픽셀값이 그라디언트가 제2 임계값 이상인 부분을 경계로 검출하여 대응하는 영역을 감지 장애 영역으로 판단한다. 이 경우 제2 임계값을 이용해 검출한 경계를 기준으로 감지 장애 영역과 그렇지 않은 영역이 구분된다. 이때 제2 임계값은 제1 임계값보다 상대적으로 작은 값으로서, 픽셀값의 변화가 있지만 엣지로 검출될 정도는 아닌 영역이 된다. 예를 들어 센서부(10)의 카메라나 ToF 센서에서 이동체 주변을 감지한 결과, 연기 등으로 인해 부옇게 흐려져 인접한 픽셀 간의 픽셀값 차이에 의해 물체의 윤곽선을 추출하기 어렵지만, 픽셀값의 그라디언트가 일정치 이상이어서 픽셀값의 변화를 확인할 수 있는 경우, 제어부(30)는 해당 영역을 감지 장애 영역으로 판단할 수 있다.
실시예에 따라서 제어부(30)는 일정 영역 내의 픽셀들에 대해 판단한 결과, 픽셀값의 그라디언트가 제1 임계값 이상인 픽셀이 일정 개수 미만으로 위치하는 경우, 해당 영역에서 엣지가 검출되지 않은 것으로 판단할 수 있는데, 이때 픽셀값의 그라디언트가 제2 임계값 이상인 픽셀이 일정 개수 이상으로 위치하는 경우 해당 부분에 대응하는 영역을 감지 장애 영역으로 판단할 수 있다.
도 3은 센서부(10)의 감지 결과에 따른 영상 중 일정 영역의 픽셀값을 나타내는데, 이때 좌측에서 우측 방향으로 픽셀값의 차이를 계산하여 그라디언트를 구하면 도 4와 같다. 이 경우 제어부(30)가 일정 영역에서 그라디언트 10 이상인 부분을 엣지로 검출하도록 제1 임계값이 설정되고, 일정 영역에서 그라디언트가 5 이상인 부분에 대응되는 영역을 감지 장애 영역으로 판단하도록 제2 임계값이 설정되었다고 가정한다.
이러한 경우 도 4에서 픽셀값의 그라디언트가 제1 임계값인 10 이상인 부분은 존재하지 않으므로 엣지는 검출되지 않지만, 픽셀값이 3에서 8로 변화하여 그 차이값이 5인 부분과, 픽셀값이 3에서 9로 변화하여 그 차이값이 6인 부분은 그라디언트의 제2 임계값인 5 이상의 픽셀값 차이를 가지게 되고, 제어부(30)는 이렇게 픽셀값의 차이가 제2 임계값 이상의 그라디언트를 가지는 부분을 감지 장애 영역의 경계 부분으로 검출하여 감지 장애 영역을 판단할 수 있다.
실시예에 따라서는 일정 영역에서 그라디언트가 제2 임계값 이상인 픽셀이 4개 이상으로 위치하는 경우 제어부(30)가 해당 부분을 감지 장애 영역의 경계 부분으로 검출하도록 설정될 수 있다. 이때 도 4에서 그라디언트가 제2 임계값인 5 이상을 갖는 픽셀이 총 5개의 픽셀이므로, 제어부(30)는 해당 부분을 감지 장애 영역의 경계 부분으로 검출하여 감지 장애 영역을 판단할 수 있다.
한편 도 5는 센서부(10)의 감지 결과에 따른 영상 중 다른 일정 영역의 픽셀값을 나타내는데, 이때 좌측에서 우측 방향으로 픽셀값의 차이를 계산하여 그라디언트를 구하면 도 6과 같다. 이 경우 제어부(30)가 일정 영역에서 그라디언트 10 이상인 부분을 엣지로 검출하도록 제1 임계값이 설정되고, 일정 영역에서 그라디언트가 5 이상인 부분에 대응되는 영역을 감지 장애 영역으로 판단하도록 제2 임계값이 설정되며, 일정 영역에서 그라디언트가 제2 임계값 이상인 픽셀이 4개 이상으로 위치하는 경우 감지 장애 영역의 경계 부분으로 검출하도록 설정되었다고 가정한다.
도 6에 도시된 바에 의하면, 픽셀값의 그라디언트가 제1 임계값인 10 이상은 부분은 존재하지 않으므로 엣지는 검출되지 않는다. 또한 픽셀값이 3에서 8로 변화하여 그 차이값이 5인 부분(5)과, 픽셀값이 3에서 9로 변화하여 그 차이값이 6인 부분(6)에 대응하는 2개의 픽셀만이 제2 임계값 5 이상의 그라디언트를 가질 뿐 다른 부분의 그라디언트는 제2 임계값 5 미만의 값을 갖게 되므로, 제어부(30)는 해당 영역에서 감지 장애 영역의 경계 부분이 검출되지 않은 것으로 판단하게 되고 이에 따라 감지 장애 영역이 없는 것으로 판단하게 된다.
실시예에 따라서 제어부(30)는 일정 영역의 그라디언트의 분산을 고려하여 감지 장애 영역을 판단할 수 있다. 즉 제어부(30)는 센서부(10)의 감지 결과에 따른 영상에서 일정 영역의 픽셀값의 그라디언트를 계산하고, 픽셀값의 그라디언트에 대한 평균이 제1 임계값 미만이어서 엣지가 검출되지 않은 것으로 판단하였으나, 해당 영역의 그라디언트에 대한 평균이 제2 임계값 이상인 경우, 해당 영역에 미세한 픽셀값의 변화가 있는 것이므로 감지 장애 영역으로 검출할 수 있다. 즉, 이동체 주변에 연기로 가려진 부분, 강한 광을 받은 부분, 장애물 등에 의해 센서가 가리워진 부분은 센서부(10)의 감지 결과에 따른 영상에서 픽셀값의 변화가 거의 없게 되고, 그 결과 그라디언트 값이 전체적으로 작은 값을 갖게 되므로, 제어부(30)는 일정 영역에서 그라디언트의 평균을 구하여 그 값이 제2 임계값 이상이지만 제1 임계값에는 미치지 못하는 영역을 감지 장애 영역으로 판단할 수 있다.
또한 제어부(30)는 일정 영역의 그라디언트의 분산을 고려하여 감지 장애 영역을 판단할 수 있다. 즉 제어부(30)는 센서부(10)의 감지 결과에 따른 영상에서 일정 영역의 픽셀값의 그라디언트를 계산하고, 픽셀값의 그라디언트에 대한 분산이 제1 임계값 미만이어서 엣지가 검출되지 않은 것으로 판단하였으나, 해당 영역의 그라디언트에 대한 분산이 제2 임계값 이상인 경우, 해당 영역에 미세한 픽셀값의 변화가 있는 것이므로 감지 장애 영역으로 검출할 수 있다. 즉 제어부(30)는 특정 영역의 픽셀값에 미세한 변화가 있어 그라디언트에 대한 분산이 제2 임계값을 넘어서지만 제1 임계값에는 미치지 못하는 경우 연기, 광 또는 센서의 가리움 등이 발생하였을 가능성이 높으므로, 해당 영역을 감지 장애 영역으로 판단할 수 있다.
한편 제어부(30)가 감지 장애 영역을 판단할 때에는 이동체의 이동에 따라 센서부(10)의 감지 결과에 따른 영상을 일정 시간 동안 확인하여, 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않았으나 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단할 수 있다. 즉, 제어부(30)는 그라디언트 값에 따라 엣지가 미검출되었으나 제2 임계값 이상으로 그라디언트가 존재하는 영역에 대하여, 이동체가 위치를 이동하여도 일정 시간 이상 지속적으로 제2 임계값 이상 제1 임계값 미만의 그라디언트가 검출되는지 살펴 감지 장애 영역으로 판단함으로써, 장애 감지 영역을 잘못 판단할 가능성을 줄일 수 있고, 판단의 정확도를 개선할 수 있다.
더하여 제어부(30)가 감지 장애 영역을 판단할 때에는, 픽셀값의 그라디언트가 제1 임계값 이상이어서 기존에 엣지가 검출되었으나, 이후 엣지가 검출되지 않은 상태로 변경된 영역 중 픽셀값의 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단할 수 있다. 예를 들어, 이동체의 위치 주변에 갑작스러운 폭발에 의해 연기나 광이 유입되는 경우, 건물의 붕괴 등으로 인해 먼지가 발생하는 경우, 센서의 감지 범위에 갑작스러운 장애물이 발생하는 경우 등에 있어, 기존에 엣지가 검출되던 영역에서 엣지를 검출할 수 없는 경우, 제어부(30)는 제2 임계값 이상의 그라디언트가 존재하는지 살펴 이러한 영역을 감지 장애 영역으로 판단함으로써, 동적으로 변화하는 이동체 주변 환경에 따라 감지 장애 영역의 검출을 수행할 수 있다.
그리고 제어부(30)는 감지 장애 영역이 존재하는 것으로 판단됨에 따라, 표시부(20)의 화면에 감지 장애 영역과 관련한 정보를 표시하여 사용자가 확인할 수 있도록 한다.
본 발명에 따라 감지 장애 영역을 판단하는 방법에 대해서는 도 7을 참조하여 상세하게 설명하기로 한다.
도 7은 본 발명의 일 실시예에 따른 감지 장애 영역 판단 방법의 과정을 나타낸 도면이다.
도 7을 참조하면, 감지 장애 영역 판단 장치는 센서를 이용해 이동체 주변을 감지한다(S1).
단계(S1)에서 감지 장애 영역 판단 장치는 이동체에 부착되거나 이동체와 함께 이동하는 비전 센서, 거리 센서 등을 이용해 이동체 주변의 물체를 감지할 수 있다.
그리고 감지 장애 영역 판단 장치는 단계(S1)에서 감지한 결과에 따른 영상에서 픽셀값의 그라디언트가 제1 임계값 이상인 부분을 엣지로 검출한다(S2).
또한 감지 장애 영역 판단 장치는 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않은 영역 중에서 해당 그라디언트가 제2 임계값 이상인 부분 검출하여, 검출된 부분을 경계로 대응하는 영역을 감지 장애 영역으로 판단한다(S3).
즉 센서의 감지 영역이 폭발이나 화재로 인한 연기로 가려지거나, 갑작스러운 직사광선이 유입되거나, 이동체가 좁은 공간을 통과하여 센서에서 감지가 어렵거나, 센서가 장애물로 가려지는 등이 이유로, 센서의 감지 결과에 따른 영상에서 픽셀값의 변화가 적은 영역이 존재하는 경우, 감지 장애 영역 판단 장치는 해당 영역에서 그라디언트의 값이 제1 임계값을 넘는지 살펴 엣지를 추출하는 동작을 수행하고, 이에 따라 엣지가 추출되지 않는 영역 중에서 제2 임계값 이상의 그라디언트가 존재하는 영역을 감지 장애 영역으로 검출할 수 있다.
이때 감지 장애 영역 판단 장치는 센서의 감지 결과에 따른 영상에서 일정 영역 내의 픽셀들에 대해 판단한 결과, 픽셀값의 그라디언트가 제1 임계값에는 미치지 못하지만 제2 임계값 이상인 픽셀이 일정 개수 이상으로 위치하는 경우, 해당 부분을 경계로 대응하는 영역을 감지 장애 영역으로 판단할 수 있다.
또한 감지 장애 영역 판단 장치는 센서의 감지 결과에 따른 영상에서 일정 영역의 픽셀값의 그라디언트를 계산하고, 해당 영역의 그라디언트에 대한 평균이 제1 임계값에는 미치지 못하지만 제2 임계값 이상인 경우, 해당 부분을 경계로 대응하는 영역을 감지 장애 영역으로 판단할 수 있다.
더하여 감지 장애 영역 판단 장치는 센서의 감지 결과에 따른 영상에서 일정 영역의 픽셀값의 그라디언트를 계산하고, 해당 영역의 그라디언트에 대한 분산이 제1 계값에는 미치지 못하지만 제2 임계값 이상인 경우, 해당 부분을 경계로 대응하는 영역을 감지 장애 영역으로 판단할 수 있다.
한편 감지 장애 영역 판단 장치는 이동체의 이동에 따라 센서의 감지 결과에 따른 영상을 일정 시간 동안 확인하여, 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않지만 해당 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단할 수 있으며, 이를 통해 감지 장애 영역 판단의 정확성을 개선할 수 있다.
또한 감지 장애 영역 판단 장치는 픽셀값의 그라디언트가 제1 임계값 이상이어서 기존에 엣지가 검출되었으나, 이후 엣지가 검출되지 않은 상태로 변경된 영역중 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단할 수 있으며, 이를 통해 이동체 주변의 환경 변화에 따라 동적으로 감지 장애 영역을 판단하는 것이 가능하다.
이후 감지 장애 영역 판단 장치는 감지 장애 영역과 관련한 정보를 화면에 표시하여 사용자가 이를 확인하고 대응하는 조치를 취할 수 있도록 한다(S4).
본 발명의 실시예에 따른 센서의 감지 장애 영역 판단 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
10: 센서부 20: 표시부
30: 제어부 100: 감지 장애 영역 판단 장치

Claims (8)

  1. 이동체 주변을 감지하는 센서부;
    정보를 표시하기 위한 표시부; 및
    상기 센서부의 감지 결과에 따른 영상에서 픽셀값의 그라디언트(gradient)가 제1 임계값 이상인 부분을 엣지로 검출하되, 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않지만 제1 임계값보다 상대적으로 작은 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하고, 상기 감지 장애 영역과 관련한 정보를 상기 표시부의 화면에 표시하는 제어부;
    를 포함하고,
    상기 제어부는,
    기존에 엣지가 검출되었으나 이후 엣지가 검출되지 않는 상태로 변경된 부분에 대응하는 영역 중 픽셀값의 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    픽셀값의 그라디언트가 제2 임계값 이상인 픽셀이 일정 개수 이상으로 위치하는 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    픽셀값의 그라디언트에 대한 평균이 제2 임계값 이상인 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    픽셀값의 그라디언트에 대한 분산이 제2 임계값 이상인 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 이동체의 이동에 따라 일정 시간 동안 판단한 결과, 픽셀값의 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 장치.
  6. 삭제
  7. 감지 장애 영역 판단 장치가 센서를 이용해 이동체 주변을 감지하는 단계;
    상기 감지 장애 영역 판단 장치가 상기 센서의 감지 결과에 따른 영상에서 픽셀값의 그라디언트(gradient)가 제1 임계값 이상인 부분을 엣지로 검출하는 단계;
    상기 감지 장애 영역 판단 장치가 픽셀값의 그라디언트가 제1 임계값 미만이어서 엣지가 검출되지 않지만 제1 임계값보다 상대적으로 작은 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 단계; 및
    상기 감지 장애 영역 판단 장치가 상기 감지 장애 영역과 관련한 정보를 화면에 표시하는 단계;
    를 포함하고,
    상기 감지 장애 영역으로 판단하는 단계는,
    상기 감지 장애 영역 판단 장치가, 기존에 엣지가 검출되었으나 이후 엣지가 검출되지 않는 상태로 변경된 부분에 대응하는 영역 중 픽셀값의 그라디언트가 제2 임계값 이상인 부분에 대응하는 영역을 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 방법.
  8. 제7항에 있어서,
    상기 감지 장애 영역으로 판단하는 단계는,
    상기 감지 장애 영역 판단 장치가, 픽셀값의 그라디언트가 제2 임계값 이상인 픽셀이 일정 개수 이상으로 위치하는 부분에 대응하는 영역을 상기 감지 장애 영역으로 판단하는 것을 특징으로 하는 센서의 감지 장애 영역 판단 방법.
KR1020160087236A 2016-02-01 2016-07-11 센서의 감지 장애 영역 판단 장치 및 방법 KR101773410B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160012098 2016-02-01
KR20160012098 2016-02-01

Publications (2)

Publication Number Publication Date
KR20170092086A KR20170092086A (ko) 2017-08-10
KR101773410B1 true KR101773410B1 (ko) 2017-09-01

Family

ID=59652300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160087236A KR101773410B1 (ko) 2016-02-01 2016-07-11 센서의 감지 장애 영역 판단 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101773410B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093623A (ja) * 2008-10-09 2010-04-22 Denso Corp 画像処理装置
JP2015184903A (ja) * 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093623A (ja) * 2008-10-09 2010-04-22 Denso Corp 画像処理装置
JP2015184903A (ja) * 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置

Also Published As

Publication number Publication date
KR20170092086A (ko) 2017-08-10

Similar Documents

Publication Publication Date Title
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
US20170067764A1 (en) Method and device for detecting at least one sensor malfunction of at least one first sensor of at least one first vehicle
KR102126670B1 (ko) 검출 영역을 최적화하는 장애물 추적 장치 및 방법
KR101515597B1 (ko) 3차원 영상 정보를 이용한 감지 방법 및 장치
US20150103175A1 (en) Safety alarm system and method for vehicle
CN111108503B (zh) 驻车辅助装置
EP3441839B1 (en) Information processing method and information processing system
CN108602483A (zh) 用于基于相机检测车辆附近对象高度的系统和方法
CN112347876A (zh) 一种基于tof摄像头的障碍物识别方法、清洁机器人
CN112207827B (zh) 机器人安全移动的控制方法、装置及电子设备
JP2015133078A5 (ko)
CN113330448B (zh) 用于车辆的传感器数据融合的方法和装置
CN104978568B (zh) 前方车辆检测方法
KR101236234B1 (ko) 레이저 센서와 카메라를 이용한 차선 인식 시스템
KR102518535B1 (ko) 차량의 영상 처리 장치 및 방법
US11113833B2 (en) Object detection system
KR101773410B1 (ko) 센서의 감지 장애 영역 판단 장치 및 방법
CN115565058A (zh) 机器人、避障方法、装置和存储介质
KR102329674B1 (ko) 고정객체와 이동객체의 식별에 기반하여 위치를 설정하는 방법 및 이를 구현하는 로봇
KR20220068710A (ko) 차량 측위 방법 및 장치
CN109188419B (zh) 障碍物速度的检测方法、装置、计算机设备及存储介质
CN111626078A (zh) 识别车道线的方法及装置
CN115703471A (zh) 驾驶员注意力以及手放置系统和方法
US11163368B2 (en) Method for recognizing an input
KR102091180B1 (ko) 복수 지도를 이용한 전역 지도 통합 시스템 및 방법 그리고 그 통합 기준 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant