KR102299446B1 - 인식 고장 진단 장치 및 인식 고장 진단 방법 - Google Patents

Abstract

본 발명은 차량 영상에서 대상을 인식하는 인식 로직의 고장을 진단하는 인식 고장 진단 장치에 관한 것이다.

Description

인식 고장 진단 장치 및 인식 고장 진단 방법{Apparatus and method for recognition fail diagnosis}

본 발명은 인식 고장 진단 장치 및 방법에 관한 것으로, 보다 상세하게는 차량 영상에서 대상을 인식하는 인식 로직의 고장을 진단하는 인식 인식 고장 진단 장치 및 방법에 관한 것이다.

근래에 차량에 카메라 센서를 설치하고 그에 의해 획득한 영상에서 특정 대상을 인식하여 차량의 장치를 제어하는 기술이 대부분의 차량에 적용되고 있다.

그런데 영상에서 특정 대상을 인식하는 과정에 오류가 있을 경우 잘못된 제어가 수행될 수 있고, 이는 운전자의 안전과 직접적으로 연결되므로 운전자에게 위험한 상황을 초래할 수 있다. 또한 최근 ISO 26262에서 오류를 최소화하는 규정이 강화됨에 따라 시스템의 강건성 즉 시스템의 정확한 동작을 담보하는 기술이 필요하게 되었다.

이에 최근에 특정 대상을 인식하는 로직(Logic) 자체가 정상으로 구동되는지 여부를 진단하는 다양한 기술이 연구 중에 있다.

본 발명이 해결하고자 하는 과제는 차량 영상에서 대상을 인식하는 인식 로직의 고장을 진단하는 인식 고장 진단 장치를 제공함에 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 인식 고장 진단 장치는, 설정된 대상의 기준 특징점 좌표를 포함하는 영상 프레임, 상기 차량의 전방을 촬영하여 차량 전방 영상을 출력하는 카메라 센서, 상기 영상 프레임에서 특징점 좌표를 연산하여 인식 특징점 좌표를 출력하는 인식로직부, 설정된 주기로 상기 차량 전방 영상 대신 상기 영상 프레임을 상기 인식로직부에 적용시키는 영상 프레임 강제 입력부 및 상기 영상 프레임 강제 입력 시 상기 기준 특징점 좌표와 상기 인식 특징점 좌표의 일치 여부에 따라 상기 인식로직부의 정상 동작 여부를 판단하는 정상동작판단부를 포함하고, 상기 인식로직부는 상기 차량 전방 영상에서 차선을 인식하고, 상기 영상 프레임 강제 입력부가 상기 영상 프레임을 상기 인식로직부에 적용시킬 때 상기 인식 특징점 좌표를 출력하고, 상기 영상 프레임은 적어도 1 이상의 상기 기준 특징점 좌표를 포함하고, 상기 영상 프레임은 특징점이 될 수 있는 차선 영상, 타 차량 영상, 광원 영상, 표지판 영상, 및 보행자 영상 중 적어도 하나를 더 포함하고, 상기 정상동작판단부는 상기 영상 프레임이 포함하는 상기 기준 특징점 좌표의 개수와 동일한 개수의 상기 인식 특징점 좌표의 개수를 인식하여 각각의 상기 일치 여부를 판단하고, 상기 인식로직부의 대상 인식 수행 시, 프로세서의 부하율을 감지하는 시스템부하율감지부를 더 포함하고, 상기 프로세서의 부하율이 기준 부하율 이상인 경우, 상기 정상동작판단부는 상기 영상 프레임이 포함하는 적어도 1 이상인 기준 특징점 중 일부만을 고려하고, 상기 인식로직부 및 상기 정상동작판단부는 상기 설정된 주기에 따라 동시에 수행된다.

상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 인식 고장 진단 방법은, 카메라 센서가 상기 차량의 전방을 촬영하여 차량 전방 영상을 출력하는 단계, 차량 전방 영상에서 대상을 인식하는 단계, 설정된 주기로 상기 차량 전방 영상 대신 적어도 1 이상의 기준 특징점 좌표를 포함하는 영상 프레임을 상기 대상 인식 단계에 적용하는 단계, 상기 영상 프레임에서 대상을 인식하고, 특징점 좌표를 연산하여 인식 특징점 좌표를 출력하는 단계 및 상기 설정된 영상 프레임 강제 입력 시 상기 기준 특징점 좌표와 상기 인식 특징점 좌표의 일치 여부에 따라 상기 인식 특징점 좌표 출력 단계의 정상 동작 여부를 판단하는 단계를 포함하고, 상기 정상 동작 여부 판단 단계는 상기 영상 프레임이 포함하는 상기 기준 특징점 좌표의 개수와 동일한 개수의 상기 인식 특징점 좌표를 인식하여 각각의 상기 일치 여부를 판단하고, 상기 인식 특징점 좌표 출력 단계에서, 상기 대상 인식 시 프로세서의 부하율을 감지하는 단계를 더 포함하고, 상기 프로세서의 부하율이 기준 부하율 이상인 경우, 상기 영상 프레임이 포함하는 적어도 1 이상인 기준 특징점 중 일부만을 고려하고, 상기 인식 특징점 좌표 출력 단계와 정상 동작 여부 판단 단계는 상기 설정된 주기에 따라 동시에 수행되고, 상기 영상 프레임은 특징점이 될 수 있는 차선 영상, 타 차량 영상, 광원 영상, 표지판 영상, 및 보행자 영상 중 적어도 하나를 포함한다.

본 발명의 인식 고장 진단 장치 및 인식 고장 진단 방법에 따르면, 장치 자체에 기준이 되는 영상 프레임을 내장함으로써 외부 날씨나 상황에 구애 받지 않고 인식 로직의 정상 여부를 판단하는 장점이 있으며, 프로세서의 부하율에 따라 비교하는 특징점의 개수를 다르게 함으로써 전체적인 시스템의 빠른 처리가 보장되는 장점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시례에 따른 인식 고장 진단 장치의 구성을 도시한 구성도이다.
도 2는 도 1에 도시한 구성에 의한 인식 고장 진단 방법의 흐름을 도시한 순서도이다.
도 3은 인식로직부가 하나의 차선에 대해 6개의 특징점의 좌표를 연산한 모습을 도시한 영상 프레임도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시례들에 의하여 인식 고장 진단 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 본 발명의 일실시례에 따른 인식 조장 진단 장치는 차량의 시동이 인가되는 순간 동작될 수 있다.

도 1은 본 발명의 일실시례에 따른 인식 고장 진단 장치의 구성을 도시한 구성도이다. 도 1을 참조하면 본 발명의 일실시례에 따른 인식 고장 진단 장치는 영상 프레임(50), 카메라 센서(100), 영상 프레임 강제 입력부(200), 인식로직부(300), 정상동작판단부(400) 및 시스템부하율감지부(500)를 포함한다.

영상 프레임(50)은 설정된 대상의 기준 특징점 좌표를 포함한다. 영상 프레임(50)은 적어도 1 이상의 기준 특징점 좌표를 포함한다. 영상 프레임(50)은 비휘발성메모리에 저장될 수 있다. 영상 프레임(50)은 특징점을 인식할 수 있는 영상이라면 어떤 영상이든 될 수 있다. 영상 프레임(50)은 특징점이 될 수 있는 차선, 타 차량, 광원, 표지판, 보행자 등을 포함할 수 있다. 본 실시례에서는 영상 프레임(50)은 인식 대상으로서 차선을 포함한다.

영상 프레임(50)은 인식로직부(300)가 제대로 동작하는지 여부를 판단하는 기준 영상 프레임이 된다. 즉 영상 프레임(50)은 특징점에 대한 좌표 정보인 기준 특징점 좌표를 포함하고 있다.

카메라 센서(100)는 차량의 전방을 촬영하여 차량 전방 영상을 출력한다.

영상 프레임 강제 입력부(200)는 설정된 주기로 차량 전방 영상 대신 영상 프레임(50)을 상기 인식로직부에 적용시킨다.

영상 프레임 강제 입력부(200)는 인식로직부(300)가 동작 하는 중간에 인식로직부(300)가 정상 작동하는지 여부를 판단하기 위하여 설정된 영상 프레임(50)을 소스가 되도록 함으로써 영상 프레임(50)에 저장된 기준 좌표와 인식로직부(300)의 동작에 의한 인식 특징점의 좌표를 비교하도록 하는 것이다.

영상 프레임 강제 입력부(200)는 인식로직부(300)가 차량 전방 영상에서 차선을 인식하는 동시에, 설정된 주기마다 영상 프레임(50)을 인식로직부(300)에 적용시킨다.

이 때, 인식로직부(300)가 영상 프레임(50)을 소스로 하여 차선을 인식하고, 인식한 차선에서 특징점 좌표를 출력하여 기준 특징점 좌표를 출력한다.

인식로직부(300)는 주행 중 차량 전방 영상에서 대상을 인식한다. 인식로직부(300)는 영상 프레임(50)에서 특징점 좌표를 연산하여 인식 특징점 좌표를 출력한다. 본 발명의 실시례에서 인식로직부(300)는 차선을 인식한다. 인식로직부(300)는 칼만 필터(Kalman filter), 탑햇 필터(Top-hat filter) 등을 이용하여 차선을 인식할 수 있다. 인식로직부(300)는 영상 프레임 강제 입력부(200)가 영상 프레임을 인식로직부(300)에 적용시킬 때 인식 특징점 좌표를 출력한다.

인식로직부(300)는 인식한 차선에서 1 이상의 특징점을 인식한다. 본 실시례에서 인식로직부(300)는 하나의 차선에서 6개의 특징점을 인식한다.

정상동작판단부(400)는 영상 프레임 강제 입력 시 기준 특징점 좌표와 인식 특징점 좌표의 일치 여부에 따라 인식로직부(300)의 정상 동작 여부를 판단한다. 정상동작판단부(400)는 영상 프레임(50)이 포함하는 기준 특징점 좌표의 개수와 동일한 개수의 인식 특징점 좌표의 개수를 인식하여 각각의 일치 여부를 판단한다.

시스템부하율감지부(500)가 감지한 프로세서의 부하율이 기준 부하율 이하인 경우, 정상동작판단부(400)는 영상 프레임(50)이 포함하는 모든 기준 특징점을 고려한다. 본 실시례에서 정상동작판단부(400)는 6개의 기준 특징점과 인식로직부(300)가 인식한 6개의 인식 특징점을 비교한다. 기준 부하율은 시스템에 무리가 있을 정도의 부하율로 설정될 수 있는데, 바람직하게는 80%로 설정될 수 있다.

시스템부하율감지부(500)가 감지한 프로세서의 부하율이 기준 부하율 이상인 경우, 정상동작판단부(400)는 영상 프레임(50)이 포함하는, 적어도 1 이상인 기준 특징점 중 일부만을 고려한다. 정상동작판단부(400)는 기준 부하율이 80%이상이면 하나의 차선 당 6개의 특징점을 모두 판단하지 않고, 하나의 차선 당 4개의 특징점에 대해서만 판단한다. 시스템부하율감지부(500)가 감지한 프로세서의 부하율에 따라 정상동작판단부(400)의 동작을 제어함으로써, 본 발명인 인식 고장 진단 시스템이 인식로직부(300) 자체의 수행 속도를 저하시키는 것을 방지할 수 있다.

인식로직부(300) 및 정상동작판단부(400)는 설정된 주기에 따라 동시에 수행된다. 영상 프레임 강제 입력부(200)가 설정된 주기로 인식로직부(300)에 영상 프레임(50)을 입력하면, 인식로직부(300)가 영상 프레임(50)을 대상으로 동작하고, 이 때 동시에 정상동작판단부(400)가 기준 특징점과 인식 특징점을 비교하여 인식로직부(300)의 정상 여부를 판단한다.

시스템부하율감지부(500)는 인식로직부(300)의 대상 인식 수행 시, 프로세서의 부하율을 감지한다. 시스템부하율감지부(500)는 인식로직부(300)가 수행되는 프로세서(processor)의 점유율을 감지하여 프로세서의 부하율을 감지할 수 있다. 일례로 오토사(AUTOSAR) 시스템에서 제공하는 프로세서 점유율을 체크하여 프로세서의 부하율을 감지한다.

상기와 같이 구성되는 본 발명에 따른 인식 고장 진단 방법의 작용을 설명하면 다음과 같다. 도 2를 참고하면 먼저 카메라 센서(100)는 차량의 전방을 촬영하여 차량 전방 영상을 출력한다(S110).

인식로직부(300)는 차량 전방 영상에서 대상을 인식하고, 특징점 좌표를 연산하여 인식 특징점 좌표를 출력한다(S120). 본 실시예에서 인식로직부(300)는 차선을 대상으로 한다. 인식로직부(300)는 차선을 인식하고, 차선의 특징점 좌표를 연산하여 인식 특징점 좌표를 출력한다(S120).

영상 프레임 강제 입력부(200)는 설정된 주기로 차량 전방 영상 대신 영상 프레임(50)을 인식로직부(300)에 적용한다(S130). 영상 프레임 강제 입력부(200)는 바람직하게는 15Hz의 주기로 영상 프레임(50)을 인식로직부(300)에 적용할 수 있다(S130).

시스템부하율감지부(500)는 인식로직부(300)의 대상 인식 수행 시, 프로세서의 부하율을 감지한다(S140). 시스템부하율감지부(500)가 프로세서의 부하율을 감지하는 방법은 도 1에서 이미 설명하였다.

시스템부하율감지부(500)가 감지한 프로세서의 부하율이 기준 부하율 미만이면 일실시례에 따른 정상동작판단부(400)는 바람직하게는 6개의 특징점 좌표의 일치 여부를 판단한다(S150).

시스템부하율감지부(500)가 감지한 프로세서의 부하율이 기준 부하율 이상인 경우, 정상동작판단부(400)는 영상 프레임이 포함하는, 적어도 1 이상인 기준 특징점 중 일부만, 바람직하게는 6개 중 4개의 특징점 좌표의 일치 여부를 판단한다(S160).

정상동작판단부(400)는 영상 프레임(50) 강제 입력 시 기준 특징점 좌표와 인식 특징점 좌표의 일치 여부에 따라 인식로직부(300)의 정상 동작 여부를 판단한다(S170).

정상동작판단부(400)는 기준 특징점 좌표와 인식 특징점 좌표가 일치하면 차량에 구비된 인식로직부(300)가 정상인 것으로 판단한다(S180).

정상동작판단부(400)는 기준 특징점 좌표와 인식 특징점 좌표가 일치하지 않으면, 인식로직부(300)가 고장인 것으로 판단하고, 카메라 센서(100)의 동작을 중지한다(S190). 정상동작판단부(400)는 인식로직부(300)가 고장인 것으로 판단한 경우, 고장 상태인 것을 오토사 시스템에 전달할 수 있다.

도 3은 인식로직부(300)가 하나의 차선에 대해 6개의 특징점의 좌표를 연산한 모습을 도시한 영상 프레임도이다. 도 3을 참고하면 시스템부하율감지부(500)가 감지한 프로세서의 부하율이 기준 부하율 미만이면 일실시례에 따른 정상동작판단부(400)는 바람직하게는 6개의 특징점 좌표의 일치 여부를 판단한다.

시스템부하율감지부(500)가 감지한 프로세서의 부하율이 기준 부하율 이하인 경우, 정상동작판단부(400)는 영상 프레임(50)이 포함하는 모든 기준 특징점을 고려하는데 도 3에서는 인식로직부(300)가 인식한 차선 하나에 6개의 특징점을 고려한 것이다.

이 때 영상 프레임(50)이 저장하는 기준 특징점의 좌표도 차선 하나의 6개의 특징점을 포함한다. 인식로직부(300)는 양 차선에서 6개씩 총 12개의 인식 특징점을 획득한다. 인식로직부(300)는 X좌표, Y좌표를 도 3에서 나타낸 Pt1 내지 Pt12까지의 인식 특징점의 좌표를 출력한다.

영상 프레임 강제 입력부(200)는 설정된 주기로 차량 전방 영상 대신 영상 프레임(50)을 인식로직부(300)에 적용한다.

정상동작판단부(400)는 영상 프레임(50) 강제 입력 시 기준 특징점 좌표와 인식 특징점 좌표의 일치 여부를 판단한다.

이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

50 : 영상 프레임
100 : 카메라 센서
200 : 영상 프레임 강제 입력부
300 : 인식로직부
400 : 정상동작판단부
500 : 시스템 부하율 감지부

Claims (8)

1. 차량에 설치된 카메라 센서에서 대상 인식의 정상 동작 여부를 판단하는 인식 고장 진단 장치에 있어서,
   설정된 대상의 기준 특징점 좌표를 포함하는 영상 프레임;
   상기 차량의 전방을 촬영하여 차량 전방 영상을 출력하는 카메라 센서;
   상기 영상 프레임에서 특징점 좌표를 연산하여 인식 특징점 좌표를 출력하는 인식로직부;
   설정된 주기로 상기 차량 전방 영상 대신 상기 영상 프레임을 상기 인식로직부에 적용시키는 영상 프레임 강제 입력부; 및
   상기 영상 프레임 강제 입력 시 상기 기준 특징점 좌표와 상기 인식 특징점 좌표의 일치 여부에 따라 상기 인식로직부의 정상 동작 여부를 판단하는 정상동작판단부를 포함하고,
   상기 인식로직부는 상기 차량 전방 영상에서 차선을 인식하고, 상기 영상 프레임 강제 입력부가 상기 영상 프레임을 상기 인식로직부에 적용시킬 때 상기 인식 특징점 좌표를 출력하고,
   상기 영상 프레임은 적어도 1 이상의 상기 기준 특징점 좌표를 포함하고,
   상기 영상 프레임은 특징점이 될 수 있는 차선 영상, 타 차량 영상, 광원 영상, 표지판 영상, 및 보행자 영상 중 적어도 하나를 더 포함하고,
   상기 정상동작판단부는 상기 영상 프레임이 포함하는 상기 기준 특징점 좌표의 개수와 동일한 개수의 상기 인식 특징점 좌표의 개수를 인식하여 각각의 상기 일치 여부를 판단하고,
   상기 인식로직부의 대상 인식 수행 시, 프로세서의 부하율을 감지하는 시스템부하율감지부를 더 포함하고,
   상기 프로세서의 부하율이 기준 부하율 이상인 경우, 상기 정상동작판단부는 상기 영상 프레임이 포함하는 적어도 1 이상인 기준 특징점 중 일부만을 고려하고,
   상기 인식로직부 및 상기 정상동작판단부는 상기 설정된 주기에 따라 동시에 수행되는 인식 고장 진단 장치.
2. 삭제
3. 삭제
4. 삭제
5. 차량에 설치된 카메라 센서에서 대상 인식의 정상 동작 여부를 판단하는 인식 고장 진단 방법에 있어서,
   카메라 센서가 상기 차량의 전방을 촬영하여 차량 전방 영상을 출력하는 단계;
   차량 전방 영상에서 대상을 인식하는 단계;
   설정된 주기로 상기 차량 전방 영상 대신 적어도 1 이상의 기준 특징점 좌표를 포함하는 영상 프레임을 상기 대상 인식 단계에 적용하는 단계;
   상기 영상 프레임에서 대상을 인식하고, 특징점 좌표를 연산하여 인식 특징점 좌표를 출력하는 단계; 및
   상기 설정된 영상 프레임 강제 입력 시 상기 기준 특징점 좌표와 상기 인식 특징점 좌표의 일치 여부에 따라 상기 인식 특징점 좌표 출력 단계의 정상 동작 여부를 판단하는 단계를 포함하고,
   상기 정상 동작 여부 판단 단계는 상기 영상 프레임이 포함하는 상기 기준 특징점 좌표의 개수와 동일한 개수의 상기 인식 특징점 좌표를 인식하여 각각의 상기 일치 여부를 판단하고,
   상기 인식 특징점 좌표 출력 단계에서, 상기 대상 인식 시 프로세서의 부하율을 감지하는 단계를 더 포함하고,
   상기 프로세서의 부하율이 기준 부하율 이상인 경우, 상기 영상 프레임이 포함하는 적어도 1 이상인 기준 특징점 중 일부만을 고려하고,
   상기 인식 특징점 좌표 출력 단계와 정상 동작 여부 판단 단계는 상기 설정된 주기에 따라 동시에 수행되고,
   상기 영상 프레임은 특징점이 될 수 있는 차선 영상, 타 차량 영상, 광원 영상, 표지판 영상, 및 보행자 영상 중 적어도 하나를 포함하는 인식 고장 진단 방법.
6. 삭제
7. 삭제
8. 삭제

Images