KR101978602B1 - 아날로그 계기판의 계기침 인식 시스템 및 그 방법 - Google Patents

아날로그 계기판의 계기침 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR101978602B1
KR101978602B1 KR1020180059532A KR20180059532A KR101978602B1 KR 101978602 B1 KR101978602 B1 KR 101978602B1 KR 1020180059532 A KR1020180059532 A KR 1020180059532A KR 20180059532 A KR20180059532 A KR 20180059532A KR 101978602 B1 KR101978602 B1 KR 101978602B1
Authority
KR
South Korea
Prior art keywords
instrument panel
image
instrument
analog
unit
Prior art date
Application number
KR1020180059532A
Other languages
English (en)
Inventor
정윤주
이영학
심재창
송황호
Original Assignee
안동대학교 산학협력단
한국서부발전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안동대학교 산학협력단, 한국서부발전 주식회사 filed Critical 안동대학교 산학협력단
Priority to KR1020180059532A priority Critical patent/KR101978602B1/ko
Application granted granted Critical
Publication of KR101978602B1 publication Critical patent/KR101978602B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06K9/20—
    • G06K9/38—
    • G06K9/46—
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 아날로그 계기판의 계기침 인식 시스템 및 그 방법에 관한 것이다. 본 아날로그 계기판의 계기침 인식 시스템은, 적어도 4개 이상의 워핑을 위한 특징점을 갖는 아날로그 계기판을 촬영하여 영상 신호로 변환하는 촬영부, 촬영 영상에서 워핑을 위한 4개 이상의 특징점을 찾는 특징점 추출부, 이미지 워핑을 실행하는 워핑부, 워핑된 영상을 이진 영상으로 변환하는 영상 이진화부, 상기 이진 영상에서 상기 특징점을 기준으로 계기판을 찾고, 계기판 중심 영역을 찾은 다음, 계기침을 찾는 계기침 추출부, 표시부, 상기 각 구성블록을 제어하며, 상기 계기침이 가르키는 계기 상태를 인식하여 상기 표시부에 출력하는 영상 제어부를 포함하는 것을 특징으로 한다. 이러한 구성에 의하여, 아날로그 계기판에 설치된 4개의 특징점을 이용하여 아날로그 계기판을 촬영한 영상에서 이미지 워핑을 용이하게 실행할 수 있고, 워핑을 실행한 아날로그 계기판에서 4개의 특징점에 의해 아날로그 계기판을 용이하게 추출할 수 있다.

Description

아날로그 계기판의 계기침 인식 시스템 및 그 방법{SYSTEM FOR RECOGNITION A POINTER OF AN ANALOG INSTRUMENT PANEL AND METHOD THEREOF}
본 발명은 아날로그 계기판의 계기침 인식 시스템에 관한 것으로서, 보다 상세하게는 아날로그 계기판을 촬영한 영상을 처리하여 계기침을 인식하는 아날로그 계기판의 계기침 인식 시스템 및 그 방법에 관한 것이다.
원자력 발전소에서와 같이 사람이 가까이 접근할 수 없는 구역에 설치된 아날로그 계기판을 읽기 위해서, 아날로그 계기판에 인접하게 설치된 카메라로 아날로그 계기판을 촬영하고, 촬영된 아날로그 계기판 영상을 처리하여 계기침을 인식하였다. 이때, 아날로그 계기판의 촬영 영상을 이진 영상으로 변환한 후 중앙점을 인식하여 계기침을 추출하였다.
그런데, 어떤 아날로그 계기판의 경우에는 계기판에 중앙점이 없는 경우가 있다.
따라서, 중앙점이 없는 아날로그 계기판의 경우에도 계기침을 효과적으로 추출할 수 있는 방법이 요구된다.
또한, 아날로그 계기판이 비스듬히 촬영된 경우에는 아날로그 계기판이 정면을 향하도록 워핑을 실행해야 하는데, 워핑을 실행하려면 4개 이상의 기준점이 요구된다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 제안된 것으로서, 중앙점이 없는 아날로그 계기판의 계기침을 용이하게 추출가능하고, 용이하게 이미지 워핑을 수행가능한 아날로그 계기판의 계기침 인식 시스템 및 그 방법을 제공하는 것이다.
상술한 과제를 해결하기 위한 본 발명의 제1태양에 따른 구성은, 아날로그 계기판의 계기침 인식 시스템에 있어서, 적어도 4개 이상의 워핑을 위한 특징점을 갖는 아날로그 계기판을 촬영하여 영상 신호로 변환하는 촬영부, 촬영 영상에서 워핑을 위한 4개 이상의 특징점을 찾는 특징점 추출부, 이미지 워핑을 실행하는 워핑부, 워핑된 영상을 이진 영상으로 변환하는 영상 이진화부, 상기 이진 영상에서 상기 특징점을 기준으로 계기판을 찾고, 계기판 중심 영역을 찾은 다음, 계기판 침을 찾는 계기침 추출부, 표시부, 상기 특징점 추출부와 상기 영상 이진화부 및 상기 계기침 추출부를 제어하며, 상기 계기침이 가르키는 계기 상태를 인식하여 상기 표시부에 출력하는 영상 제어부를 포함하는 것을 특징으로 한다.
여기서, 상기 특징점 추출부는, 상기 특징점을 찾기 위한 계기판 영역의 판단 시에, 상기 촬영 영상의 블롭들 중에서 극단적으로 큰 영역(계기판의 원모양의 면적(크기)보다 2배 이상인 경우)과 극단적으로 작은 영역(계기판의 원모양의 면적(크기)보다 1/4배 이하인 경우)은 제거하고, 상기 촬영 영상의 블롭 중에서, 가로와 세로의 길이의 비가‘세로*0.8 ≤ 가로 ≤ 세로*1.15’의 경우이면, 계기판 후보 영역으로 추출하는 것이 바람직하다.
또한, 상기 계기침 추출부는, 상기 4개 이상의 특징점을 기준으로 상기 아날로그 계기판의 계기침을 추출하는 것이 바람직하다.
한편, 영상 분할부를 더 포함하고, 상기 영상 제어부는 상기 특징점 추출부가 추출한 특징점이 적어도 8개 이상인 경우, 상기 특징점이 동일 평면에 위치하는 것인지 여부를 판단하고, 상기 특징점들이 동일 평면에 위치하는 것이 아니면, 동일 평면의 특징점끼리 영상을 분할하도록 상기 영상 분할부를 제어하고, 분할된 영상을 각각 워핑하도록 상기 워핑부를 제어하고, 상기 영상 제어부는 상기 각각 워핑된 영상을 합성하여 상기 영상 이진화부에 출력하는 것이 효과적이다.
여기서, 상기 특징점은 상기 아날로그 계기판의 네 모서리에 장착된 볼트에 끼워지는 와셔 또는 상기 아날로그 계기판의 네 모서리에 부착되는 스티커인 것이 효과적이다.
상술한 과제를 해결하기 위한 본 발명의 제2태양에 따른 구성은, 아날로그 계기판의 계기침 인식 방법에 관한 것으로서, 워핑을 위한 4개 이상의 특징점을 갖는 아날로그 계기판을 촬영하는 제1단계; 촬영 영상에서 워핑을 위한 상기 4개 이상의 특징점을 찾는 제2단계; 상기 4개 이상의 특징점을 기준으로 이미지 워핑을 실행하는 제3단계; 촬영한 영상신호를 이진 영상으로 변환하는 제4단계; 상기 특징점을 기준으로 계기판을 찾고, 계기판 중심을 찾는 제5단계; 상기 계기판 중심을 기준으로 계기판 계기침을 찾는 제6단계; 상기 계기침이 가르키는 계기 상태를 인식하여 표시부에 출력하는 제7단계를 포함하는 것이 바람직하다.
여기서, 상기 제2단계는, 찾은 특징점이 적어도 8개 이상인 경우, 상기 특징점들이 동일 평면에 위치하는 것인지 여부를 판단하는 단계와, 상기 특징점들이 동일 평면에 위치하는 것이 아니면, 동일 평면의 특징점끼리 위치하도록 영상을 분할하는 단계를 더 포함하고, 상기 제3단계는 상기 분할된 영상을 동일 평면의 특징점을 기준으로 각각 워핑을 실행하고, 상기 제4단계는 상기 각각 워핑된 분할 영상을 합성하여 이진 영상으로 변환하는 단계를 포함하는 것이 바람직하다.
또한, 상기 계기판 중심을 기준으로 계기판 계기침을 찾는 제6단계는, 상기 4개 이상의 특징점을 기준으로 상기 아날로그 계기판의 계기침을 추출하는 것이 바람직하다.
이러한 구성에 의하여, 아날로그 계기판에 설치된 4개의 특징점을 이용하여 아날로그 계기판을 촬영한 영상의 이미지 워핑을 용이하게 실행할 수 있고, 워핑을 실행한 아날로그 계기판에서 4개의 특징점에 의해 아날로그 계기판 및 계기침을 용이하게 추출할 수 있다.
도 1은 본 발명의 일실시예에 따라 4개의 모서리에 와셔를 장착한 아날로그 계기판의 화면이다.
도 2는 본 발명에 따른 아날로그 계기판의 계기침 인식 시스템의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 아날로그 계기판의 계기침 인식 시스템의 구성도이다.
도 4는 본 발명에 따른 아날로그 계기판의 계기침 인식 방법의 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 아날로그 계기판의 계기침 인식 방법의 순서도이다.
도 6은 본 발명에 따라 아날로그 계기판의 촬영 영상을 변환하여 계기침을 추출해가는 과정을 나타낸 화면이다.
도 7은 본 발명의 다른 실시예에 따라 복수의 아날로그 계기판의 촬영 영상을 변환하여 계기침을 추출해가는 과정을 나타낸 화면이다.
도 8은 본 발명의 또다른 실시예에 따라, 복수의 아날로그 계기판의 특징점들이 다른 평면상에 있는 경우의 아날로그 계기판의 촬영 화면이다.
도 9는 본 발명에 따른 아날로그 계기판에서 추출한 계기각도에 따른 상태 표시 화면이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다. 본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
이하에서, 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 본 발명을 구체적으로 설명한다. 본 발명을 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명은, 기울어진 계기판이 정면을 향하도록 하는 워핑(warping)을 용이하게 실행하기 위해, 계기판의 왼쪽 위/아래, 오른쪽 위/아래 네 모서리에 워핑을 위한 특징점으로써 이용할 4개 이상의 스티커를 부착하거나, 계기판의 네 모서리에 위치하는 볼트에 와셔를 끼워서 워핑을 위한 특징점으로 설정하는 것을 특징으로 한다.
도 1은 본 발명의 실시예에 따라 4개의 모서리에 와셔를 장착한 아날로그 계기판의 화면이다.
본 발명에 따라 도 1에 보인 바와 같이, 아날로그 계기판(1)의 4개의 모서리에 장착된 볼트(10)에 와셔를 끼워 특징점으로서 설정한다.
한편, 다른 실시예에 따라, 아날로그 계기판(1)의 4개의 모서리에 볼트가 없는 경우에는, 아날로그 계기판(1)의 4개의 모서리에 워핑을 위한 특징점으로서 4개의 스티커(미도시)를 부착할 수도 있다.
와셔(10) 또는 스티커(10a)는 아날로그 계기판을 촬영시 워핑을 위한 특징점으로서 이용할 수 있다. 또한, 와셔(10) 또는 스티커(10a)는 특징점은 계기판 또는 계기침을 찾는데 이용될 수도 있다. 와셔(10) 또는 스티커(10a)는 다양한 색상을 가지는 원형으로 구현할 수 있다.
또한, 복수 개의 아날로그 계기판(1)을 촬영하는 경우에, 각 아날로그 계기판(1)별로 서로 다른 색상의 와셔 또는 스티커를 설치함으로써, 각 아날로그 계기판(1)의 특징점을 더욱 용이하게 인식할 수 있다.
본 발명은 아날로그 계기판이 비스듬히 촬영된 경우, 아날로그 계기판에 와셔(10) 또는 스티커의 형태로 설치된 4개의 특징점을 이용하여, 워핑을 실행함으로써 아날로그 계기판의 촬영 영상이 정면을 향하게 하는 것이다.
도 2는 본 발명의 일실시예에 따른 아날로그 계기판의 계기침 인식 시스템(20)의 구성도이고, 도 3은 본 발명의 다른 실시예에 따른 아날로그 계기판의 계기침 인식 시스템(30)의 구성도이다.
본 발명에 따른 아날로그 계기판의 계기침 인식 시스템(30)은 촬영부에 의해 촬영된 아날로그 계기판의 영상에서 아날로그 계기판에 네 모서리에 마련된 4개의 특징점을 이용하여 워핑을 수행하고 계기판 및 계기침을 찾아 계기침의 위치에 따른 상태를 표시하는 프로그램으로 구현될 수 있다.
아날로그 계기판의 계기침 인식 시스템(20)은 다음과 같이 구성될 수 있다.
도 2에 보인 바와 같이, 아날로그 계기판의 계기침 인식 시스템(20)은, 적어도 4개 이상의 워핑을 위한 특징점을 갖는 아날로그 계기판(1)을 촬영하여 영상 신호로 변환하는 촬영부(5), 표시부(6), 촬영 영상에서 워핑을 위한 복수의 특징점을 찾는 특징점 추출부(21), 이미지 워핑을 실행하는 워핑부(22), 워핑된 영상을 이진 영상으로 변환하는 영상 이진화부(23), 이진 영상에서 계기판 중심 영역을 찾은 다음, 계기판 침을 찾는 계기침 추출부(24), 이들 구성요소의 기능을 제어하는 영상 제어부(25)를 포함한다.
촬영부(5)는 아날로그 계기판에 인접하게 설치되어 아날로그 계기판을 촬영하는 카메라이다.
특징점 추출부(21)는 촬영부(5)가 촬영한 아날로그 계기판 영상에서, 동일한 색상이면서 원모양의 4개의 특징점을 추출한다.
또한, 특징점 추출부(21)는 아날로그 계기판이 1개인 경우에, 영상 이진화부(34)가 이진화한 영상에서, 4개의 특징점을 이용하여, 아날로그 계기판의 영역을 추출할 수도 있다. 예를 들어, 4개의 특징점의 사이에 존재하는 영상의 블롭을 계기판 영역으로 인식할 수도 있다.
워핑부(22)는 본 발명에 따라, 아날로그 계기판(1)의 4개의 특징점을 이용하여 원근 변환 방법으로 이미지 워핑을 실행한다. 4점을 이용한 이미지 워핑은 공지된 기술인,“transformation”원근 변환법을 이용한다.“transformation”원근 변환법은 공지된 기술이므로 상세한 설명은 생략한다. 예를 들어, "4 point OpenCV getPerspective Transform Example" 프로그램 코드를 이용할 수 있다.
계기침 추출부(24)는 영상 이진화부(23)가 변환한 이진 영상에서, 4개의 특징점을 이용하여 계기판 중심 영역을 찾고, 중심 영역에 의해 계기침을 추출한다.
한편, 계기침 추출부(24)는 아날로그 계기판이 1개인 경우에, 계기판 영역을 판단을 다음과 같이 수행할 수도 있다. 이진화한 영상의 블롭에서 극단적으로 큰 영역(계기판의 원모양의 면적(크기)보다 2배 이상인 경우)과 극단적으로 작은 영역(계기판의 원모양의 면적(크기)보다 1/4배 이하인 경우)은 제거한다.
예를 들어, 계기침 추출부(24)는 영상 블롭의 가로와 세로의 비가 다음의 경우이면, 계기판 후보 영역으로 추출한다. 즉, 세로*0.8 ≤ 가로 ≤ 세로*1.15
한편, 계기침 추출부(24)는 계기판 영역을 판단하는 다른 방법으로서, 영상 블롭들 중에서 영역내 흰 픽셀이 검은 픽셀의 2배 이상이면 계기판 영역으로 추출할 수도 있다.
영상 제어부(25)는 계기침 추출부(24)가 추출한 계기판 침에 의해 계기판을 나타내는 상태(‘정상’상태, ‘경고(warning)’상태, ‘위험(dandger)’상태) 또는 각도를 산출하여 계기판 영상과 함께 표시부(6)에 출력할 수 있다. 이를 위해, 영상 제어부(25)에는 도시 않은 메모리를 포함한다. 메모리에는, 아날로그 계기판의 계기침이 '0'인 기준점, 계기침이 경고 각도 내에 위치하는지를 판단하기 위한 경고 지점(도 9의 81b) 이진 영상, 계기침이 위험 각도 내에 위치하는지를 판단하기 위한 위험 지점(도 9의 81c) 이진 영상들이 미리 저장되어 있다.
영상 제어부(25)는 계기침 추출부(25)가 추출한 계기침이, 기준점 이진 영상의 계기침과 미리 저장된 경고 지점 이진 영상의 계기침 사이에 있는지, 또는 경고 지점 이진 영상의 계기침과 위험 지점 이진 영상의 계기침의 사이에 있는지 판단하여, 경고 상태 또는 위험 상태를 판단한다.
영상 제어부(25)는 계기 각도 산출부(25a)를 포함하여, 기준점 이진 영상의 계기침을 기준으로, 현재 촬영된 이진 영상의 계기판의 계기침의 각도를 산출할 수도 있다.
한편, 아날로그 계기판(1)이 복수개인 경우, 복수의 아날로그 계기판이 동일 평면상에 위치하지 않을 수도 있다. 그에 따라, 복수의 아날로그 계기판의 각 특징점들은 동일 평면상에 위치하지 않게 된다. 이러한 경우에는 동일 평면상끼리 영상을 분할하여 워핑을 실행할 필요가 있다.
이러한 경우에는 도 3에 보인 바와 같은 아날로그 계기판의 계기침 인식 시스템(30)을 이용한다. 아날로그 계기판의 계기침 인식 시스템(30)은, 4개 이상의 워핑을 위한 특징점을 갖는 아날로그 계기판(1)을 촬영하여 영상 신호로 변환하는 촬영부(5), 표시부(6), 아날로그 계기판의 촬영 영상에서 워핑을 위한 4개 이상의 특징점을 찾는 특징점 추출부(31), 영상 분할부(32), 이미지 워핑을 실행하는 워핑부(33), 워핑된 영상을 이진 영상으로 변환하는 영상 이진화부(34), 이진 영상에서 계기판 중심 영역을 찾은 다음, 계기판 침을 찾는 계기침 추출부(35), 이들 구성요소의 기능을 제어하는 영상 제어부(36)를 포함한다.
특징점 추출부(31)는 아날로그 계기판의 촬영 영상에서 동일한 색상이면서 원모양의 4개의 특징점을 추출한다.
또한, 특징점 추출부(31)는 아날로그 계기판이 1개인 경우에, 영상 이진화부(34)가 이진화한 영상에서, 4개의 특징점을 이용하여, 아날로그 계기판의 영역을 추출할 수도 있다. 예를 들어, 4개의 특징점의 사이에 존재하는 영상의 블롭을 계기판 영역으로 인식할 수 있다.
한편, 특징점 추출부(31)는 아날로그 계기판이 1개 또는 복수개인 경우에, 계기판 영역을 판단을 다음과 같이 수행할 수도 있다. 영상의 블롭에서 극단적으로 큰 영역(계기판의 원모양의 면적(크기)보다 2배 이상인 경우)과 극단적으로 작은 영역(계기판의 원모양의 면적(크기)보다 1/4배 이하인 경우)은 제거한다.
예를 들어, 특징점 추출부(31)는 영상 블롭의 가로와 세로의 비가 다음의 경우이면, 계기판 후보 영역으로 추출한다. 즉, 세로*0.8 ≤ 가로 ≤ 세로*1.15
한편, 특징점 추출부(31)는 계기판 영역을 판단하는 다른 방법으로서, 영상 블롭들 중에서 영역내 흰 픽셀이 검은 픽셀의 2배 이상이면 계기판 영역으로 추출할 수도 있다.
영상 제어부(36)는 계기침 추출부(24)가 추출한 계기판 침에 의해 계기판을 나타내는 상태(‘정상’상태, ‘경고(warning)’상태, ‘위험(dandger)’상태, 도 9 참조) 또는 각도를 산출하여 계기판 영상과 함께 표시부(6)에 출력할 수 있다. 영상 제어부(36)는 계기침의 각도를 산출하는 계기 각도 산출부(36a)를 포함할 수도 있다. 그리고, 영상 제어부(36)에는 도시 않은 메모리를 포함한다.
메모리에는, 아날로그 계기판의 계기침이 '0'인 기준점(도 9의 81a), 계기침이 경고 각도 내에 위치하는지를 판단하기 위한 경고 지점(도 9의 81b), 계기침이 위험 각도 내에 위치하는지를 판단하기 위한 위험 지점(도 9의 81c)을 가르키는 이진 영상들이 미리 저장되어 있다.
영상 분할부(32)는 도시 않은 입력부의 설정에 따라 영상을 분할하는 기능을 한다.
한편, 본 발명에 따라 영상 제어부(36)는 특징점이 적어도 8개 이상인 경우, 이들 특징점이 동일 평면에 위치하는 것인지 여부를 판단해야 한다. 그리고, 영상 제어부(36)는 판단 결과 특징점들이 동일 평면에 위치하는 것이 아니면, 영상 분할부(32)가 동일 평면의 특징점을 갖는 영상으로 분할하도록 제어하고, 워핑부(32)가 분할된 영상을 각각 워핑하도록 제어한다.
영상 제어부(36)는 특징점 추출부(31)가 추출한 특징점이 적어도 8개 이상인 경우, 특징점이 동일 평면에 위치하는 것인지 여부를 판단하고, 특징점들이 동일 평면에 위치하는 것이 아니면, 동일 평면의 특징점끼리 영상을 분할하도록 영상 분할부(32)를 제어하고, 분할된 영상을 각각 워핑하도록 워핑부(33)를 제어한다. 그리고, 영상 제어부(36)는 각각 워핑된 영상을 합성하여 영상 이진화부(34)에 출력한다.
도 4는 본 발명의 일실시예에 따른 아날로그 계기판의 계기침 인식 방법의 순서도이다. 도 4에 보인 바와 같이, 아날로그 계기판의 계기침 인식 방법은, 워핑을 위한 적어도 2개 이상의 특징점을 갖는 아날로그 계기판을 촬영한다(S1).
특징점 추출부(21)는 촬영 영상에서 워핑을 위한 4개의 특징점을 찾는다(S2). 워핑부(22)는 4개의 특징점을 이용하여 이미지 워핑을 실행한다(S3). 영상 이진화부(23)가 이미지 워핑이 실행된 영상신호를 이진 영상으로 변환한다(S4). 계기침 추출부(24)는 이진 영상에서 특징점을 이용하여 계기판 및 계기판 중심을 찾는다(S5).
계기침 추출부(24)는 찾은 계기판 중심을 기준으로 계기판 계기침을 찾고(S7), 영상 제어부(25)는 계기침 사이의 각도를 산출하여 표시부에 표시한다(S8).
도 5는 본 발명의 다른 실시예에 따른 아날로그 계기판(1)의 계기침 인식 방법의 순서도이다. 도 5에 보인 바와 같이, 아날로그 계기판의 계기침 인식 과정은 다음과 같이 수행된다. 촬영부(5)가 워핑을 위한 적어도 2개 이상의 특징점을 갖는 아날로그 계기판을 촬영한다(T1).
영상 제어부(36)는 아날로그 계기판을 촬영한 영상에서, 특징점이 8개 이상인 경우 이들 특징점이 동일 평면에 위치하는 것인지 여부를 판단한다(T2). 영상 제어부(36)는 판단 결과 특징점들이 동일 평면에 위치하는 것이 아니면, 동일 평면의 특징점끼리 위치하도록 영상을 분할한다(T3). 특징점 추출부(31)는 분할된 각 영상에서 워핑을 위한 4개의 특징점을 찾는다(T4). 워핑부(33)는 각 분할 영상의 이미지 워핑을 실행한다(T5).
영상 이진화부(34)는 이미지 워핑이 실행된 영상을 이진 영상으로 변환한다(T6).
계기침 추출부(35)는 이진 영상에서 4개의 특징점을 이용하여 계기판을 찾는다(T7).
계기침 추출부(35)는 계기판에서 중심을 찾고(T8), 중심을 기준으로 계기판 계기침을 찾는다(T9).
영상 제어부(36)는 찾은 계기침 사이의 각도를 산출하여 표시부(6)에 표시한다(T10).
한편, 영상 제어부(36)는 판단결과 특징점들이 동일 평면에 위치하면, 계기판 영상에서 워핑을 위한 4개의 특징점을 찾고(T5), 단계T6 내지 단계T9를 실행한다. 즉, 영상의 이미지 워핑을 실행한다(T6). 이미지 워핑이 실행된 영상을 이진 영상으로 변환한다(T7). 계기침 추출부(35)는 이진 영상에서 4개의 특징점을 이용하여 계기판을 찾는다(T8). 계기침 추출부(35)는 계기판에서 중심을 찾고(T9), 중심을 기준으로 계기판 계기침을 찾는다(T10). 그리고, 계기침 사이의 각도를 산출하여 표시부(6)에 표시한다(T11).
도 6은 본 발명에 따라 아날로그 계기판의 촬영 영상을 변환하여 계기침을 추출해가는 과정을 나타낸 화면이다.
도 6의 (a)는 아날로그 계기판이 비스듬하게 촬영된 영상을 나타낸 것이다. 도 6의 (b)는 비스듬히 촬영된 아날로그 계기판에서, 특징점을 기준으로 하여 워핑을 실행하여 정면을 향하게 한 화면이다. 도 6의 (c)는 정면을 향한 아날로그 계기판 영상을 이진 영상으로 변환한 것이다. 도 6의 (d)는 이진 영상에서 특징점을 기준으로 계기판 및 계기판 침을 추출한 것이다.
도 7은 본 발명의 다른 실시예에 따라 복수의 아날로그 계기판의 촬영 영상을 변환하여 계기침을 추출해가는 과정을 나타낸 화면이다. 도 7의 (a)는 아날로그 계기판이 비스듬하게 촬영된 영상을 나타낸 것이다. 도 7의 (b)는 비스듬히 촬영된 아날로그 계기판에서, 복수의 아날로그 계기판의 4개의 특징점을 기준으로 하여 워핑을 실행하여 정면을 향하게 한 것이다.
도 7의 (c)는 정면을 향한 아날로그 계기판 영상을 이진 영상으로 변환한 것이다. 도 7의 (c)에 보인 바와 같이, 복수의 블롭(계기판의 원모양)이 복수개 표시된다. 이진 영상으로 변환한 복수의 아날로그 계기판의 각각의 네 모서리에는 특징점이 표시된다.
특징점을 찾기 위한 계기판 영역의 판단 시에, 이진 영상의 블롭들 중에서 극단적으로 큰 영역(계기판의 원모양의 면적(크기)보다 2배 이상인 경우)과 극단적으로 작은 영역(계기판의 원모양의 면적(크기)보다 1/4배 이하인 경우)은 제거하고, 이진 영상의 블롭 중에서, 가로와 세로의 길이의 비가‘세로*0.8 ≤ 가로 ≤ 세로*1.15’의 경우이면, 계기판의 원모양으로 추출하는 것이 바람직하다.
도 7의 (d)는 이진 영상에서 특징점을 기준으로 계기판 및 계기판 침을 추출한 것이다.
도 8은 본 발명의 또다른 실시예에 따라, 특징점들이 다른 평면상에 있는 경우의 아날로그 계기판의 촬영 화면이다. 도 8에 보인 바와 같이, 복수개의 아날로그 계기판 중 좌측의 아날로그 계기판은 정면으로 촬영되었고, 우측 2개의 계기판은 비스듬히 촬영된 경우에는, 복수의 아날로그 계기판에 각각 설치된 특징점들은 동일 평면상에 있는 것이 아니다.
따라서, 본 발명에 따른 영상 제어부(36)는 도 8의 X선을 따라, 동일 평면끼리의 특징점을 갖는 아날로그 계기판끼리 영상을 분할한다. 영상을 분할하기 위한 X선은 도시 않은 입력부를 통해 사용자가 설정하게 할 수 있다.
그리고, 영상 제어부(36)는 워핑부(33)에 의해 분할된 영상에서, 각각의 특징점을 기준으로 영상을 워핑한다. 그리고, 영상 제어부(36)는 각각 워핑된 영상을 합성하여, 영상 이진화부(34)에 출력한다.
도 9는 본 발명에 따른 아날로그 계기판에서 추출한 계기각도에 따른 상태 표시 화면이다. 도 9의 (a)는 각각 아날로그 계기판의 계기침이 '0'을 가르키는 상태를 이진 영상으로 변환하여 표시한 것이다.
본 발명의 영상 제어부(25, 36)는 추출한 계기침에 의해 계기 각도를 인식하고, 미리 설정된 정보에 기초하여 계기침의 위치에 따라, 메모리(미도시)에 저장된아날로그 계기판의 계기침이 '0'인 기준점을 가르키는 이진 영상, 경고 지점을 가르키는 이진 영상, 위험 지점을 가르키는 이진 영상과 비교한 후, 도 9의 (b), (c)에 나타낸 바와 같이,‘경고(warning)’‘위험(danger)’상태를 아날로그 계기판의 영상 화면에 나타나도록 표시한다.
예를 들어, 영상 제어부(36)는 추출한 계기침의 위치가 미리 저장된 경고 지점(81b)과 위험 지점 사이에 존재하면, 도 9의 (b)와 같이‘경고(warning)(91b)’라는 글자를 아날로그 계기판의 영상과 합성하여 표시부(6)에 출력하고, 추출한 계기침의 위치가 위험 지점(81c)을 넘어가면, 도 9의 (c)와 같이‘위험(danger)(91c)’라는 글자를 아날로그 계기판 영상과 합성하여 표시부(6)에 출력한다.
한편, 상술한 실시예에서는 설명하지 않았으나, 워핑된 아날로그 계기판 영상에서 각 계기판의 중심을 찾는 방법으로서, 다음 방법을 이용할 수 있다. 영상 제어부(25, 36)는, 워핑된 아날로그 계기판 영상에서, 4개의 특징점 중에서 좌측 하방의 특징점과 우측 상방의 특징점을 연결하는 대각선과 우측 하방의 특징점과 좌측 상방의 특징점을 연결하는 대각선이 교차되는 지점을 중심으로 삼고, 그 중심에 붉은 포인트를 설정한다. 이 붉은 포인트에 의해, 아날로그 계기판의 중심은 다음과 같이 찾을 수 있다. 이에 따라, 계기판 후보 영역 내에서 R,G,B 값의 크기가 일정 기준((b<2) and (g<2) and (253<r<=255))을 만족하는 픽셀의 위치가 계기판 중심이 된다. 그러므로, 이 계기판의 중심을 기준으로 계기판의 계기침을 찾을 수도 있다.
한편, 상술한 실시예에서는 설명하지 않았으나, 계기판 영역의 판단 기준을 다음과 같이 설정할 수도 있다. 촬영된 아날로그 계기판 영상에서, 예를 들어, 영상 제어부가 소정 영역 내 흰 픽셀과 검은 픽셀의 비가 '흰 픽셀≥검은 픽셀*2' 인 경우에 계기판 영역으로 판단할 수도 있다.
이러한 구성에 의하여, 아날로그 계기판의 네 모서리에 특징점을 부착하고, 특징점을 이용하여 용이하게 이미지 워핑을 실행할 수 있다. 또한, 워핑을 실행한 아날로그 계기판에서, 아날로그 계기판에 부착된 특징점에 의해 아날로그 계기판을 추출할 수 있고, 아날로그 계기판에서 계기침을 용이하게 추출할 수 있다.
1, 101, 102 : 아날로그 계기판
5 : 촬영부 6 : 표시부
10, 110, 120 : 워핑을 위한 특징점
20, 30 : 아날로그 계기판의 계기침 인식 시스템
21, 31 : 특징점 추출부 22, 33 : 워핑부
23, 34 : 영상 이진화부 24, 35 : 계기침 추출부
25, 36 : 영상 제어부 32 : 영상 분할부
25a, 36a : 계기각도 산출부

Claims (8)

  1. 아날로그 계기판의 계기침 인식 시스템에 있어서,
    적어도 4개 이상의 워핑을 위한 특징점을 갖는 아날로그 계기판을 촬영하여 영상 신호로 변환하는 촬영부,
    촬영 영상에서 워핑을 위한 4개 이상의 특징점을 찾는 특징점 추출부,
    이미지 워핑을 실행하는 워핑부,
    워핑된 영상을 이진 영상으로 변환하는 영상 이진화부,
    상기 이진 영상에서 상기 특징점을 기준으로 계기판을 찾고, 계기판 중심 영역을 찾은 다음, 계기판 침을 찾는 계기침 추출부,
    표시부,
    상기 특징점 추출부와 상기 영상 이진화부 및 상기 계기침 추출부를 제어하며, 상기 계기침이 가르키는 계기 상태를 인식하여 상기 표시부에 출력하는 영상 제어부를 포함하는 아날로그 계기판의 계기침 인식 시스템.
  2. 제1항에 있어서,
    상기 특징점 추출부는, 상기 특징점을 찾기 위한 계기판 영역의 판단 시에, 상기 촬영 영상의 블롭들 중에서 극단적으로 큰 영역(계기판의 원모양의 면적(크기)보다 2배 이상인 경우)과 극단적으로 작은 영역(계기판의 원모양의 면적(크기)보다 1/4배 이하인 경우)은 제거하는 것인, 아날로그 계기판의 계기침 인식 시스템.
  3. 제1항에 있어서,
    상기 계기침 추출부는, 상기 4개 이상의 특징점을 기준으로 상기 아날로그 계기판의 계기침을 추출하는 것인, 아날로그 계기판의 계기침 인식 시스템.
  4. 제1항에 있어서,
    영상 분할부를 더 포함하고,
    상기 영상 제어부는 상기 특징점 추출부가 추출한 특징점이 적어도 8개 이상인 경우, 상기 특징점이 동일 평면에 위치하는 것인지 여부를 판단하고, 상기 특징점들이 동일 평면에 위치하는 것이 아니면, 동일 평면의 특징점끼리 영상을 분할하도록 상기 영상 분할부를 제어하고, 분할된 영상을 각각 워핑하도록 상기 워핑부를 제어하고,
    상기 영상 제어부는 상기 각각 워핑된 영상을 합성하여 상기 영상 이진화부에 출력하는 것인, 아날로그 계기판의 계기침 인식 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 특징점은 상기 아날로그 계기판의 네 모서리에 장착된 볼트에 끼워지는 와셔 또는 상기 아날로그 계기판의 네 모서리에 부착되는 스티커인 것인, 아날로그 계기판의 계기침 인식 시스템.
  6. 아날로그 계기판의 계기침 인식 방법에 있어서,
    워핑을 위한 4개 이상의 특징점을 갖는 아날로그 계기판을 촬영하는 제1단계;
    촬영 영상에서 워핑을 위한 상기 4개 이상의 특징점을 찾는 제2단계;
    상기 4개 이상의 특징점을 기준으로 이미지 워핑을 실행하는 제3단계;
    촬영한 영상신호를 이진 영상으로 변환하는 제4단계;
    상기 특징점을 기준으로 계기판을 찾고, 계기판 중심을 찾는 제5단계;
    상기 계기판 중심을 기준으로 계기판 계기침을 찾는 제6단계;
    상기 계기침이 가르키는 계기 상태를 인식하여 표시부에 출력하는 제7단계를 포함하는 것을 특징으로 하는 아날로그 계기판의 계기침 인식 방법.
  7. 제6항에 있어서,
    상기 제2단계는,
    찾은 특징점이 적어도 8개 이상인 경우, 상기 특징점들이 동일 평면에 위치하는 것인지 여부를 판단하는 단계와,
    상기 특징점들이 동일 평면에 위치하는 것이 아니면, 동일 평면의 특징점끼리 위치하도록 영상을 분할하는 단계를 더 포함하고,
    상기 제3단계는 상기 분할된 영상을 동일 평면의 특징점을 기준으로 각각 워핑을 실행하고,
    상기 제4단계는 상기 각각 워핑된 분할 영상을 합성하여 이진 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 아날로그 계기판의 계기침 인식 방법.
  8. 제6항에 있어서,
    상기 계기판 중심을 기준으로 계기판 계기침을 찾는 제6단계는,
    상기 4개 이상의 특징점을 기준으로 상기 아날로그 계기판의 계기침을 추출하는 것인, 아날로그 계기판의 계기침 인식 방법.
KR1020180059532A 2018-05-25 2018-05-25 아날로그 계기판의 계기침 인식 시스템 및 그 방법 KR101978602B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180059532A KR101978602B1 (ko) 2018-05-25 2018-05-25 아날로그 계기판의 계기침 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180059532A KR101978602B1 (ko) 2018-05-25 2018-05-25 아날로그 계기판의 계기침 인식 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101978602B1 true KR101978602B1 (ko) 2019-05-14

Family

ID=66581084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180059532A KR101978602B1 (ko) 2018-05-25 2018-05-25 아날로그 계기판의 계기침 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101978602B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115896A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数预测方法、装置、计算机设备及存储介质
CN112115897A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN112307887A (zh) * 2020-09-02 2021-02-02 国网浙江省电力有限公司嘉兴供电公司 一种sf6气体压力智能在线监测预警方法及系统
KR102441760B1 (ko) * 2021-10-14 2022-09-08 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634064B1 (ko) * 2005-08-08 2006-10-13 이종택 계기판용 포인터 자동 압입기 및 이를 이용한 포인터 자동압입방법
KR20080096263A (ko) * 2007-04-27 2008-10-30 금오공과대학교 산학협력단 숫자 영상 처리 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634064B1 (ko) * 2005-08-08 2006-10-13 이종택 계기판용 포인터 자동 압입기 및 이를 이용한 포인터 자동압입방법
KR20080096263A (ko) * 2007-04-27 2008-10-30 금오공과대학교 산학협력단 숫자 영상 처리 시스템 및 그 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307887A (zh) * 2020-09-02 2021-02-02 国网浙江省电力有限公司嘉兴供电公司 一种sf6气体压力智能在线监测预警方法及系统
CN112307887B (zh) * 2020-09-02 2023-04-21 国网浙江省电力有限公司嘉兴供电公司 一种sf6气体压力智能在线监测预警方法及系统
CN112115896A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数预测方法、装置、计算机设备及存储介质
CN112115897A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 多指针仪表报警检测方法、装置、计算机设备及存储介质
CN112115896B (zh) * 2020-09-24 2023-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数预测方法、装置、计算机设备及存储介质
CN112115897B (zh) * 2020-09-24 2023-12-22 深圳市赛为智能股份有限公司 多指针仪表报警检测方法、装置、计算机设备及存储介质
KR102441760B1 (ko) * 2021-10-14 2022-09-08 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치
KR20230053505A (ko) * 2021-10-14 2023-04-21 주식회사 카라멜소프트 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치
KR102642691B1 (ko) * 2021-10-14 2024-03-04 주식회사 카라멜소프트 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치

Similar Documents

Publication Publication Date Title
KR101978602B1 (ko) 아날로그 계기판의 계기침 인식 시스템 및 그 방법
US10943141B2 (en) Object detection device and object detection method
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
US20190197313A1 (en) Monitoring device
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
US20160004927A1 (en) Visual matching assist apparatus and method of controlling same
KR101440826B1 (ko) 이미지 정합 방법 및 이미지 정합 장치
CN106780613B (zh) 多摄像头标定结果的可视化方法及其系统
US11037266B2 (en) Attached substance detection device and attached substance detection method
KR100640761B1 (ko) 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
JP6326622B2 (ja) 人物検出装置
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018189536A (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
JP2014142866A (ja) 車線識別装置および車線識別方法
CN113496246A (zh) 一种基于显示屏显示的图像识别方法
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP6440937B2 (ja) 情報対応付け装置、その方法及びそのプログラム
CN117203665A (zh) 图像处理装置
JP2018067149A (ja) 属性判定装置、属性判定方法、コンピュータプログラム、及び記録媒体
CN108573489B (zh) 跨栏完整度检测平台
CN109358063B (zh) 跨栏完整度的检测方法
JP4609936B2 (ja) オブジェクト検出方式
JP2006190188A (ja) 領域分割方法
JP2018055198A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant