KR20230053505A - 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치 - Google Patents

계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치 Download PDF

Info

Publication number
KR20230053505A
KR20230053505A KR1020220110800A KR20220110800A KR20230053505A KR 20230053505 A KR20230053505 A KR 20230053505A KR 1020220110800 A KR1020220110800 A KR 1020220110800A KR 20220110800 A KR20220110800 A KR 20220110800A KR 20230053505 A KR20230053505 A KR 20230053505A
Authority
KR
South Korea
Prior art keywords
instrument panel
guideline
image
outline
angle
Prior art date
Application number
KR1020220110800A
Other languages
English (en)
Other versions
KR102642691B1 (ko
Inventor
최재호
Original Assignee
주식회사 카라멜소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카라멜소프트 filed Critical 주식회사 카라멜소프트
Priority to KR1020220110800A priority Critical patent/KR102642691B1/ko
Publication of KR20230053505A publication Critical patent/KR20230053505A/ko
Application granted granted Critical
Publication of KR102642691B1 publication Critical patent/KR102642691B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G01D5/262—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with optical projection of a pointer or a scale
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
    • G01D11/30—Supports specially adapted for an instrument; Supports specially adapted for a set of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G01D5/264—Mechanical constructional elements therefor ; Mechanical adjustment thereof
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Geometry (AREA)

Abstract

본 발명에 따른 계기판 이미지 기반 계측값 인식 장치는 계측 장치의 계기판을 촬영하는 계기판 촬영 장치에 의해 촬영된 계기판 이미지로부터 계측값을 인식하는 계기판 이미지 기반 계측값 인식 장치에 관한 것으로써, 상기 계기판 촬영 장치로부터 운전 중인 계측 장치의 상기 계기판이 촬영된 운전 계기판 이미지를 입력받는 입력부; 및 상기 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성하고, 상기 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성하고, 상기 운전 계기판 전처리 이미지로부터 복수의 직선을 검출하고, 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 상기 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별하고, 상기 지침 외곽선의 지침 외곽선 각도에 기초하여 상기 지침이 가리키는 계측값을 산출하는 프로세서;를 포함할 수 있다.

Description

계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치{apparatus for recognizing measurement value and correcting distortion of instrument panel image and camera}
본 발명은 계기판 이미지 기반 계측값 인식 장치에 관한 것으로서, 더욱 상세하게는 계기판 촬영 장치로부터 촬영된 계기판 이미지에 기반하여 계측 장치로부터 계측된 계측값을 인식할 수 있는 계기판 이미지 기반 계측값 인식 장치에 관한 것이다.
특정 제품을 생산하는 공장은 최근 자동화 시스템에 의해 운영되고 있다. 이러한 공장의 자동화 시스템은 이전까지는 외부 네트워크와 연결되지 않고, 공장별 자동화 시스템 단위로 독립적인 네트워크를 구성하여 운영되는 폐쇄적인 형태였으나, 최근에는 이러한 공장 자동화 시스템을 외부 네트워크와 연결하여 제어하고, 생산 장치로부터 생산되는 데이터를 생산 및 관리에 재이용하려는 시도가 활발하게 이루어지고 있다.
이러한 공장 자동화 시스템의 각 장치들을 네트워크로 연결하려는 시도는 최근 사물인터넷(INTERNET OF THINGS)에 대한 관심의 증대와, 기술의 보편화에 따라 산업용 IoT(INDUSTRIAL IoT) 형태로 이용하려는 노력이 이루어지고 있다. 이러한 산업용 IoT는 단순히 공장의 생산 설비만을 네트워크화 하여 자동화 하는데 그치지 않고 공장 시스템의 세부적인 부분들까지 IoT에 참여시킴으로써, 자동제어, 각종관리가 이루어지도록 함과 아울러, 내외부의 다양한 데이터를 공장 운영에 이용하여 운영 효율을 크게 향상시키는 것이 가능하다.
특히, IoT를 적용하게 됨으로써 다양한 프로토콜의 다양한 장치를 시스템에 참여시킬 수 있게 되어 과거에 이용한 자동화 시스템에 비해 진보된 시스템의 구성이 가능하다.
대규모의 스마트 팩토리를 구성하는 개별 설비들은 상호 유기적인 연계 작용을 한다. 예를 들어 전처리 설비에서 전처리된 제품은 제조 공정상 다음 처리 설비로 이송 로봇을 이용하여 이송된다. 이와 같은 설비들의 연계 구조에서 하나의 설비에 고장이 발생하는 경우, 그 고장난 설비를 포함하는 제조라인을 모두 정지시켜야 하기 때문에 설비에 대한 고장 예측은 스마트 팩토리의 운영에서 매우 중요하다.
뿐만 아니라, 다양한 계측 장치로부터 계측되는 계측값을 신속하고 정확하게 수집하여 활용하고, 수집된 계측값을 바탕으로 스마트 팩토리의 운영을 제어하고 각 상황별 대처를 수행하는 것 또한 매우 중요하다.
이때, 고장을 예측하거나 스마트 팩토리의 상태를 파악하는데 사용되는 계측값을 획득하기 위해서 다수의 센서를 스마트 팩토리에 장착하고 그 신호를 주기적으로 수신해야 하는 만큼 스마트 팩토리의 구축 비용이 많이 소요되는 문제점이 예측된다.
한국공개특허 제10-2019-0062739호
본 발명의 목적은, 계기판에 근접한 거리에 기울어져서 계기판에 설치된 계기판 촬영 장치에 의해 촬영된 계기판 이미지의 왜곡을 보정하고, 보정된 계기판 이미지로부터 계측 장치의 계측값을 인식할 수 있는 계기판 이미지 기반 계측값 인식 장치를 제공함에 있다.
또한, 본 발명의 목적은, 계기판 이미지로부터 검출된 직선 중에서 지침 외곽에 대응되는 지침 외곽선을 선별하고, 지침 외곽선으로부터 지침 중심선의 각도를 획득하여 지침이 나타내는 계측값을 산출할 수 있는 계기판 이미지 기반 계측값 인식 장치를 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 계기판 이미지 기반 계측값 인식 장치는 계측 장치의 계기판을 촬영하는 계기판 촬영 장치에 의해 촬영된 계기판 이미지로부터 계측값을 인식하는 계기판 이미지 기반 계측값 인식 장치에 관한 것으로써, 상기 계기판 촬영 장치로부터 운전 중인 계측 장치의 상기 계기판이 촬영된 운전 계기판 이미지를 입력받는 입력부; 및 상기 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성하고, 상기 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성하고, 상기 운전 계기판 전처리 이미지로부터 복수의 직선을 검출하고, 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 상기 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별하고, 상기 지침 외곽선의 지침 외곽선 각도에 기초하여 상기 지침이 가리키는 계측값을 산출하는 프로세서;를 포함할 수 있다.
바람직하게, 상기 프로세서는 상기 운전 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 상기 운전 계기판 보정 이미지를 생성할 수 있다.
바람직하게, 상기 프로세서는 상기 운전 계기판 보정 이미지에서 관심 영역만을 추출하는 관심 영역 추출 및 상기 운전 계기판 보정 이미지의 색상 정보를 이진화시키는 색상 이진화 중 하나 이상을 수행하여 상기 운전 계기판 보정 이미지를 상기 운전 계기판 전처리 이미지로 생성할 수 있다.
바람직하게, 상기 프로세서는 상기 복수의 직선 중에서 상기 직선 길이가 기준 직선 길이 미만인 직선을 삭제할 수 있다.
바람직하게, 상기 프로세서는 상기 지침의 회전 중심으로부터 제1 반경 미만인 영역을 제1 영역으로 설정하고, 상기 지침의 회전 중심으로부터 제1 반경 이상 및 제2 반경 미만인 영역을 제2 영역으로 설정하고, 상기 복수의 직선 중에서 시작점과 종료점이 상기 제1 영역 및 제2 영역에 포함되지 않는 직선을 삭제할 수 있다.
바람직하게, 상기 프로세서는 상기 복수의 직선 중에서 시작점과 종료점이 상기 제1 영역에 포함되는 직선을 삭제할 수 있다.
바람직하게, 상기 프로세서는 삭제되지 않은 복수의 직선 중에서 상기 제1 영역에 중첩되는 직선을 제1 직선 그룹으로 그룹핑하고, 상기 복수의 직선 중에서 상기 제2 영역에 중첩되는 직선을 제2 직선 그룹으로 그룹핑하고, 상기 제1 직선 그룹에 포함된 직선 각각과 상기 제2 직선 그룹에 포함된 직선 각각의 직선 각도 간의 직선 각도차가 기준 각도차 범위 내에 포함되면 해당 직선을 상기 지침 외곽선으로 선별할 수 있다.
바람직하게, 상기 프로세서는 상기 지침 외곽선 각각의 지침 외곽선 각도에 기초하여 상기 지침 외곽선을 제1 지침 외곽선 그룹 및 제2 지침 외곽선 그룹으로 분류하고, 상기 제1 지침 외곽선 그룹에 포함된 지침 외곽선의 제1 지침 외곽선 각도와 상기 제2 지침 외곽선 그룹에 포함된 지침 외곽선의 제2 지침 외곽선 각도에 기초하여 지침 중심선 각도를 산출하고, 상기 지침 중심선 각도, 상기 계측 장치의 최소 계측값 지침 각도, 최대 계측값 지침 각도, 최소 계측값 및 최대 계측값에 기초하여 상기 지침이 가리키는 상기 계측값을 산출할 수 있다.
본 발명에 따른 계기판 이미지 기반 계측값 인식 장치는, 왜곡이 보정된 계기판 이미지에 두 영역을 설정하고, 직선 각도를 이용하여 두 영역의 직선 중에서 지침 외곽선을 선별 후 지침 중심선의 각도를 획득함으로써, 계측 장치의 계측값을 정확하게 인식할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 계측 장치의 계기판, 계기판 촬영 장치 및 서버를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 연결되는 계기판 촬영 장치의 분해 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치의 구성 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 이미지이다.
도 5는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 캘리브레이션용 계기판 이미지이다.
도 6은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 보정 이미지이다.
도 7은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 전처리 이미지이다.
도 8은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 이미지이다.
도 9는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 운전 계기판 이미지이다.
도 10은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 보정 이미지이다.
도 11은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 전처리 이미지이다.
도 12는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에 의해 운전 계기판 전처리 이미지로부터 검출된 복수의 직선을 도시한 도면이다.
도 13 및 도 14는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 복수의 직선 중에서 지침 외곽선을 선별하는 과정을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 지침이 가리키는 계측값을 산출하는 과정을 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 작동, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 작동을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 작동들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
특히, 본 명세서에서, “~장치”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다.
본 명세서에서, “~장치”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 작동하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치”는 기계 구동 장치, 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 계측 장치의 계기판, 계기판 촬영 장치 및 서버를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치와 연결되는 계기판 촬영 장치의 분해 사시도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)는 계기판 촬영 장치(200)로부터 촬영된 계기판 이미지를 입력받아, 계측 장치(M)의 지침(N)이 가리키는 계측값을 산출할 수 있다.
여기서, 계측 장치(M)는 계측된 계측값을 아날로그 방식으로만 나타냄으로써 계측값을 통신 등으로 출력할 수 없는 장치일 수 있다.
예를 들어, 계측 장치(M)는 압력, 유량, 전력, 전압, 전류 등을 계측하고, 이러한 계측을 통해 획득된 계측값을 계측 바늘 또는 게이지로 구성된 계기판(P) 나타내는 장치일 수 있다.
한편, 계측 장치(M)는 형상이 소정의 두께가 있는 원형으로 형성될 수도 있으나 계측값을 나타내는 한 그 형상은 제한되지 않음을 유의한다.
여기서, 계기판 촬영 장치(200)는 계측 장치(M)에 근접하여 배치되어 계측 장치(M)의 계기판(P)을 촬영하고, 촬영된 계기판 이미지를 계기판 이미지 기반 계측값 인식 장치(100)로 출력할 수 있다.
계기판 촬영 장치(200)는 하우징부(210), 브라켓부(220) 및 카메라 모듈(230)을 포함할 수 있다.
하우징부(210)는 계기판(P)을 촬영하는 카메라 모듈(230)을 수납하며, 브라켓부(220)는 일측이 하우징부(210)와 결합되고, 타측이 계측 장치(M)의 일측에 체결되어 카메라 모듈(230)의 촬영 방향이 계기판(P)을 향하도록 하우징부(210)를 계측 장치(M)에 장착시킬 수 있다.
이때, 브라켓부(220)는 제1 플레이트(221), 제2 플레이트(222)를 포함하고, 제1 플레이트(221)는 제1 하부면이 계측 장치(M)의 일측에 접하며, 제2 플레이트(222)는 타단이 제1 플레이트(221)의 일단과 연결되며, 제2 하부면이 하우징부(210)의 타측면과 접하여 결합될 수 있다.
구체적으로, 제2 플레이트(222)는 카메라 모듈(230)의 촬영 방향이 계기판(P)의 중앙 영역을 향하도록 제2 하부면이 제1 플레이트(221)의 제1 하부면과 소정의 연결 각도를 형성하여 연결될 수 있다.
즉, 제2 플레이트(222)와 제1 플레이트(221)는 연결 각도를 이루어 연결될 수 있다. 여기서, 연결 각도는 카메라 모듈(230)의 촬영 방향에 대응하여 미리 정해진 각도일 수 있다.
또한, 제2 플레이트(222)와 제1 플레이트(221)가 이루는 연결 각도는 내각을 의미할 수 있으며, 계기판(P)의 전면에 수직한 공간 상에 제2 플레이트(222) 및 제2 플레이트(222)와 결합된 하우징부(210)가 배치되지 않도록 하는 각도일 수 있다.
즉, 제2 플레이트(222)는 제1 플레이트(221)의 반대쪽에 위치하는 일단이 계기판(P)과 멀어지도록 제1 플레이트(221)과 연결 각도를 이루어 연결될 수 있다.
상술된 계기판 촬영 장치(200)는 구조, 제2 플레이트(222)와 제1 플레이트(221)가 이루는 연결 각도 및 계측 장치(M)에 설치되는 위치로 인해서, 왜곡된 계기판 이미지를 생성할 수 있다.
구체적으로, 계기판(P)의 전면에 수직한 방향에서 즉, 계기판(P)의 정면에서 촬영된 계기판 이미지 대비, 계기판 촬영 장치(200)에 의해 촬영된 계기판 이미지는 계기판(P)에 근접한 거리에서 기울어져 촬영되어 생성됨으로써, 원근 왜곡 및 계기판 촬영 장치 왜곡이 발생될 수 있다.
여기서, 계기판 촬영 장치 왜곡은 계기판 촬영 장치(200)의 광학 구조로 인해 발생하는 왜곡으로써, 계기판 촬영 장치(200)의 카메라 모듈(230)에 구비된 어안 렌즈에 의해 발생하는 어안 렌즈 왜곡 및 계기판 촬영 장치(200)의 렌즈와 이미지 센서가 비틀어져 배치되어 발생되는 왜곡을 포함할 수 있다.
또한, 계기판 촬영 장치(200)는 계기판(P)을 회전된 각도로 촬영됨으로써, 계기판 관찰 각도 대비 회전된 각도로 촬영된 계기판 이미지를 생성할 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)는 계기판 촬영 장치(200)의 구조, 제2 플레이트(222)와 제1 플레이트(221)가 이루는 연결 각도 및 계측 장치(M)에 설치되는 위치를 고려하여 캘리브레이션을 수행하고, 계기판 이미지에 대해 회전, 왜곡 보정 및 전처리를 수행하며, 계기판 이미지로부터 직선을 검출 후 지침 외곽선을 선별하고, 지침 외곽선의 지침 외곽선 각도에 기초하여 계기판의 지침이 기리키는 계측값을 산출할 수 있다.
이하, 상술된 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)의 기능을 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치의 구성 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치(100)는 입력부(110), 프로세서(120), 통신부(130) 및 저장부(140)를 포함할 수 있다.
입력부(110)는 계기판 촬영 장치(200)로부터 촬영된 이미지를 입력받을 수 있다.
이때, 입력부(110)는 계기판 촬영 장치(200)의 초점 거리를 맞추고, 왜곡 보정 계수를 획득하는데 이용되는 캘리브레이션용 체스판 이미지를 계기판 촬영 장치(200)로부터 입력받을 수 있다.
프로세서(120)는 상술된 캘리브레이션용 체스판 이미지를 이용하여 왜곡 보정 계수를 획득할 수 있다.
여기서, 왜곡 보정 계수는 계기판 촬영 장치(200)의 광학 구조로 인해 발생하는 왜곡을 보정하는데 이용되는 계수일 수 있으며, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 함수 및 코드로 구성된 하기의 왜곡 보정 계수 획득 프로그램에 캘리브레이션용 체스판 이미지를 입력하여 왜곡 보정 계수(k1,k2,p1,p2)를 획득할 수 있다.
<왜곡 보정 계수 획득 프로그램>
import numpy as np
import cv2 as cv
import glob
# termination criteria
criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
images = glob.glob('*.jpg')
for fname in images:
img = cv.imread(fname)
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# Find the chess board corners
ret, corners = cv.findChessboardCorners(gray, (7,6), None)
# If found, add object points, image points (after refining them)
if ret == True:
objpoints.append(objp)
corners2 = cv.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)
imgpoints.append(corners)
# Draw and display the corners
cv.drawChessboardCorners(img, (7,6), corners2, ret)
cv.imshow('img', img)
cv.waitKey(500)
cv.destroyAllWindows()
한편, 프로세서(120)는 계기판 촬영 장치 왜곡을 보정하는데 이용되는 왜곡 보정 계수를 획득할 수 있는 한, 다양한 종류의 왜곡 보정 계수 획득 프로그램을 이용할 수 있음을 유의한다.
한편, 이하에서는 계측 장치(M)의 계기판(P)에 대해 캘리브레이션을 수행하는 과정을 설명하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 이미지이고, 도 5는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 캘리브레이션용 계기판 이미지이고, 도 6은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 보정 이미지이고, 도 7은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 캘리브레이션용 계기판 전처리 이미지이다.
도 4 내지 도 7을 더 참조하면, 입력부(110)는 계측 장치(M)의 계기판(P)에 대해 캘리브레이션을 수행하기 위해 이용되는 캘리브레이션용 계기판 이미지를 계기판 촬영 장치(200)로부터 입력받을 수 있다.
이때, 계기판 촬영 장치(200)는 도 4에 도시된 바와 같이, 비운전 중인 계측 장치(M)의 계기판(P)을 촬영하여 캘리브레이션용 계기판 이미지를 생성할 수 있다.
프로세서(120)는 도 5에 도시된 바와 같이, 계기판 촬영 장치(200)의 설치 각도에 기초하여 캘리브레이션용 계기판 이미지를 회전시킬 수 있다. 구체적으로, 프로세서(120)는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로 계기판 촬영 장치(200)가 설치된 설치 각도만큼 캘리브레이션용 계기판 이미지를 회전시킬 수 있다.
이를 통해, 프로세서(120)는 정각도로 촬영되지 않은 캘리브레이션용 계기판 이미지를 정각도의 이미지로 변경시킬 수 있다.
이후, 프로세서(120)는 캘리브레이션용 계기판 이미지의 왜곡을 보정하여 캘리브레이션용 계기판 보정 이미지를 생성할 수 있다.
구체적으로, 프로세서(120)는 도 6에 도시된 바와 같이, 캘리브레이션용 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 캘리브레이션용 계기판 보정 이미지를 생성할 수 있다.
이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.warpAffine()” 함수를 이용하여 원근 왜곡을 보정하고, “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.undistort()” 함수와 변환 매트릭스 및 왜곡 보정 계수를 이용하여 계기판 촬영 장치 왜곡을 보정할 수 있다.
이후, 프로세서(120)는 도 7에 도시된 바와 같이, 캘리브레이션 계기판 보정 이미지에 대해 캘리브레이션에 이용되는 정보를 설정하기 위한 전처리를 수행하여 캘리브레이션용 계기판 전처리 이미지를 생성할 수 있다.
구체적으로, 프로세서(120)는 운전 계기판 보정 이미지에서 관심 영역(Region of Interet; ROI)만을 추출하여 전처리를 수행할 수 있다.
계측 장치(M)의 계기판(P)에 대해 캘리브레이션을 수행하는 과정에서 최종적으로, 프로세서(120)는 도 7에 도시된 바와 같이, 캘리브레이션 계기판 전처리 이미지로부터 지침(N)의 회전 중심(R), 계측 장치(M)의 최소 계측값 지침 각도(Amin), 최대 계측값 지침 각도(Amax), 최소 계측값(Vmin) 및 최대 계측값(Vmax), 계측 장치(M)의 계측 단위(U)를 인식하여 설정할 수 있다.
구체적으로, 프로세서(120)는 캘리브레이션 계기판 전처리 이미지로부터 숫자를 인식하고, 인식된 숫자 중 최소 크기의 숫자를 최소 계측값(Vmin)으로 설정하며, 인식된 숫자 중 최대 크기의 숫자를 최대 계측값(Vmax)으로 설정할 수 있다.
또한, 프로세서(120)는 최소 계측값(Vmin)을 나타내는 숫자의 중심 위치로부터 지침(N)의 회전 중심(R)을 잇는 직선의 각도를 최소 계측값 지침 각도(Amin)로 설정하고, 최대 계측값(Vmax)을 나타내는 숫자의 중심 위치로부터 지침(N)의 회전 중심(R)을 잇는 직선의 각도를 최대 계측값 지침 각도(Amax)로 설정할 수 있다.
여기서, 최소 계측값 지침 각도(Amin) 및 최대 계측값 지침 각도(Amax)는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로한 각도일 수 있다.
또한, 프로세서(120)는 캘리브레이션용 계기판 전처리 이미지로부터 문자를 인식하고, 인식된 문자 중에서 미리 저장된 계측 단위 문자와 동일한 문자를 계측 단위(U)로 설정할 수 있다.
여기서, 미리 저장된 계측 단위 문자는 통용되는 계측 단위를 나타내는 문자일 수 있다.
한편, 프로세서(120)는 계기판 전처리 이미지의 중심 위치를 지침(N)의 회전 중심(R)로 설정할 수도 있고, 사용자로부터 좌표값을 입력받아 지침(N)의 회전 중심(R)로 설정할 수도 있다.
한편, 프로세서(120)는 계측 장치(M)의 최소 계측값 지침 각도(Amin), 최대 계측값 지침 각도(Amax), 최소 계측값(Vmin) 및 최대 계측값(Vmax), 계측 장치(M)의 계측 단위(U) 각각에 대응되는 정보를 사용자로부터 입력받아 설정할 수도 있다.
한편, 이하에서는 운전 중인 계측 장치(M)의 계기판(P)을 촬영한 운전 계기판 이미지로부터 계측 장치(M)로부터 계측된 계측값을 인식하는 과정을 설명하도록 한다.
도 8은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 이미지이고, 도 9는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 회전된 운전 계기판 이미지이고, 도 10은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 보정 이미지이고, 도 11은 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에서 이용되는 운전 계기판 전처리 이미지이고, 도 12는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치에 의해 운전 계기판 전처리 이미지로부터 검출된 복수의 직선을 도시한 도면이고, 도 13 및 도 14는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 복수의 직선 중에서 지침 외곽선을 선별하는 과정을 설명하기 위한 도면이고, 도 15는 본 발명의 일 실시 예에 따른 계기판 이미지 기반 계측값 인식 장치가 지침이 가리키는 계측값을 산출하는 과정을 설명하기 위한 도면이다.
도 8 내지 도 15를 더 참조하면, 입력부(110)는 도 8에 도시된 바와 같이, 계기판 촬영 장치(200)로부터 운전 중인 계측 장치(M)의 계기판(P)이 촬영된 운전 계기판 이미지를 입력받을 수 있다.
여기서, 운전이란 계측 장치(M)가 계측값을 측정하기 위해 작동 중임을 의미하고, 계측 장치(M)가 운전 중인 경우, 계기판(P)의 지침(N)이 실시간으로 게측되는 계측값을 가리킬 수 있다.
프로세서(120)는 운전 계기판 이미지에 대해 회전, 왜곡 보정 및 전처리 과정을 수행한 후, 직선을 검출하고, 검출된 직선 중에서 지침(N)의 외곽에 대응되는 직선을 지침 외곽선으로 선별할 수 있다.
이때, 프로세서(120)는 운전 계기판 이미지에 대해 회전, 왜곡 보정 및 전처리하는 과정을 캘리브레이션용 이미지에 대해 회전, 왜곡 보정 및 전처리하는 과정과 유사할 수 있다.
프로세서(120)는 도 9에 도시된 바와 같이, 계기판 촬영 장치(200)의 설치 각도에 기초하여 운전 계기판 이미지를 회전시킬 수 있다. 구체적으로, 프로세서(120)는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로 계기판 촬영 장치(200)가 설치된 설치 각도만큼 운전 계기판 이미지를 회전시킬 수 있다.
이를 통해, 프로세서(120)는 정각도로 촬영되지 않은 운전 계기판 이미지를 정각도의 이미지로 변경시킬 수 있다.
이후, 프로세서(120)는 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성할 수 있다.
구체적으로, 프로세서(120)는 도 10에 도시된 바와 같이, 운전 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 운전 계기판 보정 이미지를 생성할 수 있다.
이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.warpAffine()” 함수를 이용하여 원근 왜곡을 보정하고, “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.undistort()” 함수와 변환 매트릭스 및 왜곡 보정 계수를 이용하여 계기판 촬영 장치 왜곡을 보정할 수 있다.
이후, 프로세서(120)는 도 11에 도시된 바와 같이, 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성할 수 있다.
구체적으로, 프로세서(120)는 운전 계기판 보정 이미지에서 관심 영역만을 추출하는 관심 영역 추출 및 운전 계기판 보정 이미지의 색상 정보를 이진화시키는 색상 이진화 중 하나 이상을 수행하여 운전 계기판 보정 이미지를 운전 계기판 전처리 이미지로 생성할 수 있다.
여기서, 색상 이진화는 복수의 색상 정보를 포함하는 픽셀로 구성된 운전 계기판 보정 이미지의 각각의 픽셀을 2개의 색상 정보 중 어느 하나로 변경시키는 전처리 과정일 수 있다. 예를 들어, 색상 이진화는 운전 계기판 보정 이미지의 각각의 픽셀의 색상 정보를 흑색 또는 백색으로 변경시키는 과정일 수 있다.
이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.cvtColor()” 함수를 이용하여 색상 이진화를 수행할 수 있다.
프로세서(120)는 도 12에 도시된 바와 같이, 운전 계기판 전처리 이미지로부터 복수의 직선을 검출할 수 있다.
구체적으로, 프로세서(120)는 운전 계기판 전처리 이미지를 구성하는 외곽선 중에서 직선만을 검출할 수 있다. 이때, 프로세서(120)는 “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.Canny()” 함수를 통해 캐니변환을 수행하여 운전 계기판 전처리 이미지로부터 외곽선을 추출하고, “Open CV” 프로그래밍 라이브러리에서 실행되는 “cv2.HoughLinesP()” 함수를 통해 허프직선변환을 수행하여 복수의 직선을 검출할 수 있다.
이후, 프로세서(120)는 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별할 수 있다.
구체적으로, 프로세서(120)는 복수의 직선 중에서 직선 길이가 기준 직선 길이 미만인 직선을 삭제할 수 있다.
즉, 프로세서(120)는 바늘 외곽과 같이 길이가 긴 직선이 아닌 직선들을 삭제할 수 있다.
이때, 프로세서(120)는 기준 직선 길이를 운전 계기판 전처리 이미지의 가로 길이 또는 세로 길이의 5%로 설정할 수 있다.
한편, 프로세서(120)는 도 13에 도시된 바와 같이, 지침(N)의 회전 중심으로부터 제1 반경 미만인 영역을 제1 영역(O1)으로 설정하고, 지침(N)의 회전 중심으로부터 제1 반경 이상 및 제2 반경 미만인 영역을 제2 영역(O1)으로 설정할 수 있다.
이때, 프로세서(120)는 제1 반경을 운전 계기판 전처리 이미지의 가로 길이 또는 세로 길이의 10%로 설정할 수 있다.
이때, 프로세서(120)는 제2 반경을 운전 계기판 전처리 이미지의 가로 길이 또는 세로 길이의 40%로 설정할 수 있다.
프로세서(120)는 도 13에 도시된 바와 같이, 복수의 직선 중에서 시작점과 종료점이 제1 영역(O1) 및 제2 영역(O2)에 포함되지 않는 직선을 삭제할 수 있다.
즉, 프로세서(120)는 복수의 직선 중에서 외곽에 위치하는 직선들을 삭제할 수 있다.
프로세서(120)는 도 14에 도시된 바와 같이, 복수의 직선 중에서 시작점과 종료점이 제1 영역(O1)에 포함되는 직선을 삭제할 수 있다.
즉, 프로세서(120)는 제1 영역(O1) 외측까지 연장되는 직선을 제외하고 제1 영역(O1) 내에서 단절되는 직선들을 삭제할 수 있다.
이후, 프로세서(120)는 삭제되지 않은 복수의 직선 중에서 제1 영역(O1)에 중첩되는 직선을 제1 직선 그룹으로 그룹핑하고, 복수의 직선 중에서 제2 영역(O2)에 중첩되는 직선을 제2 직선 그룹으로 그룹핑할 수 있다.
프로세서(120)는 제1 직선 그룹에 포함된 직선 각각과 제2 직선 그룹에 포함된 직선 각각의 직선 각도 간에 직선 각도차가 기준 각도차 범위 내에 포함되면 해당 직선을 지침 외곽선으로 선별할 수 있다.
즉, 프로세서(120)는 제1 직선 그룹에 포함된 직선 중 어느 하나의 직선과 제2 직선 그룹에 포함된 직선 중 어느 하나의 직선 각도 간의 직선 각도차가 기준 각도차 범위 내에 포함되면, 두 직선을 지침 외곽선으로 선별할 수 있다.
여기서, 기준 각도차 범위는 “-1도 내지 1도”일 수 있으며, 직선 각각의 직선 각도는 계기판(P)의 지침(N)의 회전 중심(R)과 계기판(P)의 최하단을 잇는 직선을 기준으로 하는 각도일 수 있다.
프로세서(120)는 지침 외곽선 각각의 지침 외곽선 각도에 기초하여 지침 외곽선을 제1 지침 외곽선 그룹 및 제2 지침 외곽선 그룹으로 분류할 수 있다.
구체적으로, 프로세서(120)는 지침 외곽선 중에서 어느 두 지침 외곽선 각각의 지침 외곽선 각도 간에 지침 외곽선 각도차가 기준 각도차 범위 내에 포함되면 두 지침 외곽선을 동일한 그룹으로 분류할 수 있다.
이후, 프로세서(120)는 제1 지침 외곽선 그룹에 포함된 지침 외곽선(N1)의 제1 지침 외곽선 각도와 제2 지침 외곽선 그룹에 포함된 지침 외곽선(N2)의 제2 지침 외곽선 각도에 기초하여 지침 중심선 각도를 산출할 수 있다.
이때, 프로세서(120)는 도 15에 도시된 바와 같이, 제1 지침 외곽선 그룹에 포함된 지침 외곽선(N1)들의 제1 지침 외곽선 각도 평균을 제1 지침 외곽선 각도(AN1)로 산출하고, 제2 지침 외곽선 그룹에 포함된 지침 외곽선(N2)들의 제2 지침 외곽선 각도 평균을 제2 지침 외곽선 각도(AN2)로 산출할 수 있다.
이후, 프로세서(120)는 제1 지침 외곽선 각도(AN1)와 제2 지침 외곽선 각도(AN2)의 지침 외곽선 각도 평균을 지침 중심선(N')의 지침 중심선 각도(AN')로 산출할 수 있다.
최종적으로, 프로세서(120)는 지침 중심선 각도(AN'), 최소 계측값 지침 각도(Amin), 최대 계측값 지침 각도(Amax), 최소 계측값(Vmin) 및 최대 계측값(Vmax)에 기초하여 지침(N)이 가리키는 계측값을 산출할 수 있다.
프로세서(120)는 하기의 수학식 1을 이용하여 지침(N)이 가리키는 계측값을 산출할 수 있다.
Figure pat00001
여기서, V는 지침(N)이 가리키는 계측값, VN'은 지침 중심선 각도, Amin은 최소 계측값 지침 각도, Amax는 최대 계측값 지침 각도, Vmin은 최소 계측값 및 Vmax는 최대 계측값일 수 있다.
이를 통해, 프로세서(120)는 작업자가 계기판(P)을 육안으로 확인하는 과정을 방해하지 않도록, 계기판 촬영 장치(200)가 계기판(P) 전면에 수직한 영역이 아니라, 일정 각도로 기울어져 계기판(P)에 설치되어 왜곡된 계기판 이미지가 입력되더라고, 계기판 이미지를 보정하여 지침(N)의 중심선이 이루는 중심선 각도를 정확하게 산출하여, 지침(N)이 가리키는 계측값을 정확도 높게 산출할 수 있다.
한편, 프로세서(120)는 서버(300)로 산출된 계측값을 실시간으로 송신하도록 통신부(130)를 제어할 수 있다.
서버(300)는 외부로부터 계측값 저장 요청이 수신되면 계기판 이미지 기반 계측값 인식 장치(100)의 통신부(130)로부터 수신된 계측값을 시계열에 맞추어 데이터베이스에 저장할 수 있다.
또한, 서버(300)는 외부로부터 계측값 조회 요청이 수신되면 조회 조건에 대응되는 계측값을 데이터베이스로부터 읽어들이고, 해당 계측값을 외부로 송신할 수 있다.
여기서, 조회 조건은 계측값의 계측시간 및 계측대상장치에 부합하는 조건일 수 있다.
한편, 프로세서(120)는 상술된 각 구성 요소의 작동을 수행할 수 있으며, 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
프로세서(120)는 저장부(140)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상술된 각 구성 요소의 작동을 수행하도록 구성될 수 있다.
저장부(140)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(140)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100 : 계기판 이미지 기반 계측값 인식 장치
110 : 입력부
120 : 프로세서
130 : 통신부
140 : 저장부
200 : 계기판 촬영 장치
300 : 서버

Claims (1)

  1. 계측 장치의 계기판을 촬영하는 계기판 촬영 장치에 의해 촬영된 계기판 이미지로부터 계측값을 인식하고, 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치에 있어서,
    상기 계기판 촬영 장치로부터 운전 중인 계측 장치의 상기 계기판이 촬영된 운전 계기판 이미지를 입력받는 입력부; 및
    상기 운전 계기판 이미지의 왜곡을 보정하여 운전 계기판 보정 이미지를 생성하고, 상기 운전 계기판 보정 이미지에 대해 직선 검출을 위한 전처리를 수행하여 운전 계기판 전처리 이미지를 생성하고, 상기 운전 계기판 전처리 이미지로부터 복수의 직선을 검출하고, 복수의 직선 각각의 직선 길이, 직선 위치 및 직선 각도 중 하나 이상에 기초하여 복수의 직선 중에서 상기 계기판의 지침의 외곽에 대응되는 지침 외곽선을 선별하고, 상기 지침 외곽선의 지침 외곽선 각도에 기초하여 상기 지침이 가리키는 계측값을 산출하는 프로세서;를 포함하고,
    상기 프로세서는
    상기 지침 외곽선 각각의 지침 외곽선 각도에 기초하여 상기 지침 외곽선을 제1 지침 외곽선 그룹 및 제2 지침 외곽선 그룹으로 분류하고, 상기 제1 지침 외곽선 그룹에 포함된 지침 외곽선의 제1 지침 외곽선 각도와 상기 제2 지침 외곽선 그룹에 포함된 지침 외곽선의 제2 지침 외곽선 각도에 기초하여 지침 중심선 각도를 산출하고, 상기 지침 중심선 각도, 상기 계측 장치의 최소 계측값 지침 각도, 최대 계측값 지침 각도, 최소 계측값 및 최대 계측값에 기초하여 상기 지침이 가리키는 상기 계측값을 산출하고,
    상기 프로세서는
    상기 운전 계기판 이미지의 원근 왜곡 및 계기판 촬영 장치 왜곡 중 하나 이상을 보정하여 상기 운전 계기판 보정 이미지를 생성하고,
    상기 프로세서는
    상기 운전 계기판 보정 이미지에서 관심 영역만을 추출하는 관심 영역 추출 및 상기 운전 계기판 보정 이미지의 색상 정보를 이진화시키는 색상 이진화 중 하나 이상을 수행하여 상기 운전 계기판 보정 이미지를 상기 운전 계기판 전처리 이미지로 생성하고,
    상기 색상 이진화는
    상기 프로세서가 운전 계기판 보정 이미지를 구성하는 픽셀들 각각의 색상 정보를 미리 정해진 2개의 색상 정보 중 어느 하나로 변경시키는 것을 의미하는 것을 특징으로 하는
    계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치.
KR1020220110800A 2021-10-14 2022-09-01 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치 KR102642691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220110800A KR102642691B1 (ko) 2021-10-14 2022-09-01 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210136683A KR102441760B1 (ko) 2021-10-14 2021-10-14 계기판 이미지 기반 계측값 인식 장치
KR1020220110800A KR102642691B1 (ko) 2021-10-14 2022-09-01 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210136683A Division KR102441760B1 (ko) 2021-09-30 2021-10-14 계기판 이미지 기반 계측값 인식 장치

Publications (2)

Publication Number Publication Date
KR20230053505A true KR20230053505A (ko) 2023-04-21
KR102642691B1 KR102642691B1 (ko) 2024-03-04

Family

ID=83279686

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210136683A KR102441760B1 (ko) 2021-09-30 2021-10-14 계기판 이미지 기반 계측값 인식 장치
KR1020220110800A KR102642691B1 (ko) 2021-10-14 2022-09-01 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210136683A KR102441760B1 (ko) 2021-09-30 2021-10-14 계기판 이미지 기반 계측값 인식 장치

Country Status (1)

Country Link
KR (2) KR102441760B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023055170A1 (ko) * 2021-09-30 2023-04-06 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065812A (ja) * 2001-08-21 2003-03-05 National Aerospace Laboratory Of Japan 計器表示の画像情報に基く数値データ化システム
KR20170057854A (ko) * 2015-11-17 2017-05-25 브이피코리아 주식회사 아날로그 계측 장비 관리 시스템, 그리고 이를 이용한 아날로그 계측 장비 관리 방법
KR101978602B1 (ko) * 2018-05-25 2019-05-14 안동대학교 산학협력단 아날로그 계기판의 계기침 인식 시스템 및 그 방법
KR101985712B1 (ko) * 2018-12-13 2019-06-04 주식회사 버넥트 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템
KR20190062739A (ko) 2017-11-29 2019-06-07 달리웍스 주식회사 복수의 센서를 활용하여 제조 공정상의 장비 고장을 예지하는 데이터 분석 방법, 알고리즘 및 장치
KR102089498B1 (ko) * 2019-09-23 2020-03-19 (주)씨앤에스아이 아날로그 게이지용 측정장치 및 그 동작방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065812A (ja) * 2001-08-21 2003-03-05 National Aerospace Laboratory Of Japan 計器表示の画像情報に基く数値データ化システム
KR20170057854A (ko) * 2015-11-17 2017-05-25 브이피코리아 주식회사 아날로그 계측 장비 관리 시스템, 그리고 이를 이용한 아날로그 계측 장비 관리 방법
KR20190062739A (ko) 2017-11-29 2019-06-07 달리웍스 주식회사 복수의 센서를 활용하여 제조 공정상의 장비 고장을 예지하는 데이터 분석 방법, 알고리즘 및 장치
KR101978602B1 (ko) * 2018-05-25 2019-05-14 안동대학교 산학협력단 아날로그 계기판의 계기침 인식 시스템 및 그 방법
KR101985712B1 (ko) * 2018-12-13 2019-06-04 주식회사 버넥트 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템
KR102089498B1 (ko) * 2019-09-23 2020-03-19 (주)씨앤에스아이 아날로그 게이지용 측정장치 및 그 동작방법

Also Published As

Publication number Publication date
KR102642691B1 (ko) 2024-03-04
KR102441760B1 (ko) 2022-09-08

Similar Documents

Publication Publication Date Title
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
CN114549835B (zh) 一种基于深度学习的指针式仪表矫正识别方法及装置
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN103473771A (zh) 一种摄相机标定方法
KR20220154227A (ko) 얼굴 이미지 식별 방법, 장치, 설비 및 저장매체
CN113358231B (zh) 红外测温方法、装置及设备
CN103729631A (zh) 一种基于视觉的连接器表面特征自动识别方法
KR102642691B1 (ko) 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치
CN116758063B (zh) 一种基于图像语义分割的工件尺寸检测方法
CN107643611A (zh) 一种液晶屏与背光源装配精度的自动检测系统
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN111598097A (zh) 一种基于机器人视觉的仪表位置、读数识别方法和系统
CN113635299B (zh) 一种机械臂的校正方法、终端设备及存储介质
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
CN115512343A (zh) 一种圆形指针式仪表校正和读数识别方法
CN112330726B (zh) 一种图像处理方法及装置
CN113658274A (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
CN112001905A (zh) 基于图像处理的家居产品破损检测系统及检测方法
EP2953096B1 (en) Information processing device, information processing method, system and carrier means
CN117671007B (zh) 一种位移监测方法、装置、电子设备及存储介质
CN112734854A (zh) 一种基于三目极线约束的相机自标定方法
CN115655576B (zh) 一种指针式压力表位移异常的自动感知方法
CN113330275B (zh) 相机信息计算装置、系统、相机信息计算方法及记录介质
Wang et al. The comparison of canny and structured forests edge detection application in precision identification of pointer instrument

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant