KR20230089446A - 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법 - Google Patents

저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법 Download PDF

Info

Publication number
KR20230089446A
KR20230089446A KR1020210178078A KR20210178078A KR20230089446A KR 20230089446 A KR20230089446 A KR 20230089446A KR 1020210178078 A KR1020210178078 A KR 1020210178078A KR 20210178078 A KR20210178078 A KR 20210178078A KR 20230089446 A KR20230089446 A KR 20230089446A
Authority
KR
South Korea
Prior art keywords
image analysis
artificial intelligence
rgb
analysis system
low
Prior art date
Application number
KR1020210178078A
Other languages
English (en)
Inventor
변상봉
조수현
한동철
이성훈
신한재
정용안
Original Assignee
재단법인 구미전자정보기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 구미전자정보기술원 filed Critical 재단법인 구미전자정보기술원
Priority to KR1020210178078A priority Critical patent/KR20230089446A/ko
Publication of KR20230089446A publication Critical patent/KR20230089446A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 목적은 이미지 분리, 필터링, 특정 화소 추출 등을 전담 처리하여 저전력의 소형 인공지능 영상분석 시스템을 구현할 수 있도록 하는 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치는, 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부; 분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부;를 포함하는 것을 특징으로 한다.

Description

저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법{PRE-PROCESSING APPATUS AND METHOD FOR LOW-POWER SMALL AI IMAGE ANALYSIS SYSTEM}
본 발명은 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미지 분리, 필터링, 특정 화소 추출 등을 전담 처리하여 저전력의 소형 인공지능 영상분석 시스템을 구현할 수 있도록 하는 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법에 관한 것이다.
일반적으로, 영상분석 시스템은 화상 데이터가 가지고 있는 정보를 바탕으로 여러 가지 화상 처리를 함으로써 필요한 정보를 꺼내서 해석하는 시스템이다.
최근에는 영상분석에 인공지능 알고리즘을 적용한 인공지능 영상분석 시스템에 대한 많은 연구가 진행되고 있다.
종래의 인공지능 영상분석 시스템은 인공지능 전용 프로세서를 활용하거나 CPU(Central Processing Unit), GPU(Graphics Processing Unit) 등을 통해 연산을 수행하여 영상을 분석한다.
이에, 종래에는 고성능의 서버가 필요하거나 인공지능 전용 프로세서가 장착된 디바이스를 사용하여야만 활용이 가능한 문제점이 있다.
한편, 기술의 발달에 따라 모바일 환경에서 인공지능 영상분석이 가능한 저전력의 소형 인공지능 영상분석 시스템이 요구되고 있다.
대한민국 공개특허공보 제10-2021-0054678호 (2021.05.14. 공개)
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 이미지 분리, 필터링, 특정 화소 추출 등을 전담 처리하여 저전력의 소형 인공지능 영상분석 시스템을 구현할 수 있도록 하는 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치는, 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부; 분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치에서, 상기 메모리 장치는, 입력 영상이 저장되는 메모리부; 인공지능 영상분석 장치의 연산처리 상황에 따라, 상기 입력 영상을 상기 인공지능 영상분석 장치로 전송하는 메모리 제어부;를 포함하며, 상기 메모리 제어부는, 상기 입력 영상을 전처리 장치로 전송하는 경우, 상기 입력 영상의 주소값, 읽기/쓰기 신호, DE(Data Enable) 신호를 생성하여 상기 RGB 분리부로 인가하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치에서, 상기 RGB 분리부는, 상기 입력 영상을 RGB 채널별로 각각 분리하여 영상분석 장치에서 요청하는 채널의 값만 전송하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치에서, 상기 RGB 분리부는, 24비트의 영상 픽셀 값을 8비트씩 나누어 RGB 채널을 분리하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치에서, 상기 그레이 스케일링부는, 구동 타이밍의 첫 클럭에서 각각의 RGB 채널 값을 더하고, 다음 클럭에서 상기 더한 값을 3으로 나누어 평균값을 구하여 상기 입력 영상을 그레이 스케일화하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치는, 메모리 제어부로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부; 분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부; 상기 그레이 스케일 변환된 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력하는 필터링부;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치에서, 상기 필터링부는, 가우시안 블러 필터로 구현되는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치는, 메모리 제어부로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부; 분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부; 상기 그레이 스케일링부에서 산출된 각 픽셀의 평균값 중에서 기설정된 임계값을 초과하는 픽셀의 위치를 출력하는 특정 화소 추출부;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치에서, 상기 그레이 스케일 변환된 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력하는 필터링부;를 더 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 방법은, RGB 분리부에서, 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 단계; 그레이 스케일링부에서, 분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 방법에서, 상기 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 단계는, 상기 입력 영상을 RGB 채널별로 각각 분리하여 영상분석 장치에서 요청하는 채널의 값만 전송하는 단계인 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 방법에서, 필터링부에서, 상기 그레이 스케일 변환된 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 방법에서, 특정 화소 추출부에서, 상기 그레이 스케일링부에서 산출된 각 픽셀의 평균값 중에서 기설정된 임계값을 초과하는 픽셀의 위치를 출력하는 단계;를 더 포함하는 것을 특징으로 한다.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의하면, RGB 분리, 그레이 스케일링, 특정 화소 추출, 필터링 등과 같이 단순 반복작업 위주의 연산을 전처리 장치에서 병렬로 고속 처리할 수 있도록 함으로써, 인공지능 영상분석 장치의 연산량을 감소시키고 연산 속도를 높여 저전력의 소형 인공지능 영상분석 시스템을 구현할 수 있게 된다.
도 1은 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치의 구성을 개략적으로 보인 도면.
도 2 내지 도 5는 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 방법을 설명하기 위한 플로우차트.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치의 구성을 개략적으로 보인 도면이다.
도 1에 도시하는 바와 같이, 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 장치(100)는 RGB 분리부(110), 그레이 스케일링부(120), 특정 화소 추출부(130), 필터링부(140), 출력부(150) 등을 포함하여 이루어질 수 있다.
여기서, RGB 분리부(110)는 메모리 장치(10)의 메모리 제어부(13)로부터 입력되는 영상을 RGB 채널별로 각각 분리한다.
전술한, 메모리 제어부(13)는 외부로부터 영상이 입력되면, 입력되는 영상을 메모리부(11)에 저장하고, 인공지능 영상분석 장치(20)의 연산처리 상황에 따라, 외부로부터 입력되는 영상을 전처리 장치(100)로 전송한다.
즉, 메모리 제어부(13)는 인공지능 영상분석 장치(20)에서의 연산처리 상황에 따라, 인공지능 영상분석 장치(20)에서의 연산량이 많아 전처리 장치(100)에서의 RGB 분리, 그레이 스케일화, 특정 화소 추출, 필터링 등이 요구되는 경우에는 외부로부터 입력되는 영상을 인공지능 영상분석 장치(20)로 전송한다.
메모리 제어부(13)는 외부로부터 입력되는 영상의 픽셀 값을 바로 전처리 장치(100)로 전달할 수 있게 입력 영상의 주소값, 읽기/쓰기 신호, DE(Data Enable) 신호를 생성하여 RGB 분리부(110)로 인가할 수 있다.
메모리 제어부(13)로부터 영상을 입력받은 RGB 분리부(110)는 입력받은 영상을 RGB 채널별로 각각 분리한다.
영상은 픽셀의 집합으로, 각 픽셀들은 R(Red), G(Green), B(Blue)의 3바이트(24비트)로 정의된 색화소를 이룬다. 이 3개의 값을 배합하여 색을 표현하고 픽셀당 비트수에 따라 각 픽셀이 가질 수 있는 색상의 종류를 결정한다.
이와 같이 메모리 제어부(13)로부터 입력되는 영상을 구성하는 각 픽셀은 24비트의 R, G, B 데이터 값으로 이루어질 수 있다.
RGB 분리부(110)는 24비트로 구현된 픽셀 값을 8비트씩 나누어 RGB 색상을 분리할 수 있다. 예를 들어, [7:0] 값은 R 채널로, [15:8] 값은 G 채널로, [23:16] 값은 B 채널로 분리할 수 있다.
RGB 분리부(110)는 입력받은 영상을 RGB 채널별로 분리하여 인공지능 영상분석 장치(20)에서 요청하는 채널의 값만 전송할 수 있다.
예를 들어, 인공지능 영상분석 장치(20)로부터 R 채널의 값만 요청받은 경우, RGB 분리부(110)는 R 채널의 값만 인공지능 영상분석 장치(20)로 전송할 수 있다.
RGB 분리부(110)는 분리된 RGB 채널 각각의 값을 그레이 스케일링부(120)로 인가할 수 있다.
그레이 스케일링부(120)는 RGB 분리부(110)로부터 인가받은 각각의 RGB 채널 값으로부터 평균값을 구하여 입력 영상을 흑백 영상으로 그레이 스케일링화한다.
그레이 스케일링부(120)는 구동 타이밍의 첫 클럭에서 3채널(R 채널, G 채널, B 채널)의 값을 더하고, 다음 클럭에서 더한 값을 3으로 나누어 평균값을 구할 수 있다.
특정 화소 추출부(130)는 그레이 스케일링부(120)에서 산출된 각 픽셀의 평균값이 기설정된 임계값을 초과하는 지를 확인하고, 확인결과 평균값이 기설정된 임계값을 초과하는 경우에는 해당 픽셀의 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송한다.
특정 화소 추출부(130)가 임계값을 초과하는 특정 픽셀의 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송하므로, 인공지능 영상분석 장치(20)의 CPU는 특징점을 찾는 작업을 모든 픽셀에 대해 수행할 필요없이 특정 화소 추출부(130)에서 추출된 특정 픽셀에 대해서만 특징점을 찾으면 되기 때문에, 처리할 연산량이 줄어들게 된다.
한편, 특정 화소 추출부(130)는 RGB 분리부(110)로부터 각각의 RGB 채널 값을 전달받고, 전달받은 값이 기설정된 임계값을 초과하는 지를 확인하여, 전달받은 값이 기설정된 임계값을 초과하는 경우에는 해당 픽셀의 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송할 수 있다.
필터링부(140)는 그레이 스케일링부(120)에서 컬러의 입력 영상을 그레이 스케일링화하여 변환된 흑백 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송한다.
필터링부(140)는 로우 패스 필터 유형인 가우시안 블러 필터로 구현될 수 있다.
가우시안 블러 필터로 구현되는 필터링부(140)는 박스 처리된 이미지 영역 내에 존재하는 모든 픽셀 값을 불러오고, 불러온 각 픽셀 값에 박스 내 위치에 해당하는 가중치를 곱한다. 여기서, 가중치는 각 픽셀의 레이어(위치)마다 다르게 설정되는 것이 바람직하다.
각 픽셀 값에 가중치를 곱하여 각 레이어마다 결과 값이 나오면, 각 레이어마다 결과 값들의 평균 값을 산출하고, 각각의 레이어별로 나온 결과 값을 해당 레이어의 평균 값과 비교하여 평균 값과의 차가 특정 수치 이상이 되는 윤곽선의 픽셀 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송한다.
필터링부(140)가 특정 수치 이상이 되는 윤곽선의 픽셀 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송하므로, 인공지능 영상분석 장치(20)의 CPU는 특징점을 찾는 작업을 모든 픽셀에 대해 수행할 필요가 없어지게 된다. 이에 따라, 인공지능 영상분석 장치(20)의 CPU는 필터링부(140)를 통해 추출된 특정 픽셀에 대해서만 특징점을 찾으면 되기 때문에 처리할 연산량이 줄어들게 된다.
이상에서 살펴본 바와 같이, 가우시안 블러 필터로 구현되는 필터링부(140)는 레이어별로 서로 다른 가중치를 부여하여 윤곽선을 검출하는데, 수학식 1과 같은 가우시안 블러 함수가 사용될 수 있다.
Figure pat00001
필터링부(140)에서 레이어별로 서로 다른 가중치를 부여하여 윤곽선을 검출할 때, 박스의 크기에 따라 픽셀의 개수가 9개, 25개 등이 되는데, 모든 과정이 순차적으로 진행될 경우에는 픽셀의 개수만큼 연산량이 증가하게 되나, 본 발명의 실시예에서는 이를 병렬 처리하여 1클럭에 하나의 과정을 처리할 수 있도록 한다.
이에 따라, 메모리 제어부(13)는 외부로부터 영상이 입력되면, 병렬 처리 가능한 만큼의 픽셀 값을 불러와 한번에 데이터가 처리될 수 있도록 한다.
전술한 바와 같이, RGB 분리부(110), 그레이 스케일링부(120), 특정 화소 추출부(130), 필터링부(140), 출력부(150) 등을 포함하는 본 발명에 따른 전처리 장치(100)는 칩 모듈 형태로 구현될 수 있으며, 칩 모듈 형태로 구현되는 전처리 장치(100)는 인공지능 영상분석 장치(20)의 CUP와 SoC(System on Chip) 형태로 하나의 칩에 합계 구성될 수 있다.
도 2 내지 도 5는 본 발명에 따른 저전력 소형 인공지능 영상분석 시스템용 전처리 방법을 설명하기 위한 플로우차트이다.
외부로부터 영상이 입력되면, 메모리 장치(10)의 메모리 제어부(13)는 입력되는 영상을 메모리부(11)에 저장하고, 인공지능 영상분석 장치(20)에서의 연산처리 상황에 따라, 외부로부터 입력되는 영상을 전처리 장치(100) 또는 영상분석 장치(20)로 전송하게 된다.
즉, 메모리 제어부(13)는 인공지능 영상분석 장치(20)에서의 연산처리 상황에 따라, 인공지능 영상분석 장치(20)에서의 연산량이 많아 전처리 장치(100)에서의 RGB 분리, 그레이 스케일화, 특정 화소 추출 등이 요구되는 경우에는 외부로부터 입력되는 영상을 인공지능 영상분석 장치(20)로 전송한다.
메모리 제어부(13)는 외부로부터 입력되는 영상의 픽셀 값을 전처리 장치(100)로 전달할 수 있게 입력 영상의 주소값, 읽기/쓰기 신호, DE 신호를 생성하여 RGB 분리부(110)로 인가할 수 있다.
도 2에 도시하는 바와 같이, 전처리 장치(100)가 메모리 제어부(13)로부터 영상을 입력받으면(S10), RGB 분리부(110)는 메모리 제어부(13)로부터 입력받은 영상을 RGB 채널별로 각각 분리한다(S20).
상기한 단계 S20에서 RGB 분리부(110)는 24비트로 구현된 픽셀 값을 8비트씩 나누어 RGB 색상을 분리할 수 있다.
상기한 단계 S20을 통해 RGB 분리부(110)가 입력 영상을 RGB 채널별로 각각 분리함에 따라, RGB 분리부(110)는 인공지능 영상분석 장치(20)에서 요청하는 채널의 값만 전송할 수 있게 된다(S30).
한편, 상기한 단계 S20을 통해 RGB 분리부(110)가 메모리 제어부(13)로부터 입력받은 영상을 RGB 채널별로 각각 분리하면, 도 3에 도시하는 바와 같이 그레이 스케일링부(120)가 RGB 분리부(110)에서 분리된 각각의 RGB 채널 값을 평균하여 상기한 단계 S10의 입력 영상을 흑백 영상으로 변환하는 그레이 스케일링화를 수행한다(S40).
상기한 단계 S40에서 그레이 스케일링부(120)는 구동 타이밍의 첫 클럭에서 3채널(R 채널, G 채널, B 채널)의 값을 더하고, 다음 클럭에서 더한 값을 3으로 나누어 평균값을 구함으로써, 입력 영상을 흑백 영상으로 변환하는 그레이 스케일링화를 수행할 수 있다.
상기한 단계 S40을 통해 상기한 단계 S10의 입력 영상을 흑백 영상으로 변환한 그레이 스케일링부(120)는 흑백 영상으로 변환된 영상을 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송할 수 있다(S50).
한편, 상기한 단계 S40을 통해 그레이 스케일링부(120)가 입력 영상을 그레이 스케일화하면, 도 4에 도시하는 바와 같이 특정 화소 추출부(130)가 그레이 스케일링부(120)에서 산출된 각 픽셀의 평균값이 기설정된 임계값을 초과하는 지를 확인한다(S60).
상기한 단계 S60의 확인결과에 따라 평균값이 기설정된 임계값을 초과하는 경우, 특정 화소 추출부(130)는 평균값이 기설정된 임계값을 초과하는 픽셀의 위치를 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송할 수 있다(S70).
전술한 바와 같이 특정 화소 추출부(130)가 임계값을 초과하는 특정 픽셀를 검출하여 이를 인공지능 영상분석 장치(20)로 전송하면, 인공지능 영상분석 장치(20)의 CPU는 특징점을 찾는 작업을 모든 픽셀에 대해 수행할 필요없이 전처리 장치(100)의 특정 화소 추출부(130)에서 추출된 특정 픽셀에 대해서만 특징점을 찾으면 된다.
이에 따라, CPU의 연산량을 줄일 수 있게 된다.
한편, 상기한 단계 S40을 통해 그레이 스케일링부(120)가 입력 영상을 그레이 스케일화하면, 도 5에 도시하는 바와 같이 필터링부(140)가 그레이 스케일링부(120)에서 그레이 스케일 변환된 흑백 영상을 필터링한다(S80).
상기한 단계 S80에서 필터링부(140)는 가우시안 블러 필터를 이용하여 필터링을 수행할 수 있다.
상기한 단계 S80에서 필터링부(140)는 박스 처리된 이미지 영역 내에 존재하는 모든 픽셀 값을 불러오고, 불러온 각 픽셀 값에 박스 내 위치에 해당하는 가중치를 곱하여 각 레이어마다 결과 값이 나오면, 각 레이어마다 결과 값들의 평균 값을 산출하고, 각각의 레이어별로 나온 결과 값을 해당 레이어의 평균 값과 비교하여 평균 값과의 차가 특정 수치 이상이 되는 윤곽선의 픽셀 위치를 필터링한다.
이후에는, 상기한 과정 S80을 통해 필터링 결과 값을 출력부(150)를 통해 인공지능 영상분석 장치(20)로 전송할 수 있다(S90).
상기한 단계 S90의 필터링 결과 값은 각각의 레이어별로 나온 결과 값을 해당 레이어의 평균 값과 비교하여 평균 값과의 차가 특정 수치 이상이 되는 윤곽선의 픽셀 위치 값이다.
전술한 바와 같이 필터링(140)가 특정 수치 이상이 되는 윤곽선의 픽셀 위치를 인공지능 영상분석 장치(20)로 전송하면, 인공지능 영상분석 장치(20)의 CPU는 특징점을 찾는 작업을 모든 픽셀에 대해 수행할 필요없이 전처리 장치(100)의 필터링부(140)에서 추출된 픽셀에 대해서만 특징점을 찾으면 된다.
이에 따라, CPU의 연산량을 줄일 수 있게 된다.
본 발명에서는 RGB 분리, 그레이 스케일링, 특정 화소 추출, 필터링 등이 병렬 처리될 수 있도록 구현되는 것이 바람직하다.
이와 같이, 본 발명에 의하면, RGB 분리, 그레이 스케일링, 특정 화소 추출, 필터링 등과 같이 단순 반복작업 위주의 연산을 전처리 장치에서 병렬로 고속 처리할 수 있도록 함으로써, 인공지능 영상분석 장치(20)의 연산량을 감소시키고 연산 속도를 높여 저전력의 소형 인공지능 영상분석 시스템을 구현할 수 있게 된다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
10. 메모리 장치,
11. 메모리부,
13. 메모리 제어부,
20. 인공지능 영상분석 장치,
100. 전처리 장치,
110. RGB 분리부,
120. 그레이 스케일링부,
130. 특정 화소 추출부,
140. 필터링부,
150. 출력부

Claims (13)

  1. 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부;
    분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부;를 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  2. 제1항에 있어서,
    상기 메모리 장치는,
    입력 영상이 저장되는 메모리부;
    인공지능 영상분석 장치의 연산처리 상황에 따라, 상기 입력 영상을 상기 인공지능 영상분석 장치로 전송하는 메모리 제어부;를 포함하며,
    상기 메모리 제어부는,
    상기 입력 영상을 전처리 장치로 전송하는 경우,
    상기 입력 영상의 주소값, 읽기/쓰기 신호, DE(Data Enable) 신호를 생성하여 상기 RGB 분리부로 인가하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  3. 제1항에 있어서,
    상기 RGB 분리부는,
    상기 입력 영상을 RGB 채널별로 각각 분리하여 영상분석 장치에서 요청하는 채널의 값만 전송하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  4. 제1항에 있어서,
    상기 RGB 분리부는,
    24비트의 영상 픽셀 값을 8비트씩 나누어 RGB 채널을 분리하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  5. 제1항에 있어서,
    상기 그레이 스케일링부는,
    구동 타이밍의 첫 클럭에서 각각의 RGB 채널 값을 더하고, 다음 클럭에서 상기 더한 값을 3으로 나누어 평균값을 구하여 상기 입력 영상을 그레이 스케일화하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  6. 메모리 제어부로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부;
    분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부;
    상기 그레이 스케일 변환된 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력하는 필터링부;를 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  7. 제6항에 있어서,
    상기 필터링부는,
    가우시안 블러 필터로 구현되는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  8. 메모리 제어부로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 RGB 분리부;
    분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 그레이 스케일링부;
    상기 그레이 스케일링부에서 산출된 각 픽셀의 평균값 중에서 기설정된 임계값을 초과하는 픽셀의 위치를 출력하는 특정 화소 추출부;를 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  9. 제8항에 있어서,
    상기 그레이 스케일 변환된 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력하는 필터링부;를 더 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 장치.
  10. RGB 분리부에서, 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 단계;
    그레이 스케일링부에서, 분리된 상기 RGB 채널 각각의 값을 평균하여 상기 입력 영상을 그레이 스케일화하는 단계;를 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 방법.
  11. 제10항에 있어서,
    상기 메모리 장치로부터 입력되는 영상을 RGB 채널별로 각각 분리하는 단계는,
    상기 입력 영상을 RGB 채널별로 각각 분리하여 영상분석 장치에서 요청하는 채널의 값만 전송하는 단계인 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 방법.
  12. 제10항에 있어서,
    필터링부에서, 상기 그레이 스케일 변환된 영상을 필터링하여 기설정된 값을 초과하는 픽셀의 위치를 출력하는 단계;를 더 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 방법.
  13. 제10항 또는 제12항에 있어서,
    특정 화소 추출부에서, 상기 그레이 스케일링부에서 산출된 각 픽셀의 평균값 중에서 기설정된 임계값을 초과하는 픽셀의 위치를 출력하는 단계;를 더 포함하는 것을 특징으로 하는,
    저전력 소형 인공지능 영상분석 시스템용 전처리 방법.
KR1020210178078A 2021-12-13 2021-12-13 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법 KR20230089446A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210178078A KR20230089446A (ko) 2021-12-13 2021-12-13 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210178078A KR20230089446A (ko) 2021-12-13 2021-12-13 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230089446A true KR20230089446A (ko) 2023-06-20

Family

ID=86994980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210178078A KR20230089446A (ko) 2021-12-13 2021-12-13 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230089446A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210054678A (ko) 2019-11-06 2021-05-14 한국과학기술연구원 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210054678A (ko) 2019-11-06 2021-05-14 한국과학기술연구원 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치

Similar Documents

Publication Publication Date Title
US11409986B2 (en) Trainable vision scaler
US10839266B2 (en) Distributed object detection processing
JP7180079B2 (ja) 回路装置及び電子機器
US8475050B2 (en) System and method for obstacle detection using fusion of color space information
EP2068569A1 (en) Method of and apparatus for detecting and adjusting colour values of skin tone pixels
CN112348778B (zh) 一种物体识别方法、装置、终端设备及存储介质
JP2009044681A (ja) 画像処理方法及び画像処理装置
US11847837B2 (en) Image-based lane detection and ego-lane recognition method and apparatus
WO2000073974A1 (en) Method and system for identifying an image feature
US8098942B2 (en) Systems and methods for color data compression
US11876540B2 (en) Processing of lossy-compressed ADAS sensor data for driver assistance systems
KR20230089446A (ko) 저전력 소형 인공지능 영상분석 시스템용 전처리 장치 및 방법
KR20170107269A (ko) Rgbd 카메라의 깊이 영상 필터링 장치 및 방법
US11425300B2 (en) Electronic device and method for processing image by electronic device
US10878221B2 (en) Imaging device capable of performing high-speed image recognition processing
US11140420B2 (en) Methods and systems for balancing compression ratio with processing latency
CN110570347B (zh) 用于车道线检测的彩色图像灰度化方法
US10430932B2 (en) Method and an arrangement for pseudo coloring of a digital image
CN114359955A (zh) 一种基于表观特征和空间约束的客体视域估计方法
EP2645328B1 (en) Image processing apparatus and image processing method
CN112017128A (zh) 一种图像自适应去雾方法
Singh et al. Lane Detection in Real Time Environment Using Embedded Systems
Kumar et al. Grey level to RGB using YCbCr color space Technique
WO2023163219A1 (ja) 情報処理装置、ロボット制御システム及びプログラム
JPH11136505A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment