KR102479451B1 - 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법 - Google Patents

저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법 Download PDF

Info

Publication number
KR102479451B1
KR102479451B1 KR1020200106127A KR20200106127A KR102479451B1 KR 102479451 B1 KR102479451 B1 KR 102479451B1 KR 1020200106127 A KR1020200106127 A KR 1020200106127A KR 20200106127 A KR20200106127 A KR 20200106127A KR 102479451 B1 KR102479451 B1 KR 102479451B1
Authority
KR
South Korea
Prior art keywords
object recognition
image
frames
input
unit
Prior art date
Application number
KR1020200106127A
Other languages
English (en)
Other versions
KR20220025434A (ko
Inventor
이진석
이승원
김범진
김형복
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Priority to KR1020200106127A priority Critical patent/KR102479451B1/ko
Publication of KR20220025434A publication Critical patent/KR20220025434A/ko
Application granted granted Critical
Publication of KR102479451B1 publication Critical patent/KR102479451B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법을 개시한다. 본 발명은 저사양 디바이스 또는 하나의 GPU를 이용하여 복수의 객체 인식 모델이 동작할 수 있도록 입력 이미지를 프레임 별로 구분해서 각각의 객체 인식 모델에 각각 입력으로 제공함으로써, 실시간으로 객체 인식을 수행할 수 있다.

Description

저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법{APPARATUS AND METHOD OF REAL TIME OBJECT DETECTION OF MULTIPLE MODELS ON LOW PERFORMANCE OF DEVICE}
본 발명은 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 저사양 디바이스 또는 하나의 GPU를 이용하여 복수의 객체 인식 모델이 동작할 수 있도록 입력 이미지를 프레임 별로 구분해서 각각의 객체 인식 모델에 각각 입력으로 제공함으로써, 실시간으로 객체 인식을 수행할 수 있는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법에 관한 것이다.
일반적으로 영상 처리 분야에서 입력영상에 대하여 물체의 인식 및 처리를 하기 위해서는 입력된 영상에서 특징점을 추출하고, 추출된 특징점을 통하여 서술자를 생성하여 다른영상과의 매칭을 통해 객체 인식 및 추적 등을 하게 된다.
이때, 사용되는 영상인식 알고리즘으로는 등록특허 제10-1076487호 등에 제안된 SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features) 등이 있다.
이때, 상기 SIFT(Scale Invariant Feature Transform)는 이미지 내에서 특징점을 추출하여 기술자(descriptor)를 생성하는 알고리즘으로, 생성된 기술자(descriptor)를 비교하여 참조이미지(Reference Image)의 물체를 다른 이미지에서 찾는데 사용한다.
SURF는 SIFT보다 정확도는 조금 낮지만 처리속도를 개선한 알고리즘이다.
한편, 실시간으로 객체 인식을 수행하는 경우, 객체 인식의 종류나 성격에 따라 각각 다른 모델이 동작할 필요가 있다.
도1은 종래 기술에 따른 실시간 객체 인식을 수행하는 객체 인식 장치의 구성을 나타낸 블록도이다.
도1을 참조하면, 종래 기술에 따른 객체 인식 장치(10)는 실시간 이미지를 수신하는 영상 입력부(11)와, 객체 인식 모델링 프로그램을 이용하여 수신된 이미지로부터 객체 인식을 수행하는 제1 제어부(12)와, 노면 인식 모델링 프로그램을 이용하여 수신된 이미지로부터 노면 인식 및 노면 상태 인식을 수행하는 제2 제어부(13)와, 제1 및 제2 제어부(12, 13)에서 각각 인식된 결과를 하나로 표시하는 디스플레이부(14)를 포함하여 구성된다.
예를 들어, 사용자가 인도를 보행하는 경우에 보행시 장애물 등의 객체 인식과, 인도 및 주변 차도의 인식과 인도 및 차도의 노면 상태에 대하여 동시에 인식이 요구될 수 있다.
이러한 경우, 각각의 객체 인식을 위해 복수의 객체 인식 모델이 동시에 각각 다른 GPU(Graphic Processing Unit), 즉 제1 및 제2 제어부(12, 13)에서 객체 인식을 수행하고, 그 결과를 함께 디스플레이되도록 한다.
최근에는 모바일 환경에서 물체 인식을 비롯한 이미지 및 비디오 처리 기능들이 광범위하게 사용되고 있다.
특히, 모바일 환경은 PC보다 CPU와 GPU 등의 컴퓨팅 성능이 낮기 때문에 계산 복잡도가 높은 이미지 입력을 대상으로 하는 물체 인식 모델링 프로그램을 실시간으로 수행시키는 것이 쉽지 않다.
즉, GPU가 하나이거나 또는 모바일 환경에서 사용되는 저사양 디바이스에서는 동시에 2개의 객체 인식 모델링 프로그램을 동작하기 어려워 실시간으로 처리가 어려운 문제점이 있다.
한국 등록특허 등록특허 제10-1076487호{발명의 명칭: SIFT 알고리즘을 이용한 PTZ 카메라의 자동영역확대 제어 장치 및 방법}
이러한 문제점을 해결하기 위하여, 본 발명은 저사양 디바이스 또는 하나의 GPU를 이용하여 복수의 객체 인식 모델이 동작할 수 있도록 입력 이미지를 프레임 별로 구분해서 각각의 객체 인식 모델에 각각 입력으로 제공함으로써, 실시간으로 객체 인식을 수행할 수 있는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치로서, 이미지 입력을 미리 설정된 프레임별로 구분하되, 프레임별로 구분된 이미지는 하나의 제어부에서 동작하는 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력되고, 상기 객체 인식 모델링 프로그램의 객체 인식 수행을 통해 객체 인식된 결과는 하나의 통합 이미지로 구성하여 출력하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 이미지 입력은 짝수 프레임과 홀수 프레임으로 구분되는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 객체 인식 장치는 인식 대상 이미지를 입력하는 영상 입력부; 및 상기 이미지 입력을 짝수 프레임과 홀수 프레임으로 구분하되, 상기 짝수 프레임과 홀수 프레임으로 구분된 이미지를 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력하여 객체 인식 수행을 수행하고, 상기 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 제어부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제어부는 이미지 입력을 짝수 프레임과 홀수 프레임으로 구분하는 프레임 분석부; 상기 짝수 프레임으로 구분된 이미지에 기반하여 객체 인식 모델링 프로그램을 통해 객체 인식을 수행하는 제1 객체 인식부; 상기 홀수 프레임으로 구분된 이미지에 기반하여 객체 인식 모델링 프로그램을 통해 객체 인식을 수행하는 제2 객체 인식부; 및 상기 제1 및 제2 객체 인식부에서 각각 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 이미지 통합부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 객체 인식 장치는 상기 통합 이미지를 표시하는 디스플레이부;를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법으로서, a) 객체 인식 장치가 인식 대상 이미지를 수신하면, 상기 이미지 입력을 미리 설정된 프레임별로 구분하는 단계; b) 상기 객체 인식 장치가 구분된 프레임별 이미지를 하나의 제어부에서 동작하는 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력하여 객체 인식 수행을 수행하는 단계; 및 c) 상기 객체 인식 장치가 상기 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 a) 단계의 프레임은 짝수 프레임과 홀수 프레임으로 구분되는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 b) 단계의 객체 인식 모델링 프로그램은 객체 인식과, 인도 및 차도의 구분, 상기 인도 및 차도를 포함한 노면의 상태를 인식하는 인공지능(AI) 프로그램인 것을 특징으로 한다.
본 발명은 저사양 디바이스 또는 하나의 GPU를 이용하여 복수의 객체 인식 모델링 프로그램이 동작할 수 있도록 입력 이미지를 프레임 별로 구분해서 각각의 객체 인식 모델링 프로그램에 각각 입력으로 제공함으로써, 실시간으로 객체 인식을 수행할 수 있는 장점이 있다.
또한, 본 발명은 이미지의 프레임 별로 객체 인식 모델링 프로그램을 선택적으로 적용함으로써, 하나의 GPU에서 여러 개의 객체 인식 모델링 프로그램이 동시에 수행되는 효과를 제공할 수 있는 장점이 있다.
또한, 본 발명은 저사양의 디바이스에서 하나의 GPU를 사용함으로써, 전력 소비량을 감소시킬 수 있는 장점이 있다.
도1은 종래 기술에 따른 객체 인식 장치의 구성을 나타낸 블록도.
도2는 본 발명의 일 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 구성을 나타낸 블록도.
도3은 도2의 실시 예에 따른 제어부 구성을 나타낸 블록도.
도4는 본 발명의 일 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법을 나타낸 흐름도.
도5는 도4의 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법의 동작과정을 설명하기 위해 나타낸 예시도.
도6은 도4의 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법의 객체 인식 과정을 설명하기 위한 예시도.
도7은 도4의 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법의 도로 인식 과정을 설명하기 위한 예시도.
도8은 도4의 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법의 인식 결과를 설명하기 위한 예시도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도2는 본 발명의 일 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 구성을 나타낸 블록도이고, 도3은 도2의 실시 예에 따른 제어부 구성을 나타낸 블록도이다.
도2 및 도3을 참조하면, 본 발명의 일 실시 예에 따른 객체 인식 장치(100)는 임의의 이미지 입력을 미리 설정된 프레임별로 구분하고, 상기 프레임별로 구분된 이미지는 하나의 프로세싱 유닛에서 동작하는 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력되어 객체 인식을 수행한다.
또한, 상기 객체 인식 장치(100)는 객체 인식 모델링 프로그램의 객체 인식 과정을 통해 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 구성으로서, 영상 입력부(110)와, 제어부(120)와, 디스플레이부(130)를 포함하여 구성될 수 있다.
또한, 상기 객체 인식 장치(100)는 PC보다 CPU와 GPU 등의 컴퓨팅 성능이 낮고, 상기 GPU가 하나이거나 또는 모바일 환경에서 사용되는 저사양 디바이스에 구성될 수 있다.
상기 영상 입력부(110)는 인식 대상 이미지를 입력받는 구성으로서, 내부 저장장치 또는 외부 저장장치 등에 저장된 이미지를 수신하거나, CCD 센서, CMOS 센서 또는 광전변환수단을 구비한 카메라 등의 디지털 촬영장치로부터 출력되는 이미지 정보를 수신할 수 있으며, 바람직하게는 카메라 등의 디지털 촬영장치로부터 입력되는 이미지를 수신한다.
상기 제어부(120)는 구분된 프레임별 이미지를 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력하여 객체 인식 수행을 수행하고, 상기 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 구성으로서, 프레임 분석부(121)와, 제1 객체 인식부(122)와, 제2 객체 인식부(123)와, 이미지 통합부(124)를 포함하여 구성된다.
또한, 상기 제어부(120)는 하나의 GPU(Graphic Processing Unit)로 구성될 수 있다.
상기 프레임 분석부(121)는 이미지 입력을 짝수 프레임과 홀수 프레임으로 구분하는 구성으로서, 상기 이미지 입력을 짝수 프레임과 홀수 프레임으로 구분한다.
예를 들어, 영상 입력부(110)를 통해 입력되는 이미지가 1초당 24 프레임의 이미지로 입력되는 경우, 상기 프레임 분석부(121)는 입력되는 이미지에 대하여 짝수 프레임과 홀수 프레임으로 구분한다.
한편, 본 실시 예에서는 설명의 편의를 위해 짝수 프레임과 홀수 프레임으로 이미지를 구분하여 설명하지만, 이에 한정되는 것은 아니고 설치되는 객체 인식 모델링 프로그램의 갯수, 예를 들어 4개의 프로그램이 설치될 경우 입력 이미지를 4개의 프레임으로 구분될 수 있도록 변경 실시할 수 있음은 자명할 것이다.
상기 제1 객체 인식부(122)는 짝수 프레임으로 구분된 이미지에 기반하여 객체 인식 모델링 프로그램을 통해 객체 인식을 수행하는 구성으로서, 입력되는 이미지를 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 객체 인식을 수행한다.
또한, 상기 제1 객체 인식부(122)는 Gabor Filter, PCA(Principal Component Analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis), LBP(local Binary Feature), SVM(Support Vector machine), SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features) 등과 같은 다양한 특징 추출 및 인식 알고리즘이 적용될 수 있다.
또한, 상기 제1 객체 인식부(122)는 객체 인식 모델링 프로그램을 이용하여 이미지 내에서 사람의 얼굴, 차량, 물체, 장애물 등의 객체를 인식한다.
상기 제2 객체 인식부(123)는 홀수 프레임으로 구분된 이미지에 기반하여 객체 인식 모델링 프로그램을 통해 객체 인식을 수행하는 구성으로서, 입력되는 이미지를 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 객체 인식을 수행한다.
또한, 상기 제2 객체 인식부(123)는 Gabor Filter, PCA(Principal Component Analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis), LBP(local Binary Feature), SVM(Support Vector machine), SIFT(Scale-Invariant Feature Transform), SURF(Speeded UP Robust Features) 등과 같은 다양한 특징 추출 및 인식 알고리즘이 적용될 수 있다.
또한, 상기 제2 객체 인식부(123)는 객체 인식 모델링 프로그램을 이용하여 이미지 내에서 인도, 차도 등의 도로를 객체로 인식하고, 상기 인식된 도로의 노면 상태, 예를 들어, 싱크홀, 요철, 경계석 또는 계단에 의한 단차 등을 인식한다.
본 실시 예에서는 설명의 편의를 위해 제1 객체 인식부(122)와, 제2 객체 인식부(123)로 구분하여 설명하지만, 이는 짝수 프레임과 홀수 프레임으로 구분된 이미지를 각각 입력으로 하여 객체 인식을 수행하는 구성을 설명하기 위해 구분한 것일뿐, 하나의 프로세서에서 처리된다.
즉, 하나의 제어부(120)에 복수의 객체 인식 모델링 프로그램이 설치되고, 짝수 프레임과 홀수 프레임으로 구분된 선택된 이미지를 각각 입력으로 받아 객체 인식을 수행함으로써, 저사양의 디바이스에서 실시간으로 객체 인식이 가능하고, 하나의 제어부(120)로 여러 개의 객체 인식 모델링 프로그램을 수행하는 효과를 제공할 수 있으며, 전력량 소비도 감소시킬 수 있다.
상기 이미지 통합부(124)는 상기 제1 및 제2 객체 인식부(122, 123)에서 각각 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력한다.
또한, 상기 객체 인식 장치(100)는 상기 통합 이미지를 표시하는 디스플레이부(130)가 추가 구성될 수 있다.
다음은 본 발명의 일 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법을 설명한다.
도4는 본 발명의 일 실시 예에 따른 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법을 나타낸 흐름도이다.
도2 내지 도4를 참조하면, 객체 인식 장치(100)가 영상 입력부(110)를 통해 인식 대상 이미지를 수신(S100)한다.
또한, 상기 객체 인식 장치(100)는 상기 이미지 입력을 미리 설정된 프레임별로 구분(S200)한다.
또한, 상기 S200 단계에서 객체 인식 장치(100)는 이미지의 입력 프레임을 짝수 프레임과 홀수 프레임으로 구분한다.
즉, 상기 객체 인식 장치(100)는 도5와 같이, 제1 객체(210)와, 제2 객체(220)와 사람이 보행하는 인도(230)와 차량이 주행하는 차도(240)가 포함된 입력 이미지(200)가 입력되면, 짝수 프레임과 홀수 프레임으로 구분한다.
계속해서, 상기 객체 인식 장치(100)는 구분된 짝수 프레임과 홀수 프레임별 이미지를 하나의 제어부(120)에서 동작하는 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력하여 객체 인식을 수행(S300)한다.
상기 객체 인식 장치(100)는 예를 들면, 짝수 프레임의 이미지는 제1 객체 인식 프로그램으로 입력되어 객체 인식을 수행하고, 홀수 프레임의 이미지는 제2 객체 인식 프로그램으로 입력되어 객체 인식을 수행한다.
여기서, 제1 객체 인식 프로그램으로 입력되는 짝수 프레임의 이미지로부터 객체 인식을 수행한다.
즉, 상기 객체 인식 장치(100)는 제1 객체 인식 모델링 프로그램을 이용하여 도6과 같이, 짝수 프레임 이미지(300)로부터 제1 인식 대상 객체(310)와, 제2 인식 대상 객체(320)를 객체 인식한다.
또한, 상기 객체 인식 장치(100)는 제2 객체 인식 모델링 프로그램을 이용하여 도7과 같이, 홀수 프레임 이미지(400)로부터 제1 인식 대상 도로(410)와 제2 인식 대상 도로(420)를 객체 인식한다.
또한, 상기 제1 및 제2 객체 인식 모델링 프로그램은 입력되는 이미지를 기계학습 프로그램, 딥러닝 프로그램 중 하나 이상의 프로그램을 이용하여 객체 인식을 수행하는 인공지능(AI) 프로그램으로 구성될 수 있다.
또한, 도로를 인식하는 제2 객체 인식 모델링 프로그램은 객체 인식과 함께, 도로를 인식하여 인도 및 차도로 구분할 수 있고, 상기 구분된 인도 및 차도를 포함한 도로 노면의 상태, 예를 들어 요철의 유무, 싱크홀 발생, 인도와 차도의 경계석 영역, 계단 유무 등을 인식할 수도 있다.
상기 S300 단계를 통해, 실시간 프레임별로 해당 객체를 인식하기 위한 객체 인식 모델링 프로그램의 선택적인 적용이 가능하고, 하나의 제어부(120)를 이용하여 여러 개의 객체 인식 모델링 프로그램을 구동할 수 있다.
계속해서, 상기 객체 인식 장치(100)는 상기 S300 단계에서 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력(S400)한다.
즉, 도8과 같이 통합 이미지(500)에 제1 객체 인식 모델링 프로그램을 이용하여 인식된 제1 인식 객체(510) 및 제2 인식 객체(520)와, 제2 객체 인식 모델링 프로그램을 이용하여 인식된 인도 영역(530) 및 인식된 차도 영역(540)을 구분한 최종 결과가 디스프레이될 수 있도록 한다.
따라서, 저사양 디바이스 또는 하나의 GPU를 이용하여 복수의 객체 인식 모델링 프로그램이 동작할 수 있도록 입력 이미지를 프레임 별로 구분해서 각각의 객체 인식 모델링 프로그램에 각각 입력으로 제공함으로써, 실시간으로 객체 인식을 수행할 수 있다.
또한, 이미지의 프레임 별로 객체 인식 모델링 프로그램을 선택적으로 적용함으로써, 하나의 GPU에서 여러 개의 객체 인식 모델링 프로그램이 동시에 수행되는 효과를 제공할 수 있다.
또한, 저사양의 디바이스에서 하나의 GPU를 사용함으로써, 전력 소비량을 감소시킬 수 있게 된다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 객체 인식 장치 110 : 영상 입력부
120 : 제어부 121 : 프레임 분석부
122 : 제1 객체 인식부 123 : 제2 객체 인식부
124 : 이미지 통합부 130 : 디스플레이부
200 : 입력 이미지 210 : 제1 객체
220 : 제2 객체 230 : 인도
240 : 차도 300 : 짝수 프레임 이미지
310 : 제1 인식 대상 객체 320 : 제2 인식 대상 객체
400 : 홀수 프레임 이미지 410 : 제1 인식 대상 도로
420 : 제2 인식 대상 도로 500 : 통합 이미지
510 : 제1 인식 객체 520 : 제2 인식 객체
530 : 인식된 인도 영역 540 : 인식된 차도 영역

Claims (8)

  1. 인식 대상 이미지가 입력되면, 상기 입력된 이미지를 짝수 프레임과 홀수 프레임으로 구분하되,
    상기 짝수 프레임과 홀수 프레임으로 구분된 인식 대상 이미지는 하나의 제어부(120)에서 동작하는 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력되고,
    개별 객체 인식 모델링 프로그램의 객체 인식 수행을 통해 객체 인식된 결과는 하나의 통합 이미지로 구성하여 출력하는 객체 인식 장치(100)인 것을 특징으로 하는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 객체 인식 장치(100)는 인식 대상 이미지를 입력하는 영상 입력부(110); 및
    상기 입력된 이미지를 짝수 프레임과 홀수 프레임으로 구분하되,
    상기 짝수 프레임과 홀수 프레임으로 구분된 인식 대상 이미지를 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력하여 객체 인식 수행을 수행하고,
    상기 개별 객체 인식 모델링 프로그램의 객체 인식 수행을 통해 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 제어부(120);를 포함하는 것을 특징으로 하는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치.
  4. 제 3 항에 있어서,
    상기 제어부(120)는 이미지 입력을 짝수 프레임과 홀수 프레임으로 구분하는 프레임 분석부(121);
    상기 짝수 프레임으로 구분된 이미지에 기반하여 객체 인식 모델링 프로그램을 통해 객체 인식을 수행하는 제1 객체 인식부(122);
    상기 홀수 프레임으로 구분된 이미지에 기반하여 객체 인식 모델링 프로그램을 통해 객체 인식을 수행하는 제2 객체 인식부(123); 및
    상기 제1 및 제2 객체 인식부(122, 123)에서 각각 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 이미지 통합부(124);를 포함하는 것을 특징으로 하는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치.
  5. 제 3 항에 있어서,
    상기 객체 인식 장치(100)는 상기 통합 이미지를 표시하는 디스플레이부(130);를 더 포함하는 것을 특징으로 하는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치.
  6. a) 객체 인식 장치(100)가 인식 대상 이미지를 수신하면, 상기 수신된 이미지를 짝수 프레임과 홀수 프레임으로 구분하는 단계;
    b) 상기 객체 인식 장치(100)가 짝수 프레임과 홀수 프레임으로 구분된 인식 대상 이미지를 하나의 제어부(120)에서 동작하는 서로 다른 복수의 객체 인식 모델링 프로그램에 각각 입력하여 객체 인식 수행을 수행하는 단계; 및
    c) 상기 객체 인식 장치(100)가 개별 객체 인식 모델링 프로그램의 객체 인식 수행을 통해 객체 인식된 결과를 하나의 통합 이미지로 구성하여 출력하는 단계;를 포함하는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 b) 단계의 객체 인식 모델링 프로그램은 객체 인식과, 인도 및 차도의 구분, 상기 인도 및 차도를 포함한 노면의 상태를 인식하는 인공지능(AI) 프로그램인 것을 특징으로 하는 저사양 디바이스에서 다중 모델의 실시간 객체 인식 방법.
KR1020200106127A 2020-08-24 2020-08-24 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법 KR102479451B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200106127A KR102479451B1 (ko) 2020-08-24 2020-08-24 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200106127A KR102479451B1 (ko) 2020-08-24 2020-08-24 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220025434A KR20220025434A (ko) 2022-03-03
KR102479451B1 true KR102479451B1 (ko) 2022-12-20

Family

ID=80818834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106127A KR102479451B1 (ko) 2020-08-24 2020-08-24 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102479451B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102051032B1 (ko) 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
KR102008290B1 (ko) * 2017-11-14 2019-08-07 고려대학교 산학협력단 영상에서 객체의 행동을 인식하는 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102051032B1 (ko) 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2018-0097966호(2018.09.03.) 1부.*
한국 등록특허공보 제10-2051032호(2019.12.02.) 1부.*

Also Published As

Publication number Publication date
KR20220025434A (ko) 2022-03-03

Similar Documents

Publication Publication Date Title
US7912253B2 (en) Object recognition method and apparatus therefor
WO2019222951A1 (en) Method and apparatus for computer vision
CN111989689A (zh) 用于识别图像内目标的方法和用于执行该方法的移动装置
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
KR102236904B1 (ko) 이미지 합성 방법 및 장치
Desai et al. Human Computer Interaction through hand gestures for home automation using Microsoft Kinect
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN111768438A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
EP2790130A1 (en) Method for object recognition
Yu et al. A video-based facial motion tracking and expression recognition system
Bahri et al. Real-time moving human detection using HOG and Fourier descriptor based on CUDA implementation
Agarwal et al. Hand gesture recognition using discrete wavelet transform and support vector machine
KR102479451B1 (ko) 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법
Abiyev et al. Vehicle detection systems for intelligent driving using deep convolutional neural networks
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
Yassin et al. Optical face detection and recognition system on low-end-low-cost Xilinx Zynq SoC
WO2022179599A1 (zh) 一种感知网络及数据处理方法
Lee et al. A hardware architecture of face detection for human-robot interaction and its implementation
US10796180B2 (en) Parallel image processing for multiple biometrics capture
JP2001204757A (ja) 人工眼球
Fernando et al. Real-time human detection and tracking in infrared video feed
Nong et al. Motorcycle Image Application on MATLAB Simulink and FPGA Platform
Feng et al. A gesture recognition method based on binocular vision system
Chen et al. Survey of pedestrian action recognition in unmanned-driving
Ouanan et al. Deep learning technology for identifying a person of interest in real world

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant