KR20210112495A - 지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법 - Google Patents

지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법 Download PDF

Info

Publication number
KR20210112495A
KR20210112495A KR1020200027553A KR20200027553A KR20210112495A KR 20210112495 A KR20210112495 A KR 20210112495A KR 1020200027553 A KR1020200027553 A KR 1020200027553A KR 20200027553 A KR20200027553 A KR 20200027553A KR 20210112495 A KR20210112495 A KR 20210112495A
Authority
KR
South Korea
Prior art keywords
image
image processing
parallel
processing modules
acquired
Prior art date
Application number
KR1020200027553A
Other languages
English (en)
Inventor
김일경
Original Assignee
(주)퀀텀솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)퀀텀솔루션 filed Critical (주)퀀텀솔루션
Priority to KR1020200027553A priority Critical patent/KR20210112495A/ko
Publication of KR20210112495A publication Critical patent/KR20210112495A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서에 개시된 영상 촬영 장치는 감시 영역의 영상을 촬영하여 영상을 획득하는 카메라 모듈; 상기 입력되는 영상 프레임을 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 분석하는 복수의 병렬 영상 처리 모듈; 상기 획득된 영상의 영상 프레임을 획득되는 순서대로 상기 복수의 병렬 영상 처리 모듈에 순차적으로 할당하는 제어부; 및 상기 분석 결과를 취합하여 분석 결과를 출력하는 데이터 분석부를 포함할 수 있다.

Description

지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법{INTELLIGENT IMAGING DEVICE AND IMAGE PROCESSING METHOD USING THE SAME}
본 명세서는 지능형 영상 촬영 장치 및 지능형 영상 촬영 장치를 이용한 영상 처리 방법과 영상 처리 결과를 이용한 마케팅 정보의 추출에 관한 것이다.
기존의 영상 감시 시스템은 수동적인 감시 시스템으로써, CCTV 카메라로부터 얻은 영상의 해석을 전적으로 사람에게 의존하였으나, 최근 들어 컴퓨터의 처리 능력 향상 및 컴퓨터 비전 기술이 발전함에 따라 CCTV 카메라 영상을 실시간으로 분석하여 의미 있는 이벤트를 감지하고 감시 요원에게 알람을 주는 지능형 영상 감시 시스템들이 선 보이고 있다.
그러나, 기존의 지능형 영상 감시 시스템의 경우, 촬영된 영상들을 외부의 클라우드 분석 서버로 전송하여 영상 분석을 수행해야 하므로 고속의 데이터 전송 네트워크가 필요하여 유지보수비를 충당해야 하는 사용자의 부담이 있고, 촬영된 영상 내의 사람에 대한 개인 정보가 유출될 수 있는 문제점이 있다. 또한, 외부의 클라우드 분석 서버로 촬영 영상을 전송하기 위한 데이터 전송 네트워크에 문제가 발생하였을 경우, 감시 시스템 전체가 무용지물이 되는 문제도 발생할 수 있다.
한국등록특허공보 제10-1793636호, 2017.11.03.
종래의 지능형 영상 감시 시스템에서는 고속 데이터 전송 네트워크를 필요로 하고, 외부의 서버로 데이터를 전송하기 때문에 개인 정보가 유출되는 것을 방지해야 하고, 데이터 전송 네트워크에 문제 발생 시 감시 시스템 전체가 무용지물이 되는 문제를 해결해야 하기 때문에, 외부의 서버 장치로 촬영된 영상 데이터를 전송하지 않고, 카메라 장치에서 직접 촬영된 영상을 분석하여 분석결과를 도출할 수 있는 지능형 엣지 카메라 장치가 개발되고 있다.
그러나, 클라우드형 인공지능 서버를 통하지 않고, 엣지 카메라 장치에서 촬영된 영상을 직접 분석하기 위해서는 높은 컴퓨팅 파워를 필요로 하는 문제점이 있다. 따라서, 엣지 카메라 장치에서 고속으로 영상을 분석하여 유용한 정보를 실시간으로 도출하는 것도 어려운 문제점이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 영상 촬영 장치를 제시한다. 상기 영상 촬영 장치는 감시 영역의 영상을 촬영하여 영상을 획득하는 카메라 모듈; 상기 입력되는 영상 프레임을 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 분석하는 복수의 병렬 영상 처리 모듈; 상기 획득된 영상의 영상 프레임을 획득되는 순서대로 상기 복수의 병렬 영상 처리 모듈에 순차적으로 할당하는 제어부; 및 상기 분석 결과를 취합하여 분석 결과를 출력하는 데이터 분석부를 포함할 수 있다.
상기 영상 촬영 장치 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
상기 복수의 병렬 영상 처리 모듈 중 각각의 모듈은 상기 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 상기 입력된 영상 프레임 내 사람의 성별, 연령, 얼굴 식별 중 적어도 하나를 인식하고, 상기 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 상기 입력된 영상 프레임 내의 사람이 특정 위치에서 머무른 시간과 감정을 인식하고, 상기 인식 결과에 대해 엣지 단에서 러닝을 수행할 수 있다.
또한, 상기 데이터 분석부는 상기 인식 결과에 기초하여 상기 획득된 영상 내 사람에 대한 고객 관리 마케팅 정보를 출력할 수 있다.
또한, 상기 마케팅 정보는 상기 감정 인식 결과에 상기 머무른 시간에 따른 가중치를 적용하여 생성되는 것일 수 있다.
또한, 상기 제어부는 상기 획득된 영상의 영상 프레임을 링-올리듀스(Ring-AllReduce) 알고리즘을 통해 상기 복수의 병렬 영상 처리 모듈에 할당하고, 입력되는 데이터를 상기 복수의 병렬 영상 처리 모듈 간에 전달할 수 있다.
한편, 본 명세서는 영상 촬영 장치의 영상 처리 방법을 제시한다. 상기 영상 처리 방법은 감시 영역의 영상을 촬영하여 영상을 획득하는 동작; 상기 획득된 영상의 영상 프레임을 획득되는 순서대로 복수의 병렬 영상 처리 모듈에 순차적으로 할당하는 동작; 상기 할당된 영상 프레임을 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 분석하는 동작; 및 상기 분석 결과를 취합하여 데이터 분석 엣지 프로세서로 전송하는 동작을 포함할 수 있다.
상기 영상 처리 방법 및 그 밖의 실시예는 다음과 같은 특징을 포함할 수 있다.
상기 할당된 영상 프레임을 분석하는 동작은 상기 복수의 병렬 영상 처리 모듈 중 각각의 모듈이 상기 영상 프레임 내 사람의 연령 인식, 성별 인식, 얼굴 인식, 감정 인식, 특정 위치에서 머무른 시간 인식 및 상기 인식 결과에 대한 딥러닝 중 어느 하나를 수행하는 것 일 수 있다.
또한, 영상 처리 방법은 상기 인식 결과에 기초하여 상기 영상 프레임 내의 사람에 대한 마케팅 정보를 출력하는 동작을 더 포함할 수 있다.
또한, 상기 마케팅 정보는 상기 모듈 별 인식 결과에 미리 설정된 가중치를 적용하여 생성되는 것일 수 있다.
또한, 상기 획득된 영상의 영상 프레임을 상기 복수의 병렬 영상 처리 모듈에 할당하는 동작은, 상기 획득된 영상의 영상 프레임을 링-올리듀스(Ring-AllReduce) 알고리즘을 통해 상기 복수의 병렬 영상 처리 모듈에 할당하고, 입력되는 데이터를 상기 복수의 병렬 영상 처리 모듈 간에 전달하는 것일 수 있다.
본 명세서에 개시된 실시 예들에 의하면, 지능형 영상 촬영 장치는 촬영된 영상을 외부의 인공지능 클라우드 서버로 전송하여 영상 분석을 수행하지 않고도, 촬영된 영상을 실시간으로 신속하게 분석할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 지능형 영상 촬영 장치는 병렬로 영상 분석을 처리하여 영상 분석 결과를 실시간으로 도출할 수 있는 효과가 있다.
또한, 본 명세서에 개시된 실시 예들에 의하면, 지능형 영상 촬영 장치는 개별 카메라 장치 수준에서 영상을 분석하는 멀티 엣지 처리 방식을 통해서 높은 컴퓨팅 파워를 구현하여 클라우드 서버가 없이도 고속으로 영상 분석을 할 수 있는 효과가 있다. 이러 발명을 통해서 매장에 있는 고객이 선호하는 제품과 선호하지 않는 제품 정보를 실시간으로 추출하는데 목적이 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 지능형 CCTV 시스템을 도시한다.
도 2는 본 발명의 실시 예에 따른 지능형 영상 촬영 장치를 이용한 영상 처리 개념을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 지능형 영상 촬영 장치의 구성 및 전체 시스템을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 지능형 영상 촬영 장치를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 지능형 영상 처리 장치에서 병렬 영상 처리 방법을 설명한다.
도 6은 본 발명의 실시 예에 따른 지능형 영상 처리 장치에서 링-올리듀스 알고리즘을 이용하여 병렬 영상 처리를 하는 방법을 설명한다.
도 7은 본 발명의 실시 예에 따른 지능형 영상 처리 장치에서 병렬 영상 처리를 위한 구성 요소 간의 신호의 흐름을 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 지능형 영상 처리 장치가 감시 대상 사람을 감시하는 예를 설명한 도면이다.
도 9는 본 발명의 실시 예에 따른 지능형 영상 처리 장치를 이용한 데이터 분석 결과의 예를 설명한 도면이다.
본 명세서에 개시된 기술은 지능형 영상 촬영 장치, 지능형 영상 촬영 장치를 이용한 영상 처리 방법, 마케팅 자료 도출 및 고객 관리에 적용될 수 있다. 그러나 본 명세서에 개시된 기술은 이에 한정되지 않고, 상기 기술의 기술적 사상이 적용될 수 있는 모든 장치 및 방법에도 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥 상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 종래의 지능형 CCTV 시스템을 도시한 것으로, CCTV 카메라들(10)이 감시 영역의 영상을 촬영하여 네트워크 허브(20)로 전송하면, CCTV 시스템은 초고속 통신망(30)을 통해서 시스템의 외부에 위치한 인공지능 영상 분석 서버(40)로 전달한다. 인공지능 영상 분석 서버(40)는 수신된 영상 데이터를 분석하여 영상 내의 정보들을 인식하고, 인식된 정보를 CCTV 시스템 사용자에게 출력하여 사용자가 사용할 수 있도록 한다. 전원공급부(50)는 복수의 CCTV 카메라들(10)에게 작동 전력을 공급한다. 그러나, 이러한 종래의 지능형 CCTV 시스템은 시스템의 외부에 위치한 인공지능 클라우드 서버(40)로 촬영된 영상을 전송하여 영상 분석을 실시해야 하므로, 초고속의 전용 네트워크가 필요하고, 촬영된 사람에 대한 개인 정보가 유출될 가능성이 있는 문제가 있다.
이하에서는 첨부의 도면 2 내지 4를 참조하여 본 발명의 일 실시 예에 따른 지능형 영상 촬영 장치의 구성 및 영상 처리 방법을 설명한다.
도 2는 본 발명의 실시 예에 따른 지능형 영상 촬영 장치를 이용한 영상 처리 개념을 도시한 도면이다.
도 2를 참조하면, 본 명세서에서 개시된 지능형 영상 촬영 장치는 엣지 카메라 장치(100) 및 데이터 분석 엣지 프로세서(200)를 포함하여 구성되며, 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 지능형 영상 촬영 장치가 구현될 수도 있다.
엣지 카메라 장치(100)는 구비된 카메라 모듈(110)을 통해 감시 영역을 촬영하여 영상을 획득하고, 획득된 영상의 영상 프레임들(111)을 복수의 병렬 영상 처리 모듈(120)로 전달하여 영상 분석을 수행한다. 영상 프레임들(111)은 제어부(도시하지 않음.)에 의해서 복수의 병렬 영상 처리 모듈(120)에 순차적으로 분배되고, 복수의 병렬 영상 처리 모듈(120)은 분배된 영상 프레임들을 분석하여 영상에서 정보를 인식할 수 있다. 예를 들어, 카메라 모듈(110)이 초당 30 프레임의 영상을 촬영하고, 복수의 병렬 영상 처리 모듈(120)이 다섯 개가 구비되어 있다고 가정하면, 각 병렬 영상 처리 모듈(120)은 초당 6 개의 영상 프레임만 할당 받게 되므로, 엣지 카메라 장치(100)는 고속으로 획득된 영상을 분석할 수 있다. 복수의 병렬 영상 처리 모듈(120) 중 하나는 상기 제어부로서 기능할 수 있다.
데이터 분석 엣지 프로세서(200)는 복수의 병렬 영상 처리 모듈(120)에서 인식된 결과 데이터를 수신하여 사용자가 원하는 분석 결과(300)를 도출할 수 있다.
도 3은 본 발명의 실시 예에 따른 지능형 영상 촬영 장치의 구성 및 전체 시스템을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 지능형 영상 촬영 장치를 도시한 도면이다.
도 3을 참조하면, 본 명세서에서 개시된 지능형 영상 촬영 장치는 엣지 카메라 장치(100) 및 데이터 분석 엣지 프로세서(200)를 포함하여 구성되고, 엣지 카메라 장치(100)는 카메라 모듈(110) 및 복수의 병렬 영상 처리 모듈(120)을 포함하여 구성될 수 있다. 각각의 병렬 영상 처리 모듈(120-a, 120-b, 120-c, 120-d)은 데이터 감지 및 프로-프로세싱 엔진(121), 메인 컨트롤 유닛(122), 복수의 이더넷 포트(123-1, 123-2), 데이터 프로세싱 유닛(124), 복수의 메모리 커넥터(125-1, 125-2), 싱글 포트 메모리(126), 및 듀얼 포트 메모리(127)를 포함하여 구성될 수 있다. 또한, 엣지 카메라 장치(100)는 RGMII 3-포트 스위치(130)를 통해서 데이터 분석 엣지 프로세서(200)에 연결될 수 있으며, 복수의 병렬 영상 처리 모듈(120)에 구비된 이더넷 포트(123-1) 중 어느 하나를 통해서 네트워크(300)에 연결될 수 있다. 도시된 구성요소들은 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나, 그보다 적은 구성요소들을 갖는 지능형 영상 촬영 장치가 구현될 수도 있다.
데이터 감지 및 프로-프로세싱 엔진(121)은 카메라 모듈(110)로부터 입력된 영상 프레임을 감지하고, 영상 인식 작업을 위한 전처리를 수행할 수 있다.
메인 컨트롤 유닛(122)은 병렬 영상 처리 모듈(120)을 구성하는 전체 구성 요소들을 제어하고, 데이터 프로세싱 유닛(124) 및 싱글/듀얼 포트 메모리(126, 127)와 함께 영상 분석 작업을 수행할 수 있다.
복수의 이더넷 포트(123-1, 123-2)는 병렬 영상 처리 모듈(120)의 외부와 병렬 영상 처리 모듈(120) 사이의 데이터 송수신을 위한 네트워크 연결을 제공할 수 있다. 복수의 이더넷 포트(123-1, 123-2)는 RGMII(Reduced Gigabit Media Independent Interface)를 통한 네트워크 연결을 제공하여 고속 데이터 통신을 지원할 수 있다.
복수의 메모리 커넥터(125-1, 125-2)는 싱글 포트 메모리(126) 및 듀얼 포트 메모리(127)와의 연결을 제공할 수 있다.
카메라 모듈(110)에서 획득된 촬영 영상의 영상 프레임들은 지능형 영상 촬영 장치의 제어부(도시하지 않음)에 의해서 복수의 병렬 영상 처리 모듈(120)들에 촬영된 순서대로 할당될 수 있다. 실시 예에 따라, 복수의 병렬 영상 처리 모듈(120)들 중 어느 하나가 제어부의 역할을 할 수도 있다.
각각의 병렬 영상 처리 모듈(120)은 영상에서 한 가지의 정보만을 인식하기 위해 구성된 것으로서, 사용자가 원하는 분석 결과에 따라 엣지 카메라 장치(100)에 구비되는 숫자가 결정된다. 도 3의 실시 예에서는 복수의 병렬 영상 처리 모듈(120)로서 4 개의 병렬 영상 처리 모듈(120-a, 120-b, 120-c, 120-d)이 도시되어 있지만, 사용자의 필요에 따라 그 수가 증감될 수 있다. 도 4를 참조하면, 예를 들어, 복수의 병렬 영상 처리 모듈(120)은 5 개의 병렬 영상 처리 모듈들(120-1, 120-2, 120-3, 120-4, 120-5)로 구성되며, 이들 각각의 모듈은 입력된 영상 프레임들에서 분석 대상이 되는 사람의 성별을 인식하는 병렬 영상 처리 모듈(120-1), 연령을 인식하는 병렬 영상 처리 모듈(120-2), 성별을 인식하는 병렬 영상 처리 모듈(120-3), 감정을 인식하는 병렬 영상 처리 모듈(120-4), 및 상기 인식 결과들에 대한 딥러닝을 수행하고 엣지 카메라 장치(100) 전체를 제어하는 병렬 영상 처리 모듈(120-5)일 수 있다. 상기 병렬 영상 처리 모듈들(120-1, 120-2, 120-3, 120-4, 120-5)은 엣지 카메라 장치(100)의 하우징 내에 구비된 메인 보드 상의 소켓에 착탈 함으로써 간단하게 설치되거나 제거될 수 있다.
또한, 도 4를 참조하면, 카메라 모듈(110)은 예를 들어 MIPI-CSI2((Mobile Industry Processor Interface - Camera Serial Interface 2) 인터페이스(131)를 통해서 병렬 영상 처리 모듈(120)로 영상 데이터를 전송할 수 있다. 엣지 카메라 장치(100)는 PoE(Power of Ethernet) 커넥터(132)를 통해 외부의 장치와 데이터를 송수신하고, 작동 전력을 공급받을 수 있다.
데이터 분석 엣지 프로세서(200)는 복수의 병렬 영상 처리 모듈(120)로부터 입력받은 분석 결과, 즉 촬영된 영상 내의 사람에 대한 인식 결과를 수집하고, 이를 이용하여 사용자를 위한 데이터를 도출할 수 있다.
한편, 본 발명의 실시 예에 따른 지능형 영상 촬영 장치는 복수의 병렬 영상 처리 모듈(120)을 통한 영상 인식의 정확도를 높이기 위한 사용자 보정 데이터를 사용할 수 있다. 예를 들어, 지능형 영상 촬영 장치가 사용자가 운영하는 상점에 설치될 경우, 해당 공간 내에는 사용자 또는 피고용인이 배치되어 근무할 수 있으며, 장치는 사용자와 피고용인의 신분, 연령, 성별 등을 정확하게 알고 있으므로, 이들에 대한 영상 인식 결과를 딥러닝을 통해 학습하여 트래픽이 많은 시간대에도 내방객에 대한 영상 인식률의 정확성을 높일 수 있다.
본 명세서에서 개시되는 네트워크(300)는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(Global System for Mobile communication network; GSM) 네트워크, 범용 패킷 무선 네트워크(General Packet Radio Network; GPRN), 근거리 네트워크(local area network; LAN), 광역 네트워크(wide area network; WAN), 거대도시 네트워크(Metropolitan Area Network; MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(Public Switched Telephone Network; PSTN), 개인 네트워크(Personal Area Network), 블루투스, Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra-Wide band), 이들의 조합, 또는 임의의 다른 네트워크일 수 있지만 이들로 한정되는 것은 아니다.
이하에서는 첨부의 도면 5 내지 6을 참조하여 본 발명의 일 실시 예에 따른 지능형 영상 촬영 장치에서의 병렬 영상 처리 방법을 설명한다.
도 5는 본 발명의 실시 예에 따른 지능형 영상 처리 장치에서 병렬 영상 처리 방법을 설명한다. 도 6은 본 발명의 실시 예에 따른 지능형 영상 처리 장치에서 링-올리듀스 알고리즘을 이용하여 병렬 영상 처리를 하는 방법을 설명한다.
도 5를 참조하면, 본 명세서에서 개시된 지능형 영상 촬영 장치는 구비된 복수의 병렬 영상 처리 모듈(120)의 각 모듈마다 카메라 모듈(110)에서 획득된 영상의 영상 프레임들(112)을 출력되는 순서대로 분배하여 입력시킨다. 도 2에 도시한 바와 같이, 예를 들어, 카메라 모듈(110)이 초당 30 프레임의 영상을 촬영하고, 복수의 병렬 영상 처리 모듈(120)이 다섯 개가 구비되어 있다고 가정하면, 각 병렬 영상 처리 모듈(120)은 초당 6 개의 영상 프레임만 할당 받아 영상 프레임을 입력 받는다. 도면의 TASK1 병렬 영상 처리 모듈은 30 개의 영상 프레임들 중, Fn, Fn +5, Fn+10, Fn +15, Fn +20 및 Fn +25의 6 개의 영상 프레임을 입력 받아 CNN29 기반으로 영상 분석을 실시하고, TASK2 병렬 영상 처리 모듈은 30 개의 영상 프레임들 중, Fn +1, Fn+6, Fn +11, Fn +16, Fn +21 및 Fn +26의 6 개의 영상 프레임을 입력 받아 CNN29 기반으로 영상 분석을 실시하는 등 영상 내의 인물에 대한 인식을 수행할 수 있다.
도 6을 참조하면, 본 발명의 실시 예에 따른 지능형 영상 처리 장치는 링-올리듀스(Ring-AllReduce) 알고리즘을 이용하여 카메라 모듈(110)에서 입력된 촬영 영상의 영상 프레임들을 성별 인식을 위한 병렬 영상 처리 모듈(120-1), 연령 인식을 위한 병렬 영상 처리 모듈(120-2), 얼굴 인식을 위한 병렬 영상 처리 모듈(120-3), ... , 상기 인식 결과들을 학습하여 인식률을 높이기 위한 딥러닝 용 병렬 영상 처리 모듈(120-m)로 순차적으로 분배하여 데이터 처리를 할당하고, 상기 복수의 병렬 영상 처리 모듈(120-1, 120-2, 120-3, ... , 120-m) 각각은 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN) 29 모델을 통해 입력된 영상을 분석함으로써 영상 인식 결과들(n-1, n-2, n-3, ... , n-m)을 도출할 수 있다.
도 5를 참조하면, 데이터 분석 엣지 프로세서(200)는 복수의 병렬 영상 처리 모듈(120)로부터 입력받은 분석 결과, 즉 촬영된 영상 내의 사람에 대한 인식 결과를 수집하고, 이를 이용하여 사용자를 위한 데이터를 출력할 수 있다. 사용자를 위한 데이터는 사람 인식 결과에 기초한 내방객에 대한 마케팅 정보일 수 있다.
따라서, 본 발명의 일 실시 예에 따른 지능형 영상 촬영 장치는 카메라 모듈(110)에서 입력된 촬영 영상으로 제품에 대한 내방객의 선호도 데이터를 고속으로 추출하는 데 목적이 있다.
이하에서는 첨부의 도면 3 및 도면 7을 참조하여 본 발명의 일 실시 예에 따른 지능형 영상 촬영 장치에서의 병렬 영상 처리 방법을 설명한다.
도 7은 본 발명의 실시 예에 따른 지능형 영상 처리 장치에서 병렬 영상 처리를 위한 구성 요소 간의 신호의 흐름을 도시한 도면이다.
도 7을 참조하면, 먼저, 엣지 카메라 장치(100)의 카메라 모듈(110)이 감시 영역의 영상을 촬영하여 영상을 획득할 수 있다(S701).
다음으로, 지능형 영상 처리 장치는 카메라 모듈(110)에서 획득된 영상의 영상 프레임들을 병렬 영상 처리 모듈(120)로 전송하고(S702), 카메라 모듈(110)에서 획득된 순서대로 복수의 병렬 영상 처리 모듈(120)에 순차적으로 할당할 수 있다(S703). 지능형 영상 처리 장치는 획득된 영상의 영상 프레임을 링-올리듀스(Ring-AllReduce) 알고리즘을 통해 복수의 병렬 영상 처리 모듈(120)에 할당하고, 입력되는 데이터를 복수의 병렬 영상 처리 모듈(120)들 간에 전달할 수 있다.
다음으로, 복수의 병렬 영상 처리 모듈(120)은 할당된 영상 프레임들을 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 분석하여, 영상 내의 사람을 인식할 수 있다(S704). 여기에서, 복수의 병렬 영상 처리 모듈(120)은 할당되어 입력되는 영상 프레임들을 계속하여 분석을 할 수 있다(S705). 엣지 카메라 장치(100)는 복수의 병렬 영상 처리 모듈(120) 중 각각의 모듈이 영상 프레임 내 사람의 성별, 연령, 얼굴, 및 감정을 인식하고, 상기 인식 결과에 대한 딥러닝을 수행하여 영상 인식률을 높일 수 있다. 또한, 엣지 카메라 장치(100)는 영상 내의 사람이 특정한 위치에서 머무른 시간을 도출할 수 있다.
다음으로, 엣지 카메라 장치(100)는 영상 인식 결과를 취합하여 데이터 분석 엣지 프로세서(200)로 전송할 수 있다(S706).
데이터 분석 엣지 프로세서(200)는 수신된 영상 인식 결과에 기초하여 영상 프레임 내의 사람, 즉 내방객에 대한 마케팅 정보를 도출할 수 있다(S707). 예를 들어, 데이터 분석 엣지 프로세서(200)는 특정 상품에 대한 내방객의 얼굴 표정을 인식하여 상기 특정 상품 앞에서 내방객의 감정을 분석하고, 이에 기초하여 상기 특정 상품에 대한 상기 내방객의 감정 점수를 구할 수 있다. 또한, 데이터 분석 엣지 프로세서(200)는 상기 특정 상품 앞에서 내방객이 머문 시간을 구할 수 있다. 이후, 데이터 분석 엣지 프로세서(200)는 상기 감정 점수와 상기 머문 시간에 기초하여 상기 특정 상품에 대한 내방객의 선호도 점수를 도출할 수 있다.
상술한 설명에서, 동작 S701 내지 S707은 본 발명의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나. 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
이하에서는 첨부의 도면 8 내지 9를 참조하여 본 발명의 일 실시 예에 따른 지능형 영상 촬영 장치에서의 영상 인식 결과를 이용한 데이터 분석 자료의 도출 과정을 설명한다.
도 8은 본 발명의 실시 예에 따른 지능형 영상 처리 장치가 감시 대상 사람을 감시하는 예를 설명한 도면이다. 도 9는 본 발명의 실시 예에 따른 지능형 영상 처리 장치를 이용한 데이터 분석 결과의 예를 설명한 도면이다.
도 8을 참조하면, 예를 들어 상점(70)에 설치된 지능형 영상 처리 장치는 내방객(60)이 도시된 바와 같은 이동 경로(80)를 따라 이동하였을 경우, 상점(70) 내에 설치된 복수의 엣지 카메라 장치(100)들을 이용하여 이동 경로(80)를 따라 내방객(60)의 영상을 촬영하고, 내방객(60)이 살펴본 상품(90)들 및 상품(90) 앞에서의 내방객(60)의 표정 등의 영상을 촬영할 수 있다.
따라서, 지능형 영상 처리 장치는 복수의 엣지 카메라 장치(100)들을 통해 획득한 내방객(60)에 대한 촬영 영상의 영상 프레임들을 복수의 병렬 영상 처리 모듈(120)에서 분산하여 병렬로 영상 처리를 수행함으로써, 내방객(60)의 성별, 연령, 얼굴 및 감정을 인식할 수 있고, 내방객(60)이 각각의 상품(90) 앞에서 머무른 시간을 측정할 수 있다. 또한, 지능형 영상 처리 장치는 내방객(60)이 특정 상품(90) 앞에서 지은 얼굴 표정을 분석하여 특정 상품(90)에 대한 감정(예를 들어, 선호 정도)을 인식할 수 있다.
또한, 지능형 영상 처리 장치는 내방객(60)의 얼굴 인식 결과를 이용하여 내방객(60)의 신원을 보유 데이터와 비교하여 내방객을 특정할 수 있다. 따라서, 지능형 영상 처리 장치는 신원이 확인된 내방객에 대한 마케팅 정보와 미확인 내방객에 대한 마케팅 정보를 모두 도출할 수 있다.
특정 상품(90)에 대한 내방객(60)의 선호도는 내방객(60)의 얼굴 표정을 분석한 감정 인식 결과에 따라서 결정될 수 있으며, 가중치 값은 내방객(60)이 특정 상품(90) 앞에서 머무른 시간으로 결정될 수 있다. 예를 들어, 도 9(a)는 병렬 영상 처리 모듈에서 상품 1 내지 6이 전시된 공간에서의 내방객에 대한 영상 인식을 통해 도출한 결과를 표로 도시한 것으로, 도 9(a)를 참조하면, 내방객(60)의 특정 상품(90)에 대한 감정 점수는 얼굴을 찌푸리거나, 웃는 정도에 따라 P1에서 P6까지(예를 들어, +5에서 -5까지)의 점수를 부여할 수 있으며, 내방객(60)이 상품(90) 앞에 머무른 시간에 따라 d1 내지 d6으로 머문 시간 점수 또는 가중치가 정해질 수 있다. 따라서, 특정 상품(90)에 대한 내방객(60)의 선호도(93)는 감정 점수와 머문 시간 점수의 곱(P1Xd1, P2Xd2, P3Xd3, P4Xd4, P5Xd5, P6Xd6)으로 결정될 수 있으며, 이 값은 내방객(60)의 연령 및 성별과 함께 데이터 분석 엣지 프로세서(200)에 연결된 별도의 저장 장치에 저장되어 마케팅 자료로 활용될 수 있다.
또한, 어떤 내방객이 상점에 방문한 횟수를 N, 특정 상품에 대한 내방객의 감정 인식 결과 점수를 Pi, 머무른 시간 점수를 di라하면, 상기 특정 상품에 대한 내방객의 평균 선호도는 다음의 [수식]을 통해서 구할 수 있다.
[수식]
(특정 상품에 대한 평균 선호도 점수) =
Figure pat00001
도 9(b)는 영상 인식 결과를 이용한 마케팅 정보의 출력 예시로서, 도 9(b)를 참조하면, 지능형 영상 처리 장치의 데이터 분석 엣지 프로세서(200)는 특정 상품들(90)에 대한 내방객(60)의 분석 결과 값(95)들을 성별에 따라 구분하여 도출한 뒤, 연령별로 저장하여 마케팅 자료로 활용할 수 있다. 내방객의 성별에 따른 상품별 평균 선호도는 도 9(b)의 그래프와 같이 도시될 수 있다.
따라서, 본 발명의 실시 예에 따른 지능형 영상 처리 장치의 사용자는 내방객의 영상 분석 결과에 기초한 특정 상품에 대한 내방객의 선호도를 이용하여 내방객의 성, 연령 등에 따라 전시할 상품을 선택할 수 있으며, 상품의 배치 형태도 결정할 수 있다. 또한, 상기 선호도는 해당 내방객의 재방문을 고려하여 가격 결정 등의 판매 전략을 수립하는데 사용할 수 있다. 또한, 상기 선호도를 이용하여 신원이 확인된 내방객에게는 문자 메시지, 이메일, 우편 등으로 마케팅 자료를 전송하여 상품 홍보를 통해 매출을 증대시키고, 고객 관리를 하는 데 목적이 있다.
본 명세서에서 사용된 용어 "부"는(예를 들면, 제어부 등), 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "부"는, 예를 들어, 유닛(unit), 로직(logic), 논리블록 (logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "부"는, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "부"는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "부"는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, "부"는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들어, 메모리가 될 수 있다.
컴퓨터로 읽을 수 있는 저장매체/컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술된 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서에 사용된 용어 "하나"는 하나 또는 하나 이상으로 정의된다. 또한, 청구 범위에서 "적어도 하나" 및 "하나 이상"과 같은 도입 문구를 사용하는 것은, 동일한 청구항에 "적어도 하나" 및 "하나 이상"과 같은 도입 문구 및 "하나" 같은 불명료한 문구가 포함되어 있는 경우라 할지라도, 불명료한 문구 "하나"에 의한 다른 청구항 요소의 도입이 그러한 요소를 하나만을 포함하는 발명에 대해 그렇게 도입된 청구항 요소를 포함하는 임의의 특정 청구항을 제한한다는 것을 의미하는 것으로 해석되어서는 안된다.
달리 명시하지 않는 한, "제1" 및 "제2"와 같은 용어는 그러한 용어가 설명하는 요소들을 임의로 구별하는 데 사용된다. 따라서, 이들 용어는 그러한 요소들의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도된 것은 아니며, 특정 수단이 서로 다른 청구항들에 열거되어 있다는 단순한 사실만으로 이러한 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다. 따라서, 이들 용어는 그러한 요소의 시간적 또는 다른 우선 순위를 나타내도록 반드시 의도되지는 않는다. 특정 조치가 서로 다른 주장에 인용되었다는 단순한 사실만으로 이러한 조치의 조합이 유용하게 사용될 수 없다는 것을 나타내지는 않는다.
동일한 기능을 달성하기 위한 구성 요소의 배열은 효과적으로 "관련"되어 원하는 기능이 달성된다. 따라서, 특정 기능성을 달성하기 위해 결합된 임의의 2 개의 구성 요소는 구조 또는 중개하는 구성 요소와 관계없이 원하는 기능이 달성되도록 서로 "관련"되는 것으로 간주될 수 있다. 마찬가지로 이와 같이 연관된 두 개의 구성 요소는 원하는 기능을 달성하기 위해 서로 "작동 가능하게 연결"되거나 "작동 가능하게 결합된" 것으로 간주될 수 있다.
또한, 통상의 기술자는 전술한 동작들의 기능성 사이의 경계가 단지 예시적인 것임을 인식할 것이다. 복수의 동작들은 단일 동작으로 결합될 수 있고, 단일 동작은 추가 동작들로 분산될 수 있으며, 동작들은 시간적으로 적어도 부분적으로 겹쳐서 실행될 수 있다. 또한, 대안적인 실시예들은 특정 동작에 대한 복수의 인스턴스들을 포함할 수 있고, 동작들의 순서는 다양한 다른 실시예에서 변경될 수 있다. 그러나, 다른 수정, 변형 및 대안이 또한 가능하다. 따라서, 상세한 설명 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
"X일 수 있다"는 문구는 조건 X가 충족될 수 있음을 나타낸다. 이 문구는 또한 조건 X가 충족되지 않을 수도 있음을 나타낸다. 예를 들어, 특정 구성 요소를 포함하는 시스템에 대한 참조는 시스템이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 예를 들어, 특정 동작을 포함하는 방법에 대한 참조는 해당 방법이 특정 구성 요소를 포함하지 않는 시나리오도 포함해야 한다. 그러나 또 다른 예를 들면, 특정 동작을 수행하도록 구성된 시스템에 대한 참조는 시스템이 특정 작업을 수행하도록 구성되지 않은 시나리오도 포함해야 한다.
용어 "포함하는", "갖는", "구성된", "이루어진" 및 "본질적으로 이루어진"은 상호 교환적으로 사용된다. 예를 들어, 임의의 방법은 적어도 도면 및/또는 명세서에 포함된 동작을 포함할 수 있으며, 도면 및/또는 명세서에 포함된 동작만을 포함할 수 있다.
통상의 기술자는 논리 블록들 사이의 경계가 단지 예시적인 것이며, 대안적인 실시 예들이 논리 블록들 또는 회로 소자들을 병합하거나 또는 다양한 논리 블록들 또는 회로 소자들 상에 기능의 대체적인 분해를 부과할 수 있음을 인식할 것이다. 따라서, 여기에 도시된 아키텍처는 단지 예시적인 것이며, 사실 동일한 기능을 달성하는 많은 다른 아키텍처가 구현될 수 있다는 것으로 이해되어야 한다.
또한, 예를 들어, 일 실시예에서, 도시된 예들은 단일 집적 회로 상에 또는 동일한 장치 내에 위치된 회로로서 구현될 수 있다. 대안적으로, 상기 예들은 임의의 수의 개별적인 집적 회로들 또는 적합한 방식으로 서로 상호 접속된 개별 장치들로서 구현될 수 있으며, 다른 변경, 수정, 변형 및 대안들이 또한 가능하다. 따라서, 명세서 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
또한, 예를 들어, 상기 예들 또는 그 일부는, 임의의 적절한 유형의 하드웨어 기술 언어와 같은, 물리적 회로 또는 물리적 회로로 변환 가능한 논리적 표현의 소프트웨어 또는 코드 표현으로서 구현될 수 있다.
또한, 본 발명은 비 프로그래머블 하드웨어로 구현된 물리적 장치 또는 유닛으로 제한되지 않지만, 일반적으로 본원에서는 '컴퓨터 시스템'으로 표시되는 메인 프레임, 미니 컴퓨터, 서버, 워크스테이션, 개인용 컴퓨터, 노트패드(notepad), 개인용 디지털 정보 단말기(PDA), 전자 게임(electronic games), 자동차 및 기타 임베디드 시스템, 휴대전화 및 다양한 다른 무선 장치 등과 같은, 적절한 프로그램 코드에 따라 동작함으로써 원하는 장치 기능을 수행할 수 있는 프로그램 가능한 장치 또는 유닛에도 적용될 수 있다.
청구항에서, 괄호 사이에 위치한 임의의 참조 부호는 청구항을 제한하는 것으로 해석되어서는 아니 된다. '포함하는'이라는 단어는 청구항에 나열된 요소들 또는 동작들의 존재를 배제하지 않는다.
이 특허 출원에 언급된 시스템, 장치 또는 디바이스는 적어도 하나의 하드웨어 구성 요소를 포함한다.
본 명세서에 설명된 바와 같은 연결들은 예를 들어 중간 장치를 통해 각각의 노드, 유닛 또는 장치로부터 또는 각각의 노드, 유닛 또는 장치로 신호를 전송하기에 적합한 임의의 유형의 연결일 수 있다. 따라서, 묵시적으로 또는 달리 언급되지 않는 한, 연결은 예를 들어 직접 연결 또는 간접 연결일 수 있다. 연결은 단일 연결, 다수의 연결, 단방향 연결 또는 양방향 연결이라는 것을 참조하여 설명되거나 묘사될 수 있다. 그러나, 서로 다른 실시 예들은 연결의 구현을 변화시킬 수 있다. 예를 들어 양방향 연결이 아닌 별도의 단방향 연결을 사용할 수 있으며 그 반대의 경우도 가능할 수 있다. 또한, 다수의 연결은 복수의 신호를 순차적으로 또는 시간 다중화 방식으로 전송하는 단일 연결로 대체될 수 있다. 마찬가지로, 복수의 신호를 전송하는 단일 연결은 이러한 신호의 서브 세트를 전송하는 다양한 연결로 분리될 수 있다. 따라서 신호를 전송하기 위한 많은 옵션들이 존재한다.
통상의 기술자는 논리 블록들 사이의 경계가 단지 예시적인 것이며, 대안적인 실시 예들이 논리 블록들 또는 회로 소자들을 병합하거나 또는 다양한 논리 블록들 또는 회로 소자들 상에 기능의 대체적인 분해를 부과할 수 있음을 인식할 것이다. 따라서, 여기에 도시된 아키텍처는 단지 예시적인 것이며, 사실 동일한 기능을 달성하는 많은 다른 아키텍처가 구현될 수 있다는 것으로 이해되어야 한다.
이상에서 본 명세서의 기술에 대한 바람직한 실시 예가 첨부된 도면들을 참조하여 설명되었다. 여기서, 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 본 발명의 범위는 본 명세서에 개시된 실시 예들로 한정되지 아니하고, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.
10: CCTV 카메라 20: 네트워크 허브
30: 초고속 통신망 40: 영상 분석 서버
50: 전원공급부 60: 내방객
70: 상점 80: 이동 경로
90: 상품
100: 엣지 카메라 장치 110: 카메라 모듈
112: 영상 프레임 120: 병렬 영상 처리 모듈
120-1: 성별 인식 병렬 영상 처리 모듈
120-2: 연령 인식 병렬 영상 처리 모듈
120-3: 얼굴 인식 병렬 영상 처리 모듈
120-4: 감정 인식 병렬 영상 처리 모듈
120-5: 딥러닝 용 병렬 영상 처리 모듈
200: 데이터 분석 엣지 프로세서
300: 네트워크

Claims (10)

  1. 감시 영역의 영상을 촬영하여 영상을 획득하는 카메라 모듈;
    상기 입력되는 영상 프레임을 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 분석하는 복수의 병렬 영상 처리 모듈;
    상기 획득된 영상의 영상 프레임을 획득되는 순서대로 상기 복수의 병렬 영상 처리 모듈에 순차적으로 할당하는 제어부; 및
    상기 분석 결과를 취합하여 분석 결과를 출력하는 데이터 분석부를 포함하는 영상 촬영 장치.
  2. 제1 항에 있어서, 상기 복수의 병렬 영상 처리 모듈 중 각각의 모듈은,
    상기 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 상기 입력된 영상 프레임 내 사람의 성별, 연령, 얼굴 중 적어도 하나를 인식하고,
    상기 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 상기 입력된 영상 프레임 내의 사람이 특정 위치에서 머무른 시간 및 감정을 인식하고,
    상기 인식 결과에 대해 딥러닝을 수행하는 영상 촬영 장치.
  3. 제2 항에 있어서, 상기 데이터 분석부는,
    상기 인식 결과에 기초하여 상기 획득된 영상 내 사람에 대한 고객 관리 마케팅 정보를 출력하는 영상 촬영 장치.
  4. 제3 항에 있어서, 상기 마케팅 정보는,
    상기 감정 인식 결과에 상기 머무른 시간에 따른 가중치를 적용하여 생성되는 것인, 영상 촬영 장치.
  5. 제4 항에 있어서, 상기 제어부는,
    상기 획득된 영상의 영상 프레임을 링-올리듀스(Ring-AllReduce) 알고리즘을 통해 상기 복수의 병렬 영상 처리 모듈에 할당하고, 입력되는 데이터를 상기 복수의 병렬 영상 처리 모듈 간에 전달하는 영상 촬영 장치.
  6. 감시 영역의 영상을 촬영하여 영상을 획득하는 동작;
    상기 획득된 영상의 영상 프레임을 획득되는 순서대로 복수의 병렬 영상 처리 모듈에 순차적으로 할당하는 동작;
    상기 할당된 영상 프레임을 컨볼루셔널 뉴럴 네트워크(CNN)를 통해 분석하는 동작; 및
    상기 분석 결과를 취합하여 데이터 분석 엣지 프로세서로 전송하는 동작
    을 포함하는 영상 촬영 장치의 영상 처리 방법.
  7. 제6 항에 있어서, 상기 할당된 영상 프레임을 분석하는 동작은,
    상기 복수의 병렬 영상 처리 모듈 중 각각의 모듈이 상기 영상 프레임 내 사람의 성별 인식, 연령 인식, 얼굴 인식, 감정 인식, 특정 위치에서 머무른 시간 인식 및 상기 인식 결과에 대한 딥러닝 중 어느 하나를 수행하는 것인, 영상 촬영 장치의 영상 처리 방법.
  8. 제7 항에 있어서,
    상기 인식 결과에 기초하여 상기 영상 프레임 내의 사람에 대한 마케팅 정보를 출력하는 동작을 더 포함하는 영상 촬영 장치의 영상 처리 방법.
  9. 제8 항에 있어서, 상기 마케팅 정보는,
    상기 모듈 별 인식 결과에 미리 설정된 가중치를 적용하여 생성되는 것인, 영상 촬영 장치의 영상 처리 방법.
  10. 제9 항에 있어서, 상기 획득된 영상의 영상 프레임을 상기 복수의 병렬 영상 처리 모듈에 할당하는 동작은,
    상기 획득된 영상의 영상 프레임을 링-올리듀스(Ring-AllReduce) 알고리즘을 통해 상기 복수의 병렬 영상 처리 모듈에 할당하고, 입력되는 데이터를 상기 복수의 병렬 영상 처리 모듈 간에 전달하는 것인, 영상 촬영 장치의 영상 처리 방법.
KR1020200027553A 2020-03-05 2020-03-05 지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법 KR20210112495A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200027553A KR20210112495A (ko) 2020-03-05 2020-03-05 지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200027553A KR20210112495A (ko) 2020-03-05 2020-03-05 지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20210112495A true KR20210112495A (ko) 2021-09-15

Family

ID=77793560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200027553A KR20210112495A (ko) 2020-03-05 2020-03-05 지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR20210112495A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179482A1 (zh) * 2022-03-25 2023-09-28 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793636B1 (ko) 2017-05-31 2017-11-03 주식회사 투윈스컴 통합 지능형 cctv 영상 처리 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793636B1 (ko) 2017-05-31 2017-11-03 주식회사 투윈스컴 통합 지능형 cctv 영상 처리 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179482A1 (zh) * 2022-03-25 2023-09-28 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备

Similar Documents

Publication Publication Date Title
Kolhar et al. A three layered decentralized IoT biometric architecture for city lockdown during COVID-19 outbreak
US10579860B2 (en) Learning model for salient facial region detection
US20190138798A1 (en) Time domain action detecting methods and system, electronic devices, and computer storage medium
US20150186713A1 (en) Method and system for emotion and behavior recognition
US20200226523A1 (en) Realtime video monitoring applied to reduce customer wait times
Srivastava et al. Sign language recognition system using TensorFlow object detection API
US11386288B2 (en) Movement state recognition model training device, movement state recognition device, methods and programs therefor
JP7303384B2 (ja) 乗降者数計数システム及び乗降者数計数装置
Yang et al. Facial action unit-based deep learning framework for spotting macro-and micro-expressions in long video sequences
Aghdasi et al. Enhancing lifetime of visual sensor networks with a preprocessing-based multi-face detection method
KR20210112495A (ko) 지능형 영상 촬영 장치 및 이를 이용한 영상 처리 방법
Alam et al. A cost-effective computer vision-based vehicle detection system
CN113874877A (zh) 神经网络及分类器选择系统和方法
Putro et al. An efficient face detector on a cpu using dual-camera sensors for intelligent surveillance systems
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
KR102478149B1 (ko) 인공지능 디지털 사이니지 시스템 및 이의 운용방법
Mustafa et al. Performance analysis of inception-v2 and Yolov3-based human activity recognition in videos
CN111259698B (zh) 用于获取图像的方法及装置
Yanakova et al. Facial recognition technology on ELcore semantic processors for smart cameras
US20210004575A1 (en) Quantized transition change detection for activity recognition
US9619521B1 (en) Classification using concept ranking according to negative exemplars
Tejada et al. Moving object detection in videos using principal component pursuit and convolutional neural networks
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
Widhalm et al. Tackling the SHL recognition challenge with phone position detection and nearest neighbour smoothing
Mittal et al. Gender and age based census system for metropolitan cities

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application