KR102470916B1 - 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법 - Google Patents

객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102470916B1
KR102470916B1 KR1020210142622A KR20210142622A KR102470916B1 KR 102470916 B1 KR102470916 B1 KR 102470916B1 KR 1020210142622 A KR1020210142622 A KR 1020210142622A KR 20210142622 A KR20210142622 A KR 20210142622A KR 102470916 B1 KR102470916 B1 KR 102470916B1
Authority
KR
South Korea
Prior art keywords
image
objects
unit
information
extracted
Prior art date
Application number
KR1020210142622A
Other languages
English (en)
Other versions
KR102470916B9 (ko
Inventor
김의선
Original Assignee
(주)블라우비트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)블라우비트 filed Critical (주)블라우비트
Priority to KR1020210142622A priority Critical patent/KR102470916B1/ko
Application granted granted Critical
Publication of KR102470916B1 publication Critical patent/KR102470916B1/ko
Publication of KR102470916B9 publication Critical patent/KR102470916B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법을 개시한다. 본 발명은 2차원 카메라 센서와 3차원 카메라 센서를 이용하여 다수의 객체가 겹치거나 가려지면 하나의 객체로 인식되는 것을 방지하여 객체의 정확한 추적과 카운팅을 제공할 수 있다.

Description

객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법{AI-BASED PHOTOGRAPHING DEVICE CAPABLE OF OBJECT TRACKING AND METHOD FOR CONTROLING THE SAME}
본 발명은 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법에 관한 발명으로서, 더욱 상세하게는 2차원 카메라 센서와 3차원 카메라 센서를 이용하여 다수의 객체가 겹치거나 가려지면 하나의 객체로 인식되는 것을 방지하는 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법에 관한 것이다.
최근 영상 처리 시스템의 응용 분야는 매우 다양해졌다. 영상 처리를 수행하기위한 다양한 기법들이 나왔으며 그에 따라 영상 처리를 수행하는 속도 또한 매우 빨라지고 정교해졌다.
그러나, 영상 처리 시스템의 이동 물체검출 기법은 아직 안정성에 있어서 문제가 있고, 검출하는 과정에 따른 파워소모와 정확성, 처리속도에 있어서도 역시 문제점들이 존재한다.
영상에서 물체 인식이란 입력된 영상에서 목표 물체의 위치를 찾아내는 일련의 과정을 말하는 것으로서, 영상에서 물체 인식을 수행함에 있어 같은 물체라고 하더라도 개개의 영상 안에서는 물체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다.
또한 한 영상 내에 여러 개의 물체가 포함되어 있거나, 목표 물체가 다른 물체에 의해 가려져서 그 일부분만 볼 수 있는 경우도 발생할 수 있다.
초기의 영상 객체 검출 및 추적에 관한 연구는 영상의 컬러, 명암등과 같은 2차원 정보만을 이용하는 방법들이 주를 이루었다.
도1은 종래 기술에 따른 2차원 카메라를 이용한 객체 인식 과정을 나타낸 예시도이고, 도2는 종래 기술에 따른 2차원 카메라를 이용한 객체 인식 결과를 나타낸 예시도이다.
도1 및 도2를 참조하면, 2차원 카메라(10)를 이용하여 객체(20, 21)를 검출하는 과정에서 제1 객체(20)와 제2 객체(21)가 서로 이격된 위치에서 감지된 경우, 2차원 카메라(10)를 이용한 객체 인식은 어렵지 않게 수행될 수 있다.
그러나, 두 객체(20, 21)가 서로 근접하여 일렬로 이동하는 경우, 도2와 같이 모니터링부(30)에는 두 객체(20, 21)가 겹쳐저서 하나의 객체로 인식하고, 그에 따라 객체 표시영역(40)은 하나의 객체로 표시되는 문제점이 있다.
또한, 2차원 정보만을 이용한 방법들은 조명, 그림자, 잡음 등의 다양한 주변 환경 변화에 매우 민감하므로 정확도가 검출 및 추적의 정확도가 낮은 문제점이 있었다.
최근에는 2차원 정보 외에 3차원 정보인 깊이 정보를 이용하는 방법의 연구가 활발하다. 이러한, 깊이 정보를 이용하는 방법은 카메라로부터의 거리(깊이 정보)를 가지고 있기 때문에 영상 객체의 분리, 전경과 배경의 구분, 영상 객체들의 겹침 등과 같이 2차원 정보만으로는 계산이 힘든 것들까지 가능하게 하므로 매우 유용하다.
이러한, 깊이 정보를 이용하는 영상 객체의 검출 및 추적방법으로는 평균 배경 깊이 정보를 이용하는 방법, 깊이의 확률밀도함수(probability density function)를 이용하는 방법, 평균이동(mean-shift) 정보를 이용하는 방법, 그래프 컷(graph-cut)을 이용하는 방법 등이 있다.
그러나 이러한 깊이 정보를 이용하는 방법은 2차원 정보만을 이용하는 방법보다 주변 환경에 덜 민감하고 정확도가 높은 장점이 있지만 연산량이 매우 방대해져 실시간으로 움직이는 영상 객체를 검출하고 추적하는 데는 한계가 있다.
또한, 깊이 정보가 유사한 객체들에 대해서는 사람과 같은 움직임 객체뿐만 아니라 사람과 닿아 있는 사물까지 함께 움직임 객체로 검출되는 문제점이 있다.
한국 등록특허공보 등록번호 제10-1439037호(발명의 명칭: 2D 영상 및 3D 영상의 융합을 통한 공간 상황 인지 장치, 방법 및 시스템)
이러한 문제점을 해결하기 위하여, 본 발명은 2차원 카메라 센서와 3차원 카메라 센서를 이용하여 다수의 객체가 겹치거나 가려지면 하나의 객체로 인식되는 것을 방지하여 객체의 정확한 추적과 카운팅을 제공하는 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 객체 추적이 가능한 인공지능 기반의 촬영 장치로서, 객체의 2차원 이미지와 3차원 이미지를 실시간 촬영하는 카메라 모듈부; 및 상기 촬영된 2차원 이미지와 3차원 이미지 정보로부터 객체를 추출하되, 상기 3차원 이미지 정보에서 추출된 객체 별로 깊이(Depth) 정보를 계산하고, 상기 계산된 객체 별 깊이에 따라 서로 다른 명암 대비로 구분하여 디스플레이 되도록 출력하는 제어부;를 포함한다.
또한, 상기 실시 예에 따른 서로 다른 명암 대비는 2차원 이미지에서 추출된 객체에 대하여 카메라 모듈부와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 출력하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 카메라 모듈은 2차원 이미지를 촬영하는 제1 카메라; 및 3차원 이미지를 촬영하는 제2 카메라;를 포함하되,
상기 제2 카메라는 레이저 빔의 반사시간을 이용한 거리 정보를 기반으로 객체와 깊이 정보를 추출하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제어부는 추출된 객체의 카운트 결과가 디스플레이 되도록 출력하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 제어부는 촬영된 2차원 이미지와 3차원 이미지에 대하여 임의의 전처리를 수행하는 전처리부; 상기 2차원 이미지로부터 객체를 추출하는 제1 이미지 분석부; 상기 3차원 이미지로부터 객체를 추출하고, 추출된 각 객체 별로 깊이 정보를 계산하는 제2 이미지 분석부; 상기 추출된 객체에 겹침이 발생했는지 여부를 인공지능 겹침 분석 모델을 이용하여 분석하고, 겹침이 발생된 객체의 픽셀 위치 값을 생성하며, 객체 별로 생성된 픽셀의 위치 값과 계산된 깊이 정보에 기반한 서로 다른 명암 대비를 통해 구분하는 겹침 분석부; 및 상기 2차원 이미지에 상기 구분된 다른 명암 대비에 따라 카메라 모듈부와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 출력 되도록 동작하는 객체 표시부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 겹침 분석부(124)는 추출된 객체의 카운터 수와, 서로 다른 명암 대비를 통해 구분된 객체가 객체 표시부로 구분되어 상기 객체 표시부를 통해 디스플레이 되도록 제어하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 객체 추적이 가능한 인공지능 기반의 촬영 제어 방법으로서, a) 제어부가 카메라 모듈부로부터 촬영된 객체의 2차원 이미지와 3차원 이미지를 실시간 수신하는 단계; b) 상기 제어부가 촬영된 2차원 이미지와 3차원 이미지 정보로부터 객체를 추출하는 단계; 및 c) 상기 제어부가 3차원 이미지 정보에서 추출된 객체 별로 깊이(Depth) 정보를 계산하고, 상기 계산된 객체 별 깊이에 따라 서로 다른 명암 대비로 구분하여 디스플레이 되도록 출력하는 단계;를 포함한다.
또한, 상기 실시 예에 따른 c) 단계는 상기 제어부가 2차원 이미지에 추출된 객체에 대하여 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 디스플레이하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 c) 단계는 상기 제어부가 추출된 객체의 수를 카운터한 정보를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 c) 단계는 상기 제어부가 서로 다른 명암 대비를 통해 구분된 객체를 객체 표시영역으로 구분하여 표시하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명은 2차원 카메라 센서와 3차원 카메라 센서를 이용하여 다수의 객체가 겹치거나 가려지면 하나의 객체로 인식되는 것을 방지하여 객체의 정확한 추적과 카운팅을 제공할 수 있는 장점이 있다.
도1은 종래 기술에 따른 2차원 카메라를 이용한 객체 인식 과정을 나타낸 예시도.
도2는 종래 기술에 따른 2차원 카메라를 이용한 객체 인식 결과를 나타낸 예시도.
도3은 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치를 설명하기 위해 나타낸 예시도.
도4는 도3의 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 구성을 나타낸 블록도.
도5는 도4의 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 제어부 구성을 나타낸 블록도.
도6은 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 제어 방법을 설명하기 위해 나타낸 흐름도.
도7은 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 방법을 이용한 객체 인식 결과를 나타낸 예시도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법의 바람직한 실시예를 상세하게 설명한다.
도3은 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치를 설명하기 위해 나타낸 예시도이고, 도4는 도3의 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 구성을 나타낸 블록도이며, 도5는 도4의 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 제어부 구성을 나타낸 블록도이다.
도3 내지 도5를 참조하면, 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치(100)는 카메라 모듈부(110)와, 제어부(120)와, 데이터 통신부(130)를 포함하여 구성될 수 있다.
또한, 상기 촬영 장치(100)는 내부에 수납 공간을 형성한 부재로서, 원통 형상의 하우징(101)과, 상기 하우징의 일측에 장방형상의 개구부(102)가 설치되고, 상기 개구부(102)를 통해 카메라 모듈부(110)의 촬영이 이루어지도록 구성된다.
상기 카메라 모듈부(110)는 객체의 2차원 이미지와 3차원 이미지를 실시간 촬영하는 구성으로서, 2차원 이미지를 촬영하는 제1 카메라(111)와, 3차원 이미지를 촬영하는 제2 카메라(112)를 포함하여 구성될 수 있다.
또한, 상기 카메라 모듈부(110)는 제1 및 제2 카메라(111, 112)가 하나의 보드에 동일한 방향을 촬영할 수 있도록 설치될 수 있지만, 이에 한정되는 것은 아니고, 상기 제1 및 제2 카메라(111, 112)가 별도의 하우징에 설치되어 서로 분리된 상태로 구성될 수도 있다.
또한, 상기 제2 카메라(112)는 내재된 레이저 발생부에서 출력된 레이저 빔의 반사시간을 이용한 객체와의 거리 정보를 산출하고, 제어부(120)가 산출된 거리 정보를 기반으로 객체와의 깊이 정보를 추출할 수 있도록 거리 정보를 제공한다.
상기 제어부(120)는 촬영된 2차원 이미지와 3차원 이미지 정보로부터 객체를 추출할 수 있다.
또한, 상기 제어부(120)는 3차원 이미지 정보에서 추출된 객체와, 상기 객체 별로 깊이(Depth) 정보를 계산하고, 상기 계산된 객체 별 깊이에 따라 서로 다른 명암 대비로 구분하여 디스플레이 되도록 출력할 수 있다.
또한, 상기 제어부(120)는 2차원 이미지에서 추출된 객체에 대하여 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 출력함으로써, 거리에 따른 객체 별로 서로 다른 명암 대비를 통해 표시될 수 있도록 한다.
또한, 상기 제어부(120)는 추출된 객체를 카운트하고, 카운트된 결과를 이용하여 객체의 수가 디스플레이 될 수 있도록 한다.
이를 위해 상기 제어부(120)는 전처리부(121)와, 제1 이미지 분석부(122)와, 제2 이미지 분석부(123)와, 겹칩 분석부(124)와, 객체 표시부(125)를 포함하여 구성될 수 있다.
상기 전처리부(121)는 촬영된 2차원 이미지와 3차원 이미지에 대하여 임의의 전처리를 수행하는 구성으로서, 제1 및 제2 카메라(111, 112)로부터 입력된 하나 이상의 입력 이미지들에 대하여 전처리(Preprocessing)을 수행한다.
또한, 상기 전처리부(121)는 이미지들에 대한 노이즈 리덕션(Noise Reduction), 렉티피케이션(Rectification), 캘리브레이션(Calibration), 색상 강화(Color Enhancement), 색상 공간 변환(Color Space Conversion;CSC), 인터폴레이션(Interpolation), 카메라 게인 컨트롤(Camera Gain Control) 등을 수행할 수 있다.
또한, 상기 전처리부(121)는 이미지들에 대한 스테레오 매칭(Stereo Matching)을 수행하여 디스패러티(Disparity) 정보를 획득할 수도 있고, 상기 디스패러티 정보는 좌·우 이미지의 시차정보(Binocular Parallax Information)를 수치로 나타낸 맵을 의미할 수 있다.
또한, 상기 전처리부(121)는 디스패러티 정보에 기초하여 이미지 중 적어도 하나에 대하여 배경과 전경을 분리할 수도 있다.
상기 제1 이미지 분석부(122)는 이미지 분석 프로그램을 이용하여 2차원 이미지로부터 객체를 추출한다.
상기 제2 이미지 분석부(123)는 이미지 분석 프로그램을 이용하여 3차원 이미지로부터 객체를 추출한다.
또한, 상기 제2 이미지 분석부(123)는 제공되는 거리 정보를 기반으로 추출된 각 객체 별로 깊이 정보를 계산한다.
상기 겹침 분석부(124)는 제1 이미지 분석부(122) 및 제2 이미지 분석부(123)에서 추출된 객체에 겹침이 발생했는지 여부를 인공지능 기반의 겹침 분석 모델을 이용하여 분석한다.
상기 인공지능 기반의 겹침 분석 모델은 머신러닝중에서 딥러닝(Deep learning)이라는 방법을 통해 만들어진 분석 모델들의 종류라고 볼 수 있다.
따라서, 겹침 분석 모델은 딥러닝 모델 또는 딥러닝 분석 모델의 표현으로 사용될 수도 있다.
또한, 머신러닝은 복잡한 시스템이 명시적으로 프로그래밍되지 않고서, 경험으로부터 자동으로 학습하고 개선할 수 있게 하는 인공 지능의 응용이다.
또한, 머신러닝 모델들의 정확도 및 유효성은 그들 모델들을 훈련시키는 데 사용되는 데이터에 부분적으로 의존할 수 있다.
또한, 겹침 분석 모델은 다수의 학습 데이터를 서로 비교한 결과 값에 기반하여 선택된 다수의 겹침 이미지를 학습 데이터로 반복 학습 할 수 있다.
즉, 서로 겹칩 이미지로 분류된 학습 데이터를 기반으로 겹침 여부를 분석하는 학습하게 된다.
또한, 다양한 환경 조건, 예를 들어, 조명, 촬영각도, 촬영구도, 사진 해상도, 객체의 위치 등 다양한 여건에서 촬영될 수 있는 객체의 겹침 이미지를 감안하여 이미지에 대한 다양한 조건 들의 이미지들을 사전에 학습함으로써, 실제 환경에서 입력되는 겹침 이미지들에 대한 객체의 인식률과 겹침 여부 분석률이 향상될 수 있도록 한다.
또한, 상기 겹침 분석부(124)는 겹침이 발생된 객체의 픽셀 위치 값을 생성할 수 있다.
또한, 상기 겹침 분석부(124)는 제2 이미지 분석부(123)에서 제공된 거리 정보를 기반으로 객체를 구분하여 객채 수를 카운트 하고, 상기 구분된 객체 별로 깊이 정보(또는 거리정보)를 산출할 수 있다.
또한, 상기 겹침 분석부(124)는 생성된 픽셀의 위치 값과 계산된 깊이 정보에 기반하여 객체 별로 서로 다른 명암 대비를 통해 구분되어 객체 표시부(125)를 통해 디스플레이 될 수 있도록 한다.
이때, 객체 별 서로 다른 명암 대비는 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시되도록 할 수 있다.
또한, 상기 겹침 분석부(124)는 제1 및 제2 이미지 분석부(122, 123)에서 추출된 객체수를 카운트하고, 상기 객체의 카운터 수는 객체 표시부(125)를 통해 디스플레이 될 수 있도록 한다.
상기 객체 표시부(125)는 2차원 이미지 또는 3차원 이미지 상에 상기 겹침 분석부(124)에서 구분된 객체 별 서로 다른 명암 대비에 따라 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 디스플레이 되도록 한다.
상기 데이터 통신부(130)는 촬영 장치(100)에서 촬영된 이미지 정보와 객체의 인식 정보를 네트워크를 통해 연결된 모니터링 장치로 전송한다.
다음은 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 제어 방법을 설명한다.
도6은 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 장치의 제어 방법을 설명하기 위해 나타낸 흐름도이다.
도3 내지 도6을 참조하면, 본 발명의 일 실시 예에 따른 객체 추적이 가능한 인공지능 기반의 촬영 제어 방법은 제어부(120)가 객체의 2차원 이미지와, 3차원 이미지와, 3차원 이미지 관련 거리 정보를 실시간 수신(S100)한다.
상기 제어부(120)가 S100 단계에서 촬영된 2차원 이미지와 3차원 이미지 정보를 전처리하고, 상기 2차원 이미지와 3차원 이미지로부터 이미지 분석 프로그램을 이용하여 객체(또는 객체 이미지)를 추출하고, 추출된 객체 및 겹침이 발생된 객체의 픽셀 위치 값을 생성하며, 상기 3차원 이미지와 함께 제공된 거리 정보를 기반으로 객체 별로 깊이 정보(또는 거리정보)를 계산(S200)한다.
상기 제어부(120)는 3차원 이미지 정보에서 객체 별로 계산된 깊이(Depth) 정보를 기반으로 객체의 깊이 값이 동일한지 여부를 판단(S300)한다.
상기 S300 단계의 판단 결과, 객체의 깊이 정보(값)이 서로 다르면 상기 제어부(120)는 계산된 객체 별 깊이에 따라 서로 다른 명암 대비로 구분하여 식별(S400)되도록 한다.
즉, 상기 S400 단계에서 제어부(120)는 2차원 이미지에 추출된 객체에 대하여 제공된 거리 정보를 기반으로 객체를 구분하여 객채 수를 카운트 하고, 상기 구분된 객체는 카메라 모듈부(110)와 가까운 거리의 객체를 어둡게 표시하고, 먼 거리의 객체를 밝게 표시하여 객체 별로 깊이(또는 카메라 모듈로부터 이격된 위치)에 따라 서로 다른 명암 대비를 통해 객체의 위치를 구분하여 디스플레이 될 수 있도록 한다.
또한, 상기 S400 단계에서 상기 제어부(120)는 추출된 객체의 수를 카운터할 수 있다.
또한, 상기 S300 단계의 판단 결과, 객체의 깊이 정보가 서로 동일하면, 동일 객체로 판단(S410)하고, 해당 객체의 수를 카운팅한다.
계속해서, 상기 제어부(120)는 서로 다른 명암 대비를 통해 구분된 객체 별로, 사각 형상의 외곽선이 나타나도록 객체 표시부(400, 410)를 디스플레이(S500)하고, 카운트 된 객체 수를 나타내는 카운팅 표시부(420)가 디스플레이(S600) 되도록 한다.
즉, 도7과 같이, 촬영 장치(100)에 내재된 객체 표시부(125) 또는 네트워크를 통해 연결된 모니터링부(300)를 통해 인식된 객체(200, 210)를 거리 정보에 따라 서로 다른 명암 대비를 통해 구분하여 표시하고, 상기 구분된 객체에 따라 제1 객체 영역(400)과 제2 객체 영역(410)으로 구분하여 디스플레이되도록 한다.
또한, 모니터링부(300)의 일측에는 카운팅 표시부(420)를 통해 카운트된 객체 수가 디스플레이 되도록 한다.
따라서, 차원 카메라 센서와 3차원 카메라 센서를 이용하여 다수의 객체가 겹치거나 가려지면 하나의 객체로 인식되는 것을 방지하여 객체의 정확한 추적과 카운팅을 제공할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
100 : 촬영 장치 110 : 카메라 모듈부
101 : 하우징 102 : 개구부
111 : 제1 카메라 112 : 제2 카메라
120 : 제어부 121 : 전처리부
122 : 제1 이미지 분석부 123 : 제2 이미지 분석부
124 : 겹침 분석부 125 : 객체 표시부
130 : 데이터 통신부 200 : 제1 객체
210 : 제2 객체 300 : 모니터링부
400 : 제1 객체 표시부 410 : 제2 객체 표시부
420 : 카운팅 표시부

Claims (10)

  1. 객체의 2차원 이미지와 3차원 이미지를 실시간 촬영하는 카메라 모듈부(110); 및
    상기 촬영된 2차원 이미지와 3차원 이미지 정보로부터 객체를 추출하되, 상기 3차원 이미지 정보에서 추출된 객체 별로 깊이(Depth) 정보를 계산하고, 상기 계산된 객체 별 깊이에 따라 서로 다른 명암 대비로 구분하여 디스플레이 되도록 출력하되, 서로 다른 명암 대비를 통해 구분된 객체를 객체 표시영역(400, 410)으로 구분하여 표시하는 제어부(120);를 포함하고,
    상기 카메라 모듈부(110)는 2차원 이미지를 촬영하는 제1 카메라(111); 및
    3차원 이미지를 촬영하는 제2 카메라(112);를 포함하되,
    상기 제2 카메라는 레이저 빔의 반사시간을 이용한 거리 정보를 기반으로 객체와 깊이 정보를 추출하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 장치.
  2. 제 1 항에 있어서,
    상기 서로 다른 명암 대비는 2차원 이미지에서 추출된 객체에 대하여 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 출력하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제어부(120)는 추출된 객체의 카운트 결과가 디스플레이 되도록 출력하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 장치.
  5. 제 1 항에 있어서,
    상기 제어부(120)는 촬영된 2차원 이미지와 3차원 이미지에 대하여 임의의 전처리를 수행하는 전처리부(121);
    상기 2차원 이미지로부터 객체를 추출하는 제1 이미지 분석부(122);
    상기 3차원 이미지로부터 객체를 추출하고, 추출된 각 객체 별로 깊이 정보를 계산하는 제2 이미지 분석부(123);
    상기 추출된 객체에 겹침이 발생했는지 여부를 인공지능 겹침 분석 모델을 이용하여 분석하고, 겹침이 발생된 객체의 픽셀 위치 값을 생성하며, 객체 별로 생성된 픽셀의 위치 값과 계산된 깊이 정보에 기반한 서로 다른 명암 대비를 통해 구분하는 겹침 분석부(124); 및
    상기 2차원 이미지에 상기 구분된 다른 명암 대비에 따라 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 출력 되도록 동작하는 객체 표시부(125);를 포함하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 장치.
  6. 제 5 항에 있어서,
    상기 겹침 분석부(124)는 추출된 객체의 카운터 수와, 서로 다른 명암 대비를 통해 구분된 객체가 객체 표시부(400, 410)로 구분되어 상기 객체 표시부(125)를 통해 디스플레이 되도록 제어하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 장치.
  7. a) 제어부(120)가 카메라 모듈부(110)로부터 촬영된 객체의 2차원 이미지와 3차원 이미지를 실시간 수신하는 단계;
    b) 상기 제어부(120)가 촬영된 2차원 이미지와 3차원 이미지 정보로부터 객체를 추출하는 단계; 및
    c) 상기 제어부(120)가 3차원 이미지 정보에서 추출된 객체 별로 깊이(Depth) 정보를 계산하고, 상기 계산된 객체 별 깊이에 따라 서로 다른 명암 대비로 구분하여 디스플레이 되도록 출력하되,
    서로 다른 명암 대비를 통해 구분된 객체를 객체 표시영역(400, 410)으로 구분하여 표시하는 단계;를 포함하고,
    상기 카메라 모듈부(110)는 2차원 이미지를 촬영하는 제1 카메라(111); 및
    3차원 이미지를 촬영하는 제2 카메라(112);를 포함하며,
    상기 제2 카메라는 레이저 빔의 반사시간을 이용한 거리 정보를 기반으로 객체와 깊이 정보를 추출하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 제어 방법.
  8. 제 7 항에 있어서,
    상기 c) 단계는 상기 제어부(120)가 2차원 이미지에 추출된 객체에 대하여 카메라 모듈부(110)와 가까운 거리의 객체는 어둡게 표시하고, 먼 거리의 객체는 밝게 표시하여 디스플레이하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 제어 방법.
  9. 제 7 항에 있어서,
    상기 c) 단계는 상기 제어부(120)가 추출된 객체의 수를 카운터한 정보를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적이 가능한 인공지능 기반의 촬영 제어 방법.
  10. 삭제
KR1020210142622A 2021-10-25 2021-10-25 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법 KR102470916B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210142622A KR102470916B1 (ko) 2021-10-25 2021-10-25 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210142622A KR102470916B1 (ko) 2021-10-25 2021-10-25 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR102470916B1 true KR102470916B1 (ko) 2022-11-25
KR102470916B9 KR102470916B9 (ko) 2023-02-23

Family

ID=84237334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210142622A KR102470916B1 (ko) 2021-10-25 2021-10-25 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102470916B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070010306A (ko) * 2005-07-18 2007-01-24 삼성에스디아이 주식회사 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
KR101439037B1 (ko) 2013-06-25 2014-09-15 주식회사 에스원 영상에서 객체를 추적하는 방법 및 장치
JP2014206934A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
KR20210077310A (ko) * 2019-12-17 2021-06-25 (주)신한항업 보안이 향상된 3d 실내공간 서비스 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070010306A (ko) * 2005-07-18 2007-01-24 삼성에스디아이 주식회사 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
JP2014206934A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
KR101439037B1 (ko) 2013-06-25 2014-09-15 주식회사 에스원 영상에서 객체를 추적하는 방법 및 장치
KR20210077310A (ko) * 2019-12-17 2021-06-25 (주)신한항업 보안이 향상된 3d 실내공간 서비스 방법 및 시스템

Also Published As

Publication number Publication date
KR102470916B9 (ko) 2023-02-23

Similar Documents

Publication Publication Date Title
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
US10423856B2 (en) Vector engine and methodologies using digital neuromorphic (NM) data
JP4923101B2 (ja) 画像間の空間対応を判別して三次元再構成をする方法および装置
Premebida et al. Pedestrian detection combining RGB and dense LIDAR data
US9165190B2 (en) 3D human pose and shape modeling
KR100695174B1 (ko) 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
AU2011301774B2 (en) A method for enhancing depth maps
US10679369B2 (en) System and method for object recognition using depth mapping
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN111368601A (zh) 活体检测方法和装置、电子设备和计算机可读存储介质
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN112801038B (zh) 一种多视点的人脸活体检测方法及系统
Ibisch et al. Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage
CN106651921B (zh) 运动检测方法及躲避和跟踪运动目标的方法
KR102470916B1 (ko) 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법
KR20150069739A (ko) 스테레오비전 기반의 어류 개체수 측정방법과 이를 적용한 패턴인식 시스템
KR20220045862A (ko) 동적 크로스토크를 측정하는 방법 및 장치
US11941827B2 (en) System and method of 3D point cloud registration with multiple 2D images
JP2016194847A (ja) 画像検出装置、画像検出方法およびプログラム
KR20200109799A (ko) 영상내 객체의 깊이정보를 추정하는 장치 및 방법
CN114581867B (zh) 目标检测方法、设备、存储介质及程序产品
Kaczmarek Influence of aggregating window size on disparity maps obtained from equal baseline multiple camera set (EBMCS)
KR102680784B1 (ko) 인공지능 기반의 카메라를 이용한 낙상 감지 장치 및 방법
Abd Manap et al. Co-operative surveillance cameras for high quality face acquisition in a real-time door monitoring system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]