KR102117007B1 - 영상에서 객체를 인식하는 방법 및 장치 - Google Patents

영상에서 객체를 인식하는 방법 및 장치 Download PDF

Info

Publication number
KR102117007B1
KR102117007B1 KR1020180075679A KR20180075679A KR102117007B1 KR 102117007 B1 KR102117007 B1 KR 102117007B1 KR 1020180075679 A KR1020180075679 A KR 1020180075679A KR 20180075679 A KR20180075679 A KR 20180075679A KR 102117007 B1 KR102117007 B1 KR 102117007B1
Authority
KR
South Korea
Prior art keywords
information
user
movement
image
augmented reality
Prior art date
Application number
KR1020180075679A
Other languages
English (en)
Other versions
KR20200010655A (ko
Inventor
이효행
김다경
Original Assignee
(주)기술공감
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)기술공감 filed Critical (주)기술공감
Priority to KR1020180075679A priority Critical patent/KR102117007B1/ko
Publication of KR20200010655A publication Critical patent/KR20200010655A/ko
Application granted granted Critical
Publication of KR102117007B1 publication Critical patent/KR102117007B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G06K9/00765—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

영상에서 객체를 인식하는 방법 및 장치가 개시된다. 영상에서 객체를 인식하는 방법은 영상에서 객체를 분리하여 검출하는 단계, 영상으로부터 배경과 객체를 분리하여 검출된 상기 객체에서 특징 정보를 추출하는 단계, 사용자의 상황 정보를 결정하고, 상황 정보를 인식 모델에 적용하는 단계와 딥러닝 기법을 이용하여 영상을 인식하여 객체 인식 결과를 출력하는 단계를 포함할 수 있다.

Description

영상에서 객체를 인식하는 방법 및 장치{Method and apparatus for recognizing object on image}
본 발명은 영상 인식 방법에 관한 것으로서, 보다 상세하게는 영상에서 동식물과 같은 객체를 인식하는 방법 및 시스템에 관한 것이다.
딥러닝(Deep Learning)은 머신러닝(Machine Learning)의 한 분야이다. 머신러닝은 컴퓨터에게 문제를 해결할 수 있는 정확한 알고리즘을 제공하지 않고, 문제 해결능력을 배우게 하는 방법이다. 딥러닝에서는 컴퓨터가 인공신경망(Artificial Neural Network)을 사용하여 문제 해결 능력을 배운다. 인공신경망이란 인간의 뇌에 있는 신경망(Neural Network)을 모사하여 만든 모델이다. 인간은 뇌를 쓰면서 신경망을 발달시켜 문제 해결 능력을 기른다. 이러한 인간의 특징에 주목하여, 컴퓨터에게 인간과 비슷한 문제 해결 과정을 부여하는 방법이 바로 딥러닝이다.
딥러닝에 사용되는 인공신경망은 노드(Node)들로 구성되어 있다. 각 노드들은 가중치(Weight)로 연결되어 있다. 딥러닝 기술을 통해 훈련시켜야 하는 가중치들이 모인 곳을 은닉계층(Hidden Layer)이라고 한다. 은닉계층의 계층 수나, 노드 수, 가중치는 모두 임의로 조정할 수 있다. 딥러닝의 최종 목적은, 테스트 데이터(Test Set)를 인공신경망에 통과시켜서 원하는 결과(Output)를 얻는 것이다. 딥러닝에서는 은닉계층에 가중치를 훈련용 데이터(Training Set)를 이용하여 훈련(Training) 시킨다. 훈련된 가중치를 이용하여 테스트 데이터를 사용했을 때 정확한 결과를 얻게 한다. 인공신경망은 인간의 뇌를 참고하여 만든 것으로서, 노드는 뉴런(Neuron)을, 가중치는 시냅스(Synapse)를 참고하여 만들어졌다. 인공신경망에는 다양한 종류가 있다. 인공신경망이 다양한 종류로 발전됨으로써 딥러닝 기술이 여러 연구 분야에 이용되기 시작했다.
또한, 기존의 가상현실(Virtual Reality)은 실제와 유사한 특정 환경을 만드는 기술이다. 만들어진 가상의 상황은 이용자의 감각을 자극하여 현실과 상상의 경계를 자유롭게 드나들게 하였다. 더 나아가 가상현실의 진보된 형태로 증강현실(Augmented Reality)이 등장하였고, 증강현실에서는 현실 위에 덧붙여진 추가적인 정보를 그래픽으로 합성하여 제공하므로 현실에서 사용자의 행동을 보조해 줄 수 있다. 가상현실은 일반적으로 훈련, 게임 등의 특수 환경에서 사용되는 반면, 증강현실은 영상이 있는 환경이라면 어디에서나 적용할 수 있기 때문에 일반인들에게도 널리 대중화되고 있다.
증강현실은 GPS(Global Positioning System), 중력 가속도 센서(Gravitational Acceleration Sensor) 등의 센서정보나 OpenGL(Open Graphics Library) 등의 컴퓨터 비전 기술을 이용할 수 있다. 증강현실 기술의 발전은 이러한 다양한 정보가 융합된 하이브리드 형태로 진화하고 있다. 증강현실 기기의 주 형태는 착용식 컴퓨터(Wearable Computer)이다. 머리에 장착하는 HMD(Head Mounted Display), 안경 형태의 기기가 있으며 사용자가 바라보는 실제 환경에 컴퓨터 그래픽을 겹쳐 실시간으로 보여주어 증강현실을 구현한다.
KR 10-2016-0002214
본 발명의 일 측면은 영상에서 객체를 인식하는 방법을 제공한다.
본 발명의 다른 측면은 영상에서 객체를 인식하는 방법을 수행하는 장치를 제공한다.
본 발명의 일 측면에 따른 영상에서 객체를 인식하는 방법은 상기 영상에서 상기 객체를 분리하여 검출하는 단계, 상기 영상으로부터 배경과 상기 객체를 분리하여 검출된 상기 객체에서 특징 정보를 추출하는 단계, 사용자의 상황 정보를 결정하고, 상기 상황 정보를 인식 모델에 적용하는 단계와 딥러닝 기법을 이용하여 상기 영상을 인식하여 객체 인식 결과를 출력하는 단계를 포함할 수 있다.
한편, 상기 상황 정보는 사용자 위치 정보, 날짜 정보, 사용자 고도 정보, 비콘(실내 환경) 정보를 포함할 수 있다.
또한, 상기 사용자 위치 정보를 기반으로 상기 객체에 대응되는 증강현실 객체가 생성될 수 있다.
또한, 상기 사용자 위치 정보를 기반으로 사용자 이동 예측 정보가 결정되고, 상기 이동 예측 정보에 따라 후보 증강현실 객체가 생성되고, 상기 후보 증강현실 객체는 상기 이동 예측 정보를 기반으로 결정된 변화 가능한 이동 범위를 고려하여 결정될 수 있다.
본 발명의 일 측면에 따른 영상에서 객체를 인식하는 장치는 프로세서를 포함하고, 상기 프로세서는 상기 영상에서 상기 객체를 분리하여 검출하고, 상기 영상으로부터 배경과 상기 객체를 분리하여 검출된 상기 객체에서 특징 정보를 추출하고, 사용자의 상황 정보를 결정하고, 상기 상황 정보를 인식 모델에 적용하고, 딥러닝 기법을 이용하여 상기 영상을 인식하여 객체 인식 결과를 출력하도록 구현될 수 있다.
또한, 상기 사용자 위치 정보를 기반으로 상기 객체에 대응되는 증강현실 객체가 생성될 수 있다.
또한, 상기 사용자 위치 정보를 기반으로 사용자 이동 예측 정보가 결정되고, 상기 이동 예측 정보에 따라 후보 증강현실 객체가 생성되고, 상기 후보 증강현실 객체는 상기 이동 예측 정보를 기반으로 결정된 변화 가능한 이동 범위를 고려하여 결정될 수 있다.
본 발명의 실시예에 따른 영상에서 객체를 인식하는 방법에서는 객체를 인식하여 사용자 환경 정보에 맞는 증강현실 이미지를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 영상에서 객체를 인식하는 방법을 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 객체 인식 장치를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 사용자 상황 정보를 인식 모델에 적용하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 사용자 상황 정보를 인식 모델에 적용하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 객체 이동을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
본 발명은 동물/식물 등에 있어서 사용자 장치(예를 들어, 모바일 디바이스)를 이용하여 영상을 촬영 후 영상을 인식하여 제공하는 딥러닝 기반의 자연 영상 인식 시스템 및 이용 방법에 관한 것이다. 이하, 본 발명의 실시예에서 객체는 동물/식물뿐만 아니라, 영상에 포함된 다양한 대상을 포함하는 의미로 사용될 수 있다.
도 1은 본 발명의 실시예에 따른 영상에서 객체를 인식하는 방법을 나타낸 순서도이다.
도 1에서는 영상에서 객체를 인식하기 위한 방법이 개시된다.
도 1을 참조하면, 영상에서 객체를 분리하여 검출할 수 있다(단계 S100).
영상 검출 알고리즘(예를 들어, Watershed 및 딥러닝)을 이용하면 영상에서 객체를 검출할 수 있다.
영상으로부터 배경과 객체를 분리하여 검출된 객체 영상에서 특징 정보를 추출할 수 있다(단계 S110).
본 발명에서는 영상에서 검출된 객체 영상으로부터 색상(RGB, YCbCr 등)값의 평균, 형태, 질감 등과 같은 객체 특징 정보를 추출하고 가공할 수 있다. 이러한 정보는 영상에서 추출된 객체의 객체 정보일 수 있다. 이러한 특징 정보에 대해 후술할 최종 인식 단계에서 가중치가 부여될 수 있다.
사용자의 상황 정보를 추출할 수 있다(단계 S120).
사용자의 상황 정보는 위치 정보, 날짜 정보, 고도 정보, 비콘(실내 환경) 등과 같은 현재 사용자의 상태 정보일 수 있다. 사용자의 상황 정보를 추출하여 사용자 장치(예를 들어, 모바일 디바이스)에 저장하거나 서버로 전송할 수 있다.
사용자 상황 정보를 인식 모델에 적용할 수 있다(단계 S130).
다양한 위치-날짜-고도 정보에 따라 학습된 모델을 사용자 장치 또는 서버에 미리 저장하여 사용자의 상황 정보에 맞게 학습 모델을 추가하여 객체 인식을 위해 사용할 수 있다.
딥러닝 기법을 이용하여 영상을 인식할 수 있다(단계 S140).
영상의 인식을 통해 사용자 상황 정보를 기반으로 한 영상에서의 객체 인식이 수행될 수 있다.
객체 인식 결과를 출력할 수 있다(단계 S150).
객체 인식 결과를 표현하는 방법으로, 증강현실 기법을 이용하여 카메라 뷰 상에 실시간으로 결과 동영상(이미지)을 1순위부터 5순위까지 표현할 수 있다. 즉, 사용자 장치 상에서 사용자 상황 정보 및 객체 정보를 고려하여 증강현실 기법을 통해 사용자 장치 화면 상에 객체에 대한 정보를 동영상 정보로서 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 객체 인식 장치를 나타낸 개념도이다.
도 2에서는 객체 인식을 수행하고, 인식된 객체를 사용자 장치 상에 표현하기 위한 객체 인식 장치가 개시된다.
객체 인식 장치(200)는 객체 분리 검출부(210), 특징 정보 추출부(220), 상황 정보 추출부(230), 인식 모델링부(240), 영상 인식부(250) 및 결과 출력부(260)를 포함할 수 있다.
객체 분리 검출부(210)는 영상에서 객체를 분리하여 검출하기 위해 구현될 수 있다. 객체 분리 검출부(210)에서는 영상 검출 알고리즘(예를 들어, Watershed 및 딥러닝)을 이용하여 영상에서 객체를 검출할 수 있다.
특징 정보 추출부(220)는 영상으로부터 배경과 객체를 분리하여 검출된 객체 영상에서 특징 정보를 추출하기 위해 구현될 수 있다. 전술한 바와 같이 본 발명에서는 영상에서 검출된 객체 영상으로부터 색상(RGB, YCbCr 등)값의 평균, 형태, 질감 등과 같은 객체 특징 정보를 추출하고 가공할 수 있다. 객체 특징 정보는 영상에서 추출된 객체의 객체 정보일 수 있다. 이러한 객체 특징 정보에 대해 후술할 최종 인식 단계에서 가중치가 부여될 수 있다.
상황 정보 추출부(230)는 사용자의 상황 정보를 추출하기 위해 구현될 수 있다. 전술한 바와 같이 사용자의 상황 정보는 위치 정보, 날짜 정보, 고도 정보, 비콘(실내 환경) 등과 같은 현재 사용자의 상태 정보일 수 있다. 사용자의 상황 정보를 추출하여 사용자 장치(예를 들어, 모바일 디바이스)에 저장하거나 서버로 전송할 수 있다.
인식 모델링부(240)는 사용자 상황 정보를 인식 모델에 적용하기 위해 구현될 수 있다. 인식 모델링부(240)는 다양한 위치-날짜-고도 정보에 따라 학습된 모델을 사용자 장치 또는 서버에 미리 저장하여 사용자의 상황 정보에 맞게 학습 모델을 추가하여 객체 인식을 위해 사용할 수 있다.
영상 인식부(250)는 딥러닝 기법을 이용하여 영상을 인식하기 위해 구현될 수 있다. 영상의 인식을 통해 사용자 상황 정보를 기반으로 한 영상에서의 객체 인식이 수행될 수 있다.
결과 출력부(260)는 객체 인식 결과를 표현할 수 있다. 증강현실 기법을 이용하여 카메라 뷰 상에 실시간으로 결과 동영상(이미지)을 1순위부터 5순위까지 표현할 수 있다. 즉, 사용자 장치 상에서 사용자 상황 정보 및 객체 정보를 고려하여 증강현실 기법을 통해 사용자 장치 화면 상에 객체에 대한 정보를 동영상 정보로서 제공할 수 있다.
도 3은 본 발명의 실시예에 따른 사용자 상황 정보를 인식 모델에 적용하는 방법을 나타낸 개념도이다.
도 3에서는 영상에서 추출된 객체를 사용자 장치 상에 증강현실로써 표현하기 위해 사용자 상황 정보를 인식 모델에 적용하기 위한 방법이 개시된다.
도 3을 참조하면, 영상에서 추출된 객체를 사용자 장치 상에서 증강현실로 표현하기 위해서는 사용자 상황 정보로서 사용자의 위치 정보의 변화가 고려될 수 있다.
사용자가 영상에서 인식된 객체에게 다가가는 경우, 사용자의 위치 정보를 고려하여 인식된 객체에 대응되는 증강현실 객체가 변화되어야 한다. 구체적으로 인식 객체와 사용자가 10m 떨어진 경우, 증강현실 객체의 크기와 인식 객체와 사용자가 1m 떨어진 경우, 증강현실 객체의 크기는 변화되어야 한다. 본 발명의 실시예에서는 사용자와 객체 간의 거리를 고려하여 증강현실 객체를 변화시킬 수 있다.
본 발명의 실시예에 따르면, 증강현실 객체의 자연스러운 제공을 위해 사용자의 위치 변화를 예측하고 증강현실 객체를 제공할 수 있다. 예를 들어, 사용자가 북쪽 방향으로 이동 중인 경우, 사용자의 예상 이동 방향을 북쪽으로 설정하고, 사용자의 현재 이동 속도 및 현재 이동 방향을 고려하여 증강현실 객체를 미리 생성하여 사용자의 이동에 맞추어 제공할 수 있다.
예를 들어, 1초에 0.5m의 속도로 북쪽으로의 사용자 이동이 발생하는 경우, 이동 예측 정보를 고려하여 현재 사용자의 현재 위치에서 사용자 장치 상에서 표현되는 증강현실 객체를 변화시킬 수 있다.
구체적으로 제1 객체(320)에 대하여 이동 예측 정보(300)를 고려하여 제1 후보 증강현실 객체(340)가 미리 생성되어 사용자의 현재 이동 정보를 고려하여 제공될 수 있다. 사용자의 현재 이동 정보와 이동 예측 정보가 임계값 이하의 차이인 경우, 제1 후보 증강현실 객체(340)가 사용자에게 바로 제공될 수 있다. 반대로 사용자의 현재 이동 정보와 이동 예측 정보가 임계값을 초과하는 차이인 경우, 제1 후보 증강현실 객체(340)를 기준으로 현재 이동 정보와 이동 예측 정보(300)의 차이를 고려하여 제1 후보 증강현실 객체(340)를 보정하여 사용자에게 증강현실 객체로써 제공할 수 있다. 이러한 방법을 통해 보다 빠르게 사용자의 이동을 고려하여 증강현실 객체를 사용자 장치 상에 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 사용자 상황 정보를 인식 모델에 적용하는 방법을 나타낸 개념도이다.
도 4에서는 영상에서 추출된 객체를 사용자 장치 상에 증강현실로써 표현하기 위해 사용자 상황 정보를 인식 모델에 적용하기 위한 방법이 개시된다.
도 4를 참조하면, 사용자에게 보다 빠르고 자연스럽게 증강현실 객체를 제공하기 위해 복수의 후보 증강현실 객체(440)가 미리 생성될 수 있다.
예를 들어, 사용자의 이동 예측 정보(400)를 기준으로 변화 가능한 이동 범위(420)가 결정될 수 있고, 변화 가능한 이동 범위를 고려하여 복수의 후보 증강현실 객체(440)(예를 들어, 제1 후보 증강현실 객체, 제2 후보 증강현실 객체, 제3 후보 증강현실 객체, 제N 후보 증강현실 객체 등)가 미리 생성될 수 있다. 사용자 장치는 실제 사용자의 현재 이동 정보를 기반으로 복수의 후보 증강현실 객체 중 사용자의 현재 이동 정보에 맞는 후보 증강현실 객체를 사용자 장치로 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자의 이동 속도에 따라 생성되는 후보 증강현실 객체의 수가 변화될 수 있다. 예를 들어, 사용자의 이동 속도가 느린 경우, 미리 많은 후보 증강현실 객체를 생성하여 사용자에게 제공할 프로세싱 시간이 있을 수 있으나, 사용자의 이동 속도가 빠른 경우, 미리 많은 후보 증강현실 객체를 생성하여 사용자에게 제공할 프로세싱 시간이 부족할 수 있다. 따라서 사용자 장치의 이동 속도를 고려하여 후보 증강현실 객체의 개수가 조절될 수도 있다.
또한, 본 발명의 실시예에 따르면, 지도 정보도 추가로 고려되어 후보 증강현실 객체가 생성될 수도 있다. 지도 상에서 인도와 도로, 건물 등을 고려하여 사용자가 이동 가능한 경로에 대한 정보가 획득될 수 있고, 사용자가 이동 가능한 경로 내에서 후보 증강현실 객체가 생성될 수 있다.
또한, 본 발명의 실시예에 따르면, 현재 이동 정보에 따라 증강현실 객체의 보정 여부를 결정하는 임계값이 변화될 수도 있다. 예를 들어, 사용자의 현재 이동 정보를 고려하여 사용자의 이동 방향의 변화가 상대적으로 큰 경우, 임계값이 상대적으로 크게 설정되고, 반대로, 사용자의 현재 이동 정보를 고려하여 사용자의 이동 방향의 변화가 상대적으로 작은 경우, 임계값이 상대적으로 작게 설정될 수 있다.
도 5는 본 발명의 실시예에 따른 객체 이동을 나타낸 개념도이다.
도 5에서는 사용자의 이동에 따른 추가 객체의 증강현실 객체로서의 표현 방법이 개시된다.
도 5를 참조하면, 사용자가 이동을 하는 경우, 사용자의 이동에 따라 새롭게 사용자 장치에 출력되는 객체에 대응되는 증강현실 객체에 대한 제공 방법이 개시된다.
사용자 장치에 대한 이동 예측 정보를 기반으로 추후에 사용자 장치로 제공해야 할 추가 증강현실 객체(500)가 미리 결정될 수 있다.
예를 들어, 이동 예측 정보를 기반으로 2초 후에 사용자 장치를 통해 증강현실 객체로서 제공되어야 하는 객체인 경우, 추가 증강현실 객체(500)로서 미리 준비될 수 있고, 사용자가 예상 이동 정보에 따라 이동되는 경우, 추가 증강현실 객체(500)가 출력될 수 있다.
본 발명의 실시예에 따르면 이동 예측 정보를 고려하여 이동 임계 범위가 설정될 수 있고, 이동 임계 범위에 따라 추가 증강현실 객체(500)가 결정될 수 있다.
예를 들어, 북쪽으로 이동 중인 경우, 북쪽에 해당하는 추가 증강현실 객체(500)가 생성되고, 사용자의 이동의 변화를 고려하여 사용자가 북쪽을 기준으로 -10도 내지 +10도의 범위로 이동 방향을 바꿀 경우, 해당 범위 내에 추가 증강현실 객체(500)를 미리 생성할 수 있다.
이때, 추가 증강현실 객체(500)는 각도에 따라 서로 다른 개수로 생성될 수 있다. 이동 예측 방향을 기준으로 인접할 수록 보다 많은 추가 증강현실 객체(500)가 생성되고, 이동 예측 방향을 기준으로 멀어질수록 보다 적은 추가 증강현실 객체(500)가 생성될 수 있다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 영상에서 객체를 인식하는 방법은,
    상기 영상에서 상기 객체를 분리하여 검출하는 단계;
    상기 영상으로부터 배경과 상기 객체를 분리하여 검출된 상기 객체에서 특징 정보를 추출하는 단계;
    사용자의 상황 정보를 결정하고, 상기 상황 정보를 인식 모델에 적용하는 단계; 및
    딥러닝 기법을 이용하여 상기 영상을 인식하여 객체 인식 결과를 출력하는 단계를 포함하고,
    상기 상황 정보는 사용자 위치 정보, 날짜 정보, 사용자 고도 정보, 비콘(실내 환경) 정보를 포함하고,
    상기 사용자 위치 정보를 기반으로 상기 객체에 대응되는 증강현실 객체가 생성되고,
    상기 사용자 위치 정보를 기반으로 사용자 이동 예측 정보가 결정되고,
    상기 이동 예측 정보에 따라 적어도 하나의 후보 증강현실 객체가 생성되고,
    상기 후보 증강현실 객체는 상기 이동 예측 정보를 기반으로 결정된 변화 가능한 이동 범위를 고려하여 결정되고,
    사용자의 이동 속도에 따라 생성되는 상기 후보 증강현실 객체의 수를 조절하고,
    상기 이동 예측 정보에 따라 이동 임계 범위가 설정되고,
    상기 이동 임계 범위 내에서 사용자의 이동 방향이 바뀌는 경우 상기 이동 임계 범위 내에서 추가 증강현실 객체를 생성하되, 상기 이동 임계 범위 내에서 이동 예측 방향에 인접할수록 상기 이동 예측 방향으로부터 멀어진 경우보다 상대적으로 더 많은 추가 증강현실 객체를 생성하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 영상에서 객체를 인식하는 장치는,
    상기 장치는 프로세서를 포함하고,
    상기 프로세서는 상기 영상에서 상기 객체를 분리하여 검출하고,
    상기 영상으로부터 배경과 상기 객체를 분리하여 검출된 상기 객체에서 특징 정보를 추출하고,
    사용자의 상황 정보를 결정하고, 상기 상황 정보를 인식 모델에 적용하고,
    딥러닝 기법을 이용하여 상기 영상에서 객체를 인식하는 장치는,
    상기 장치는 프로세서를 포함하고,
    상기 프로세서는 상기 영상에서 상기 객체를 분리하여 검출하고,
    상기 영상으로부터 배경과 상기 객체를 분리하여 검출된 상기 객체에서 특징 정보를 추출하고,
    사용자의 상황 정보를 결정하고, 상기 상황 정보를 인식 모델에 적용하고,
    딥러닝 기법을 이용하여 상기 영상을 인식하여 객체 인식 결과를 출력하도록 구현되고,
    상기 상황 정보는 사용자 위치 정보, 날짜 정보, 사용자 고도 정보, 비콘(실내 환경) 정보를 포함하고,
    상기 사용자 위치 정보를 기반으로 상기 객체에 대응되는 증강현실 객체가 생성되고,
    상기 사용자 위치 정보를 기반으로 사용자 이동 예측 정보가 결정되고,
    상기 이동 예측 정보에 따라 적어도 하나의 후보 증강현실 객체가 생성되고,
    상기 후보 증강현실 객체는 상기 이동 예측 정보를 기반으로 결정된 변화 가능한 이동 범위를 고려하여 결정되고,
    사용자의 이동 속도에 따라 생성되는 상기 후보 증강현실 객체의 수를 조절하고,
    상기 이동 예측 정보에 따라 이동 임계 범위가 설정되고,
    상기 이동 임계 범위 내에서 사용자의 이동 방향이 바뀌는 경우 상기 이동 임계 범위 내에서 추가 증강현실 객체를 생성하되, 상기 이동 임계 범위 내에서 이동 예측 방향에 인접할수록 상기 이동 예측 방향으로부터 멀어진 경우보다 상대적으로 더 많은 추가 증강현실 객체를 생성하는 것을 특징으로 하는 장치.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020180075679A 2018-06-29 2018-06-29 영상에서 객체를 인식하는 방법 및 장치 KR102117007B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075679A KR102117007B1 (ko) 2018-06-29 2018-06-29 영상에서 객체를 인식하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075679A KR102117007B1 (ko) 2018-06-29 2018-06-29 영상에서 객체를 인식하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200010655A KR20200010655A (ko) 2020-01-31
KR102117007B1 true KR102117007B1 (ko) 2020-06-09

Family

ID=69369396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075679A KR102117007B1 (ko) 2018-06-29 2018-06-29 영상에서 객체를 인식하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102117007B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396337B1 (ko) * 2020-02-26 2022-05-10 네이버랩스 주식회사 오브젝트 기반 증강 컨텐츠의 위치 기반 ar 연동을 위한 전자 장치 및 그의 동작 방법
KR102259877B1 (ko) 2020-12-22 2021-06-07 주식회사 딥노이드 심층신경망을 기초로 다중 방향 영상에서 객체를 검출하기 위한 장치 및 이를 위한 방법
KR102472115B1 (ko) * 2021-02-04 2022-11-29 (주)스마트큐브 다자간 온라인 업무 협업을 위한 증강현실 기반의 화상회의를 제공하기 위한 장치 및 이를 위한 방법
KR102369019B1 (ko) * 2021-05-11 2022-02-28 이은령 증강현실 컨텐츠를 공유하는 시스템 및 그 방법
KR102440412B1 (ko) * 2021-11-17 2022-09-06 주식회사 일리소프트 팝업북, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360349B1 (ko) 2013-10-18 2014-02-24 브이씨에이 테크놀러지 엘티디 객체의 특징 정보에 기반한 객체 추적 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20160002214A (ko) 2014-06-30 2016-01-07 주식회사 선익시스템 모노머 포집유닛 및 이를 포함하는 모노머 증착장치
KR101600456B1 (ko) * 2015-12-31 2016-03-08 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360349B1 (ko) 2013-10-18 2014-02-24 브이씨에이 테크놀러지 엘티디 객체의 특징 정보에 기반한 객체 추적 방법 및 장치

Also Published As

Publication number Publication date
KR20200010655A (ko) 2020-01-31

Similar Documents

Publication Publication Date Title
KR102117007B1 (ko) 영상에서 객체를 인식하는 방법 및 장치
US10767997B1 (en) Systems and methods for providing immersive extended reality experiences on moving platforms
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
CN110555390B (zh) 基于半监督训练方式的行人重识别方法、装置及介质
KR102337362B1 (ko) 감시 시스템이 보다 정확하게 주변 상황을 식별하고 희귀 이벤트를 검출할 수 있도록 하기 위해, 생성 뉴럴 네트워크와 판별 뉴럴 네트워크를 포함하는 생성적 적대 신경망을 이용하여 합성여부판단불가 합성 이미지를 생성하는 방법과 장치
US20200193671A1 (en) Techniques for rendering three-dimensional animated graphics from video
US20180349526A1 (en) Method and system for creating and simulating a realistic 3d virtual world
CN109919122A (zh) 一种基于3d人体关键点的时序行为检测方法
US20200034633A1 (en) People flow estimation device, people flow estimation method, and recording medium
EP3410404B1 (en) Method and system for creating and simulating a realistic 3d virtual world
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN109543285B (zh) 一种融合数据驱动与强化学习的人群疏散仿真方法和系统
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US20210049415A1 (en) Behaviour Models for Autonomous Vehicle Simulators
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN110555869A (zh) 提取增强现实系统中主要和次级运动的方法和系统
CN112116684A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110956684B (zh) 基于残差网络的人群运动疏散仿真方法及系统
CN110909625A (zh) 一种计算机视觉基础网络训练识别构建方法及装置
CN111008622B (zh) 一种图像对象检测方法、装置以及计算机可读存储介质
CN115357500A (zh) 自动驾驶系统的测试方法、装置、设备和介质
Venugopal et al. An Adaptive DeepLabv3+ for Semantic Segmentation of Aerial Images Using Improved Golden Eagle Optimization Algorithm
Burkert et al. UAV-based monitoring of pedestrian groups
KR102507892B1 (ko) 객체 상태 인식 방법, 장치 및 컴퓨터 프로그램
Fata et al. Zahmah social force model for pedestrian movement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant