KR102346964B1 - 객체 인식 장치 및 방법 - Google Patents

객체 인식 장치 및 방법 Download PDF

Info

Publication number
KR102346964B1
KR102346964B1 KR1020190151580A KR20190151580A KR102346964B1 KR 102346964 B1 KR102346964 B1 KR 102346964B1 KR 1020190151580 A KR1020190151580 A KR 1020190151580A KR 20190151580 A KR20190151580 A KR 20190151580A KR 102346964 B1 KR102346964 B1 KR 102346964B1
Authority
KR
South Korea
Prior art keywords
image
separation distance
information
objects
recognition result
Prior art date
Application number
KR1020190151580A
Other languages
English (en)
Other versions
KR20210063089A (ko
Inventor
이경한
김재원
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020190151580A priority Critical patent/KR102346964B1/ko
Publication of KR20210063089A publication Critical patent/KR20210063089A/ko
Application granted granted Critical
Publication of KR102346964B1 publication Critical patent/KR102346964B1/ko

Links

Images

Classifications

    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

개시된 객체 인식 장치는, 영상을 획득하는 획득부와, 객체로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하는 통신부와, 객체의 외형에 대한 정보가 저장된 저장부와, 제어부를 포함하고, 제어부는, 영상을 분석하여 화각 내에 위치한 객체와의 이격거리와 객체의 시선방향을 추정하며, 영상을 분석하여 추정한 이격거리와 시선방향, 무선 신호에 포함된 식별 정보와 시선방향 정보 및 객체의 외형에 대한 정보에 기초하여, 영상의 화각 내에 위치한 객체를 인식한다.

Description

객체 인식 장치 및 방법{METHOD AND APPARATUS FOR OBJECT RECOGNITION}
본 발명은 영상 내의 객체를 인식하는 장치와 이러한 장치에서 영상 내의 객체를 인식하는 방법에 관한 것이다.
주지하고 있는 바와 같이, 증강현실 서비스는 영상 내의 객체를 인식하고, 해당 객체의 정보를 영상에 정합할 수 있어야 한다.
종래 기술에 따르면, 객체 인식을 위하여 영상에서 객체의 고유한 특징을 추출하여 해당 객체를 구별 및 인식하고 있다.
그러나, 외형이 시각적으로 구분하기 어려운 특성을 가지는 객체에 대해서는 인식이 어려웠다. 영상 내에서 인식하여야 하는 객체의 수가 많아질수록 시각적으로 구분이 어려운 특징을 가진 객체에 대해서 유일한 특징을 추출하는 것이 어렵다는 근본적인 한계가 있다.
대한민국 공개특허공보 제10-2017-0086005호, 공개일자 2017년 7월 25일.
실시예에 따르면, 영상을 분석하여 획득한 객체의 정보와 객체로부터 수신된 정보에 기초하여 객체를 인식하는 객체 인식 장치 및 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 객체 인식 장치는, 영상을 획득하는 획득부와, 객체로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하는 통신부와, 상기 객체의 외형에 대한 정보가 저장된 저장부와, 제어부를 포함하고, 상기 제어부는, 상기 영상을 분석하여 화각 내에 위치한 상기 객체와의 이격거리와 상기 객체의 시선방향을 추정하며, 상기 무선 신호에 포함된 식별 정보와 시선방향 정보, 상기 영상을 분석하여 추정한 이격거리와 시선방향 및 상기 객체의 외형에 대한 정보에 기초하여, 상기 영상의 화각 내에 위치한 객체를 인식한다.
제 2 관점에 따른 객체 인식 장치의 객체 인식 방법은, 영상을 획득하는 단계와, 객체로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하는 단계와, 상기 영상을 분석하여 화각 내에 위치한 상기 객체와의 이격거리 및 상기 객체의 시선방향을 추정하는 단계와, 상기 무선 신호에 포함된 식별 정보와 시선방향 정보, 상기 영상을 분석하여 추정한 이격거리와 시선방향 및 기 획득된 상기 객체의 외형에 대한 정보에 기초하여, 상기 영상의 화각 내에 위치한 객체를 인식하는 단계를 포함한다.
제 3 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 객체 인식 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 객체 인식 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
실시예에 의하면, 영상 내의 객체와의 이격거리와 객체의 시선방향 및 객체의 외형에 대한 정보에 기초하여 객체를 인식함으로써, 높은 객체 인식률을 제공한다. 또한, 다른 객체에 의한 객체 인식 결과를 이용하여 객체를 인식함으로써, 더욱 향상된 객체 인식률을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 인식 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 객체 인식 장치에서 수행되는 객체 인식 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 11은 본 발명의 실시예에 따른 객체 인식 방법을 통해 객체 인식 장치가 영상 내의 객체를 인식하는 과정 중에 나타날 수 있는 여러 가지의 상황과 획득되는 데이터를 예시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 객체 인식 장치의 구성도이다.
도 1에 나타낸 바와 같이 실시예에 따른 객체 인식 장치(100)는 획득부(110), 통신부(120), 저장부(130) 및 제어부(140)를 포함한다.
획득부(110)는 영상을 획득하여 제어부(140)에 제공한다. 이러한 획득부(110)는 카메라 등과 같은 영상촬영수단을 포함할 수 있고, 영상촬영수단을 통하여 주변의 영상을 촬영 및 획득할 수 있다. 또는, 획득부(110)는 외부 인터페이스를 포함할 수 있고, 별도로 마련된 영상촬영수단에 의하여 촬영된 영상을 외부 인터페이스를 통하여 입력 받을 수도 있다.
통신부(120)는 객체로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하여 제어부(140)에 제공한다. 또, 통신부(120)는 제어부(140)의 제어에 따라 소정의 객체로부터 해당 객체가 획득한 영상의 화각 내에 위치한 다른 객체에 대한 인식 결과 정보를 수신하여 제어부(140)에 제공할 수 있다.
저장부(130)에는 객체의 외형에 대한 정보가 저장된다. 예를 들어, 객체의 외형에 대한 시각 정보가 해당 객체의 식별 정보와 함께 저장될 수 있다.
제어부(140)는 획득부(110), 통신부(120) 및 저장부(130)를 포함하는 객체 인식 장치(100)를 전반적으로 제어하고, 획득부(110)로부터 제공되는 영상의 화각 내에 위치하는 객체를 인식한다. 예를 들어, 제어부(140)는 마이크로프로세서(microprocessor) 등과 같인 컴퓨팅 연산수단을 포함할 수 있다. 이러한, 제어부(140)는 영상을 분석하여 화각 내에 위치한 객체와의 이격거리와 객체의 시선방향을 추정하며, 무선 신호에 포함된 식별 정보와 시선방향 정보, 영상을 분석하여 추정한 이격거리와 시선방향 및 저장부(130)에 기저장된 객체의 외형에 대한 정보에 기초하여, 영상의 화각 내에 위치한 객체를 인식할 수 있다. 또, 제어부(140)는 무선 신호를 이용하여 객체와의 이격거리를 추정하고, 객체를 인식할 때에 무선 신호를 이용하여 추정한 이격거리를 추가로 이용할 수 있다.
또한, 제어부(140)는 다른 객체로부터 해당 객체가 획득한 영상의 화각 내에 위치한 다른 객체에 대한 인식 결과 정보를 수신하도록 통신부(120)를 제어할 수 있고, 객체를 인식할 때에 다른 객체로부터 수신된 객체에 대한 인식 결과 정보를 추가로 이용할 수 있다. 여기서, 제어부(140)는 자신이 포함된 객체 인식 장치(100)를 화각 내에 위치한 다른 객체로 인식한 객체로부터 객체에 대한 인식 결과 정보를 수신하도록 통신부(120)를 제어할 수 있다. 또, 제어부(140)는 복수의 다른 객체로부터 객체에 대한 인식 결과 정보를 수신하도록 통신부(120)를 제어할 수 있고, 다른 객체들 중 멀리 이격된 객체로부터 수신된 객체 인식 결과 정보를 가까이 이격된 객체로부터 수신된 객체 인식 결과 정보보다 우선 이용하여 객체를 인식할 수 있다.
도 2는 본 발명의 실시예에 따른 객체 인식 장치에서 수행되는 객체 인식 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 13은 본 발명의 실시예에 따른 객체 인식 방법을 통해 객체 인식 장치가 영상 내의 객체를 인식하는 과정 중에 나타날 수 있는 여러 가지의 상황과 획득되는 데이터를 예시한 것이다.
이하, 도 1 내지 도 13을 참조하여 본 발명의 실시예에 따른 객체 인식 장치(100)에서 수행되는 객체 인식 방법을 자세히 살펴보기로 한다.
먼저, 객체 인식 장치(100)의 획득부(110)는 영상을 획득하여 객체 인식 장치(100)의 제어부(140)에 제공한다(S210).
그리고, 객체 인식 장치(100)의 통신부(120)는 제어부(140)의 제어에 따라 객체로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하여 제어부(140)에 제공한다(S220).
그러면, 제어부(140)는 획득부(110)로부터 제공 받은 영상을 분석하여 화각 내에 위치한 객체와의 이격거리와 객체의 시선방향을 추정한다. 예를 들어, 제어부(140)는 영상 내에 객체가 존재하는지를 파악할 수 있다. 예컨대, 공지의 외곽선 검출 알고리즘 등을 이용하여 영상 내에 존재하는 복수의 객체에 대하여 형상을 검출할 수 있고, 검출된 형상과 객체로부터 수신된 무선 신호에 포함된 식별 정보 및 저장부(130)에 기저장된 객체의 외형에 대한 정보를 비교한 결과에 기초하여 식별 대상 객체를 판별할 수 있다.
그리고, 제어부(140)는 식별 대상 객체의 종류별로 기저장된 시각적 키포인트를 영상 내에서 추출한 후 객체 인식 장치(100)의 시각적 키포인트와의 상대적 회전 정도에 기초하여 해당 객체의 시선방향을 추정할 수 있다. 예컨대, 식별 대상 객체가 헤드 업 디스플레이(Head Up Display)을 착용한 사람일 경우에 사람의 코와 입이 시각적 키포인트일 수 있다. 아울러, 제어부(140)는 객체와의 이격거리를 추정하기 위하여 다양한 공지의 알고리즘을 이용할 수 있다. 예컨대, 알려진 크기의 물체에 대한 상태 크기를 예측하는 알고리즘, 핀홀(Pinhole) 카메라의 원리를 이용하여 맺혀진 상에 기초하여 거리를 추정하는 알고리즘, SLAM(Simultaneous localization and mapping) 알고리즘 등을 이용할 수 있다(S230).
아울러, 제어부(140)는 단계 S220에서 수신된 무선 신호를 이용하여 객체와의 이격거리를 추정할 수 있다. 객체 인식 장치(100)의 주변에 위치하는 객체들 중 객체 인식 장치(100)의 시선 내, 즉 단계 S210에서 획득된 영상의 화각 내에 위치하는 객체는 단계 S230에서 이격거리를 추정하였으나, 단계 S210에서 획득된 영상의 화각 외부에 위치하는 객체는 단계 S230에서 이격거리를 추정할 수 없기 때문에, 이들에 대해서는 무선 신호를 이용하여 이격거리를 추정하는 것이다. 예를 들어, 제어부(140)는 무선 신호의 신호세기와 높낮이에 따라 이격거리를 추정하는 거리측정법, 통신부(120)와 객체 사이의 신호왕복시간의 장단에 따라 이격거리를 추정하는 거리측정법 등을 이용할 수 있다(S240). 다만, 객체 인식 장치(100)의 시선 내에 있는 객체만을 인식하는 경우라면 객체 인식 장치(100)의 시선 외부에 있는 객체에 대하여 이격거리를 추정하는 단계 S240을 생략할 수도 있다.
다음으로, 제어부(140)는 단계 S220에서 수신한 무선 신호에 포함된 식별 정보와 시선방향 정보, 단계 S230에서 영상을 분석하여 추정한 이격거리와 시선방향 및 저장부(130)에 기저장된 객체의 외형에 대한 정보에 기초하여, 영상의 화각 내에 위치한 객체를 인식할 수 있다. 여기서, 제어부(140)는 단계 S240에서 무선 신호를 추정한 객체와의 이격거리를 추가로 이용하여 객체를 인식할 수도 있다. 다만, 제어부(140)는 동일한 객체임에도 단계 S230에서 추정한 이격거리와 단계 S240에서 추정한 이격거리가 다를 경우에는 단계 S230에서 추정한 이격거리를 우선 이용하여 객체를 인식할 수 있다(S260).
그런데, 식별 대상 객체 중 외형의 시각적 정보가 유사한 객체들의 시선방향이 동일하거나 유사하고 이격거리 또한 동일하거나 유사할 경우에는 객체 인식 과정에서 이들이 분별되지 않을 수 있다. 도 3은 사용자(310)의 시야(311) 내에 객체들(321, 322, 323)이 위치하고, 사용자(310)의 시야(311) 외부에 객체들(324, 325, 326)이 위치하는 상황을 예시하였고, 각 객체들이 갖는 외형의 시각적 정보를 패턴으로 표현하였다. 도 3의 상황에서 제어부(140)는 외형의 시각적 정보가 서로 다른 객체들(322, 323, 324, 326)은 단계 S260에서 분별할 수 있지만 외형의 시각적 정보가 동일하거나 유사한 객체들(321, 325)에 대해서는 분별에 어려움을 겪을 수 있다.
이처럼, 일부 객체에 대한 분별의 어려움을 해소하기 위하여, 제어부(140)는 통신부(120)를 제어하여, 다른 객체로부터 해당 객체가 획득한 영상의 화각 내에 위치한 다른 객체에 대한 인식 결과 정보를 수신할 수 있고(S250), 객체를 인식할 때에 다른 객체로부터 수신된 객체에 대한 인식 결과 정보를 추가로 이용할 수 있다. 여기서, 제어부(140)는 자신이 포함된 객체 인식 장치(100)를 화각 내에 위치한 다른 객체로 인식한 객체로부터 객체에 대한 인식 결과 정보를 수신하도록 통신부(120)를 제어할 수 있다. 이는 객체 인식 장치(100)를 객체로서 식별하였다는 것은 해당 객체로부터 제공받고자 하는 인식 결과 정보가 그만큼 신뢰성을 갖는다고 유추할 수 있기 때문이다. 또, 제어부(140)는 복수의 다른 객체로부터 객체에 대한 인식 결과 정보를 수신하도록 통신부(120)를 제어할 수 있고(S250), 다른 객체들 중 멀리 이격된 객체로부터 수신된 객체 인식 결과 정보를 가까이 이격된 객체로부터 수신된 객체 인식 결과 정보보다 우선 이용하여 객체를 인식할 수 있다(S260). 이는 객체 인식 장치(100)로부터 가까이 이격된 객체보다 멀리 이격된 격체가 객체 인식 장치(100)를 기준으로 할 때에 상대적으로 넓은 시야를 통하여 상대적으로 더 많은 객체들에 대한 정보를 갖는다고 유추할 수 있기 때문이다.
객체 인식 장치(100)가 단계 S210 내지 단계 S260을 수행하면 주변에 위치하는 객체들을 정확하게 인식할 수 있다. 이러한 객체 인식 장치(100)를 포함하는 증강현실 장치는 영상 내의 객체의 정보를 영상에 정확하게 정합할 수 있고, 정보와 영상 간의 정확한 정합을 통하여 높은 수준의 증강현실 서비스를 제공할 수 있다.
앞서, 도 2를 참조하여 단계 S250을 수행하지 않는 경우보다 단계 S250을 수행하는 경우가 객체 인식률이 향상될 수 있음을 설명한 바 있으나, 도 4 내지 도 11을 참조하여 좀 더 자세히 살펴보기로 한다.
도 4, 도 5, 도 7, 도 9, 도 10 및 도 11에서 A부터 J까지의 오각형은 식별 대상 객체이고, 외형의 시각적 정보를 패턴으로 표현하였으며, 오각형의 두 둔각 사이의 꼭지점을 시선방향으로 표현하였다. 도 6은 각 객체들의 시선방향을 각도로 표현한 것이고, 도 8은 각 객체들의 상대적 이격거리를 표에 나타낸 것이다.
도 4에서, 객체 A의 시야(401) 내에 객체 B와 객체 C가 존재하는 경우에 객체 B와 객체 C는 외형의 시각적 정보가 상이하기 때문에, 객체 A는 저장부(130)에 기저장된 객체의 외형에 대한 정보만으로도 객체 B와 객체 C를 구별할 수 있다.
도 5 및 도 6에서, 객체 A의 시야(401) 내에 객체 D와 객체 E 및 객체 F가 존재하는 경우에 객체 E는 외형의 시각적 정보가 상이하기 때문에 저장부(130)에 기저장된 객체의 외형에 대한 정보만으로 구별할 수 있고, 객체 D와 객체 F는 단계 S220에서 수신한 시선방향 또는 단계 S230에서 추정한 시선방향이 340도와 80도로서 서로 상이하기에 구별할 수 있다.
도 6 내지 도 8에서, 객체 A의 시야(401) 내에 객체 G와 객체 H가 존재하는 경우에 이 두 개의 객체들은 외형의 시각적 정보가 동일 또는 유사하고, 시선방향 또한 동일한 20도이며, 객체 A와 객체 G의 이격거리가 5m임과 아울러 객체 A와 객체 H의 이격거리가 5m로서 동일하다. 이 경우에, 단계 S240 이후 곧바로 단계 S260을 수행하면, 객체 A는 객체 G와 객체 H를 구별하기 어려운 상황에 놓인다.
도 7 및 도 9에서, 객체 A는 객체 F의 시야(402)에 포함되는 상태이기에 객체 F로부터 단계 S250을 통하여 객체 F에 의한 객체에 대한 인식 결과 정보를 수신한다. 이때, 객체 F의 관점에서 살펴보면, 객체 A와 객체 G의 외형의 시각적 정보만으로 구별할 수 있다. 그러므로, 객체 F가 객체 A에게 제공하는 객체에 대한 인식 결과 정보에는 객체 G에 대한 인식 정보(예컨대, 식별 정보)가 포함되어 있고, 객체 G에 대한 인식 정보를 제공받은 객체 A는 객체 G와 객체 H를 구별할 수 있다.
도 10 및 도 11은, 객체 B의 시야(403) 내에 객체 A와 객체 G 및 객체 H가 존재하는 경우로서, 객체 A는 객체 G와 객체 H를 외형의 시각적 정보, 이격거리 및 시선방향까지 고려하더라도 구별할 수 없는 상황이다. 객체 B의 관점에서는 객체 A는 외형의 시각적 정보만으로 구별할 수 있고, 객체 G와 객체 H는 이격거리까지 비교하면 구별할 수 있다. 이 경우에, 객체 B에 의한 객체에 대한 인식 결과 정보가 객체 A에게 제공되면, 객체 A는 객체 B로부터 제공받은 객체에 대한 인식 결과 정보에 기초하여 객체 G와 객체 H를 구별할 수 있다.
지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상 내의 객체와의 이격거리와 객체의 시선방향 및 객체의 외형에 대한 정보에 기초하여 객체를 인식함으로써, 높은 객체 인식률을 제공한다. 또한, 다른 객체에 의한 객체 인식 결과를 이용하여 객체를 인식함으로써, 더욱 향상된 객체 인식률을 제공할 수 있다.
한편, 본 발명의 실시예에 따라 주변의 객체들을 정확히 인식할 수 있는 증강현실 장치는 영상 내의 객체의 정보를 영상에 정확하게 정합할 수 있고, 정보와 영상 간의 정확한 정합을 통하여 높은 수준의 증강현실 서비스를 제공할 수 있다. 이러한 증강현실 장치는 단계 S260에서 주변 객체들로부터 수신된 객체 인식 결과 정보를 이용하여 객체를 인식할 때에 전술한 바와 같이 멀리 이격된 객체로부터 수신된 객체 인식 결과 정보를 가까이 이격된 객체로부터 수신된 객체 인식 결과 정보보다 우선 이용하여 객체를 인식할 수 있는데, 이때 정보와 영상 간의 정합을 이룬 객체의 수가 고려될 수 있다. 예컨대, 주변의 증강현실 장치들 중 정보와 영상 간의 정합을 이룬 객체의 수가 많은 증강현실 장치로부터 수신된 객체 인식 결과 정보를 정보와 영상 간의 정합을 이룬 객체의 수가 적은 증강현실 장치로부터 수신된 객체 인식 결과 정보를 우선 이용하여 객체를 인식할 수 있다. 또한, 본 발명의 실시예에 따른 증강현실 장치는 단계 S250에서 수행하는 객체 인식 결과 정보에 대한 수신 과정을 모든 객체에 대한 정보와 영상 간의 정합이 완료될 때까지 여러 회에 걸쳐서 반복 수행할 수 있다.본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 객체 인식 장치
110: 획득부
120: 통신부
130: 저장부
140: 제어부

Claims (17)

  1. 영상을 획득하는 획득부와,
    복수의 객체 중 적어도 하나로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하는 통신부와,
    상기 객체의 외형에 대한 정보가 저장된 저장부와,
    제어부를 포함하고,
    상기 제어부는, 상기 영상을 분석하여 상기 복수의 객체 중 화각 내에 위치한 객체와의 이격거리와 상기 화각 내에 위치한 객체의 시선방향을 추정하며, 상기 무선 신호에 포함된 식별 정보와 시선방향 정보, 상기 영상을 분석하여 추정한 이격거리와 시선방향 및 상기 외형에 대한 정보에 기초하여, 상기 화각 내에 위치한 객체를 인식하는
    객체 인식 장치.
  2. 제 1 항에 있어서,
    상기 제어부는, 상기 외형에 대한 정보를 상기 이격거리와 상기 시선방향보다 우선 이용하여 상기 객체를 인식하는
    객체 인식 장치.
  3. 제 1 항에 있어서,
    상기 제어부는, 상기 무선 신호를 이용하여 상기 객체와의 이격거리를 추정하고, 상기 무선 신호를 이용하여 추정한 이격거리를 추가 이용하여 상기 객체를 인식하는
    객체 인식 장치.
  4. 제 3 항에 있어서,
    상기 제어부는, 상기 영상을 분석하여 추정한 이격거리와 상기 무선 신호를 이용하여 추정한 이격거리가 다를 경우 상기 영상을 분석하여 추정한 이격거리를 상기 객체의 인식에 이용하는
    객체 인식 장치.
  5. 제 1 항에 있어서,
    상기 통신부는, 상기 객체로부터 상기 객체가 획득한 영상의 화각 내에 위치한 다른 객체에 대한 인식 결과 정보를 수신하고,
    상기 제어부는, 상기 인식 결과 정보를 추가 이용하여 상기 객체를 인식하는
    객체 인식 장치.
  6. 제 5 항에 있어서,
    상기 제어부는, 상기 객체 인식 장치를 다른 객체로 인식한 객체로부터 상기 인식 결과 정보를 수신하도록 상기 통신부를 제어하는
    객체 인식 장치.
  7. 제 5 항에 있어서,
    상기 통신부가 상기 인식 결과 정보를 수신하는 상기 다른 객체는 복수이고,
    상기 제어부는, 상기 복수의 다른 객체 중 멀리 이격된 객체로부터 수신된 상기 인식 결과 정보를 가까이 이격된 객체로부터 수신된 상기 인식 결과 정보보다 우선 이용하여 상기 객체를 인식하는
    객체 인식 장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항의 객체 인식 장치를 포함하는 증강현실 장치.
  9. 객체 인식 장치의 객체 인식 방법으로서,
    영상을 획득하는 단계와,
    복수의 객체 중 적어도 하나로부터 식별 정보와 시선방향 정보가 포함된 무선 신호를 수신하는 단계와,
    상기 영상을 분석하여 상기 복수의 객체 중 화각 내에 위치한 상기 객체와의 이격거리 및 상기 화각 내에 위치한 객체의 시선방향을 추정하는 단계와,
    상기 무선 신호에 포함된 식별 정보와 시선방향 정보, 상기 영상을 분석하여 추정한 이격거리와 시선방향 및 기 획득된 객체 외형에 대한 정보에 기초하여, 상기 화각 내에 위치한 객체를 인식하는 단계를 포함하는
    객체 인식 방법.
  10. 제 9 항에 있어서,
    상기 객체를 인식하는 단계는, 상기 외형에 대한 정보를 상기 이격거리와 상기 시선방향보다 우선 이용하여 상기 객체를 인식하는
    객체 인식 방법.
  11. 제 9 항에 있어서,
    상기 무선 신호를 이용하여 상기 객체와의 이격거리를 추정하는 단계를 더 포함하고,
    상기 객체를 인식하는 단계는, 상기 무선 신호를 이용하여 추정한 이격거리를 추가 이용하여 상기 객체를 인식하는
    객체 인식 방법.
  12. 제 11 항에 있어서,
    상기 객체를 인식하는 단계는, 상기 영상을 분석하여 추정한 이격거리와 상기 무선 신호를 이용하여 추정한 이격거리가 다를 경우 상기 영상을 분석하여 추정한 이격거리를 상기 객체의 인식에 이용하는
    객체 인식 방법.
  13. 제 9 항에 있어서,
    상기 객체로부터 상기 객체가 획득한 영상의 화각 내에 위치한 다른 객체에 대한 인식 결과 정보를 수신하는 단계를 더 포함하고,
    상기 객체를 인식하는 단계는, 상기 인식 결과 정보를 추가 이용하여 상기 객체를 인식하는
    객체 인식 방법.
  14. 제 13 항에 있어서,
    상기 인식 결과 정보를 수신하는 단계는, 상기 객체 인식 장치를 상기 다른 객체로 인식한 객체로부터 상기 인식 결과 정보를 수신하는
    객체 인식 방법.
  15. 제 13 항에 있어서,
    상기 인식 결과 정보를 수신하는 상기 다른 객체는 복수이고,
    상기 객체를 인식하는 단계는, 상기 복수의 다른 객체 중 멀리 이격된 객체로부터 수신된 상기 인식 결과 정보를 가까이 이격된 객체로부터 수신된 상기 인식 결과 정보보다 우선 이용하여 상기 객체를 인식하는
    객체 인식 방법.
  16. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    제 9 항 내지 제 15 항 중 어느 한 항의 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  17. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
    제 9 항 내지 제 15 항 중 어느 한 항의 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
KR1020190151580A 2019-11-22 2019-11-22 객체 인식 장치 및 방법 KR102346964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190151580A KR102346964B1 (ko) 2019-11-22 2019-11-22 객체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151580A KR102346964B1 (ko) 2019-11-22 2019-11-22 객체 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210063089A KR20210063089A (ko) 2021-06-01
KR102346964B1 true KR102346964B1 (ko) 2022-01-03

Family

ID=76375960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151580A KR102346964B1 (ko) 2019-11-22 2019-11-22 객체 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102346964B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274556B1 (ko) * 2011-08-17 2013-06-17 국방과학연구소 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법
KR20170086005A (ko) 2017-07-14 2017-07-25 주식회사 비즈모델라인 거리 차이를 이용한 증강현실 제공 방법
KR20190111262A (ko) * 2018-03-22 2019-10-02 울산대학교 산학협력단 시각 장애인을 위한 장애물 거리 측정 단말기

Also Published As

Publication number Publication date
KR20210063089A (ko) 2021-06-01

Similar Documents

Publication Publication Date Title
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US8638987B2 (en) Image-based hand detection apparatus and method
US20150204687A1 (en) Apparatus and method of guiding lane change based on augmented reality
US20140062862A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
TWI640931B (zh) 影像目標追蹤方法及裝置
US20140062861A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
KR102005150B1 (ko) 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법
CN109478227A (zh) 计算设备上的虹膜或其他身体部位识别
WO2017064838A1 (ja) 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法
CN105279492A (zh) 虹膜识别的方法和装置
JP6265592B2 (ja) 顔特徴抽出装置および顔認証システム
CN111222379A (zh) 一种手部检测方法及装置
JP2011089784A (ja) 物体方向推定装置
KR101668555B1 (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
US20160335916A1 (en) Portable device and control method using plurality of cameras
KR102346964B1 (ko) 객체 인식 장치 및 방법
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
US10915772B2 (en) Apparatus and method for registering face pose for face recognition
WO2021026281A1 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
CN108197628B (zh) 基于深度神经网络的图像特征的联合判断方法
KR20120132337A (ko) 음성 인식을 이용하는 사용자 인터페이스 제어 장치 및 방법
US20210166012A1 (en) Information processing apparatus, control method, and non-transitory storage medium
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
US20160188856A1 (en) Authentication device, authentication method, and non-transitory computer readable medium
JP5975828B2 (ja) 顔特徴抽出装置および顔認証システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant