KR20150127503A - 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR20150127503A
KR20150127503A KR1020140054444A KR20140054444A KR20150127503A KR 20150127503 A KR20150127503 A KR 20150127503A KR 1020140054444 A KR1020140054444 A KR 1020140054444A KR 20140054444 A KR20140054444 A KR 20140054444A KR 20150127503 A KR20150127503 A KR 20150127503A
Authority
KR
South Korea
Prior art keywords
information
representative
image
feature information
interpolation
Prior art date
Application number
KR1020140054444A
Other languages
English (en)
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140054444A priority Critical patent/KR20150127503A/ko
Priority to PCT/KR2014/010555 priority patent/WO2015133699A1/ko
Publication of KR20150127503A publication Critical patent/KR20150127503A/ko
Priority to KR1020210090749A priority patent/KR102388230B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

본 발명은 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 객체에 대하여 다각도에서 촬영한 이미지 각각에 대한 특징을 추출하여 저장하고, 해당 특징을 기초로 사용자가 질의하는 객체에 대한 정확한 인식을 통해 객체 관련 정보를 제공하는 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 사용자가 객체의 질의를 위해 생성한 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높여 객체와 관련된 정보 제공의 정확도 및 신뢰도를 높이는 효과가 있다.

Description

객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체{Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor}
본 발명은 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 객체에 대하여 다각도에서 촬영한 이미지 각각에 대한 특징을 추출하여 저장하고, 해당 특징을 기초로 사용자가 질의하는 객체에 대한 정확한 인식을 통해 객체 관련 정보를 제공하는 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
이미지 프로세스의 발전과 더불어 객체의 정확한 인식을 통해 객체와 관련된 다양한 정보를 제공하는 서비스가 다양하게 등장하고 있다. 이와 같은 서비스는 주로 다수의 객체에 대한 정보를 저장하며, 수많은 객체 중에서 사용자가 질의하는 객체를 다른 객체와 구분하는 것이 요구되기 때문에 객체 인식의 정확도를 높이는 것이 무엇보다 중요하다.
기존의 객체 인식 프로세스는 2차원적인 이미지에 한정하여 단순 이미지 비교를 통해 객체를 구분하는 방식이 대부분이므로, 서비스 제공자 측에 저장된 이미지와 사용자가 질의하는 이미지의 촬영각도가 상이한 경우 객체의 인식 정확도가 하락하며, 이에 따라 객체 관련 정보를 정확히 제공하는데 어려움이 있다.
따라서, 사용자가 질의하는 객체에 대한 정확한 인식을 통해 객체 관련 정보제공에 대한 정확도를 높이기 위한 대안이 요구되고 있다.
한국공개특허 제10-2011-0136028호 [발명의 명칭: 가상 점을 통해 객체를 인식하는 증강현실 장치]
본 발명은 다수의 각도에서 촬영된 객체의 특징정보를 저장하고, 사용자가 질의하는 객체에 대한 특징정보와 상호 비교하여 일치하는 특징정보를 기초로 객체를 식별하며, 다수의 각도에서 촬영된 객체의 특징정보를 기초로 특정 각도에서 유추되는 객체의 특징정보를 생성하여 저장함으로써 사용자가 질의하는 객체의 인식 정확도를 높이도록 하는데 그 목적이 있다.
또한, 본 발명은 사용자가 질의하는 객체에 대한 이미지로부터 추출된 특징정보와 일치하는 미리 저장된 특징정보가 존재하지 않는 경우 사용자 장치의 촬영각도를 조정하도록 유도하여 미리 저장된 특징정보에 대응되는 각도와 일치시켜 매칭이 이루어지도록 함으로써 객체 인식 정확도를 높이는데 그 목적이 있다.
본 발명의 실시예에 따른 객체 인식 서비스 제공 장치는 영상으로부터 특징정보를 추출하는 객체 특징 추출부, 객체에 대하여 대표각도에서 촬영된 하나 이상의 대표 이미지와 객체 특징 추출부를 통해 각 대표 이미지에 대하여 추출된 대표 특징정보를 객체 관련 정보에 매칭하여 저장하는 제 1 저장부, 제 1 저장부의 각 대표 이미지를 기준으로 가상 공간 상에 매핑되는 보간 이미지를 생성하고, 보간 이미지로부터 객체 특징 추출부를 통해 보간 특징정보를 생성하는 가상공간 매핑부, 가상공간 매핑부가 생성한 보간 이미지와 보간 특징정보를 객체 관련 정보와 매칭하여 저장하는 제 2 저장부 및 사용자 장치로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 쿼리 이미지로부터 특징을 추출하여 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공하며, 기준치 이상 일치되는 대표 특징정보가 없는 경우 제 2 저장부와 비교하여 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 비교부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 가상공간 매핑부는 대표 이미지의 대표 각도에 대응되는 가상공간의 위치정보를 상호 매핑시켜 대표 이미지를 가상 공간 상에 모델링하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 가상공간 매핑부는 가상공간 상의 모델링된 각 대표 이미지의 위치정보를 기초로 가상공간 상에서 서로 다른 대표 이미지 사이에 매핑되어 서로 다른 대표 이미지 사이를 보간하는 보간 이미지를 생성하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 비교부는 제 1 및 제 2 저장부를 통해 미리 설정된 기준치 이상 일치되는 특징정보가 없는 경우 가상공간 매핑부와 연동하여 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 제 1 및 제 2 저장부 중 어느 하나에 저장된 특징정보를 추출하고, 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 쿼리 이미지에 대한 가상공간 상의 위치정보의 차이를 연산하여 차이에 따른 이동정보를 생성한 후 사용자 장치로 전송하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 비교부는 쿼리이미지의 촬영각도에 대한 각도정보를 수신하여 가상공간 상의 위치정보와 매핑시킨 후 쿼리이미지에 대한 위치정보를 생성하며, 가상공간 상에서 쿼리이미지의 위치정보를 추출된 특징정보에 대응되는 대표 또는 보간 이미지의 위치정보와 일치시키기 위한 이동방향 및 이동거리에 대한 이동정보를 생성하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 객체 인식 서비스 제공을 위한 사용자 장치는 객체에 대한 영상을 촬영하는 카메라부, 카메라부로부터 촬영된 영상에 대한 특징정보를 추출하는 객체 특징 추출부, 객체에 대하여 하나 이상의 대표각도에서 촬영된 하나 이상의 대표 이미지와 객체 특징 추출부를 통해 각 대표 이미지로부터 추출된 대표 특징정보를 객체 관련 정보와 매칭하여 저장하는 제 1 저장부, 제 1 저장부의 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지를 생성하고, 각 보간 이미지로부터 객체 특징 추출부를 통해 보간 특징정보를 생성하는 가상공간 매핑부, 가상공간 매핑부가 생성한 보간 이미지와 보간 특징정보를 객체 관련 정보와 매칭하여 저장하는 제 2 저장부 및 카메라부로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 쿼리 이미지로부터 객체 특징 추출부를 통해 특징을 추출하여 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공하며, 기준치 이상 일치되지 않는 경우 제 2 저장부와 비교하여 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 비교부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 비교부는 제 1 및 제 2 저장부와의 비교를 통해 일치되는 객체가 없는 경우 가상공간 매핑부와 연동하여 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 제 1 및 제 2 저장부 중 어느 하나에 저장된 특징정보를 추출하고, 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 쿼리 이미지에 대한 가상공간 상의 위치정보의 차이를 연산한 후 차이에 따른 이동정보를 생성하여 출력부를 통해 출력하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 객체 인식 서비스 제공 방법은 객체 인식 서비스 제공 장치가 사용자 장치로부터 객체에 대한 쿼리 이미지를 수신하여 객체 특징정보를 추출하는 단계, 객체 인식 서비스 제공 장치가 객체에 대하여 복수의 대표각도에서 촬영된 복수의 대표 이미지 및 각 대표 이미지에 대한 대표 특징정보가 객체 관련 정보와 매칭되어 저장된 제 1 저장부와 객체 특징정보를 상호 비교하여 미리 설정된 기준치 이상 일치하는 대표 특징정보에 매칭된 객체 관련 정보를 제공하는 단계, 기준치 이상 일치하지 않는 경우 객체 인식 서비스 제공 장치가 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지 및 각 보간 이미지에 대한 보간 특징정보가 객체 관련 정보와 매칭되어 저장된 제 2 저장부와 객체 특징정보를 상호 비교하여 미리 설정된 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서, 객체 인식 서비스 제공 장치는 제 1 및 제 2 저장부에 객체 특징정보와 미리 설정된 기준치 이상 일치되는 특징정보가 없는 경우 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 제 1 및 제 2 저장부 중 어느 하나에 저장된 특징정보를 추출하고, 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 쿼리 이미지에 대한 가상공간 상의 위치정보의 차이를 연산하여 차이에 따른 이동정보를 생성한 후 사용자 장치로 전송하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 객체 인식 서비스 제공 시스템은 객체에 대한 쿼리이미지를 생성하여 전송하는 사용자 장치 및 사용자 장치로부터 수신된 쿼리이미지에 대한 객체 특징정보를 추출하며, 객체 특징정보를 객체에 대하여 대표각도에서 촬영된 하나 이상의 대표 이미지와 각 대표 이미지로부터 추출된 대표 특징정보가 객체 관련 정보와 매칭되어 저장된 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공하며, 기준치 이상 일치되지 않는 경우 제 1 저장부의 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지 및 각 보간 이미지에 대한 특징정보가 객체 관련 정보와 매칭되어 저장된 제 2 저장부와 비교하여 미리 설정된 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 객체 인식 서비스 제공 장치를 포함할 수 있다.
본 발명은 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 사용자가 객체의 질의를 위해 생성한 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높여 객체와 관련된 정보 제공의 정확도 및 신뢰도를 높이는 효과가 있다.
또한, 본 발명은 사용자 장치로부터 수신되는 쿼리이미지에 포함된 객체와 유사한 객체를 DB에서 찾을 수 없는 경우 쿼리 이미지와 유사하다고 판단되는 객체에 대한 대표 또는 보간 이미지의 촬영각도로 조정하기 위한 이동정보를 사용자 장치로 제공한 후 이동정보에 따른 촬영각도에서 재촬영된 쿼리 이미지를 다시 인식하여 대표 또는 보간 이미지의 촬영각도와 동일한 촬영 각도에서 쿼리이미지에 대하여 더욱 정확한 객체 인식이 이루어질 수 있으며, 이를 통해 객체 인식의 정확도 및 신뢰도를 크게 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 객체 인식 서비스 제공 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 상세 구성도.
도 3은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 대표 이미지에 대한 가상공간 매핑 과정을 도시한 예시도.
도 4는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 가상공간 상에 매핑되는 보간 이미지의 생성에 대한 예시도.
도 5는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 보간 이미지에 대한 특징정보 추출 과정을 도시한 구성도.
도 6은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 제 1 및 제 2 DB 관리에 대한 구성 예시도.
도 7은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 사용자가 제공한 쿼리이미지로부터 객체 인식을 통한 객체 관련 정보 제공에 대한 구성도.
도 8은 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치의 객체 인식 실패시 사용자 장치의 촬영각도 조정을 유도하기 위한 구성 예시도.
도 9는 본 발명의 실시예에 따른 객체 인식 서비스 제공을 위한 사용자 장치의 구성도.
도 10은 본 발명의 실시예에 따른 객체 인식 서비스 제공 방법에 대한 순서도.
이하, 도면을 참고하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 객체 인식 서비스 제공 시스템의 구성도로서, 해당 시스템은 도시된 바와 같이 카메라를 통해 객체를 촬영하여 객체에 대한 쿼리이미지를 생성한 후 통신망을 통해 전송하는 사용자 장치(100)와, 사용자 장치(100)로부터 통신망을 통해 쿼리이미지를 수신하고, 쿼리이미지로부터 객체를 인식하여 객체 관련 정보를 제공하는 객체 인식 서비스 제공 장치(200)를 포함할 수 있다.
이때, 통신망은 널리 알려진 다양한 통신방식이 적용될 수 있다. 또한, 각 사용자 장치(100)는 내비게이션 단말기, 태블릿 PC(Tablet PC), 랩톱(Laptop), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등을 포함할 수 있으며, 객체 인식 서비스 제공 장치(200)는 서버로 구성될 수 있다.
객체 인식 서비스 제공 장치(200)는 사용자 장치(100)로부터 수신된 쿼리이미지에 대한 특징정보를 추출하며, 객체에 대하여 서로 상이한 대표각도에서 촬영된 하나 이상의 대표 이미지와 각 대표 이미지로부터 추출된 특징정보가 객체와 연동하여 저장된 제 1 DB와 쿼리이미지의 특징정보를 비교한 후 미리 설정된 기준치 이상 일치하는 특징정보를 추출하고, 추출된 특징정보에 대응되는 객체 관련 정보를 사용자 장치(100)로 전송하여 제공할 수 있다.
또한, 객체 인식 서비스 제공 장치(200)는 제 1 DB와 쿼리이미지 사이의 특징정보 비교를 통해 일치되는 특징정보가 없는 경우 제 1 DB의 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지와 각 보간 이미지에 대한 특징정보가 객체와 연동하여 저장된 제 2 DB를 비교하여 유사도가 미리 설정된 수치 이상인 특징정보를 추출하여, 추출되는 특징정보에 대응되는 객체 관련 정보를 사용자 장치(100)로 전송하여 제공할 수 있다.
이와 같이 객체 인식 서비스 제공 장치(200)는 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높일 수 있다.
도 2는 본 발명의 실시예에 따른 객체 인식 서비스 제공 장치(200)의 상세 구성도로서, 도시된 바와 같이 객체 특징 추출부(210), 가상공간 매핑부(220), 비교부(230)를 포함할 수 있다.
객체 특징 추출부(210)는 도 3(a)에 도시된 바와 같이 파노라마 촬영 등과 같이 다수의 대표각도에서 객체에 대하여 촬영된 복수의 대표 이미지와 객체 관련 정보가 매칭 저장된 제 1 DB(240)로부터 각 대표 이미지를 추출하여 각 대표 이미지에 대한 미리 설정된 알고리즘에 따라 특징정보를 추출할 수 있다.
이때, 객체 특징 추출부(210)는 이미 널리 알려진 다양한 객체 특징 추출 알고리즘을 적용할 수 있으며, 이러한 알고리즘의 일례로, SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar-like Feature, Ferns, LBP(Local Binary Pattern), MCT(Modified Census Transform) 등이 적용될 수 있다.
또한, 객체 관련 정보는 객체와 관련된 식별번호(ID 등), 상품 정보, 제조사 정보 등을 포함할 수 있으며, 대표 이미지는 촬영된 대표각도에 대한 정보를 포함하거나 대표각도와 매칭되어 제 1 DB(240)에 저장될 수 있다. 여기서, 대표각도는 촬영각도를 의미할 수 있으며, 미리 설정된 중심점에서 X, Y, Z 방향으로 기울어진 각도를 의미할 수 있다.
한편, 객체 특징 추출부(210)는 대표 이미지로부터 추출된 대표 특징정보를 제 1 DB에 객체 관련 정보 및 각 대표 이미지와 매칭하여 저장할 수 있다.
또한, 가상공간 매핑부(220)는 도 3(b)에 도시된 바와 같이 각 대표각도를 미리 설정된 가상공간 상의 위치정보와 매핑하여 대표 이미지를 가상공간 상에 모델링 할 수 있다.
이때, 가상공간은 대표 이미지의 촬영 각도에 따른 현실공간에서의 카메라 위치가 반영된 모델일 수 있으며, 이를 통해 3차원 공간에서 카메라의 촬영 위치를 가상공간 상에 매핑하여 표현할 수 있다.
일례로, 가상공간 매핑부(220)는 대표 이미지의 촬영시 측정된 대표각도에 대응되는 가상공간 상의 위치를 상호 매핑하여 대표각도를 X, Y, Z 좌표로서 가상공간의 위치정보로 변환할 수 있으며, 이를 통해 3차원 형태의 가상 공간 상에 대표 이미지를 매핑시켜 모델링할 수 있다.
이를 통해, 가상공간 매핑부(220)는 가상공간 상의 위치정보를 기초로 가상공간 상에서 각 위치정보 사이에 위치하는 중간 위치정보에 대하여 중간 위치정보와 인접한 서로 다른 위치정보에 대응되는 대표 이미지 사이를 보간하는 보간 이미지를 생성할 수 있다.
이때, 가상공간 매핑부(220)는 중간 위치정보와 위치정보 사이에 위치하는 다른 중간 위치정보에 대하여 중간 위치정보에 대응되어 생성된 보간 이미지와 위치정보에 대응되는 대표 이미지를 보간하는 다른 보간 이미지를 생성할 수 있다.
일례로, 도 4에 도시된 바와 같이 가상공간 매핑부(220)는 촬영 2의 대표각도에서 촬영된 대표 이미지를 가상 공간상에서 대표각도에 대응되는 위치정보에 매핑하고, 촬영 3의 대표각도에서 촬영된 대표 이미지를 가상 공간상에서 대표각도에 대응되는 위치에 매핑하여 모델링할 수 있다.
이후, 가상공간 매핑부(220)는 촬영 2의 대표각도와 촬영 3의 대표각도에 각각 대응되는 위치정보 사이의 중간 위치정보에 대응되는 대표 이미지 사이를 보간하는 보간 이미지를 가상공간의 중간 위치정보에 매핑하여 생성할 수 있다. 일례로, 촬영 2의 대표각도가 도시된 바와 같이 45도이며, 촬영 3의 대표각도가 90도인 경우 가상공간 매핑부(220)는 가상공간의 위치정보를 기초로 대표각도인 45도 및 90도의 중간각도(60도)에 대한 위치정보에 매핑되는 보간 이미지를 생성할 수 있다.
이를 통해, 가상공간 매핑부(220)는 가상 공간 상의 X,Y,Z 좌표값를 가진 다수의 위치정보에 각각 매핑되는 대표 이미지 및 보간 이미지를 생성할 수 있다.
다음, 가상공간 매핑부(220)는 도 5에 도시된 바와 같이 생성된 보간 이미지 각각에 대하여 객체 특징 추출부(210)를 통해 보간 특징정보를 추출하여 생성할 수 있으며, 추출된 보간 특징정보, 보간 이미지 및 객체 관련 정보를 상호 매칭하여 제 2 DB(250)에 저장할 수 있다.
이를 통해, 도 6에 도시된 바와 같이 제 1 DB(240)에는 객체 관련 정보와 하나 이상의 대표 특징정보(PK1~PK10)가 매칭되어 저장될 수 있으며, 제 2 DB(250)에는 하나 이상의 보간 이미지를 통해 추출된 하나 이상의 보간 특징정보(Sub PK1~Sub PK50)가 객체 관련 정보와 매칭되어 저장될 수 있다.
상술한 바와 같은 구성을 통해, 가상공간 매핑부(220)는 대표 이미지를 가상 공간에 매핑하여 서로 다른 인접한 대표 이미지 사이를 보간하는 다수의 보간 이미지를 생성한 후 각 보간 이미지에 대한 특징정보를 추출함으로써, 다양한 각도에서 유추되는 객체에 대한 특징정보를 생성할 수 있으며 객체의 인식 범위를 크게 확장시킬 수 있다.
한편, 비교부(230)는 도 7에 도시된 바와 같이 사용자 장치(100)로부터 카메라를 통해 촬영된 객체에 대한 쿼리이미지를 수신하여, 사용자 장치(100)가 쿼리이미지를 통해 질의하는 객체에 대한 정보를 제공할 수 있다.
일례로, 도시된 바와 같이 비교부(230)는 쿼리이미지 수신시 객체 특징 추출부(220)와 연동하여 쿼리이미지에 포함된 객체에 대한 객체 특징정보를 추출할 수 있으며, 객체 특징정보를 제 1 DB(240)에 서로 다른 객체별로 저장된 특징정보와 비교하여 미리 설정된 기준치 이상 일치하는 대표 특징정보에 매칭된 객체 관련 정보를 제 1 DB(240)로부터 추출하여 사용자 장치(100)로 전송할 수 있다.
이때, 제 1 DB(240)에서 객체 특징정보와 미리 설정된 기준치 이상 일치하는 대표 특징정보가 제 1 DB(240)에 존재하지 않는 경우 비교부(230)는 제 2 DB(250)에 객체별로 저장된 보간 특징정보와 객체 특징정보를 상호 비교하여 미리 설정된 기준치 이상 일치하는 보간 특징정보에 매칭된 객체 관련 정보를 추출하여 사용자 장치(100)로 전송할 수 있다.
이와 같이, 비교부(230)는 대표 이미지로부터 추출된 특징정보를 기초로 객체를 인식할 수 없는 경우에도 대표 이미지를 보간하기 위한 보간 이미지로부터 추출된 특징정보를 이용하여 쿼리 이미지의 특징정보와 비교함으로써, 대표각도가 아닌 다른 각도에서 촬영된 이미지에 대해서도 객체 인식율을 크게 높일 수 있다.
더하여, 비교부(230)는 도 8에 도시된 바와 같이 객체 특징 추출부(210)를 통해 추출된 쿼리이미지에 대한 객체 특징정보와 미리 설정된 기준치 이상 일치하는 대표 특징정보 및 보간 특징정보가 제 1 및 제 2 DB(240, 250)에 모두 존재하지 않는 경우 유사도가 기설정된 수치 이상인 대표 또는 보간 특징정보에 대응되는 대표 또는 보간 이미지를 제 1 및 제 2 DB(240, 250) 중 어느 하나로부터 추출할 수 있다. 이때, 유사도는 기준치와 동일한 기준일 수 있으며, 이에 따라 비교부(230)는 쿼리이미지의 객체 특징정보와 미리 설정된 수치 이상 일치하는 대표 또는 보간 특징정보에 대응되는 대표 또는 보간 이미지를 추출할 수 있다.
이때, 비교부(230)는 쿼리이미지에 포함되거나 별개로 수신되는 쿼리이미지의 촬영각도에 대한 각도정보를 수신할 수 있으며, 각도정보를 가상공간 상에 매핑하여 쿼리이미지에 대응되는 위치정보를 산출할 수 있다.
또한, 비교부(230)는 추출된 대표 또는 보간 이미지에 대응되는 가상공간 상의 위치정보와 쿼리이미지의 촬영각도에 대응되는 가상공간 상의 위치정보의 차이를 연산하며, 가상공간 상에서 쿼리이미지의 위치정보를 추출된 대표 또는 보간 이미지의 위치정보와 일치시키기 위하여 연산된 차이에 따라 생성된 이동방향에 대한 이동정보를 생성한 후 사용자 장치로 전송할 수 있다. 이때, 촬영각도는 대표 각도와 마찬가지로 중심점에서 X, Y, Z 방향으로 기울어진 각도를 의미할 수 있다.
이때, 이동정보는 도시된 바와 같이 쿼리이미지의 위치정보에서 유사도가 미리 설정된 수치 이상인 대표 또는 보간 특징정보에 대응되는 이미지의 위치정보로 이동시키기 위한 방향 뿐만 아니라 거리를 포함할 수도 있다. 이때, 거리는 가상공간 상에서 두 위치정보 사이의 거리를 측정하여 가상공간과 실제 공간 사이의 연관관계에 따라 환산된 실제 거리일 수 있다.
다시 말해, 비교부(230)는 이동정보를 사용자 장치(100)로 전송하여 특징정보를 기초로 쿼리이미지에 대응되는 촬영 위치를 유사도가 기설정된 수치 이상인 대표 또는 보간 이미지에 대응되는 촬영 위치로 사용자 장치(100)를 이동시키도록 사용자를 유도하여 재촬영이 이루어지도록 할 수 있다.
이에 따라, 비교부(230)는 이동정보에 따라 이동된 위치에서 재촬영된 쿼리이미지를 사용자 장치(100)로부터 수신한 후 추출된 객체 특징정보를 제 1 및 제 2 DB(240, 250)의 특징정보와 비교하여 미리 설정된 기준치 이상인 대표 또는 보간 특징정보가 제 1 및 제 2 DB(240, 250) 중 어느 하나에 존재하는 경우 해당 대표 또는 보간 특징정보에 대응되는 객체 관련 정보를 제공할 수 있다.
이와 같이, 비교부(230)는 사용자 장치(100)로부터 수신되는 쿼리이미지에 포함된 객체와 유사한 객체를 제 1 및 제 2 DB(240, 250)에서 찾을 수 없는 경우 쿼리 이미지와 유사하다고 판단되는 대표 또는 보간 이미지의 촬영각도로 조정하도록 사용자를 유도한 후 재촬영된 쿼리 이미지를 다시 인식하여 대표 또는 보간 이미지의 촬영각도와 동일한 촬영 각도에서 더욱 정확한 객체 인식이 이루어질 수 있으며, 이를 통해 객체 인식의 정확도 및 신뢰도를 크게 향상시킬 수 있다.
한편, 도 9에 도시된 바와 같이 상술한 객체 특징 추출부, 가상공간 매핑부 및 비교부는 사용자 장치(100)에 구성될 수도 있으며, 사용자 장치는 카메라부(110), 센서부(150), 제 1 및 제 2 메모리부(160, 170)를 더 포함할 수 있다.
이에 따라, 객체 특징 추출부(120)는 객체에 대한 영상을 촬영하는 카메라부(110)부터 촬영된 영상에 대한 특징정보를 추출할 수 있으며, 가상공간 매핑부(130)는 제 1 DB(240)와 동일한 정보가 저장된 제 1 메모리부(160)로부터 대표 이미지를 기준으로 가상 공간 상에 매핑되는 보간 이미지를 생성하며, 보간 이미지로부터 객체 특징 추출부(120)를 통해 특징정보를 추출한 후 보간 이미지와 특징정보를 객체 관련 정보와 연동하여 제 2 메모리부(170)에 저장할 수 있다.
또한, 비교부(140)는 카메라부(110)로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 쿼리 이미지로부터 객체 특징 추출부(120)를 통해 특징을 추출하여 제 1 메모리부(160)와 비교한 후 미리 설정된 기준치 이상 일치하는 대표 특징정보를 추출하여 대응되는 객체 관련 정보를 제공하며, 미리 설정된 기준치 이상 일치하지 않는 경우 제 2 메모리부(170)와 비교하여 미리 설정된 기준치 이상 일치하는 보간 특징정보를 추출하여 대응되는 객체 관련 정보를 제공할 수 있다.
더하여, 비교부(140)는 제 1 및 제 2 메모리부(160, 170)를 통해 미리 설정된 기준치 이상 일치되는 객체가 없는 경우 쿼리 이미지의 특징정보와 제 1 및 제 2 메모리부(160, 170) 중 어느 하나에 저장된 특징정보 사이의 유사도가 미리 설정된 수치 이상 일치하는 특징정보를 제 1 및 제 2 메모리부(160, 170) 중 어느 하나로부터 추출할 수 있다.
이후, 비교부(140)는 쿼리이미지의 촬영시 센서부(150)를 통해 얻어지는 쿼리이미지의 촬영각도에 대한 센싱정보를 기초로 가상공간 매핑부(130)와 연동하여 쿼리 이미지의 가상공간 상의 위치정보를 산출하고, 제 1 및 제 2 메모리부(160, 170) 중 어느 하나로부터 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 일치시키기 위한 이동방향에 대한 이동정보를 산출하여 출력부(180)를 통해 출력할 수 있다.
이를 통해, 사용자가 대표 또는 보간 이미지에 대응되는 촬영각도로 이동시키도록 유도하여 객체 인식율을 크게 향상시킬 수 있다.
도 10은 본 발명의 실시예에 따른 객체 인식 서비스 제공 방법에 대한 순서도로서, 객체 인식 서비스 제공 장치(200)는 사용자 장치(100)로부터 객체에 대한 쿼리 이미지를 수신하여(S1) 객체 특징정보를 추출하며(S2), 객체에 대하여 복수의 대표각도에서 촬영된 복수의 대표 이미지 및 각 대표 이미지에 대한 대표 특징정보가 객체 관련 정보와 매칭되어 저장된 제 1 DB(240)와 객체 특징정보를 상호 비교하여(S3), 객체 특징정보와 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공할 수 있다(S4, S5, S6).
이때, 제 1 DB(240)와의 비교에 따라 미리 설정된 기준치 이상 일치되는 대표 특징정보가 없는 경우(S4) 객체 인식 서비스 제공 장치(200)는 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지 및 각 보간 이미지에 대한 보간 특징정보가 객체 관련 정보와 매칭되어 저장된 제 2 DB(250)와 객체 특징정보를 상호 비교할 수 있다(S7).
이에 따라, 객체 인식 서비스 제공 장치(200)는 객체 특징정보와 미리 설정된 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공할 수 있다(S6, S8, S9).
한편, 객체 인식 서비스 제공 장치(200)는 제 1 및 제 2 DB(240, 250)에 객체 특징정보와 미리 설정된 기준치 이상 일치되는 특징정보가 없는 경우(S8) 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 제 1 및 제 2 DB(240, 250) 중 어느 하나에 저장된 특징정보를 추출하고(S10), 추출된 특징정보에 대응되는 대표 또는 보간 이미지에 대한 가상공간 상의 위치정보와 쿼리 이미지에 대한 가상공간 상의 위치정보의 차이를 연산하여 차이에 따른 이동정보를 생성한 후 사용자 장치(100)로 전송할 수 있다(S11).
본 발명의 실시예에 따른 객체 인식 서비스 제공 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 장치, 객체 인식 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 객체 인식 서비스 제공 방법을 구현할 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 객체 인식 서비스 제공 방법을 구현하는 컴퓨터 프로그램은 사용자 장치, 객체 인식 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 객체 인식 서비스 제공 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 장치, 객체 인식 서비스 제공 장치에 장착될 수도 있다.
이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
본 발명은 실제 촬영된 대표 이미지 뿐만 아니라 대표 이미지를 기준으로 보간된 보간 이미지로부터 추출된 특징정보를 추가적으로 이용하여 사용자가 객체의 질의를 위해 생성한 쿼리이미지로부터 추출된 특징정보와 비교함으로써, 쿼리이미지에 대응되는 객체의 인식 범위를 넓힐 수 있으며 이를 통해 객체 인식 정확도를 크게 높여 객체와 관련된 정보 제공의 정확도 및 신뢰도를 높이는 것으로서, 각종 검색 서비스 시스템, 마케팅 서비스 시스템, 오픈 마켓 시스템 등과 같은 다양한 분야에 광범위하게 적용될 수 있다.
100: 사용자 장치 110: 카메라부
120: 객체특징 추출부 130: 가상공간 매핑부
140: 비교부 150: 센서부
160: 제 1 메모리부 170: 제 2 메모리부
180: 출력부 200: 객체 인식 서비스 제공 장치
210: 객체 특징 추출부 220: 가상공간 매핑부
230: 비교부 240: 제 1 DB
250: 제 2 DB

Claims (10)

  1. 영상으로부터 특징정보를 추출하는 객체 특징 추출부;
    객체에 대하여 대표각도에서 촬영된 하나 이상의 대표 이미지와 상기 객체 특징 추출부를 통해 상기 각 대표 이미지에 대하여 추출된 대표 특징정보를 객체 관련 정보에 매칭하여 저장하는 제 1 저장부;
    상기 제 1 저장부의 각 대표 이미지를 기준으로 가상 공간 상에 매핑되는 보간 이미지를 생성하고, 상기 보간 이미지로부터 상기 객체 특징 추출부를 통해 보간 특징정보를 생성하는 가상공간 매핑부;
    상기 가상공간 매핑부가 생성한 상기 보간 이미지와 보간 특징정보를 상기 객체 관련 정보와 매칭하여 저장하는 제 2 저장부; 및
    사용자 장치로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 상기 쿼리 이미지로부터 특징을 추출하여 상기 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 상기 대표 특징정보에 매칭된 상기 객체 관련 정보를 제공하며, 상기 기준치 이상 일치되는 상기 대표 특징정보가 없는 경우 상기 제 2 저장부와 비교하여 상기 기준치 이상 일치되는 상기 보간 특징정보에 매칭된 상기 객체 관련 정보를 제공하는 비교부를 포함하는 객체 인식 서비스 제공 장치.
  2. 제 1항에 있어서,
    상기 가상공간 매핑부는 상기 대표 이미지의 대표 각도에 대응되는 가상공간의 위치정보를 상호 매핑시켜 상기 대표 이미지를 가상 공간 상에 모델링하는 것을 특징으로 하는 객체 인식 서비스 제공 장치.
  3. 제 2항에 있어서,
    상기 가상공간 매핑부는 상기 가상공간 상의 모델링된 상기 각 대표 이미지의 위치정보를 기초로 상기 가상공간 상에서 서로 다른 대표 이미지 사이에 매핑되어 상기 서로 다른 대표 이미지 사이를 보간하는 상기 보간 이미지를 생성하는 것을 특징으로 하는 객체 인식 서비스 제공 장치.
  4. 제 1항에 있어서,
    상기 비교부는 상기 제 1 및 제 2 저장부를 통해 미리 설정된 기준치 이상 일치되는 특징정보가 없는 경우 상기 가상공간 매핑부와 연동하여 상기 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 상기 제 1 및 제 2 저장부 중 어느 하나에 저장된 특징정보를 추출하고, 추출된 상기 특징정보에 대응되는 대표 또는 보간 이미지에 대한 상기 가상공간 상의 위치정보와 상기 쿼리 이미지에 대한 상기 가상공간 상의 위치정보의 차이를 연산하여 상기 차이에 따른 이동정보를 생성한 후 상기 사용자 장치로 전송하는 것을 특징으로 하는 객체 인식 서비스 제공 장치.
  5. 제 4항에 있어서,
    상기 비교부는 상기 쿼리이미지의 촬영각도에 대한 각도정보를 수신하여 상기 가상공간 상의 위치정보와 매핑시킨 후 상기 쿼리이미지에 대한 위치정보를 생성하며, 상기 가상공간 상에서 상기 쿼리이미지의 위치정보를 추출된 상기 특징정보에 대응되는 대표 또는 보간 이미지의 위치정보와 일치시키기 위한 이동방향 및 이동거리에 대한 상기 이동정보를 생성하는 것을 특징으로 하는 객체 인식 서비스 제공 장치.
  6. 객체에 대한 영상을 촬영하는 카메라부;
    상기 카메라부로부터 촬영된 영상에 대한 특징정보를 추출하는 객체 특징 추출부;
    상기 객체에 대하여 하나 이상의 대표각도에서 촬영된 하나 이상의 대표 이미지와 상기 객체 특징 추출부를 통해 상기 각 대표 이미지로부터 추출된 대표 특징정보를 객체 관련 정보와 매칭하여 저장하는 제 1 저장부;
    상기 제 1 저장부의 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지를 생성하고, 상기 각 보간 이미지로부터 상기 객체 특징 추출부를 통해 보간 특징정보를 생성하는 가상공간 매핑부;
    상기 가상공간 매핑부가 생성한 상기 보간 이미지와 상기 보간 특징정보를 상기 객체 관련 정보와 매칭하여 저장하는 제 2 저장부; 및
    상기 카메라부로부터 객체의 촬영에 따른 쿼리 이미지를 수신하고, 상기 쿼리 이미지로부터 상기 객체 특징 추출부를 통해 특징을 추출하여 상기 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 상기 대표 특징정보에 매칭된 객체 관련 정보를 제공하며, 상기 기준치 이상 일치되지 않는 경우 상기 제 2 저장부와 비교하여 상기 기준치 이상 일치되는 상기 보간 특징정보에 매칭된 상기 객체 관련 정보를 제공하는 비교부를 포함하는 객체 인식 서비스 제공을 위한 사용자 장치.
  7. 제 6항에 있어서,
    상기 비교부는 상기 제 1 및 제 2 저장부와의 비교를 통해 일치되는 객체가 없는 경우 상기 가상공간 매핑부와 연동하여 상기 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 상기 제 1 및 제 2 저장부 중 어느 하나에 저장된 특징정보를 추출하고, 추출된 상기 특징정보에 대응되는 대표 또는 보간 이미지에 대한 상기 가상공간 상의 위치정보와 상기 쿼리 이미지에 대한 상기 가상공간 상의 위치정보의 차이를 연산한 후 상기 차이에 따른 이동정보를 생성하여 출력부를 통해 출력하는 것을 특징으로 하는 객체 인식 서비스 제공을 위한 사용자 장치.
  8. 객체 인식 서비스 제공 장치가 사용자 장치로부터 객체에 대한 쿼리 이미지를 수신하여 객체 특징정보를 추출하는 단계;
    상기 객체 인식 서비스 제공 장치가 객체에 대하여 복수의 대표각도에서 촬영된 복수의 대표 이미지 및 상기 각 대표 이미지에 대한 대표 특징정보가 객체 관련 정보와 매칭되어 저장된 제 1 저장부와 상기 객체 특징정보를 상호 비교하여 미리 설정된 기준치 이상 일치하는 대표 특징정보에 매칭된 객체 관련 정보를 제공하는 단계;
    상기 기준치 이상 일치하지 않는 경우 상기 객체 인식 서비스 제공 장치가 상기 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지 및 상기 각 보간 이미지에 대한 보간 특징정보가 상기 객체 관련 정보와 매칭되어 저장된 제 2 저장부와 상기 객체 특징정보를 상호 비교하여 미리 설정된 기준치 이상 일치되는 상기 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 단계를 포함하는 객체 인식 서비스 제공 방법.
  9. 제 8항에 있어서,
    상기 객체 인식 서비스 제공 장치는 상기 제 1 및 제 2 저장부에 상기 객체 특징정보와 미리 설정된 기준치 이상 일치되는 특징정보가 없는 경우 상기 쿼리 이미지의 객체 특징정보와 유사도가 미리 설정된 수치 이상인 상기 제 1 및 제 2 저장부 중 어느 하나에 저장된 특징정보를 추출하고, 추출된 상기 특징정보에 대응되는 대표 또는 보간 이미지에 대한 상기 가상공간 상의 위치정보와 상기 쿼리 이미지에 대한 상기 가상공간 상의 위치정보의 차이를 연산하여 상기 차이에 따른 이동정보를 생성한 후 상기 사용자 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 객체 인식 서비스 제공 방법.
  10. 객체에 대한 쿼리이미지를 생성하여 전송하는 사용자 장치; 및
    상기 사용자 장치로부터 수신된 쿼리이미지에 대한 객체 특징정보를 추출하며, 상기 객체 특징정보를 객체에 대하여 대표각도에서 촬영된 하나 이상의 대표 이미지와 상기 각 대표 이미지로부터 추출된 대표 특징정보가 객체 관련 정보와 매칭되어 저장된 제 1 저장부와 비교한 후 미리 설정된 기준치 이상 일치되는 대표 특징정보에 매칭된 객체 관련 정보를 제공하며, 상기 기준치 이상 일치되지 않는 경우 상기 제 1 저장부의 대표 이미지를 기준으로 가상 공간 상에 매핑되는 하나 이상의 보간 이미지 및 상기 각 보간 이미지에 대한 특징정보가 객체 관련 정보와 매칭되어 저장된 제 2 저장부와 비교하여 미리 설정된 기준치 이상 일치되는 보간 특징정보에 매칭된 객체 관련 정보를 제공하는 객체 인식 서비스 제공 장치를 포함하는 객체 인식 서비스 제공 시스템.
KR1020140054444A 2014-03-06 2014-05-07 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체 KR20150127503A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140054444A KR20150127503A (ko) 2014-05-07 2014-05-07 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체
PCT/KR2014/010555 WO2015133699A1 (ko) 2014-03-06 2014-11-05 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR1020210090749A KR102388230B1 (ko) 2014-05-07 2021-07-12 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140054444A KR20150127503A (ko) 2014-05-07 2014-05-07 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210090749A Division KR102388230B1 (ko) 2014-05-07 2021-07-12 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
KR20150127503A true KR20150127503A (ko) 2015-11-17

Family

ID=54786102

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140054444A KR20150127503A (ko) 2014-03-06 2014-05-07 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체
KR1020210090749A KR102388230B1 (ko) 2014-05-07 2021-07-12 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210090749A KR102388230B1 (ko) 2014-05-07 2021-07-12 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (2) KR20150127503A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669882B1 (ko) * 2016-01-14 2016-10-27 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
WO2017122909A1 (ko) * 2016-01-14 2017-07-20 주식회사 팝스라인 단말 및 그의 제어 방법
KR20180032488A (ko) * 2016-09-22 2018-03-30 주식회사 아토즈소프트 이미지를 이용한 어류 종류 및 체장 측정 방법
WO2018124500A1 (ko) * 2016-12-26 2018-07-05 삼성전자(주) 객체의 인식 결과를 제공하는 방법 및 전자 장치
KR20190027172A (ko) * 2017-09-06 2019-03-14 단국대학교 산학협력단 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법
KR20200075479A (ko) * 2018-12-18 2020-06-26 주식회사 하이쓰리디 모바일 증강현실 영상 편집 지원 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230029258A (ko) 2021-08-24 2023-03-03 한국과학기술연구원 다중 카메라에서 대상 객체를 추적하기 위한 질의 정보를 업데이트하는 방법 및 이를 수행하는 다중 카메라 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200666A (ja) * 1996-01-11 1997-07-31 Nippon Telegr & Teleph Corp <Ntt> 記録位置付き画像生成表示方法および装置
EP1089214A3 (en) 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image recognition
US20030123734A1 (en) 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition
JP4767595B2 (ja) 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
KR100845892B1 (ko) * 2006-09-27 2008-07-14 삼성전자주식회사 사진 내의 영상 객체를 지리 객체와 매핑하는 방법 및 그시스템
EP1993060A1 (en) 2007-05-15 2008-11-19 Continental Automotive GmbH Device for object detection in an image, and method thereof
JP4882879B2 (ja) 2007-06-12 2012-02-22 株式会社ニコン 撮像装置
BRPI0819813A2 (pt) 2007-11-19 2015-05-26 Procter & Gamble Revestimento exterior para um artigo absorvente descartável
KR101692764B1 (ko) 2010-06-14 2017-01-05 주식회사 비즈모델라인 가상 점을 이용한 증강현실 제공 방법
JP5601513B2 (ja) 2010-08-12 2014-10-08 カシオ計算機株式会社 画像表示装置及びプログラム
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
JP2013038557A (ja) 2011-08-05 2013-02-21 Sony Computer Entertainment Inc 画像処理装置
KR101175194B1 (ko) 2011-11-08 2012-08-20 (주)올라웍스 이미지 검색 방법, 장치, 서버 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9489574B2 (en) 2011-12-06 2016-11-08 Kyungpook National University Industry-Academic Cooperation Foundation Apparatus and method for enhancing user recognition

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669882B1 (ko) * 2016-01-14 2016-10-27 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
WO2017122909A1 (ko) * 2016-01-14 2017-07-20 주식회사 팝스라인 단말 및 그의 제어 방법
KR20180032488A (ko) * 2016-09-22 2018-03-30 주식회사 아토즈소프트 이미지를 이용한 어류 종류 및 체장 측정 방법
WO2018124500A1 (ko) * 2016-12-26 2018-07-05 삼성전자(주) 객체의 인식 결과를 제공하는 방법 및 전자 장치
US11106913B2 (en) 2016-12-26 2021-08-31 Samsung Electronics Co., Ltd. Method and electronic device for providing object recognition result
KR20190027172A (ko) * 2017-09-06 2019-03-14 단국대학교 산학협력단 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법
KR20200075479A (ko) * 2018-12-18 2020-06-26 주식회사 하이쓰리디 모바일 증강현실 영상 편집 지원 시스템

Also Published As

Publication number Publication date
KR102388230B1 (ko) 2022-04-19
KR20210092707A (ko) 2021-07-26

Similar Documents

Publication Publication Date Title
KR102388230B1 (ko) 객체 인식 서비스 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN110411441B (zh) 用于多模态映射和定位的系统和方法
CN110147717B (zh) 一种人体动作的识别方法及设备
US10802147B2 (en) System and method for concurrent odometry and mapping
EP2915138B1 (en) Systems and methods of merging multiple maps for computer vision based tracking
US10062169B2 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
Chekhlov et al. Real-time and robust monocular SLAM using predictive multi-resolution descriptors
US9324151B2 (en) System and methods for world-scale camera pose estimation
Chen et al. Building book inventories using smartphones
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
WO2015134794A2 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
Piciarelli Visual indoor localization in known environments
CN114565668A (zh) 即时定位与建图方法及装置
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
Jiang et al. Indoor localization with a signal tree
JP5734000B2 (ja) 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法
JP2020052977A (ja) 情報処理装置、情報処理方法、およびプログラム
CN111126436B (zh) 视觉匹配方法及装置
JP2013186478A (ja) 画像処理システム及び画像処理方法
Jeong et al. Gait recognition using description of shape synthesized by planar homography
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
JP2014038566A (ja) 画像処理装置
JP2015184743A (ja) 画像処理装置および物体認識方法
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent