KR20120015923A - 필터 정보를 이용한 객체 인식 장치 및 방법 - Google Patents

필터 정보를 이용한 객체 인식 장치 및 방법 Download PDF

Info

Publication number
KR20120015923A
KR20120015923A KR1020100078462A KR20100078462A KR20120015923A KR 20120015923 A KR20120015923 A KR 20120015923A KR 1020100078462 A KR1020100078462 A KR 1020100078462A KR 20100078462 A KR20100078462 A KR 20100078462A KR 20120015923 A KR20120015923 A KR 20120015923A
Authority
KR
South Korea
Prior art keywords
information
filter information
interest
filter
input
Prior art date
Application number
KR1020100078462A
Other languages
English (en)
Other versions
KR101357262B1 (ko
Inventor
김남석
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100078462A priority Critical patent/KR101357262B1/ko
Priority to US13/034,455 priority patent/US8402050B2/en
Priority to EP11175133.5A priority patent/EP2418606A3/en
Priority to CN2011102089656A priority patent/CN102375867A/zh
Publication of KR20120015923A publication Critical patent/KR20120015923A/ko
Priority to US13/771,747 priority patent/US9405986B2/en
Application granted granted Critical
Publication of KR101357262B1 publication Critical patent/KR101357262B1/ko
Priority to US15/225,434 priority patent/US20160343170A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 필터 정보를 이용한 객체 인식 방법은 적어도 하나 이상의 객체를 포함하는 영상 정보를 획득하는 단계와, 상기 영상 정보에서 관심 객체를 인식하기 위한 필터 정보를 획득하는 단계와, 상기 필터 정보를 이용하여 관심 객체를 인식하는 단계를 포함한다.

Description

필터 정보를 이용한 객체 인식 장치 및 방법{Apparatus and Method for Recognizing Object using filter information}
본 발명은 증강 현실 장치 및 방법에 관한 것으로, 보다 상세하게는 객체를 인식하는 장치 및 방법에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
예를 들면, 관광객이 런던 거리에서 카메라와 GPS 센서 등 다양한 기술이 탑재되어 있는 휴대폰의 카메라 등을 특정 방향으로 가리키면, 현재 이동중인 거리에 위치한 음식점이나 세일 중인 상점에 대한 증강 현실 데이터를 실제 거리 영상과 중첩하여 디스플레이되도록 하는 방법을 들 수 있다.
그런데, 이러한 증강 현실 데이터를 제공하기 위해서는 현실 세계에 존재하는 객체를 인식해야 한다. 즉, 증강 현실 데이터를 얻고자 하는 상점이나 특정 물건을 인식할 수 있어야 하므로, 객체에 대한 인식은 증강 현실 기술에서 중요한 요소이다.
그런데, 종래의 인식 기술에서 미리 지정된 마커(Marker)를 인식하는 것은 비교적 용이하나, 에지 및 경계 검출과 같은 마커리스(Markerless) 방식의 인식 기술의 경우에는 아직까지는 그 인식률이 낮다. 그러나, 폭넓은 증강 현실 서비스를 위해서는 마커리스 방식의 인식 기술 향상이 요구된다
그리고, 둘 이상의 객체가 포함된 영상 정보에서 관심 객체를 검출해내는 것을 용이하지 않다. 따라서, 현재는 사용자가 관심이 없는 객체 또한 인식하여 그에 대한 메타 정보를 제공하므로, 불필요한 정보 검색을 위한 프로세서 및 시간이 소요된다는 문제점이 있다. 또한, 인식된 객체가 무엇인지 판단하기 위해 미리 저장되어 있는 유사 객체들 중 원하는 객체를 찾는 데에도 많은 시간이 소요될 수 있다는 문제점이 있다.
따라서, 본 발명은 객체 영상 정보에 서로 다른 다수의 객체들이 존재할 경우, 관심 객체의 인식률을 높이기 위한 장치 및 방법을 제공한다.
본 발명은 적어도 하나 이상의 객체를 포함하는 영상 정보를 획득하는 단계와, 상기 영상 정보에서 관심 객체를 인식하기 위한 필터 정보를 획득하는 단계와, 상기 필터 정보를 이용하여 관심 객체를 인식하는 단계를 포함한다.
본 발명은 적어도 하나 이상의 객체를 포함하는 영상 정보를 획득하는 객체 정보 획득부와, 상기 객체 정보 획득부에서 획득된 영상 정보에서 관심 객체를 인식하기 위한 필터 정보를 입력하는 필터 정보 입력부와, 상기 필터 정보 입력부에서 입력된 필터 정보를 이용하여 상기 객체 정보 획득부로부터 획득된 영상 정보에 포함되어 있는 관심 객체를 인식하는 제어부를 포함한다.
본 발명은 객체의 검색 방법에 있어 원하는 관심 객체를 검출할 수 있는 필터 정보를 제공하여 좀 더 빠르고 정확한 검색이 가능하도록 해준다는 이점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 필터 정보를 이용한 객체 인식 장치의 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 필터 정보를 이용한 객체 인식 방법을 설명하기 위한 신호 흐름도이다.
도 3 및 도 6은 본 발명의 실시 예에 따른 객체 정보 영상의 예시도이다.
도 4 및 도 5는 본 발명의 실시 예에 따라 도 3에 도시된 객체 정보에 포함한 관심 객체에 대한 필터 정보가 출력된 예시도이다.
도 7은 본 발명의 실시 예에 따라 도 6에 도시된 객체 정보에 포함한 관심 객체에 대한 필터 정보가 출력된 예시도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 1은 본 발명의 바람직한 실시 예에 따른 필터 정보를 이용한 객체 인식 장치의 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 필터 정보를 이용한 객체 인식 장치는 객체 정보 획득부(110)와, 출력부(120)와, 필터 정보 입력부(130)와, 객체 인식 정보 저장부(140) 및 제어부(170)을 포함하고, 추가적으로 메타 정보 저장부(150) 및 조작부(160)를 더 포함할 수 있다.
객체 정보 획득부(110)는 현실에 존재하는 적어도 하나 이상의 객체가 포함된 정보를 획득하는 수단이다. 여기서, 객체라 함은 실세계에 존재하는 사물, 사람, 상태 또는 마커(Marker)가 될 수 있는데, 시각적, 청각적, 후각적 데이터뿐만 아니라, 위치, 기후, 속도 등을 포함하는 실세계에서 정의될 수 있는 모든 것을 의미한다. 따라서, 객체 정보 획득부(110)는 객체를 포함하는 영상을 획득하여 출력하는 카메라 또는 이미지 센서, 음향을 획득하여 출력하는 마이크, 후각 데이터 감지 센서, GPS 위치 센서, 지자기 센서, 속도 감지 센서 중 적어도 하나를 포함할 수 있다. 객체 정보 획득부(110)를 통해 입력된 객체 정보의 일 예가 도 3 및 도 6에 도시되어 있다. 도 3 및 도 6은 본 발명의 바람직한 실시 예에 따른 객체 정보 영상의 예시도이다.
또한, 이러한 객체 정보 획득부(110)는 도면에는 도시되어 있지 않지만, 통신 인터페이스를 통해 구현되거나, 메모리에 저장되어 있는 객체 정보를 획득하는 기능을 할 수도 있다. 예컨대, 객체 정보 획득부(110)는 GPS 위치 센서를 통해 사용자의 현재 위치 정보를 획득하고, 획득된 현재 위치 정보에 상응하는 지도 정보를 객체 정보로 검출하여 제어부(170)에 입력해줄 수도 있다.
출력부(120)는 제어부(170)로부터 출력된 제어 신호 및 각종 데이터를 출력하는 수단으로, 도면에는 도시되어 있지 않지만 시각적 데이터를 출력하는 표시부와, 음원 데이터를 가청음의 형태로 출력하는 스피커 등이 포함될 수 있다. 본 발명의 실시 예에 따라, 출력부(120)는 객체 정보 획득부(110)에서 획득한 영상 정보, 필터 정보 입력부(130)를 통해 입력된 필터 정보,메타 정보 및 제어부(170)의 프로세스를 위한 사용자 인터페이스 정보 중 하나 이상이 출력될 수 있다.
필터 정보 입력부(130)는 입력된 객체 정보에서 사용자의 관심 대상이 되는 객체에 대한 필터 정보를 입력받을 수 있는 수단으로, 일 예로 키 버튼 누름시마다 키데이터를 발생하는 키입력부나, 터치 센서, 마우스와, 음향 데이터를 획득하여 제어부(170)에 입력해주는 마이크 등이 포함될 수 있다.
여기서, 필터 정보로는 다양한 실시 예가 가능한데, 카메라 프리뷰 혹은 사진에서 여러 객체가 겹쳐 있을 때, 사용자가 원하는 관심 객체의 외곽선을 그린 드로잉(Drawing) 정보와, 관심 객체에 대한 상세 정보, 예컨대, 도 3의 도시된 객체 정보의 경우 '폭스바겐'과 같은 자동차 상표 정보에 대한 입력 정보, 또는 위치 정보 등이 포함될 수 있다.
도 4, 도 5 및 도 7에는 표시부에 출력된 필터 정보의 일 예가 도시되어 있다. 도 4를 참조하면, 도 3에 도시된 객체 정보에서 사용자가가 입력한 자동차의 외곽선 정보가 필터 정보로 표시되어 있다.
또한, 필터 정보는 1차 필터 정보와 2차 필터 정보로 분류될 수 있는데, 예컨대, 도 4에 도시된 바와 같이 관심 객체인 자동차의 외곽선(410)이 1차 필터 정보가 될 수 있고, 도 5에 도시된 바와 같이 상세 특징인 자동차의 창문 모양 외곽선(510)이 2차 필터 정보가 될 수가 있다.
즉, 1차 필터 정보는 개략적인 객체 필터 정보로써, 이러한 1차 필터 정보로 객체 인식이 불가능할 경우, 제어부(170)는 2차 필터 정보를 사용자에게 입력하도록 요청한다.
또한, 필터 정보는 단순히 영상에 포함되어 있는 객체의 외곽선이 아니라, 사용자가 추정 가능한 객체의 외곽선 정보가 포함될 수 있다. 예컨대, 도 6을 참조하면, 다수의 건물이 포함된 영상에서 사용자의 관심 객체가 건물 1(610)이라고 할 경우, 건물 1(610)은 건물 2(620)에 가려져 그 형체가 영상이 모두 포함되어 있지 않다. 이럴 경우, 사용자는 도 7에 도시된 바와 같이 관심 객체인 건물 1(610)의 보이지 않는 부분까지 드로잉한 정보(630)를 필터 정보로 입력할 수 있다.
객체 인식 정보 저장부(140)는 객체를 인식할 수 있는 매핑 정보로써, 미리 지정된 객체 특징 정보를 저장한다. 이러한 객체 특징 정보로는 객체의 모양, 색상, 질감, 패턴, 컬러 히스토그램, 에지 정보를 포함할 수 있다. 제어부(170)는 이러한 필터 정보에 의해 획득된 객체 인식 정보를 미리 저장되어 있는 객체 인식 정보와 비교하여 객체가 무엇인지를 판단하게 된다. 이러한, 객체 인식 정보 저장부(140)는 전술한 바와 같이 내장된 형태로 구성될 수도 있고, 외부에 형성된 후 네트워크를 통해 데이터를 제공받을 수도 있다. 외부에 형성된 후 네트워크를 제공받는 형태일 경우, 네트워크 통신 가능한 통신 인터페이스를 더 포함하는 구성을 가질 수도 있다.
메타 정보 저장부(150)는 객체에 관련된 각종 정보를 저장하는데, 전술한 바와 같이 내장된 형태로 구성될 수도 있고, 외부에 형성된 후 네트워크를 통해 데이터를 제공받도록 구성될 수도 있다. 외부에 형성된 후 네트워크를 제공받는 형태일 경우, 네트워크 통신 가능한 통신 인터페이스를 더 포함하는 구성을 가질 수도 있다. 상기 메타 데이터의 일 예로, 객체가 어떤 나무인 경우 그 나무의 이름, 주요 서식지, 생태학적 특징 등을 소정의 태그 이미지(tag image)를 통해 나타낸 것일 수 있다. 이러한 메타 정보 각각에는 관련된 객체와 동일한 식별자가 부여될 수 있다.
사용자 인터페이스부인 조작부(160)는 사용자로부터 정보를 입력받을 수 있는 수단으로, 일 예로 키 버튼 누름시마다 키데이터를 발생하는 키입력부나, 터치 센서, 마우스 등이 포함될 수 있다. 본 발명의 실시 예에 따라, 조작부(160)를 통해 메타 정보 우선 순위 정보 및 선택 정보 등을 입력받을 수 있다.
제어부(170)는 전술한 바와 같은 각 구성 요소들을 제어하여, 본 발명에 따른 필터 정보를 이용한 객체 인식 동작을 수행하는 것으로, 이를 위한 하드웨어 프로세서 또는 이 하드웨어 프로세서에서 실행되는 소프트웨어 모듈이 될 수 있다. 제어부(170)의 동작 설명은 후술되는 필터 정보를 이용한 객체 인식 방법에서 상세히 설명하기로 한다.
또한, 도면에는 도시되어 있지 않지만, 제어부(170)가 객체 검출 또는 객체 검출에 대한 메타 정보 검출을 돕기 위해 별도의 센싱 정보(예컨대, 현재 시각, 현재 위치, 촬영 방향 등)를 제공하는 각종 센서들이 포함될 수 있다.
그러면, 전술한 바와 같은 구성을 가지는 장치에서 수행되는 필터 정보를 이용한 객체 인식 방법을 도 2를 참조하여 설명하기로 한다. 도 2는 본 발명의 바람직한 실시 예에 따른 필터 정보를 이용한 객체 인식 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 사용자의 키입력에 의해 객체 인식 모드가 설정되면, 제어부(170)는 210 단계에서 객체 정보 획득부(110)를 구동시켜 적어도 하나 이상의 객체가 포함된 정보를 획득한다. 상기 획득되는 객체 정보는 영상 정보, 위치 정보, 음향 정보 등이 포함될 수 있다.
그러면, 제어부(170)는 220 단계에서 필터 정보를 입력받는다. 그런데, 도면에는 도시되어 있지 않지만, 제어부(170)는 사용자의 필터 정보 입력을 위해 출력부(120)를 통해 객체 정보를 출력할 수도 있다. 예컨대, 객체 정보가 영상 정보일 경우, 제어부(170)는 도 3 또는 도 6에 도시된 바와 같은 영상 정보 화면을 출력부(120)를 통해 출력할 수 있다.
그러면, 사용자는 상기 출력된 영상 정보에서 자동차에 대한 메타 정보를 원할 경우, 관심 객체인 자동차의 인식을 용이하게 하기 위해 도 4에 도시된 바와 같이 자동차의 외곽선 드로잉 정보(410)을 필터 정보를 입력할 수도 있다. 그리고, 제어부(170)는 사용자로부터 필터 정보가 입력됨에 따라, 이를 상기 영상 정보에 오버랩되도록 표시부에 실시간으로 출력되도록 할 수 있다.
그러면, 제어부(170)는 230 단계에서 입력된 필터 정보를 이용하여 객체 정보로부터 관심 객체 검출 및 인식 동작을 수행한다. 본 발명의 실시 예에 따라, 제어부(170)에 의해 필터 정보는 두 가지 용도로 이용될 수 있다. 첫 번째로, 다수의 객체들이 포함되어 있는 객체 영상 정보에서 관심 객체를 선택하기 위한 용도로 필터 정보가 사용될 수 있다. 예컨대, 도 6에 도시된 바와 같이 다수의 건물이 포함되어 있는 영상에서 관심 객체인 건물이 무엇인지를 판단하기 위한 정보로 사용될 수 있다.
두 번째로, 객체 인식률 또는 객체 인식 속도를 높이기 위한 용도로 필터 정보가 사용될 수 있다. 즉, 제어부(170)는 객체 정보 획득부(110)로부터 출력되는 객체 정보(예컨대, 영상 이미지, 음원 데이터, 위치 데이터, 방향 데이터, 속도 데이터 중 적어도 하나를 포함함)로부터 검출해낸 인식 정보와 객체 인식 정보 저장부(140)으로부터 검출해낸 하나 이상의 인식 정보들을 비교하여 관심 객체가 무엇인지를 검출해내는데, 이때 객체 인식 정보 저장부(140)에 저장되어 있는 다수의 객체 인식 정보들 중에서 필터 정보와 유사한 하나 이상의 인식 정보들을 필터링하여, 필터링된 하나 이상의 객체 인식 정보들과 객체 정보로부터 검출해낸 인식 정보를 비교한다. 따라서, 인식에 필요한 시간을 줄일 수 있을 뿐만 아니라, 인식률을 높여줄 수 있다.
따라서, 제어부(170)는 230 단계에서 필터 정보를 이용하여 다수의 객체들이 포함된 영상 정보에서 사용자의 관심 객체를 검출해낸다. 그리고, 관심 객체 데이터를 객체 인식 정보 저장부(140)에 저장되어 있는 특징 정보와 비교하여 관심 객체가 무엇인지 판단한다. 즉, 각각의 관심 객체와 매핑되는 인식 정보에 부여되어 있는 식별자를 검출해내는 것이다. 또한, 제어부(170)는 각종 센서에 의한 정보를 참조하여 객체 정보를 검출해낼 수 있다.
한편, 전술한 바와 같은 220 단계 내지 230 단계는 수회 반복될 수 있는데, 사용자가 입력한 1차 필터 정보로 객체 인식이 용이하지 않을 경우, 제어부(170)는 사용자에게 2차 필터 정보를 입력할 것을 요청하는 메시지를 출력하여 사용자로 하여금 필터 정보를 더 입력받아 객체 인식을 할 수도 있다.
그런데, 제어부(170)가 230 단계에서 필터 정보와 객체 정보에 의해 객체 인식 정보 저장부(150)를 검색한 결과, 관심 객체로 인식되는 객체가 두 개 이상이 검출될 수도 있다. 이럴 경우, 제어부(170)는 관심 객체에 대한 인식 결과를 출력하여, 사용자가 원하는 정확한 객체 선택 정보를 입력받을 수 있다.
제어부(170)는 240 단계에서 인식된 관심 객체에 관련된 메타 정보를 검색하는데, 예컨대, 인식된 관심 객체의 식별자와 동일한 식별자가 부여된 관심 객체를 검색하는 것이다. 이때, 관심 객체에 대한 둘 이상 메타 정보가 검색될 수도 있다. 그리고, 제어부(170)은 250 단계에서 검색된 메타 정보를 출력한다. 이때, 메타 정보가 둘 이상일 경우, 제어부(170)는 미리 설정된 우선 순위에 따라 메타 정보를 출력할 수 있다. 이러한 우선 순위는 미리 입력된 사용자에 선호도에 따라 설정되거나, 사용자로부터 실시간으로 우선 순위 정보를 입력받을 수도 있다.

Claims (12)

  1. 적어도 하나 이상의 객체를 포함하는 영상 정보를 획득하는 단계와,
    상기 영상 정보에서 관심 객체를 인식하기 위한 필터 정보를 획득하는 단계와,
    상기 필터 정보를 이용하여 관심 객체를 인식하는 단계를 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  2. 제 1항에 있어서, 상기 필터 정보는
    관심 객체의 외곽선인 드로잉 정보를 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  3. 제 2항에 있어서, 상기 필터 정보를 획득하는 단계는
    상기 획득된 영상 정보를 출력하는 단계와,
    관심 객체에 대한 드로잉 정보를 입력받는 단계와,
    상기 입력된 필터 정보를 상기 영상 정보에 오버랩되도록 출력하는 단계를 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  4. 제 1항에 있어서, 상기 필터 정보는
    관심 객체에 대한 상세 정보 또는 위치 정보를 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  5. 제 1항에 있어서,
    획득된 필터 정보를 이용하여 관심 객체가 인식되지 않을 경우, 사용자에게 필터 정보를 추가 입력할 것을 요청하는 메시지를 출력하는 단계와,
    사용자로부터 필터 정보를 추가 입력받는 단계와,
    상기 추가 입력된 필터 정보를 이용하여 관심 객체를 인식하는 단계를 더 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  6. 제 1항에 있어서,
    인식된 관심 객체에 관련된 메타 정보를 검색하는 단계와,
    상기 검색된 메타 정보를 출력하는 단계를 더 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  7. 제 6항에 있어서, 상기 메타 정보를 출력하는 단계는
    관심 객체에 대한 둘 이상 메타 정보가 검색될 경우, 미리 설정된 우선 순위에 따라 메타 정보를 출력함을 특징으로 하는 필터 정보를 이용한 객체 인식 방법.
  8. 적어도 하나 이상의 객체를 포함하는 영상 정보를 획득하는 객체 정보 획득부와,
    상기 객체 정보 획득부에서 획득된 영상 정보에서 관심 객체를 인식하기 위한 필터 정보를 입력하는 필터 정보 입력부와,
    상기 필터 정보 입력부에서 입력된 필터 정보를 이용하여 상기 객체 정보 획득부로부터 획득된 영상 정보에 포함되어 있는 관심 객체를 인식하는 제어부를 포함함을 특징으로 하는 필터 정보를 이용한 객체 인식 장치.
  9. 제 8항에 있어서,
    상기 객체 정보 획득부에서 획득된 영상 정보 또는 상기 필터 정보 입력부를 통해 입력된 필터 정보를 출력하는 출력부를 더 포함하되,
    상기 제어부는
    상기 획득된 영상 정보를 출력부를 통해 출력하고, 관심 객체에 대한 필터 정보를 상기 영상 정보에 오버랩되도록 상기 출력부를 통해 출력함을 특징으로 하는 필터 정보를 이용한 객체 인식 장치.
  10. 제 8항에 있어서,
    상기 객체 정보 획득부에서 획득된 영상 정보 또는 상기 필터 정보 입력부를 통해 입력된 필터 정보를 출력하는 출력부를 더 포함하되,
    상기 제어부는
    획득된 객체 영상 정보 및 필터 정보를 이용하여 관심 객체가 인식되지 않을 경우, 사용자에게 필터 정보를 추가 입력할 것을 요청하는 메시지를 출력하고, 사용자로부터 필터 정보를 추가 입력받아, 상기 추가 입력된 필터 정보를 이용하여 관심 객체를 인식함을 특징으로 하는 필터 정보를 이용한 객체 인식 장치.
  11. 제 8항에 있어서,
    상기 객체 정보 획득부에서 획득된 영상 정보 또는 상기 필터 정보 입력부를 통해 입력된 필터 정보를 출력하는 출력부를 더 포함하되,
    상기 제어부는
    인식된 관심 객체에 관련된 메타 정보를 검색하여, 상기 검색된 메타 정보를 상기 출력부를 통해 출력함을 특징으로 하는 필터 정보를 이용한 객체 인식 장치.
  12. 제 11항에 있어서, 상기 제어부는
    관심 객체에 대한 둘 이상 메타 정보가 검색될 경우, 미리 설정된 우선 순위에 따라 메타 정보를 출력함을 특징으로 하는 필터 정보를 이용한 객체 인식 장치.
KR1020100078462A 2010-08-13 2010-08-13 필터 정보를 이용한 객체 인식 장치 및 방법 KR101357262B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100078462A KR101357262B1 (ko) 2010-08-13 2010-08-13 필터 정보를 이용한 객체 인식 장치 및 방법
US13/034,455 US8402050B2 (en) 2010-08-13 2011-02-24 Apparatus and method for recognizing objects using filter information
EP11175133.5A EP2418606A3 (en) 2010-08-13 2011-07-25 Apparatus and method for recognizing objects using filter information
CN2011102089656A CN102375867A (zh) 2010-08-13 2011-07-25 使用过滤信息来识别对象的装置和方法
US13/771,747 US9405986B2 (en) 2010-08-13 2013-02-20 Apparatus and method for recognizing objects using filter information
US15/225,434 US20160343170A1 (en) 2010-08-13 2016-08-01 Apparatus and method for recognizing objects using filter information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078462A KR101357262B1 (ko) 2010-08-13 2010-08-13 필터 정보를 이용한 객체 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120015923A true KR20120015923A (ko) 2012-02-22
KR101357262B1 KR101357262B1 (ko) 2014-01-29

Family

ID=44862415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078462A KR101357262B1 (ko) 2010-08-13 2010-08-13 필터 정보를 이용한 객체 인식 장치 및 방법

Country Status (4)

Country Link
US (3) US8402050B2 (ko)
EP (1) EP2418606A3 (ko)
KR (1) KR101357262B1 (ko)
CN (1) CN102375867A (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
US10796494B2 (en) * 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索系统
DE102012215465A1 (de) * 2012-08-31 2014-03-06 Robert Bosch Gmbh Verfahren und Informationssystem zum Filtern von Objektinformationen
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US9298008B2 (en) * 2012-12-06 2016-03-29 Cherif Atia Algreatly 3D immersion technology
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10082926B1 (en) 2014-02-21 2018-09-25 Snap Inc. Apparatus and method for alternate channel communication initiated through a common message thread
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9225897B1 (en) * 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
CN104850229B (zh) * 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
WO2017129804A1 (en) 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN109525877B (zh) * 2018-10-18 2021-04-20 百度在线网络技术（北京）有限公司 基于视频的信息获取方法和装置
JP7163776B2 (ja) * 2019-01-08 2022-11-01 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、および情報処理方法
CN109934110B (zh) * 2019-02-02 2021-01-12 广州中科云图智能科技有限公司 一种河道附近违建房屋识别方法
US10880496B1 (en) 2019-12-30 2020-12-29 Snap Inc. Including video feed in message thread

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751289A (en) * 1992-10-01 1998-05-12 University Corporation For Atmospheric Research Virtual reality imaging system with image replay
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
JPH08287216A (ja) 1995-04-18 1996-11-01 Sanyo Electric Co Ltd 顔面内部位認識方法
US6674902B1 (en) * 1998-07-31 2004-01-06 Canon Kabushiki Kaisha Image processing apparatus image processing method, and storage medium
TWI222039B (en) * 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
US8316450B2 (en) * 2000-10-10 2012-11-20 Addn Click, Inc. System for inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
GB0027685D0 (en) * 2000-11-13 2000-12-27 Canon Kk Filter based authoring tool
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US20020105589A1 (en) * 2001-02-02 2002-08-08 Brandenberger Sarah M. System and method for lens filter emulation in digital photography
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20040066391A1 (en) * 2002-10-02 2004-04-08 Mike Daily Method and apparatus for static image enhancement
JP3992629B2 (ja) * 2003-02-17 2007-10-17 株式会社ソニー・コンピュータエンタテインメント 画像生成システム、画像生成装置、画像生成方法
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
KR20050008245A (ko) 2003-07-14 2005-01-21 (주)워치비젼 일반 동영상에서의 3차원 그래픽 영상합성을 위한 장치 및그 방법
JP4423076B2 (ja) 2004-03-22 2010-03-03 キヤノン株式会社 認識対象切出し装置および方法
KR20060070002A (ko) 2004-12-20 2006-06-23 (주)시리브이알 3ｄ 컨텐츠 제공 시스템 및 그 운영방법
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7899272B1 (en) * 2005-03-07 2011-03-01 Hsu Shin-Yi Method of recognizing an object in an image using multi-sensor integration through conditionally optimal geoscene generation and registration
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
JPWO2007004520A1 (ja) * 2005-06-30 2009-01-29 オリンパス株式会社 検索システム及び検索方法
WO2007097037A1 (ja) * 2006-02-27 2007-08-30 Navitime Japan Co., Ltd. 地図表示システム、ｐｏｉ検索条件の入力方法およびｐｏｉ案内表示方法ならびに端末装置
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
JP5003092B2 (ja) * 2006-10-17 2012-08-15 ソニー株式会社 登録装置、照合装置、認証方法及び認証プログラム
US8184915B2 (en) * 2006-12-04 2012-05-22 Lockheed Martin Corporation Device and method for fast computation of region based image features
KR100918392B1 (ko) 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR101357057B1 (ko) * 2007-01-29 2014-02-03 삼성전자주식회사 디지털 방송 수신 단말기의 티.피.이.지 데이터의관심지점정보 제공 방법
WO2008124074A1 (en) * 2007-04-03 2008-10-16 Human Network Labs, Inc. Method and apparatus for acquiring local position and overlaying information
US20080284791A1 (en) * 2007-05-17 2008-11-20 Marco Bressan Forming coloring books from digital images
JP5184217B2 (ja) * 2007-05-31 2013-04-17 パナソニック株式会社 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
KR20090003529A (ko) * 2007-06-14 2009-01-12 엘지전자 주식회사 주변 정보 제공 방법 및 시스템
US8644842B2 (en) * 2007-09-04 2014-02-04 Nokia Corporation Personal augmented reality advertising
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8214750B2 (en) * 2007-10-31 2012-07-03 International Business Machines Corporation Collapsing areas of a region in a virtual universe to conserve computing resources
JP4678404B2 (ja) * 2007-12-27 2011-04-27 ソニー株式会社 撮像装置、その制御方法およびプログラム
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
TWI459821B (zh) * 2007-12-31 2014-11-01 Altek Corp Identification device of image feature pixel and its identification method
CN100578508C (zh) 2008-01-14 2010-01-06 上海博康智能信息技术有限公司 交互式图像搜索系统和方法
EP2082771A1 (en) 2008-01-24 2009-07-29 Vectura Delivery Devices Limited Inhaler
KR100963238B1 (ko) 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
JP2009193356A (ja) * 2008-02-14 2009-08-27 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8903430B2 (en) * 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
US8893015B2 (en) * 2008-07-03 2014-11-18 Ebay Inc. Multi-directional and variable speed navigation of collage multi-media
US20100110105A1 (en) * 2008-10-31 2010-05-06 Nokia Corporation Method, apparatus and computer program product for providing synchronized navigation
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
IL196115A0 (en) * 2008-12-22 2009-09-22 Adi Gaash Method and system of searching for information pertaining target objects
CN102246121B (zh) * 2008-12-25 2016-01-13 松下知识产权经营株式会社 信息显示装置和信息显示方法
KR101084659B1 (ko) 2008-12-30 2011-11-22 한미홀딩스 주식회사 에스오메프라졸의 과립 및 그 장용성 과립의 제조방법
US9665965B2 (en) * 2009-01-14 2017-05-30 Innovid Inc. Video-associated objects
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US20100198876A1 (en) * 2009-02-02 2010-08-05 Honeywell International, Inc. Apparatus and method of embedding meta-data in a captured image
US20100309225A1 (en) * 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
US8769396B2 (en) * 2009-06-05 2014-07-01 Microsoft Corporation Calibration and annotation of video content
US20100325154A1 (en) * 2009-06-22 2010-12-23 Nokia Corporation Method and apparatus for a virtual image world
EP2271073B1 (en) * 2009-07-01 2018-03-07 Fluke Corporation Thermography methods
CN106101115B (zh) * 2009-07-30 2019-09-20 Sk普兰尼特有限公司 用于提供增强现实的方法、服务器和便携终端
US8682391B2 (en) * 2009-08-27 2014-03-25 Lg Electronics Inc. Mobile terminal and controlling method thereof
US8335763B2 (en) * 2009-12-04 2012-12-18 Microsoft Corporation Concurrently presented data subfeeds
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
KR101667033B1 (ko) * 2010-01-04 2016-10-17 삼성전자 주식회사 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법
US8532197B2 (en) * 2010-02-16 2013-09-10 The Aerospace Corporation Methods and systems for detecting temporally oscillating sources in video signals using a recursive infinite impulse response (IIR) filter technique
JP5709906B2 (ja) * 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
US8400471B2 (en) * 2010-03-08 2013-03-19 Empire Technology Development, Llc Interpretation of constrained objects in augmented reality
US20110221771A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Merging of Grouped Markers in An Augmented Reality-Enabled Distribution Network
US20110279445A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
US20110279453A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a location-based user interface
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US20110287811A1 (en) * 2010-05-21 2011-11-24 Nokia Corporation Method and apparatus for an augmented reality x-ray
US8320644B2 (en) * 2010-06-15 2012-11-27 Apple Inc. Object detection metadata
US8762041B2 (en) * 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US20120011142A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
CN101976461A (zh) * 2010-10-25 2011-02-16 北京理工大学 一种新的户外增强现实无标跟踪注册算法
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
KR101458939B1 (ko) * 2010-12-02 2014-11-07 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 시스템

Also Published As

Publication number Publication date
KR101357262B1 (ko) 2014-01-29
CN102375867A (zh) 2012-03-14
EP2418606A3 (en) 2013-07-31
US20160343170A1 (en) 2016-11-24
US20120041971A1 (en) 2012-02-16
US9405986B2 (en) 2016-08-02
US20130163878A1 (en) 2013-06-27
US8402050B2 (en) 2013-03-19
EP2418606A2 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
KR101357262B1 (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
EP3616035B1 (en) Augmented reality interface for interacting with displayed maps
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
JP6410930B2 (ja) 拡張現実及び物体認識を用いた実世界物体でのコンテンツ項目の検索及び関連付けスキーム
EP2656245B1 (en) Computerized method and device for annotating at least one feature of an image of a view
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101295712B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
US9661468B2 (en) System and method for converting gestures into digital graffiti
US11393174B2 (en) Cooperative augmented reality map interface
WO2014162044A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20150186426A1 (en) Searching information using smart glasses
KR20120010875A (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
TWI749532B (zh) 一種定位方法及定位裝置、電子設備和電腦可讀儲存媒介
JP6145563B2 (ja) 情報表示装置
KR101214612B1 (ko) 증강현실 기반 건물 네비게이션 시스템
US20140286624A1 (en) Method and apparatus for personalized media editing
KR20120011371A (ko) 프라이빗 태그를 제공하는 증강 현실 장치 및 방법
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
KR20120011279A (ko) 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 7