KR20210132911A - 실물화상기를 이용한 정보 검색 방법 - Google Patents

실물화상기를 이용한 정보 검색 방법 Download PDF

Info

Publication number
KR20210132911A
KR20210132911A KR1020200051399A KR20200051399A KR20210132911A KR 20210132911 A KR20210132911 A KR 20210132911A KR 1020200051399 A KR1020200051399 A KR 1020200051399A KR 20200051399 A KR20200051399 A KR 20200051399A KR 20210132911 A KR20210132911 A KR 20210132911A
Authority
KR
South Korea
Prior art keywords
picture
search
real
image
information
Prior art date
Application number
KR1020200051399A
Other languages
English (en)
Other versions
KR102416338B1 (ko
Inventor
김성원
Original Assignee
(주)오맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)오맥스 filed Critical (주)오맥스
Priority to KR1020200051399A priority Critical patent/KR102416338B1/ko
Publication of KR20210132911A publication Critical patent/KR20210132911A/ko
Application granted granted Critical
Publication of KR102416338B1 publication Critical patent/KR102416338B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G06K9/00335—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 실물화상기를 이용한 정보 검색 방법으로서, 특히, 카메라를 통해 촬영된 실물을 화상으로 변환하는 실물화상기에 AR기능이 구비되어 실물상에서 인식 물체의 선택 제스처로 그림을 선택하고, 선택한 그림을 토대로 정보를 검색할 수 있는 실물화상기를 이용한 정보 검색 방법에 관한 것이다.

Description

실물화상기를 이용한 정보 검색 방법{METHOD FOR SEARCHING DATA USING VISUAL PRESENTER}
본 발명은 카메라를 통해 촬영된 실물을 화상으로 변환하는 실물화상기를 구비하고, 이를 이용하여 정보를 검색할 수 있는 실물화상기를 이용한 정보 검색 방법에 관한 것이다.
학술활동, 교육 및 회의 등으로 널리 사용되는 실물화상기는 카메라로 실물을 촬영하고 촬영된 실물을 화상으로 변환하여 이를 모니터 등의 디스플레이 장치로 표시한다.
이러한 실물화상기로는 한국공개특허 제10-2011-0040255호(이하, '특허문헌 1'이라 한다)에 기재된 것이 공지되어 있다.
특허문헌 1의 경우, 베이스, 대상 물체를 촬영하는 촬영부, 베이스에 대하여 촬영부를 지지하는 지지부, 베이스와 지지부 사이에 설치되며, 제1관절부 및 제2관절부가 구비되는 회동부 등으로 구성된다.
특허문헌 1은 제1관절부가 베이스에 대하여 제1축을 중심으로 회전하고, 제2관절부가 제2관절부에 대하여 제1축을 중심으로 회전한 상태에서 제1축에 대하여 수직인 제2축을 중심으로 회전하여 피사체를 촬영하기 위한 위치 및 각도를 잡을 수 있다.
최근 실물화상기는 교실이나 세미나실 등에서 실물화상기에 구비된 카메라를 통해 촬영된 화상을 디스플레이에 표시하고, 화상을 확대하여 보여주는 기능을 할 수 있다. 이와 같이 최근 실물화상기는 촬영된 화상을 디스플레이에 표시함으로써, 디스플레이에 표시된 정보를 여러 사람이 공유할 수 있게 하여 교육 및 회의 등에서 정보 전달 매체로 사용된다.
그러나, 종래의 실물화상기는 촬영된 화상을 디스플레이에 표시하거나, 화상을 확대하여 자세히 보여주는 기능을 할 수 있으나, 교육 및 회의 등에서 실물화상기를 사용하는 사용자(이하, '사용자'라 한다)가 교육 또는 회의 진행 도중 설명하는 화상에 대해 검색을 통한 추가 정보 보충이 필요할 경우, 검색엔진을 통한 검색이 가능한 PC 등으로 이동하여 추가 정보를 검색해야 하는 번거로움이 있다.
또한, 사용자는 검색한 추가 정보를 디스플레이에 표시하여 공유하기 위해 별도로 출력하여 실물화상기로 촬영하거나, 실물화상기와 연결된 디스플레이를 연결해제하고, 검색 정보가 표시된 PC와 재연결하여 표시하여야 하므로, 설명하는 화상에 대한 추가 정보 검색 결과 공유로 인해 교육 또는 회의 시간 지연이 불가피하다는 문제점이 있다.
또한, 사용자가 검색엔진을 통한 검색이 미숙하여 화상에 대한 추가 정보 검색에 노이즈가 많을 경우, 교육 또는 회의 진행 시간이 불필요하게 낭비될 수 있고, 이로 인해 교육 또는 회의의 진행 흐름이 끊겨 청중의 참여도가 낮아질 수 있다는 문제점이 있다.
한국공개특허 제10-2011-0040255호
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로, 사용자가 별도의 검색 가능한 장치로 이동할 필요없이 실물화상기를 이용하여 편리하게 필요한 정보를 검색할 수 있는 실물화상기를 이용한 정보 검색 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 특징에 따른 실물화상기를 이용한 정보 검색 방법은 실물화상기에 구비된 카메라를 통해 실물 이미지를 캡쳐하는 캡쳐단계; 상기 실물상에서 인식 물체가 선택 제스처를 수행하고 있을 때 상기 실물 이미지에서 텍스트는 선택하지 않고 그림만을 선택하는 그림선택단계; 및 검색DB에서 상기 그림을 토대로 정보를 검색하는 검색단계;를 포함하는 것을 특징으로 한다.
또한, 상기 검색단계는 이미지인식DB에서 상기 그림의 그림 고유의 특징점을 비교하는 비교단계를 포함하는 것을 특징으로 한다.
또한, 상기 비교단계에서 상기 그림의 그림 고유의 특징점이 이미지인식DB에 없을 경우, 상기 그림 고유의 특징점만을 이미지인식DB에 등록하는 등록단계;를 수행하고, 상기 비교단계에서 상기 그림의 그림 고유의 특징점이 이미지인식DB에 있을 경우, 상기 검색단계를 수행하는 것을 특징으로 한다.
또한, 상기 등록단계 이후, 상기 검색단계를 수행하되, 상기 등록단계 이후 수행하는 상기 검색단계는 검색엔진에서 수행하는 것을 특징으로 한다.
또한, 상기 이미지인식DB와 상기 검색DB는 사용자 이미지인식DB와 사용자 검색DB의 DB를 자동 업로드할 수 있는 것을 특징으로 한다.
이상에서 살펴본 바와 같은 본 발명의 바람직한 실시 예들에 따른 실물화상기를 이용한 정보 검색 방법에 따르면 다음과 같은 효과가 있다.
본 발명은 사용자가 교육 또는 회의 등에서 강의나 발표를 진행하면서, 설명 대상에 대한 추가 정보 검색이 필요할 경우, 사용자의 손가락 등과 같은 인식 물체로 실물상에서 검색 대상을 선택하는 제스처를 통해 즉시 정보를 검색할 수 있다.
또한, 검색된 정보를 디스플레이를 통해 실시간으로 표시할 수 있다.
이로 인해, 사용자는 추가 정보 검색을 위한 자리 이동을 할 필요없이, 제자리에서 쉽게 추가 정보 검색을 할 수 있고, 검색 결과를 바로 표시하여 청중에게 정보를 제공할 수 있다.
또한, 검색한 정보를 실시간으로 디스플레이에 표시하여 공유할 수 있으므로, 검색 결과를 별도로 출력하여 실물화상기로 촬영하거나, 검색 결과가 표시된 PC와 디스플레이를 재연결하는 등의 번거로운 작업을 생략할 수 있는 효과가 있다.
또한, 실물상에서 실시간으로 인식 물체를 통해 그림을 선택하는 제스처를 수행하여 그림을 선택하고, 선택한 그림이 이미지인식DB 및 검색DB에 등록됨으로써, 데이터베이스 구축이 용이하게 이루어질 수 있다.
또한, 이미지인식DB 및 검색DB에 등록된 그림이 사용자 이미지인식DB 및 사용자 검색DB로 자동 업데이트될 수 있으므로, 사용자 이미지인식DB 및 사용자 검색DB의 별도 업데이트가 수행되지 않아도 다양한 정보가 구축될 수 있고, 이로 인해, 시스템이 본 발명의 정보 검색 방법을 수행할 때, 사용자에게 더욱 정확하고, 다양한 정보를 제공할 수 있게 되는 효과가 있다.
도 1은 본 발명의 바람직한 제1실시 예에 따른 실물화상기를 이용한 정보 검색 방법의 순서도.
도 2는 본 발명의 바람직한 제2실시 예에 따른 실물화상기를 이용한 정보 검색 방법의 순서도.
도 3은 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기를 이용한 정보 검색 방법의 그림선택단계의 흐름도.
도 4는 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기를 이용한 정보 검색 방법을 수행하는 서버시스템과 사용자 시스템을 개략적으로 도시한 도.
도 5는 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기를 이용한 정보 검색 방법을 예시적으로 구현한 도.
본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기를 이용한 정보 검색 방법(이하, '본 발명의 정보 검색 방법')에 대해 설명하기에 앞서, 본 발명은 실물화상기와 유선 또는 무선으로 연결되는 시스템에 의해 수행될 수 있고, PC 등에 설치되는 프로그램으로 구현될 수 있다. 또한, 상기한 시스템 및 프로그램은 이미지인식DB와 검색DB를 포함하여 구성될 수 있다.
또한, 이하에서 언급되는 '실물화상기'는 AR기능을 구비한 실물화상기일 수 있다.
또한, 이하에서 언급되는 '시스템'은 등록된 정보의 공유를 가능하게 하는 서버 시스템과 사용자 개인의 사용자 시스템을 통칭할 수 있고, 서버 시스템, 사용자 시스템 각각일 수 있다. 본 발명의 정보 검색 방법을 수행하는 시스템이 서버 시스템일 경우, 시스템에 포함된 이미지인식DB 및 검색DB는 서버 이미지인식DB 및 서버 검색DB일 수 있다. 또한, 본 발명을 수행하는 시스템이 사용자 시스템일 경우, 시스템에 포함된 이미지인식DB 및 검색DB는 사용자 이미지인식DB 및 사용자 검색DB일 수 있다.
또한, 이하에서 언급되는 '이미지인식DB' 는 사용자 이미지인식DB와 서버 이미지인식DB를 통칭할 수 있고, 각각일 수 있다.
또한, 이하에서 언급되는 '검색DB'는 사용자 검색DB와 서버 검색DB를 통칭할 수 있고, 각각일 수 있다.
또한, 이하에서 언급되는 '그림'은 사물의 형상 또는 인물의 얼굴 등을 통칭할 수 있고, 각각일 수 있다.
또한, 이하에서 언급되는 '정보'는 그림선택단계에서 선택된 그림, 키워드로 검색되는 결과 이미지, 검색URL로 연동된 페이지, 영상URL로 연동된 영상 중 적어도 하나 이상을 포함할 수 있고, 이에 한정되지 않는다. 또한, 정보는 선택된 그림, 키워드 검색 이미지, 검색URL 연동 페이지, 영상URL 연동 영상 등을 통칭할 수 있고, 각각일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10', 10)에 대해 설명한다.
도 1은 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')의 순서도이고, 도 2는 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')의 순서도이고, 도 3은 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10', 10)의 그림선택단계의 흐름도이고, 도 4는 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10', 10)을 수행하는 서버 시스템(2)과 사용자 시스템(1)을 개략적으로 도시한 도이고, 도 5는 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10', 10)을 예시적으로 구현한 도이다.
먼저, 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')에 대해 설명한다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은 사용자 시스템(1) 또는 서버 시스템(2)에서 선택적으로 이루어질 수 있으나, 이하의 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은 사용자 시스템(1)에서 이루어지는 것으로 설명한다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')이 사용자 시스템(1)에서 이루어질 경우, 후술할 이미지인식DB(100) 및 검색DB(200)는 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)일 수 있다. 또한, 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')이 서버 시스템(2)에서 이루어질 경우, 이미지인식DB(100) 및 검색DB(200)는 서버 이미지인식DB(100b) 및 서버 검색DB(200b)일 수 있다.
도 4에 도시된 바와 같이, 사용자 시스템(1)은 사용자 이미지인식DB(100a)와 사용자 검색DB(200a)를 포함하여 구성될 수 있다.
이미지인식DB(100)는 시스템에 이미지로 미리 구축된 데이터베이스일 수 있다. 예컨대, 실물화상기(3)를 학교 수업에서 이용할 경우, 교육용 교과서가 실물 이미지(5)라면, 이미지인식DB(100)는 전국에 교육용으로 배포된 교과서에 포함된 이미지들로 미리 구축된 데이터베이스와 같을 수 있다.
이미지인식DB(100)에 저장된 이미지는 메타데이터(metadata)를 포함할 수 있다.
메타데이터는 이미지식별ID, 검색 키워드, 검색URL, 영상URL 중 적어도 하나 이상을 포함할 수 있고, 이에 한정된 것은 아니다. 또한, 이미지식별ID의 경우, 시스템에 의해 자동으로 부여될 수 있다.
예컨대, 이미지인식DB(100)에 저장된 이미지 중 하나가 '이순신' 장군의 이미지일 수 있다. 이 경우, 이순신 장군의 이미지에는 이순신001(이미지식별ID), 이순신, 거북선(검색 키워드), 검색URL, 영상URL 등의 메타데이터가 포함되어 저장될 수 있다.
또한, 이미지인식DB(100)에는 이미지의 특징점과 키워드를 한 쌍으로 하는 이미지 특징 데이터가 포함될 수 있다. 이로 인해 시스템은 검색 대상의 이미지의 특징점을 매칭하여 키워드를 찾을 수 있다. 시스템은 키워드가 있을 경우, 메타데이터에서 해당 키워드의 인터넷 정보 링크 등을 사용자에게 제공할 수 있다.
검색DB(200)는 시스템에 설치된 소프트웨어일 수 있고, 인터넷상에서 자료를 쉽게 찾을 수 있게 도와주는 검색엔진일 수 있다.
또한, 검색DB(200)는 이미지인식DB(100)에 저장된 이미지와, 메타데이터 중 적어도 하나와 연결되어 정보를 제공할 수 있고, 제공된 메타데이터 중 적어도 하나를 보관할 수 있다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은 캡쳐단계(S10'), 그림선택단계(S20'), 검색단계(S30')로 구성될 수 있다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 실물화상기(3)에서 캡쳐단계(S10')가 수행될 수 있다. 또한, 실물화상기(3)에 AR기능이 구비되어 있으므로, 그림선택단계(S20')는 실물화상기(3)와 시스템 모두에서 수행될 수 있다. 또한, 검색단계(S30')는 시스템에서 수행될 수 있다. 이와 같이, 본 발명의 정보 검색 방법(10')은 실물화상기(3) 또는 시스템에서 수행되거나 실물화상기(3) 및 시스템에서 수행될 수 있다.
도 5에 도시된 실물화상기(3)는 증강 현실, 즉, AR기능을 구비하여, 실세계 영상 위에 3차원 가상 물체를 겹쳐 보여줄 수 있다. AR기능은 현실에 기반을 두고 실세계 환경과 그래픽 형태의 가상 현실을 실시간으로 합성하여 실세계에 대한 이해를 높여주는 기술이다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은 AR기능을 구비한 실물화상기(3)를 이용하여 시스템을 통해 실물화상기(3)를 이용한 정보 검색 방법(10')을 수행함으로써, 실시간으로 실물 이미지(5)의 그림을 선택하여 이를 토대로 정보를 검색할 수 있다.
캡쳐단계(S10')에서는 실물화상기(3)에 구비된 카메라를 통해 실물 이미지(5)가 캡쳐되는 과정이 수행될 수 있다.
캡쳐단계(S10')에서는 실물 이미지(5)의 그림의 외곽 테두리를 명확하게 하기 위하여 복수장의 사진을 캡쳐할 수 있다. 이 경우, 4장 이상 ~ 5장 이하의 사진이 캡쳐될 수 있다.
시스템은 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지(5)에서 텍스트는 선택하지 않고 그림만을 선택하는 그림선택단계(S20')를 수행할 수 있다.
그림선택단계(S20')는 도 3을 참조하여 상세하게 설명할 수 있다.
도 3에 도시된 바와 같이, 그림선택단계(S20')에서는 먼저, 캡쳐된 이미지에서 그림 영역을 추출하는 과정이 수행될 수 있다.
시스템은 그림 영역을 추출하는 과정에서 먼저, 캡쳐된 이미지상의 배경을 제거할 수 있다. 캡쳐된 이미지상의 배경은 텍스트(T)일 수 있다.
구체적으로, 캡쳐된 이미지는 시스템에 의해 그레이(Gray) 및 이진화가 수행될 수 있다. 시스템은 이진화된 이미지에서 연결된 부분들만을 하나의 물체로 인식하고 검출하는 레이블링(Blob Labeling) 알고리즘을 적용해 글자 이외의 외곽선을 추출할 수 있다.
시스템은 텍스트(T)를 제거하고, 그림 영역에 그림 추출 영역창을 표시할 수 있다. 그림 추출 영역창은 사각형 형상의 창과 같을 수 있고, 그림 영역의 외곽 테두리를 인식하여 추출할 그림 영역의 외곽 테두리를 따라 표시될 수 있다.
시스템은 히스토그램(Histogram)기반의 엣지 강화 기술을 이용하여 그림 영역의 외곽 테두리의 경계를 명확하게 인식할 수 있다. 그림 영역의 외곽 테두리의 경계가 모호할 경우, 그림 추출이 실패할 수 있다. 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')의 시스템은, 그림 추출 실패를 방지하고 그림 영역의 외곽 테두리를 보다 명확하게 인식하기 위해 히스토그램 기반의 엣지 강화 기술을 이용하여 밝기 변화를 강조할 수 있다.
시스템이 추출하는 그림 영역은 실물화상기(3)의 카메라가 캡쳐하여 인식한 실물 이미지(5)상의 모든 그림 영역일 수 있다.
시스템은 외곽 테두리가 강화된 그림 영역에 적응적 이진화를 수행하여 밝기 변화가 큰 픽셀을 흰색 픽셀로 변환하고, 전경 픽셀을 추출하고 라벨링하는 CCL 알고리즘을 이용해 크기 및 위치 정보를 갖는 개체를 식별할 수 있다.
시스템은 식별된 개체들이 갖는 크기 및 위치 정보를 이용해 캡쳐된 이미지 내에서의 그림 영역을 필터링하고, 그림 영역의 최소 및 최대 크기 정보를 통해 추출하려고 하는 개체들을 필터링할 수 있다. 시스템은 하나의 그림 영역에 여러개로 표현된 필터링된 개체들을 하나의 개체로 병합할 수 있다.
한편, 시스템은 그림 영역 추출에 실패했을 경우 캡쳐 단계를 재수행할 수 있다.
시스템은 그림 영역을 추출하는 과정을 수행한 다음 추출한 모든 그림 영역을 그림 추출 영역창을 기준으로 하나의 그림 영역으로 인식하는 과정을 수행할 수 있다. 예컨대, 시스템은 실물 이미지(5)에 복수개의 그림이 존재하여 그림 추출 영역창이 복수개 표시되어 겹칠 경우, 겹친 그림 영역의 상, 하, 좌, 우의 픽셀(Pixel)크기가 10픽셀 이상이면 하나의 그림 영역으로 인식할 수 있다.
시스템은 추출한 그림 영역의 회전, 선명도 및/또는 밝기를 보정하는 과정을 수행할 수 있다. 시스템은 영상의 밝기를 최적 상태로 보정 하기 위해 적응적 히스토그램 평활화 방법을 이용할 수 있다. 또한, 시스템은 선명도를 확보하기 위해 설계된 특수한 커널에 의해 선명도를 확보할 수 있다. 또한, 시스템은 추출된 그림 영역의 외곽 테두리의 기울기를 추출해 회전량을 추출하여 보정할 수 있다.
시스템은 보정한 그림 영역에 인식 물체(6)가 포개어지면, 인식 물체(6)를 인식하는 과정을 수행할 수 있다. 구체적으로, 실물화상기(3)의 증강 현실 기능을 사용하는 모드에서 시스템은 인식 물체(6)를 인식하는 과정을 수행할 수 있다.
이 경우, 인식 물체(6)는 사용자의 손가락 또는 첨필(stylus), 원드(wand) 등과 같은 다양한 물체일 수 있으나, 실물화상기(3)의 실물 이미지(5)를 보면서 편리하게 그림을 선택하기 위해서는 사용자의 손가락이 인식 물체(6)로 이용되는 것이 가장 바람직할 수 있다.
인식 물체(6)를 인식하는 과정은 캡쳐된 이미지의 배경이 변경되지 않을 경우에 수행될 수 있다. 시스템은 캡쳐된 이미지의 배경이 변경되는 움직임이 발생하면, 캡쳐단계(S10')로 돌아가 캡쳐단계(S10')부터 그림선택단계(S20')를 순서대로 다시 수행할 수 있다.
도 3에 도시된 배경변경 여부를 판단하는 과정은 도 1에 도시된 실물 이미지 움직임 발생으로 캡쳐단계(S10')로 돌아가는 과정과 동일할 수 있다.
도 3에 도시된 바와 같이, 시스템은 캡쳐된 이미지의 배경이 변경되지 않으나, 캡쳐된 이미지의 그림 영역에 포개지는 인식 물체(6)가 인식되지 않고, 인식 물체(6)가 인식 되지 않아 인식 물체(6)의 선택 제스처와 같은 움직임도 감지되지 않을 경우, 자동으로 그림 영역을 추출할 수 있다.
이 경우, 선택 제스처는 인식 물체(6)가 일정시간 정지하는 제스처 또는 일종의 마우스를 클릭하는 행위 같은 클릭 행위 또는 그림의 외곽 테두리를 기준으로 테두리를 따라 그리는 폐쇄형으로 선택하는 행위 등 다양한 제스처일 수 있고, 이에 한정되는 것은 아니다.
자동으로 추출되는 그림 영역은 보정된 그림 영역일 수 있고, 시스템은 보정된 그림 영역을 그림으로 인식하여, 메타데이터를 입력하는 과정을 수행할 수 있다.
시스템은 도 1에 도시된 그림의 수평이나 밝기를 보정하는 그림 보정 과정을 수행하고, 상기한 그림으로 검색단계(S30')를 수행할 수 있다.
한편, 시스템은 캡쳐된 이미지의 그림 영역에 포개지는 인식 물체(6)를 인식하고, 인식 물체(6)의 선택 제스처와 같은 움직임을 감지하는 과정을 수행할 수 있다.
도 3에 도시된 바와 같이, 시스템은 그림 영역에 포개지는 인식 물체(6)가 인식되고, 인식 물체(6)의 선택 제스처와 같은 움직임이 감지될 경우, 움직임 영역과 피부 색상 영역을 추출하여 인식 물체 영역을 감지할 수 있다.
인식 물체 영역 감지는 움직임 영역과 피부 색상 영역이 모두 추출될 경우에 감지될 수 있으므로, 바람직하게는 인식 물체(6)가 손가락일 경우에 수행될 수 있다.
움직임 영역은 인식 물체(6)인 손가락이 그림을 선택하고 있는 움직임과, 빛으로 인해 캡쳐된 이미지상에 발생한 손가락 그림자 움직임 영역을 포함할 수 있다.
시스템은 움직임 영역을 감지할 때, 캡쳐된 이미지에서의 움직임 영역을 모두 감지할 수 있다. 이 경우, 실제 손가락이 그림을 선택하고 있는 움직임과, 그림자 영역이 감지될 수 있다.
시스템은 손가락이 선택하는 제스처를 정확하게 인식하고, 손가락이 선택하는 제스처를 수행하고 있는 위치의 그림을 정확하게 추출하기 위해서, 움직임 영역과, 피부 색상 영역을 모두 추출할 수 있다. 이 경우, 시스템은 손가락 영역에 해당하는 화소들을 구분하고 임계값을 기반으로 한 피부색 정보인 색상(Hue),채도(Saturation) 및 밝기(Intensity)를 이용하여 손가락으로 추정되는 영역을 추출할 수 있다. 시스템은 추출된 영역을 CCL알고리즘을 이용해 개체로 식별할 수 있다. 시스템은 가장 큰 영역을 갖는 개체의 중심점을 찾고 외곽선들을 선분 근사화(Douglas-Peucker) 알고리즘을 이용하여 단순화할 수 있다. 시스템은 컨벡스헐(Convexhull)알고리즘을 이용하여 단순화된 외곽선 영역에서 손가락 끝의 후보 위치를 구할 수 있다. 그런 다음 시스템은 볼록한 공간과 비어있는 공간(구체적으로, 그림에서 분할된 색깔 부분(blob)과 윤곽)의 위치를 탐색하여 각도를 조사하여 손가락으로 인식할 수 있다.
움직임 영역에서 피부 색상 영역이 추출되지 않을 경우, 시스템은 인식 물체(6)가 아닌 그림자 영역으로 판단하여, 인식 물체(6)의 제스처를 인식하지 않을 수 있다.
이와 같이, 시스템은 움직임 영역과 피부 색상 영역을 추출함으로써, 정확한 인식 물체(6)의 제스처 인식을 수행할 수 있다.
인식 물체(6)가 손가락이 아닐 경우, 시스템은 적합한 과정으로 그림자 영역이 아닌 인식 물체 영역을 감지하여 인식 물체(6)의 제스처를 인식할 수 있다.
전술한 과정이 수행되는 그림선택단계(S20')를 통해, 시스템은 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지에서 텍스트는 선택하지 않고 그림만을 선택할 수 있다.
시스템은 그림선택단계(S20')에서 선택된 그림의 수평 및 밝기를 보정하는 그림 보정 과정을 수행할 수 있다.
그림 보정 과정의 수평 보정은 선택된 그림의 회전량 보정일 수 있다. 회전량 보정은 그림의 외곽 테두리를 기준으로 수행될 수 있고, 그림이 어느 한 방향으로 기울어졌을 경우, 기울어진 방향에서 소정 각도 회전 보정하여 추출된 그림의 외곽 테두리가 일직선 평행을 이루도록 보정할 수 있다.
또한, 시스템은 밝기 보정을 할 수 있고, 선명도도 보정할 수 있다.
시스템은 그림선택단계(S20')에서 선택된 그림을 토대로 검색DB(200)에서 정보를 검색하는 검색단계(S30')를 수행할 수 있다.
검색단계(S30')는 이미지인식DB(100)에서 그림선택단계(S20')에서 선택된 그림의 그림 고유의 특징점을 비교하는 비교단계를 포함할 수 있다.
그림 고유의 특징점은 해당 그림을 일의적으로 단정지을 수 있는 그림 요소로서, 선택된 그림의 외곽 형상, 이목구비, 외형, 색상 등을 포함한다. 예컨대, 선택된 그림이 식물일 경우, 식물의 외곽 형상, 색상 등이 그림 고유의 특징점이 될 수 있다. 또한, 선택된 그림이 인물일 경우, 인물의 이목구비, 외형, 의복 색상 등이 그림 고유의 특징점이 될 수 있다.
또한, 그림 고유의 특징점은 선택된 그림이 갖는 크기, 위치 및 회전을 포함하는 불변의 특징일 수 있다.
시스템은 이미지인식DB(100)에 저장된 이미지와 선택된 그림의 그림 고유의 특징점을 비교하는 비교단계를 수행할 수 있다.
시스템은 비교단계에서 선택된 그림의 그림 고유의 특징점을 이미지인식DB에서 비교할 수 있다.
도 1에 도시된 바와 같이, 시스템은 선택된 그림의 그림 고유의 특징점이 이미지인식DB(100)에 없을 경우, 선택된 그림의 그림 고유의 특징점만을 이미지인식DB(100)에 등록하는 등록단계(S40')를 수행할 수 있다.
구체적으로, 도 1에 도시된 바와 같이, 시스템은 선택된 그림의 그림 보정 과정까지 수행한 후, 이미지인식DB(100)에서 선택된 그림의 그림 고유의 특징점을 비교하는 비교단계를 수행할 수 있다. 시스템은 비교단계에서 이미지인식DB(100)에 선택된 그림의 그림 고유의 특징점이 없을 경우, 선택된 그림의 그림 고유의 특징점만을 이미지인식DB(100)에 등록하는 등록단계(S40')를 수행할 수 있다. 이 때, 선택된 그림은 고유 키워드와 연관 키워드가 포함되어 등록될 수 있다. 이로 인해, 시스템은 등록단계(S40') 다음에 수행되는 검색단계(S30')에서 사용자에게 선택된 그림과 연관성이 높은 고유 키워드 및 연관 키워드를 제공할 수 있다.
시스템은 등록단계(S40')를 수행한 후, 검색단계(S30')를 수행할 수 있다.
시스템이 등록단계(S40') 이후 수행하는 검색단계(S30')는 검색엔진과 같은 검색DB에서 수행할 수 있다.
시스템은 등록단계(S40') 이후 수행하는 검색단계(S30')에서 먼저, 검색엔진을 실행할 수 있다. 시스템은 실행된 검색엔진에서 선택된 그림으로 이미지를 검색하는 과정을 수행할 수 있다. 시스템은 선택된 그림으로 검색된 이미지 결과를 표시할 수 있다.
도 1에는 도시되지 않았지만, 시스템은 표시된 이미지 결과 중 하나가 선택될 경우, 선택된 페이지 URL을 선택된 그림의 결과표시값으로 검색DB에 저장할 것인지 여부를 선택하는 창을 표시할 수 있다.
시스템은 검색DB에 선택된 그림의 결과표시값을 저장하겠다는 선택이 입력되면, 검색DB에 결과표시값을 저장하는 과정을 수행할 수 있다.
이와 같이, 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은 이미지인식DB(100)에 저장되지 않은 그림이 선택될 경우, 시스템이 자동으로 이미지인식DB(100)에 선택된 그림을 등록하는 등록단계(S40')를 수행할 수 있다.
또한, 시스템은 등록단계(S40')이후, 검색엔진을 통한 검색을 수행하고, 이미지인식DB(100)에 새롭게 등록되는 그림에 정확한 결과표시값이 연결될 수 있도록 저장하는 과정을 수행할 수 있다. 이로 인해, 이미지인식DB(100)에 저장되지 않은 정보라도 편리하게 검색이 수행될 수 있다.
또한, 시스템은 자동적으로 이미지인식DB(100)에 그림 고유의 특징점을 등록하는 과정을 수행하고, 선택된 그림의 정확한 결과표시값을 검색DB(200)에 저장할 수 있으므로, 자동적으로 이미지인식DB(100) 및 검색DB(200)의 업데이트되는 효과를 얻을 수 있다.
한편, 시스템은 비교단계에서 그림의 그림 고유의 특징점이 이미지인식DB(100)에 있을 경우, 검색DB(200)에서 검색단계(S30')를 수행할 수 있다.
도 1에 도시된 바와 같이, 시스템은 이미지인식DB(100)에서 그림선택단계(S20')에서 선택된 그림의 그림 고유의 특징점을 비교하는 비교단계를 수행한 후, 그림 고유의 특징점이 있을 경우, 검색DB(200)에서 검색단계를 수행할 수 있다.
시스템은 이미지인식DB(100)에서 그림선택단계(S20')에서 선택된 그림의 그림 고유의 특징점으로 비교된 적합한 이미지 및 상기한 이미지 고유의 특징점을 토대로 검색DB(200)와 매칭할 수 있다.
시스템은 상기한 이미지 및 이미지 고유의 특징점으로 검색DB(200)와 매칭하여 검색DB(200)에서 반환한 URL로 연결할 수 있고, 이를 통해 결과를 표시할 수 있다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')이 서버 시스템(2)에서 수행될 경우, 서버 시스템(2)의 이미지인식DB(100b)와 검색DB(200b)는 사용자 시스템(1)의 사용자 이미지인식DB(100a)와 사용자 검색DB(200a)의 DB를 자동으로 업로드할 수 있다.
또한, 사용자 시스템(1)의 이미지인식DB(100a)와 검색DB(200a)도 서버 시스템(2)의 이미지인식DB(100b)와 검색DB(200b)의 DB를 자동으로 업로드할 수 있다.
이를 통해, 각 시스템의 이미지인식DB(100a,100b)와 검색DB(200a, 200b)가 자동으로 업데이트될 수 있다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은 전술한 바와 같이, 그림선택단계(S20')에서 선택된 그림을 토대로 검색단계(S30')에서 정보를 검색하되, 비교단계를 수행하여 비교단계에서 그림 고유의 특징점을 통해 노이즈가 제거된 정확한 정보를 제공할 수 있다.
본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')은, 사용자가 교육 또는 회의 등에서 강의나 발표를 진행하면서, 설명 대상에 대한 추가 정보 검색이 필요할 경우, 사용자의 손가락 등과 같은 인식 물체로 실물상에서 검색 대상을 선택하는 제스처를 통해 즉시 정보를 검색할 수 있다. 이는 검색 대상이 갖는 불변의 특징 및 기술자(descriptor)를 추출해 매칭하는 특징점 기반의 이미지 인식 기술을 통해 구현될 수 있다.
이로 인해, 추가 정보 검색을 위한 자리 이동이 필요없이, 실물화상기(3)에서 쉽게 추가 정보 검색을 할 수 있고, 검색 결과를 바로 표시하여 청중에게 제공할 수 있다.
또한, 각 시스템의 이미지인식DB(100a, 100b) 및 검색DB(200a, 200b)가 자동으로 업데이트될 수 있으므로, 별도의 업데이트를 수행하지 않아도 각 시스템의 DB가 다양하게 구축될 수 있고, 이로 인해 본 발명의 바람직한 제1실시 예에 따른실물화상기(3)를 이용한 정보 검색 방법(10')을 수행할 때, 더욱 정확하고 다양한 정보를 제공할 수 있게 된다.
이하, 도 2 내지 도 5를 참조하여 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)에 대해 설명한다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')과 캡쳐단계(S10), 그림선택단계(S20), 검색단계(S30)로 구성되는 것은 동일하고, 동일한 실물화상기(3)를 이용하여 정보 검색 방법(10)을 수행하나, 캡쳐단계(S10)를 제외한 그림선택단계(S20), 검색단계(S30)의 세부적인 과정 및 단계가 다르게 수행될 수 있다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')과 동일한 구성에 대한 설명은 생략한다. 또한, 이하의 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)의 실물화상기(3), 실물 이미지(5)와 같은 동일한 구성에 대한 설명은, 전술한 본 발명의 바람직한 제1실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10')에 기재되어 있지 않더라도, 본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10', 10)을 수행하는 동일한 구성이므로, 동일하게 적용될 수 있다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 캡쳐단계(S10)와, 그림선택단계(S20) 이후, 검색단계(S30), 등록단계(S40), 검색 또는 등록 선택단계(S35)가 선택적으로 수행될 수 있다. 이는 시스템에 수행하려고 하는 단계가 선택되어 입력되는 것으로 수행될 수 있다.
이하에서는 캡쳐단계(S10)와, 그림선택단계(S20)이후 검색단계(S30)가 수행되는 것에 대해 먼저 설명하고, 캡쳐단계(S10)와, 그림선택단계(S20)이후 등록단계(S40)가 수행되는 것에 대해 설명한 다음, 캡쳐단계(S10)와, 그림선택단계(S20)이후 검색 또는 등록 선택단계(S35)가 수행되는 것에 대해 설명한다.
도 2에 도시된 바와 같이, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 캡쳐단계(S10)와, 그림선택단계(S20)와, 검색단계(S30), 등록단계(S40), 검색 또는 등록 선택단계(S35)로 구성될 수 있다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 실물화상기(3)에서 캡쳐단계(S10)가 이루어질 수 있다. 또한, 실물화상기(3)에 AR기능이 구비되어 있으므로, 그림선택단계(S20)는 실물화상기(3)와 시스템 모두에서 수행될 수 있다. 또한, 검색단계(S30)는 시스템에서 수행될 수 있다. 이와 같이, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은, 어느 한 특정 단계는 실물화상기(3) 또는 시스템에서만 수행될 수 있고, 어느 다른 특정 단계는 실물화상기(3) 및 시스템 모두에서 수행될 수 있다.
캡쳐단계(S10)에서는 실물화상기(3)에 구비된 카메라를 통해 실물 이미지(5)가 캡쳐되는 과정이 수행된다.
이후, 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지(5)에서 텍스트는 선택하지 않고 그림만을 선택하는 그림선택단계(S20)가 수행된다.
그림선택단계(S20)에서는 이미지인식DB(100)에서 그림과 관련된 키워드를 추출하는 추출단계(S20a)가 수행될 수 있다. 추출된 키워드는 후술할 검색단계(S30)에서 이미지를 검색하는데 활용될 수 있다.
이 경우, 이미지인식DB(100)는 시스템에 이미지로 미리 구축된 데이터베이스일 수 있다. 예컨대, 실물화상기(3)를 학교 수업에서 이용할 경우, 교육용 교과서가 실물 이미지(5)라면, 이미지인식DB(100)는 전국에 교육용으로 배포된 교과서에 포함된 이미지들로 미리 구축된 데이터베이스와 같을 수 있다.
이미지인식DB(100)에 저장된 이미지는 메타데이터(metadata)를 포함할 수 있다.
메타데이터는 이미지식별ID, 검색 키워드, 검색URL, 영상URL 중 적어도 하나 이상을 포함할 수 있고, 이에 한정된 것은 아니다. 또한, 이미지식별ID의 경우, 시스템에 의해 자동으로 부여될 수 있다.
예컨대, 이미지인식DB(100)에 저장된 이미지 중 하나가 '이순신' 장군의 이미지이다. 이 경우, 이순신 장군의 이미지에는 이순신001(이미지식별ID), 이순신, 거북선(검색 키워드), 검색URL, 영상URL 등의 메타데이터가 포함되어 저장될 수 있다.
또한, 그림선택단계(S20)에서는 이미지인식DB(100)에서 그림과 매칭되는 검색URL을 제공받을 수 있다. 제공받은 검색URL은 후술할 검색단계(S30)에서 정보를 검색하는데 활용될 수 있다.
이와 같이, 시스템은 그림선택단계(S20)에서 선택된 그림으로 이미지인식DB(100)를 통해 관련된 키워드만을 추출하고, 선택된 그림과 관련된 검색URL만을 제공받음으로써, 후술할 검색DB(200)에서 선택된 그림을 토대로 정보를 검색할 때 노이즈가 제거된 정확한 정보를 검색할 수 있다.
예컨대, 학생들을 대상으로 하는 수업에서 AR기능을 구비한 실물화상기(3)를 이용하여 정보를 검색하는 방법이 수행될 수 있다. 이 경우, 디스플레이(4)에 노이즈가 포함된 검색 결과가 표시된다면, 다소 산만한 집중력을 가진 시기의 초, 중, 고등학교의 학생들의 수업 집중도가 떨어질 수 있다.
하지만 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 이미지인식DB(100)를 통해 선택된 그림과 관련된 키워드만이 추출되고, 선택된 그림과 관련된 검색URL만을 제공받을 수 있다.
이로 인해, 후술할 검색단계(S30)에서 이미지인식DB(100)를 통해 노이즈는 제거되고, 선택된 그림과 관련된 키워드 또는 검색URL만을 이용하여 검색 과정을 수행할 수 있으므로, 정확한 검색 결과만을 검색할 수 있게 된다.
또한, 시스템은 정확한 검색 결과만을 디스플레이(4)에 표시할 수 있으므로, 정보 검색 과정에서도 수업의 흐름 및 집중도를 꾸준히 유지할 수 있고, 다양하고 정확한 정보 제공으로 수업의 질을 더욱 향상시킬 수 있는 효과가 있다.
그림선택단계(S20)가 수행되고 난 후, 검색DB(200)에서 선택된 그림을 토대로 정보를 검색하는 검색단계(S30)가 수행될 수 있다.
선택된 그림을 토대로 검색되는 정보는 그림선택단계(S20)의 추출단계(S20a)에서 추출된 키워드로 검색단계(S30)에서 검색DB(200)를 통해 검색된 결과 이미지일 수 있고, 이미지인식DB에서 그림과 매칭되는 검색URL로 연동된 페이지일 수 있으며, 영상URL로 연동된 영상 등일 수 있다.
도 2에 도시된 바와 같이, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 다음과 같이 수행될 수 있다. 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 AR기능을 구비한 실물화상기(3)를 이용하므로, 시스템은 도 2의 순서도의 검색 과정을 따라 실물화상기(3)를 이용한 정보 검색 방법(10)을 수행할 수 있다.
실물화상기(3)의 작동 상태가 ON상태가 되면, 실물화상기(3)는 실물 이미지(5)를 캡쳐하는 캡쳐단계(S10)를 수행한다.
캡쳐단계(S10)는 실물화상기(3)에 구비된 카메라를 통해 실물 이미지(5)를 캡쳐할 수 있다. 이 경우, 캡쳐 기능은 카메라에 기능을 부여할 수 있고, 실물화상기(3)의 적합한 위치에 내장될 수 있다.
캡쳐단계(S10)가 수행되고 나면, 인식 물체(6)가 실물상에서 선택 제스처를 수행하여 그림을 선택하는 그림선택단계(S20)가 수행된다. 이 경우, 상기한 실물상에서 선택 제스처를 수행하는 것은 실물 이미지(5)상에서 선택 제스처를 수행하는 것과 동일할 수 있다.
그림선택단계(S20)에서는 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지(5)에서 텍스트는 선택하지 않고 그림만을 선택할 수 있고, 선택된 그림이 추출될 수 있다.
그림선택단계(S20)에서 실물상에서 인식 물체(6)가 선택 제스처를 수행하여 그림만이 선택되고, 선택된 그림이 추출되는 과정은 도 3를 참조하여 설명할 수 있다.
도 3에 도시된 바와 같이, 실물 이미지(5)가 캡쳐되면서 캡쳐된 이미지가 생성될 수 있다. 캡쳐된 이미지는 도 4 및 도 5에 도시된 실물 이미지(5)와 같이, 실물 이미지(5)가 한장의 페이지 형태와 같이 캡쳐될 수 있다.
시스템은 캡쳐된 이미지의 배경을 제거하고, 캡쳐된 이미지의 배경 변경 여부를 감지할 수 있다. 캡쳐된 이미지의 배경 변경 여부 감지 기능은 실물화상기(3)에 적합한 감지 기능을 내장할 수 있으며, 카메라에 기능을 부여할 수 있다.
시스템은 캡쳐된 이미지의 배경 변경 여부를 감지하여 캡쳐된 이미지의 배경이 변경될 경우, 실물화상기(3)에 실물 이미지(5)의 배치가 완료되지 않았음으로 판단하고, 다시 실물 이미지(5)를 캡쳐하여 캡쳐된 이미지를 생성하는 과정으로 돌아갈 수 있다.
예컨대, 도 4 및 도 5에 도시된 실물 이미지(5)와 같이, 이순신 장군의 이미지가 포함된 교과서의 한장의 페이지 형태가 캡쳐된다. 그런 다음 시스템은 이순신 장군의 이미지를 제외한 텍스트 배경을 제거할 수 있다.
텍스트 배경이 실물 이미지(5)의 배치 준비로 인해 지속적으로 변경될 경우, 시스템은 실물 이미지(5)의 배치가 완료되지 않았음으로 판단하고, 교과서를 캡쳐하는 과정으로 돌아갈 수 있다.
한편, 시스템은 캡쳐된 이미지의 배경이 변경되지 않을 경우, 캡쳐된 이미지에서 움직임을 감지하는 과정을 수행할 수 있다.
시스템은 실물상의 움직임이 감지되지 않을 경우, 자동으로 그림 영역을 추출할 수 있다.
시스템은 캡쳐된 이미지에 여러 그림 영역이 있을 경우, 캡쳐된 이미지를 기준으로 캡쳐된 이미지의 중앙에 가까운 그림 영역을 자동 추출할 수 있다. 따라서, 캡쳐하려고 하는 실물 이미지(5)에 여러 그림 영역이 있을 경우, 실물 이미지(5)에서 자동 추출할 그림 영역이 캡쳐된 이미지의 중앙에 올 수 있도록 배치하는 것이 바람직할 수 있다.
또한, 시스템은 그림 영역에 테두리가 없을 경우, 가까운 거리의 그림은 하나의 그림으로 인식하여 그림 영역을 추출할 수 있다.
또한, 시스템은 캡쳐된 이미지에 다수의 인물이 포함된 여러 그림 영역이 존재할 경우, 캡쳐된 이미지를 기준으로 캡쳐된 이미지의 중앙 또는 중앙에서 가까운 위치에 위치한 인물이 포함된 그림 영역만을 추출할 수 있다.
시스템은 추출된 그림의 회전량을 보정할 수 있다. 회전량 보정은 그림의 외곽 테두리를 기준으로 수행될 수 있다. 회전량 보정은 추출된 그림이 어느 한 방향으로 기울어졌을 경우, 기울어진 방향에서 소정 각도 회전 보정하여 추출된 그림의 외곽 테두리가 일직선 평행을 이루도록 보정할 수 있다. 또한, 시스템은 회전 보정과 함께 추출된 그림의 밝기와 선명도도 보정할 수 있다.
또한, 시스템은 캡쳐된 이미지에 얼굴이 포함되어 있을 경우, 얼굴 검출 여부 기능을 선택하여 얼굴을 추출할 수 있다. 이와 같은 기능은 실물화상기(3) 및 시스템에 적합하게 부여될 수 있다.
예컨대, 도 4 및 도 5에 도시된 실물 이미지(5)와 같이, 이순신 장군의 이미지가 포함된 교과서의 한장의 페이지 형태가 캡쳐된다. 이 경우, 얼굴 검출 여부 기능을 선택하여 얼굴을 추출할 수 있다.
시스템은 기 설정된 크기 파라미터를 통해 그림을 추출할 수 있다.
시스템은 추출된 그림 영역의 그림을 인식할 수 있다. 그런 다음 시스템은 인식된 그림에 메타데이터를 입력하는 과정을 수행할 수 있고, 인식된 그림을 추출하여 이미지인식DB(100)에서 키워드를 추출하는 추출단계(S20a)를 수행한 다음, 키워드로 후술할 검색단계(S30)를 수행할 수 있다.
시스템은 캡쳐된 이미지에서 움직임을 감지할 경우, 움직임 영역과 피부 색상 영역을 추출하여 인식 물체 영역을 감지할 수 있다.
이와 같은 인식 물체 영역 감지는 움직임 영역과 피부 색상 영역이 모두 추출될 경우에 감지될 수 있으므로, 인식 물체(6)가 손가락일 경우에 바람직하게 수행될 수 있는 과정일 수 있다.
도 3에 도시된 움직임 영역은 인식 물체(6)인 손가락이 그림을 선택하고 있는 움직임과, 빛으로 인해 캡쳐된 이미지상에 발생한 손가락 그림자 움직임 영역을 포함할 수 있다.
시스템은 움직임 영역을 감지할 때, 캡쳐된 이미지에서의 움직임 영역을 모두 감지할 수 있다. 이 경우, 실제 손가락이 그림을 선택하고 있는 움직임과, 그림자 영역이 감지될 수 있다.
시스템은 손가락이 선택하는 제스처를 정확하게 인식하고, 손가락이 선택하는 제스처를 수행하고 있는 위치의 그림을 정확하게 추출하기 위해서, 움직임 영역과, 피부 색상 영역을 모두 추출할 수 있다. 움직임 영역에서 피부 색상 영역이 추출되지 않을 경우, 시스템은 인식 물체(6)가 아닌 그림자 영역으로 판단하여, 인식 물체(6)의 제스처로 인식하지 않을 수 있다.
이와 같이, 시스템은 움직임 영역과 피부 색상 영역을 추출함으로써, 정확한 인식 물체(6)의 제스처 인식을 수행할 수 있다.
인식 물체(6)가 손가락이 아닐 경우, 시스템은 적합한 과정으로 그림자 영역이 아닌 인식 물체 영역을 감지하여 인식 물체(6)의 제스처를 인식할 수 있다.
이후, 시스템은 인식 물체(6)의 제스처를 인식하여 그림을 선택하고, 선택된 그림을 추출하여 후술할 추출단계(S20a) 및 검색단계(S30)를 수행할 수 있다.
시스템은 선택된 그림이 추출된 후, 추출된 그림으로 검색을 진행할 것인지 여부를 묻는 과정을 수행하거나, 자동으로 순차적인 단계 및 과정을 수행할 수 있다.
도 2에는 도시되지 않았지만, 선택된 그림은 추출된 후, 이미지인식DB(100)로 전송되어 이미지 매칭 과정이 수행될 수 있다.
이미지인식DB(100)는 추출된 그림으로 이미지 매칭 과정을 수행하고, 그림과 관련된 키워드를 추출하는 추출단계(S20a)를 수행할 수 있다. 이 경우, 키워드는 이미지인식DB(100)에 저장된 이미지에 포함된 메타데이터 중 하나일 수 있다.
시스템은 이미지인식DB(100)에서 추출된 키워드를 검색DB(200)로 전송하고, 키워드로 검색DB(200)에서 정보를 검색할 수 있다.
다시 말해, 시스템은 실물상에서 선택한 그림을 토대로 키워드를 추출하고, 추출된 키워드로 정보를 검색할 수 있다.
시스템은 검색 결과를 모니터 등의 디스플레이(4)로 표시할 수 있다.
또한, 도 2에는 도시되지 않았지만, 선택된 그림이 추출된 후, 이미지인식DB(100)는 추출된 그림으로 이미지를 매칭하고, 그림과 매칭되는 검색URL을 제공할 수 있다. 시스템은 제공받은 검색URL로 정보를 검색할 수 있다.
도 5에 도시된 바와 같이, 시스템은 검색URL로 정보를 검색할 경우, 디스플레이(4)에 검색URL로 연동한 페이지를 표시할 수 있다.
또한, 시스템은 선택된 하나의 그림을 토대로 정보 검색 방법(10)을 수행한 후, 동일한 실물 이미지에서 다른 그림을 토대로 정보 검색 방법(10)을 수행할 수 있다.
따라서, 시스템은 결과 표시 후, 실물화상기(3)의 작동 상태가 OFF상태가 되지 않으면, 추가 정보 검색을 수행할 것으로 판단하여, 인식 물체(6)가 실물상에 선택 제스처를 수행하여 그림을 선택하는 그림선택단계(S20)로 돌아갈 수 있다.
시스템은 실물화상기(3)의 작동상태가 OFF상태가 되지 않을 경우, 이와 같은 과정을 반복적으로 수행할 수 있다.
반복적으로 수행되는 과정은 캡쳐단계(S10), 그림선택단계(S20), 검색단계(S30) 후, 결과 표시과정까지 수행되고 난 뒤, 다시 그림선택단계(S20)로 돌아가, 그림선택단계(S20), 검색단계(S30), 결과 표시 과정이 수행되는 것일 수 있다.
도 4에 도시된 바와 같이, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)이 사용자 시스템(1)에서 이루어질 경우, 상기한 그림선택단계(S20) 및 검색단계(S30)의 이미지인식DB 및 검색DB는 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)일 수 있다. 또한, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)이 서버 시스템(2)에서 이루어질 경우, 그림선택단계(S20)와 검색단계(S30)에서의 이미지인식DB(100) 및 검색DB(200)는 서버 이미지인식DB(100b) 및 서버 검색DB(200b)일 수 있다.
이와 같이, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때, 실물 이미지(5)에 인식 물체(6)의 선택 제스처를 그래픽 형태의 가상 현실로 실시간 합성하여 그림을 선택하고 이를 토대로 정보를 검색할 수 있다. 이로 인해, 교육 또는 회의 등에서 설명하는 실물 이미지(5)에 대한 추가 정보 검색이 필요할 경우, 실물상에서 인식 물체(6)로 검색할 대상을 선택하는 제스처를 통해 간편하게 정보를 검색할 수 있다.
또한, 검색한 정보를 실시간으로 디스플레이(4)에 표시하여 공유할 수 있으므로, 검색 결과를 별도로 출력하여 실물화상기(3)로 촬영하거나, 검색 결과가 표시된 PC와 디스플레이(4)를 재연결하는 등의 번거로운 작업을 생략할 수 있는 효과가 있다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은, 시스템에서 정보 검색 방법(10)이 수행되면, 정보 검색 방법(10)의 단계를 거치면서, 정보 검색의 토대가 되는 그림에 이미지인식DB(100)에서 추출된 키워드나, 검색URL이 관련 메타데이터로 입력되어 이미지인식DB(100) 및 검색DB(200)에 등록될 수 있다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 캡쳐단계(S10)와, 그림선택단계(S20) 이후 등록단계(S40)을 수행할 수 있다.
캡쳐단계(S10)에서는 실물화상기(3)에 구비된 카메라를 통해 실물 이미지(5)가 캡쳐되는 과정이 수행된다.
이후, 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지(5)에서 텍스트는 선택하지 않고 그림만을 선택하는 그림선택단계(S20)가 수행된다.
이후, 선택된 그림을 이미지인식DB(100) 및 검색DB(200)에 등록하는 등록단계(S40)가 수행될 수 있다. 도 2에는 도시되지 않았지만, 시스템은 그림 등록 후, 등록된 그림을 토대로 검색하는 과정을 수행할 수 있다.
도 2에 도시된 바와 같이, 등록단계(S40')가 수행될 경우, 시스템은 도 2의 순서도의 등록 과정을 따라 수행할 수 있다.
실물화상기(3)의 작동 상태가 ON상태가 되면, 실물화상기(3)는 실물 이미지(5)를 캡쳐하는 캡쳐단계(S10)를 수행한다.
캡쳐단계(S10)가 수행되고 나면, 인식 물체(6)가 실물상에서 선택 제스처를 수행하여 그림을 선택하는 그림선택단계(S20)가 수행된다. 이 경우, 상기한 실물상에서 선택 제스처를 수행하는 것은 실물 이미지(5)상에서 선택 제스처를 수행하는 것과 동일할 수 있다.
그림선택단계(S20)에서는 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지(5)에서 텍스트는 선택하지 않고 그림만을 선택할 수 있고, 선택된 그림이 추출될 수 있다.
그림선택단계(S20)에서 실물상에서 인식 물체(6)가 선택 제스처를 수행하여 그림만이 선택되고, 선택된 그림이 추출되는 과정은 도 3를 참조할 수 있고, 이에 대한 자세한 설명은 전술한 실물화상기(3)를 이용한 정보 검색 방법에서의 설명을 참조할 수 있다.
시스템은 선택된 그림에 메타데이터를 입력하는 과정을 수행할 수 있다.
메타데이터가 입력된 그림은 이미지인식DB(100) 및 검색DB(200)에 등록될 수 있다.
이미지인식DB(100) 및 검색DB(200)에 등록된 그림은 사용자 시스템(1)의 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)로 업데이트 될 수 있다.
이 경우, 서버 시스템(2)에서 정보 검색 방법(10)이 수행될 경우, 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)로 업데이트될 수 있고, 사용자 시스템(1)에서 정보 검색 방법(10)이 수행될 경우, 서버 이미지인식DB(100b) 및 서버 검색DB(200b)로 업데이트될 수 있다.
이와 같은 업데이트는 자동적으로 이루어질 수 있고, 이로 인해, 사용자 시스템(1)에 사용자가 등록하는 정보 외에 서버 시스템(2)을 통한 정보가 자동으로 업데이트되어 시스템은 더욱 정확하고, 다양한 정보를 제공할 수 있게 된다.
또한, 시스템은 선택된 하나의 그림을 토대로 등록단계(S40')를 수행한 후, 동일한 실물 이미지에서 다른 그림을 토대로 등록단계를 수행할 수 있다.
따라서, 시스템은 등록된 그림을 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)로 업데이트하는 과정을 수행한 후, 실물화상기(3)의 작동상태가 OFF상태가 되지 않으면, 추가 정보 등록을 수행할 것으로 판단하여, 인식 물체(6)가 실물상에 선택 제스처를 수행하여 그림을 선택하는 그림선택단계(S20)로 돌아갈 수 있다.
시스템은 실물화상기(3)의 작동상태가 OFF상태가 되기 전까지 이와 같은 과정을 반복적으로 수행할 수 있다.
반복적으로 수행되는 과정은 캡쳐단계(S10), 그림선택단계(S20), 등록단계(S40) 후, 등록된 그림이 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)에 업데이트 되는 과정일 수 있다.
본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)은 캡쳐단계(S10)와, 그림선택단계(S20) 이후, 검색 또는 등록 선택단계(S35)를 수행할 수 있다.
도 1에 도시된 바와 같이, 캡쳐단계(S10)에서는 실물화상기(3)에 구비된 카메라를 통해 실물 이미지(5)가 캡쳐되는 과정이 수행된다.
이후, 실물상에서 인식 물체(6)가 선택 제스처를 수행하고 있을 때 실물 이미지(5)에서 텍스트는 선택하지 않고 그림만을 선택하는 그림선택단계(S20)가 수행된다.
이 경우, 인식 물체(6)는 사용자의 손가락인 것이 가장 바람직할 수 있다.
이후, 그림을 검색 또는 등록할 것인지 선택하는 검색 또는 등록 선택단계(S35)가 수행될 수 있다.
검색 또는 등록 선택단계(S35)에서 검색이 선택되면, 검색DB(200)에서 그림을 토대로 정보를 검색하는 검색단계(S30)가 수행될 수 있다.
시스템은 검색 또는 등록 선택단계(S35)에서 검색이 선택되어 검색단계(S30)를 수행할 경우, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)의 검색단계(S30) 과정과 동일하게 검색단계(S30)를 수행할 수 있다.
또한, 검색 또는 등록 선택단계(S35)에서 등록이 선택되면, 그림을 이미지인식DB(100) 및 검색DB(200)에 등록하는 등록단계(S40)가 수행될 수 있다.
시스템은 검색 또는 등록 선택단계(S35)에서 등록이 선택되어 등록단계(S40)를 수행할 경우, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)의 등록단계(S40) 과정과 동일하게 등록단계(S40)를 수행할 수 있다.
등록단계(S40)에서 이미지인식DB(100) 및 검색DB(200)에 등록된 그림은 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)로 업데이트될 수 있고, 이와 같은 업데이트는 자동적으로 수행될 수 있다.
도 2에 도시된 바와 같이, 본 발명의 바람직한 제2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10)의 검색 또는 등록 선택단계(S35)는 다음과 같이 수행될 수 있다.
실물화상기(3)의 작동 상태가 ON상태가 되면, 실물화상기(3)는 실물 이미지(5)를 캡쳐하는 캡쳐단계(S10)를 수행한다.
캡쳐단계(S10)가 수행되고 나면, 인식 물체(6)가 실물상에서 선택 제스처를 수행하여 그림을 선택하는 그림선택단계(S20)가 수행된다.
그림선택단계(S20)에서 선택된 그림이 추출된 후, 시스템은 검색 또는 등록 선택단계(S35)를 수행할 수 있다.
이 경우, 검색이 선택되면, 검색DB(200)에서 그림을 토대로 정보를 검색하는 검색단계(S30)가 수행되고, 등록이 선택되면, 그림을 이미지인식DB(100)에 등록하는 등록단계(S40)가 수행될 수 있다.
본 발명의 바람직한 제1, 2실시 예에 따른 실물화상기(3)를 이용한 정보 검색 방법(10', 10)은 사용자가 교육 또는 회의 등에서 강의나 발표를 진행하면서, 설명 대상에 대한 추가 정보 검색이 필요할 경우, 사용자의 손가락 등과 같은 인식 물체(6)로 실물상에서 검색 대상을 선택하는 제스처를 통해 즉시 정보를 검색할 수 있다.
또한, 검색된 정보를 디스플레이(4)를 통해 실시간으로 표시할 수 있다.
이로 인해, 사용자는 추가 정보 검색을 위한 자리 이동을 할 필요없이, 제자리에서 쉽게 추가 정보 검색을 할 수 있고, 검색 결과를 바로 표시하여 청중에게 정보를 제공할 수 있다.
또한, 본 발명의 정보 검색 방법(10', 10)은 실물상에서 실시간으로 인식 물체(6)를 통해 그림을 선택하는 제스처를 수행하여 그림을 선택하고, 선택한 그림이 이미지인식DB(100) 및 검색DB(200)에 등록됨으로써, 데이터베이스 구축이 용이하게 이루어질 수 있다.
또한, 이미지인식DB(100) 및 검색DB(200)에 등록된 그림이 사용자 이미지인식DB(100a) 및 사용자 검색DB(200a)로 자동 업데이트될 수 있으므로, 사용자 이미지인식DB 및 사용자 검색DB(200a)의 별도 업데이트가 수행되지 않아도 다양한 정보가 구축될 수 있고, 이로 인해, 시스템이 본 발명의 정보 검색 방법(10', 10)을 수행할 때, 사용자에게 더욱 정확하고, 다양한 정보를 제공할 수 있게 되는 효과가 있다.
전술한 바와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술분야의 통상의 기술자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
1: 사용자 시스템 2: 서버 시스템
3: 실물화상기 4: 디스플레이
5: 실물 이미지 6: 인식 물체
T: 텍스트
100: 이미지인식DB 200: 검색DB
100a: 사용자 이미지인식DB 100b: 서버 이미지인식DB
200a: 사용자 검색DB 200b: 서버 검색DB
S10', S10: 캡쳐단계 S20', S20: 그림선택단계
S20a: 추출단계 S30', S30: 검색단계
S40', S40: 등록단계 S35: 검색 또는 등록 선택단계
10', 10: 본 발명의 정보 검색 방법

Claims (5)

  1. 실물화상기에 구비된 카메라를 통해 실물 이미지를 캡쳐하는 캡쳐단계;
    상기 실물상에서 인식 물체가 선택 제스처를 수행하고 있을 때 상기 실물 이미지에서 텍스트는 선택하지 않고 그림만을 선택하는 그림선택단계; 및
    검색DB에서 상기 그림을 토대로 정보를 검색하는 검색단계;를 포함하는 것을 특징으로 하는 실물화상기를 이용한 정보 검색 방법.
  2. 제1항에 있어서,
    상기 검색단계는
    이미지인식DB에서 상기 그림의 그림 고유의 특징점을 비교하는 비교단계를 포함하는 것을 특징으로 하는 실물화상기를 이용한 정보 검색 방법.
  3. 제2항에 있어서,
    상기 비교단계에서 상기 그림의 그림 고유의 특징점이 이미지인식DB에 없을 경우, 상기 그림 고유의 특징점만을 이미지인식DB에 등록하는 등록단계;를 수행하고,
    상기 비교단계에서 상기 그림의 그림 고유의 특징점이 이미지인식DB에 있을 경우, 상기 검색단계를 수행하는 것을 특징으로 하는 실물화상기를 이용한 정보 검색 방법.
  4. 제3항에 있어서,
    상기 등록단계 이후, 상기 검색단계를 수행하되,
    상기 등록단계 이후 수행하는 상기 검색단계는 검색엔진에서 수행하는 것을 특징으로 하는 실물화상기를 이용한 정보 검색 방법.
  5. 제2항에 있어서,
    상기 이미지인식DB와 상기 검색DB는 사용자 이미지인식DB와 사용자 검색DB의 DB를 자동 업로드할 수 있는 것을 특징으로 하는 실물화상기를 이용한 정보 검색 방법.
KR1020200051399A 2020-04-28 2020-04-28 실물화상기를 이용한 정보 검색 방법 KR102416338B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051399A KR102416338B1 (ko) 2020-04-28 2020-04-28 실물화상기를 이용한 정보 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051399A KR102416338B1 (ko) 2020-04-28 2020-04-28 실물화상기를 이용한 정보 검색 방법

Publications (2)

Publication Number Publication Date
KR20210132911A true KR20210132911A (ko) 2021-11-05
KR102416338B1 KR102416338B1 (ko) 2022-07-04

Family

ID=78507863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051399A KR102416338B1 (ko) 2020-04-28 2020-04-28 실물화상기를 이용한 정보 검색 방법

Country Status (1)

Country Link
KR (1) KR102416338B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808626B1 (ko) * 2007-05-25 2008-02-28 (주)이어존 이미지 연동 학습장치
KR20110040255A (ko) 2009-10-13 2011-04-20 삼성테크윈 주식회사 실물 화상기
KR101191172B1 (ko) * 2012-02-15 2012-10-15 (주)올라웍스 이미지 데이터베이스의 이미지들을 관리하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808626B1 (ko) * 2007-05-25 2008-02-28 (주)이어존 이미지 연동 학습장치
KR20110040255A (ko) 2009-10-13 2011-04-20 삼성테크윈 주식회사 실물 화상기
KR101191172B1 (ko) * 2012-02-15 2012-10-15 (주)올라웍스 이미지 데이터베이스의 이미지들을 관리하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
KR102416338B1 (ko) 2022-07-04

Similar Documents

Publication Publication Date Title
US10924676B2 (en) Real-time visual effects for a live camera view
US10032072B1 (en) Text recognition and localization with deep learning
US11703949B2 (en) Directional assistance for centering a face in a camera field of view
US10832086B2 (en) Target object presentation method and apparatus
US10109051B1 (en) Item recommendation based on feature match
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
KR101469398B1 (ko) 텍스트 기반 3ｄ 증강 현실
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
Botterill et al. Real-time aerial image mosaicing
US20180321776A1 (en) Method for acting on augmented reality virtual objects
CN109635752B (zh) 人脸关键点的定位方法、人脸图像处理方法和相关装置
Rusiñol et al. Augmented songbook: an augmented reality educational application for raising music awareness
US10891019B2 (en) Dynamic thumbnail selection for search results
WO2023011013A1 (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
JP2001282456A (ja) マンマシーン・インターフェース・システム
CN111492374A (zh) 图像识别系统
JP2002216129A (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
US20180101228A1 (en) Gaze direction mapping
CN106203286A (zh) 一种增强现实的内容获取方法、装置及移动终端
CN111368751A (zh) 图像处理方法、装置、存储介质及电子设备
KR20180044587A (ko) 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
TW201823929A (zh) 移動物件的虛擬訊息遠距管理方法與應用系統
Choi et al. Arclassnote: Augmented reality based remote education solution with tag recognition and shared hand-written note
KR102416338B1 (ko) 실물화상기를 이용한 정보 검색 방법
CN110177216A (zh) 图像处理方法、装置、移动终端以及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant