KR101269314B1 - 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법 - Google Patents

소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법 Download PDF

Info

Publication number
KR101269314B1
KR101269314B1 KR1020110101674A KR20110101674A KR101269314B1 KR 101269314 B1 KR101269314 B1 KR 101269314B1 KR 1020110101674 A KR1020110101674 A KR 1020110101674A KR 20110101674 A KR20110101674 A KR 20110101674A KR 101269314 B1 KR101269314 B1 KR 101269314B1
Authority
KR
South Korea
Prior art keywords
image
recognized
mobile terminal
input
advertisement
Prior art date
Application number
KR1020110101674A
Other languages
English (en)
Other versions
KR20130037323A (ko
Inventor
오유미
Original Assignee
오유미
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오유미 filed Critical 오유미
Priority to KR1020110101674A priority Critical patent/KR101269314B1/ko
Publication of KR20130037323A publication Critical patent/KR20130037323A/ko
Application granted granted Critical
Publication of KR101269314B1 publication Critical patent/KR101269314B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0267—Wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds

Abstract

본 발명은 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법에 관한 것이다. 본 발명은 모바일단말이 입출력부로 카메라에 의해 촬영된 영상이 출력되면, 상기 모바일단말의 LBS 위치정보를 ODM서버로 전송하여 상기 LBS 위치정보에 해당하는 것으로 검색된 주변 위치의 오브젝트 섬네일 이미지와 위치 광고를 수신하는 제 1 단계와, 상기 모바일단말이 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 제 2 단계와, 상기 모바일단말이, 상기 인식된 오브젝트 각각을 소셜 네트워크를 통해 상기 ODM서버로 전송하여 상기 ODM서버에 의해 검색된 상기 인식된 오브젝트 각각에 등록된 메시지, 상기 인식된 오브젝트 각각의 광고를 검색하여 검색된 데이터를 반환받는 제 3 단계, 그리고 상기 모바일단말이 상기 촬영된 영상의 이미지, 상기 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, 그리고 상기 ODM서버로부터 수신된 상기 인식된 오브젝트 각각의 광고와 메시지를 상기 입출력부로 출력하는 제 4 단계를 포함한다.

Description

소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법{System and method for searching object based on social network}
본 발명은 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법에 관한 것으로, 보다 구체적으로는, 모바일단말 상에서 촬영된 영상 내의 오브젝트를 인식하고, 인식된 오브젝트 및 이를 표현하고자 하는 내용인 메시지를 소셜 네트워크 상에 편리하게 등록함으로써, 사용자 상호 간에 오브젝트가 공유되어 검색이 가능한 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법에 관한 것이다.
우리의 매일의 삶들에 영향을 주는 거대한 변화들이 인터넷에서 일어나고 있다. 예를 들어, 온라인 상의 소셜 네트워크가 새로운 만남의 장소가 되고 있다. 이런 소셜 네트워크의 개발은 우리의 매일의 삶의 셀 수 없는 국면들에 접촉하여, 비슷한 심적 경향을 가진 사람들로의 즉각적 액세스를 제공하고 또한 사람들이 이전의 어떤 때보다도 더 많은 사람과 더 많은 방식으로 제휴 관계를 형성하도록 하여 준다.
즉, 인터넷과, 이메일, 인스턴트 메시징(instant messaging), 채팅 룸들 및 포럼들과 같은 연관된 통신 형태들의 더 유용한 특징들 중의 하나는 매일의 삶과 사회적 삶에 있어서 유용한 정보로의 액세스가 가능한 소셜 네트워크이다.
한편, 인터넷 내에는 상당한 양의 정보가 존재하며, 개인은 어느 때라도 스마트 폰과 같은 모바일단말 또는 인터넷 선이 연결된 유선단말을 이용하여 트위터 또는 페이스 북과 같은 소셜 네트워크에 접속하여 정보를 등록할 수 있다.
이에 따라, 인터넷에 우리의 일상 생활에 영향을 미치는 많은 변화가 발생하여 왔다. 예를 들어, 소셜 네트워크는 새로운 모임 장소들이 되었으며, 많은 사람들은 그러한 소셜 네트워크들을 이용하여, 그들 자신을 그들의 친구들, 그들의 이웃, 그들의 공동체와 재접속하거나, 접촉을 유지한다.
이에 따라 해당 기술분야에 있어서는 이런 소셜 네트워크를 이용해 다수의 사용자에 의해 정보가 등록 가능한 점을 이용하여 모바일단말이 갖는 촬영 기능을 이용하여 즉각적으로 촬영된 영상 내의 오브젝트에 대한 검색 기능을 강화할 경우 사용자들의 편리함을 제고할 수 있을 것으로 예상되고 있다.
[관련기술문헌]
1. 애드보케이트 추천을 이용한 소셜 네트워크 마케팅 방법 및 장치(특허출원번호 제10-2010-7022056호)
2. 소셜 네트워크 서비스를 위한 대화식 아바타(특허출원번호 제 10-2010-7013194호)
본 발명은 모바일단말 상에서 촬영된 영상 내의 오브젝트 및 메시지를 소셜 네트워크 상에 편리하게 등록하고, 촬영된 영상 내에 인식된 오브젝트와 인식된 오브젝트 주위에 위치한 오브젝트에 대한 메시지 및 광고를 검색하기 위한 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 방법은, 모바일단말이 입출력부로 카메라에 의해 촬영된 영상이 출력되면, 상기 모바일단말의 LBS 위치정보를 ODM서버로 전송하여 상기 LBS 위치정보에 해당하는 것으로 검색된 주변 위치의 오브젝트 섬네일 이미지와 위치 광고를 수신하는 제 1 단계와, 상기 모바일단말이 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 제 2 단계와, 상기 모바일단말이, 상기 인식된 오브젝트 각각을 소셜 네트워크를 통해 상기 ODM서버로 전송하여 상기 ODM서버에 의해 검색된 상기 인식된 오브젝트 각각에 등록된 메시지, 상기 인식된 오브젝트 각각의 광고를 검색하여 검색된 데이터를 반환받는 제 3 단계, 그리고 상기 모바일단말이 상기 촬영된 영상의 이미지, 상기 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, 그리고 상기 ODM서버로부터 수신된 상기 인식된 오브젝트 각각의 광고와 메시지를 상기 입출력부로 출력하는 제 4 단계를 포함한다.
또한, 본 발명은 상기 제 4 단계 이후에 수행되는 상기 모바일단말이 상기 입출력부를 통해 상기 적어도 하나 이상의 인식된 오브젝트 중에서 선택을 사용자로부터 입력받는 제 5 단계, 그리고 상기 모바일단말이, 상기 선택된 오브젝트에 대한 메시지를 상기 입출력부로부터 상기 사용자에 의해 입력받아 상기 ODM서버로의 등록을 수행하는 제 6 단계를 더 포함하는 것이 바람직하다.
이때, 상기 제 2 단계는, 자동 스캔모드로 설정되지 않은 경우 상기 모바일단말이 상기 입출력부로 화면터치에 의한 상기 사용자에 의한 영역지정 선택을 입력받은 뒤, 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 것이 바람직하다.
또한, 제 3 단계에 있어서, 상기 인식된 오브젝트 각각에 등록된 메시지는 상기 인식된 오브젝트 각각으로 표현하고자 하는 텍스트, 이모티콘, 사진 및 그래픽이미지를 포함하며, 상기 인식된 오브젝트 각각의 광고는 지역별 또는 오브젝트별로 설정되는 상기 인식된 오브젝트의 광고를 위한 이미지나 텍스트를 포함하는 것이 바람직하다.
또한, 상기 제 5 단계는, 상기 모바일단말이 상기 입출력부를 통해 상기 적어도 하나의 인식된 오브젝트 중에서 선택을 상기 사용자로부터 입력받는 경우 단순터치 또는 터치후 드래그로 입력받는 것이 바람직하다.
또한, 상기 제 5 단계에 있어서, 상기 단순터치는 상기 적어도 하나 이상의 인식된 오브젝트 중 어느 하나에 대한 한 번의 터치에 의해 선택하는 것을 의미하며, 상기 터치 후 드래그는, 드래그 영역에 포함된 상기 적어도 하나 이상의 인식된 오브젝트 중에서 그룹화를 통한 그룹 오브젝트를 선택하는 것을 의미하는 것이바람직하다.
또한, 상기 제 6 단계는, 상기 ODM서버가 상기 선택된 오브젝트에 대한 메시지가 상기 선택된 오브젝트에 대한 최초 등록인 경우 신규 오브젝트로 등록하고 오우너(owner)로 설정하는 것이 바람직하다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 시스템은, 모바일단말과 ODM서버가 소셜 네트워크 상에서 오브젝트에 대한 검색 서비스 제공하는 오브젝트 검색 시스템에 있어서, 상기 모바일단말은, 입출력부로 카메라에 의해 촬영된 영상이 출력되면, 상기 모바일단말의 LBS 위치정보를 상기 ODM서버로 전송하여 상기 LBS 위치정보에 해당하는 것으로 검색된 주변 위치의 오브젝트 섬네일 이미지와 위치 광고를 수신하는 무선송수신부와, 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하고, 상기 인식된 오브젝트 각각을 소셜 네트워크를 통해 상기 ODM서버로 전송하여, 상기 ODM서버에 의해 검색된 상기 인식된 오브젝트 각각에 등록된 메시지, 상기 인식된 오브젝트 각각의 광고를 검색하여 검색된 데이터를 반환받도록 상기 무선송수신부를 제어하는 SOR, 그리고 상기 촬영된 영상의 이미지, 상기 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, 상기 ODM서버로부터 수신된 상기 인식된 오브젝트 각각의 광고와 메시지를 상기 입출력부로 출력하도록 제어하는 SPM을 포함한다.
이때, 상기 SPM은 상기 입출력부를 통해 상기 적어도 하나 이상의 인식된 오브젝트 중에서 선택을 사용자로부터 입력받은 뒤, 상기 선택된 오브젝트에 대한 메시지를 상기 입출력부로부터 상기 사용자에 의해 입력받아 상기 ODM서버로의 등록을 수행하도록 상기 무선송수신부를 제어하는 것이 바람직하다.
또한, 상기 SPM은 자동 스캔모드로 설정되지 않은 경우, 상기 입출력부로 화면터치에 의한 상기 사용자에 의한 영역지정 선택을 입력받은 뒤, 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 것이 바람직하다.
또한, 상기 인식된 오브젝트 각각에 등록된 메시지는 상기 인식된 오브젝트 각각으로 표현하고자 하는 텍스트, 이모티콘, 사진 및 그래픽이미지를 포함하며, 상기 인식된 오브젝트 각각의 광고는 지역별 또는 오브젝트별로 설정되는 상기 인식된 오브젝트의 광고를 위한 이미지나 텍스트를 포함하는 것이 바람직하다.
또한, 상기 SPM은 상기 입출력부를 통해 상기 적어도 하나의 인식된 오브젝트 중에서 선택을 상기 사용자로부터 입력받는 경우 단순터치 또는 터치후 드래그로 입력받는 것이 바람직하다.
또한, 상기 단순터치는 상기 적어도 하나 이상의 인식된 오브젝트 중 어느 하나에 대한 한 번의 터치에 의해 선택하는 것을 의미하며, 상기 터치 후 드래그는 드래그 영역에 포함된 상기 적어도 하나 이상의 인식된 오브젝트 중에서 그룹화를 통한 그룹 오브젝트를 선택하는 것을 의미한다.
또한, 상기 ODM서버는 상기 선택된 오브젝트에 대한 메시지가 상기 선택된 오브젝트에 대한 최초 등록인 경우 신규 오브젝트로 등록하고 오우너(owner)로 설정하는 것이 바람직하다.
본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법은, 모바일단말 상에서 촬영된 영상 내의 오브젝트를 인식하고, 인식된 오브젝트 및 이를 표현하고자 하는 내용인 메시지를 소셜 네트워크 상에 편리하게 등록가능한 효과를 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법은, 촬영된 영상을 이용하여 영상 내에 인식된 오브젝트와 인식된 오브젝트 주위에 위치한 오브젝트에 대한 메시지 및 광고의 검색이 가능한 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 시스템을 나타내는 구성도.
도 2는 도 1의 모바일단말의 구성을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 방법을 나타내는 흐름도.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 시스템을 나타내는 구성도이다. 도 2는 도 1의 모바일단말(10)의 구성을 나타내는 도면이다. 도 1 및 도 2를 참조하면, 소셜 네트워크 기반의 오브젝트 검색 시스템은 모바일단말(10), 소셜 네트워크(20), 그리고 오브젝트 데이터 관리서버(Object Data Management Sever, 이하 ODM서버)를 포함한다.
모바일단말(10)은 카메라(11), 입출력부(12), 무선송수신부(13), GPS수신부(14), 그리고 제어부(15)를 포함하며, 이하에서는 제어부(15)의 구성을 중심으로 본 발명을 살펴보도록 한다.
제어부(15)는 스마트 오브젝트 인식엔진(Smart Object Recognizer engine: 이하, SOR, 15a) 및 스마트 프리젠테이션 모듈(Smart Presentation Module: 이하 SPM, 15b)를 포함한다.
카메라(11)에 의해 촬영된 영상이 입출력부(12)로 출력된 뒤, GPS수신부(14)에 의해 LBS 위치정보가 획득되면, SOR(15a)은 자동 스캔모드로 설정되어 있는지 여부를 판단한다. 여기서 SOR(15a)은 촬영된 영상으로 정지 이미지와 실시간 동영상에 대해서 적용가능하다.
이와 동시에, SOR(15a)은 LBS 위치정보를 ODM서버(30)로 전송하도록 무선송수신부(13)를 제어하여 ODM서버에 의해 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고가 검색되면 이를 반환 받는다. 즉, SOR(15a)은 GPS 기술 기반의 위치 정보를 수집한다.
SOR(15a)은 자동 스캔모드로 설정된 경우, 촬영된 영상을 스캔함으로써, 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식한다. 이와 같이, SOR(15a)은 오브젝트를 인식하며, 후술하는 바와 같이 오브젝트에 대한 그룹화를 수행하는 그룹 오브젝트 지원 기능을 갖는다.
한편, SOR(15a)은 자동 스캔모드로 설정된 경우가 아니면, 입출력부(12)로 사용자의 화면터치에 의해 영역지정 선택을 입력받은 뒤, 영역 내에 위치하는 오브젝트에 대한 스캔을 수행하여 오브젝트를 인식한다. 여기서, SOR(15a)은 인식된 오브젝트의 특성을 추출가능하다.
SOR(15a)는 적어도 하나 이상의 인식된 오브젝트를 소셜 네트워크(20)를 통해 ODM서버(30)로 전송하도록 무선송수신부(13)를 제어함으로써, ODM서버(30)가 인식된 각 오브젝트에 등록된 메시지, 그리고 인식된 각 오브젝트의 광고를 검색하여 검색된 데이터를 모바일단말(10)로 반환하도록 한다.
여기서, 오브젝트의 메시지는 오브젝트로 표현하고자 하는 내용인 텍스트, 이모티콘, 사진 및 그래픽이미지이며, 오브젝트의 광고는 특정 지역 및/또는 특정 오브젝트에 대한 특정 광고를 위한 이미지나 텍스트이다.
SPM(15b)은 카메라(11)에 의해 촬영된 영상 이미지, LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, ODM서버(30)로부터 수신된 인식된 각 오브젝트의 광고, 그리고 인식된 각 오브젝트의 메시지(텍스트, 이모티콘, 사진 및 그래픽 이미지)에 대한 입출력부(12)로의 출력을 수행한다(S9).
SPM(15b)은 입출력부(12)로 SOR(15a)에 의해 인식된 적어도 하나 이상의 오브젝트 중 어느 하나에 대한 선택을 입력받는다.
이 경우 단순터치 또는 터치후 드래그로 입력받을 수 있다.
먼저, 단순터치는 SOR(15a)에 의해 인식된 오브젝트 중 하나에 대한 한 번의 터치에 의해 선택하는 것을 의미하며, 터치 후 드래그는 드래그 영역에 포함된 SOR(15a)에 의해 인식된 오브젝트의 그룹화를 통한 그룹 오브젝트를 선택하는 것을 의미한다.
SPM(15b)은 선택된 오브젝트에 대해 사용자에 의한 입출력부(12)로 메시지 입력을 받은 뒤, 소셜 네트워크(20)를 통해 ODM서버(30)로의 메시지 등록을 수행하도록 무선송수신부(13)를 제어한다. 여기서, 입력된 오브젝트에 대한 메시지는 소셜 네트워크(20)와 연결된 다른 모바일단말 내지 유선단말 사용자가 열람가능하다. 이 경우 메시지가 기록된 오브젝트의 내용은 섬네일 방식으로 소셜 네트워크(20) 상에 접속한 다른 단말을 소지한 사용자에 의해 열람할 수 있는 것이 바람직하다.
또한, 상술한 바와 같이, 하나의 메시지는 하나의 오브젝트에 기록할 수도 있지만, 터치 후 드래그를 통해 여러 개의 인접 오브젝트를 그룹화한 후 해당 그룹 오브젝트에 기록도 가능하다.
SPM(15b)은 ODM서버(30)로의 액세스를 통한 메시지 등록시 선택된 오브젝트에 대한 최초 등록 여부를 판단한다.
SPM(15b)은 판단결과 최초 등록인 경우, ODM서버(30)에 신규 오브젝트로 등록하고 오우너(owner)로 설정한다.
한편, 판단결과 최초가 아닌 경우, SPM(15b)은 ODM서버(30)에 선택된 오브젝트에 추가 메시지로 등록한다.
소셜 네트워크(20)는 유·무선망의 인프라를 기초로 개인적인 인간관계가 확산되어 사회적인 네트워크가 형성된 온라인 통신망을 의미한다. 본 발명에서는 모바일단말(10) 및 ODM서버(30), 그 밖의 시스템 상호 간의 신호 및 데이터 송수신이 수행 가능하도록 한다.
ODM서버(30)는 SOR(15a)로부터 모바일단말(10)의 LBS 위치정보를 수신하면, LBS 위치정보 주변 위치의 오브젝트 섬네일과 위치 광고를 검색한 뒤, 소셜 네트워크(20)를 통해 SOR(15a)로 반환한다.
한편, LBS 위치정보 주변 위치의 오브젝트에 대한 검색과 각 오브젝트 간의 유사성 및 차이점을 판단하기 위해 ODM서버(30)는 검색모듈(31)을 구비한다.
검색모듈(31)은 먼저 주변 위치의 오브젝트 검색을 위해 1차의 촬영 위치 기반 필터링과, 2차의 촬영 오브젝트 기반 필터링이 수행가능하다. .
보다 구체적으로, 1차의 촬영 위치 기반 필터링은 지리적 위치(위도, 경도)를 대상으로 수행하며, 빠른 검색을 위해 대상 오브젝트의 개수를 줄여나가는 방식을 사용함으로써, 검색하고자 하는 지역의 오브젝트만을 추출하는 방식이다.
2차의 촬영 오브젝트 기반 필터링은 1차에서 추출된 오브젝트와 촬영된 영상 내의 오브젝트를 비교하는 히스토그램(Histogram) 유사 오브젝트 방식, 지오메트릭(Geometric) 유사 오브젝트 방식, 그리고 경계 탐색(Boundary detection) 방식을 포함한다.
히스토그램(Histogram) 유사 오브젝트 방식은 컬러 및 명암 유사도가 기준 값을 만족하는 오브젝트를 추출하며, 지오메트릭 유사 오브젝트 방식은 오브젝트의 특징점들의 기하학적 상관관계를 만족하는 오브젝트를 추출하며, 경계 탐색(Boundary detection) 방식은 오브젝트의 외곽선의 정합률이 기준값을 만족하는 것을 추출한다.
ODM서버(30)는 SOR(15a)에 의해 인식된 적어도 하나 이상의 오브젝트를 소셜 네트워크(20)를 통해 수신하면, 인식된 각 오브젝트에 등록된 메시지, 인식된 각 오브젝트의 광고를 검색하여 검색된 데이터를 모바일단말(10)로 반환한다.
또한, ODM서버(30)는 SPM(15b)로부터 선택된 오브젝트에 대한 메시지 등록을 수신하여 선택된 오브젝트에 대한 최초 등록 여부를 판단한다.
ODM서버(30)는 최초 등록인 경우 선택된 오브젝트를 신규 오브젝트로 등록하고 오우너(owner)로 설정하며, 최초가 아닌 경우, 선택된 오브젝트에 추가 메시지로 등록한다.
도 3은 본 발명의 실시예에 따른 소셜 네트워크 기반의 오브젝트 검색 방법을 나타내는 흐름도이다. 도 1 내지 도 3을 참조하면, 입출력부(12)로 사용자의 요청에 의해 모바일단말(10)의 카메라(11)가 구동된 뒤(S1), 카메라(11)에 의해 촬영된 영상이 입출력부(12)로 출력된다(S2).
이후, SOR(15a)은 모바일단말(10)의 GPS수신부(14)에 의해 LBS 위치정보가 획득되면(S3), 자동 스캔모드로 설정되어 있는지 여부를 판단함과 동시에(S4a), LBS 위치정보를 ODM서버(30)로 전송하여 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 그의 위치 광고가 검색되도록 한다(S4b).
단계(S4a)의 판단결과 자동 스캔모드인 경우, SOR(15a)은 단계(S2)에서 촬영된 영상을 스캔한 뒤(S6), 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식함으로써, 인식된 오브젝트의 특성을 추출한다(S7).
한편, 단계(S4)의 판단결과 자동 스캔모드가 아닌 경우, SOR(15a)은 입출력부(12)로의 화면터치에 의한 모바일단말(10)의 사용자에 의한 영역지정 선택을 입력받은 뒤(S5), 상술한 단계(S6) 및 단계(S7)와 동일하게 촬영된 영상 스캔을 수행한 뒤, 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식함으로써, 인식된 오브젝트의 특성을 추출한다.
단계(S7) 이후, SOR(15a)는 인식된 오브젝트를 소셜 네트워크(20)를 통해 ODM서버(30)로 전송함으로써, ODM서버(30)가 단계(S7)에서 적어도 하나 이상의 인식된 오브젝트에 등록된 메시지, 그리고 각 인식된 오브젝트의 광고를 검색하여 검색된 데이터를 모바일단말(10)로 반환하도록 한다(S8).
여기서, 오브젝트의 메시지는 모바일단말(10)의 사용자가 오브젝트로 표현하고자 하는 내용인 텍스트, 이모티콘, 사진 및 그래픽이미지를 포함한다.
오브젝트의 광고는 특정 광고를 위한 이미지나 텍스트이며, 대상은 특정 지역 및/또는 특정 오브젝트가 될 수 있다.
단계(S8) 이후, SPM(15b)은 단계(S2), 단계(S4b) 및 단계(S8)에서 획득된 카메라(11)에 의해 촬영된 영상 이미지, LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, ODM서버(30)로부터 수신된 인식된 각 오브젝트의 광고, 그리고 인식된 각 오브젝트의 메시지(텍스트, 이모티콘, 사진 및 그래픽 이미지)의 출력을 수행한다(S9).
단계(S9) 이후, SPM(15b)은 입출력부(12)로 단계(S7)에서 인식된 적어도 하나 이상의 오브젝트 중 어느 하나에 대한 선택을 입력받는다(S10).
이 경우 단순터치 또는 터치후 드래그로 입력받을 수 있다.
먼저, 단순터치는 단계(S7)에서 SOR(15a)에 의해 나누어진 오브젝트에 대한 한 번의 터치에 의해 선택하는 것을 의미하며, 터치 후 드래그는 드래그 영역에 포함된 오브젝트의 그룹화를 통한 그룹 오브젝트를 선택하는 것을 의미한다.
단계(S10) 이후, SPM(15b)은 단계(S10)에서 선택된 오브젝트에 대한 ODM서버(30)로의 메시지 등록을 수행한다(S11).
SPM(15b)은 단계(S11)의 메시지 등록이 선택된 오브젝트에 대한 최초 등록 여부를 판단한다(S12).
단계(S12)의 판단결과 최초 등록인 경우, SPM(15b)은 소셜 네트워크(20)를 통해 ODM서버(30)에 신규 오브젝트로 등록하고 오우너(owner)로 설정한다(S13).
한편, 단계(S12)의 판단결과 최초가 아닌 경우, SPM(15b)은 소셜 네트워크(20)를 통해 ODM서버(30)에 해당 위치의 오브젝트에 추가 메시지로 등록한다(S14).
단계(S13) 또는 단계(S14)가 완료되면, 오브젝트에 대한 입력 및 조회가 완료된다(S15).
한편, 단계(S7)의 SOR(15a)에 의한 오브젝트 인식방식에 대해 구체적으로 살펴본다.
SOR(15a)은 촬영된 영상을 획득하면, 전처리(Preprocessing) 과정을 통해 주변 환경 변화에 강인한 영상을 얻어내고, 이를 통과한 영상 내에 존재하는 다수의 오브젝트를 검출하여 검출 물체에 대한 고유 특징을 추출하여 대상 물체를 인식한다.
이를 위해 SOR(15a)은 영상 전처리 기술(Image Preprocessing), 물체 검출 기술(Object Detection), 물체 인식 기술(Object Recognition), 그 밖의 추가 기능(Additional function)을 사용한다.
첫째로 영상 전처리 기술은 입력 영상에 대한 잡음 제거(Noise remover) 및 주변 환경 변화(조도(brightness), 그림자(shadow))에 강인한 영상으로 변환하여 에지 검출을 수행하는 단계이다.
여기서 잡음 제거는 Mean filter, Median filter, Gaussian smoothing, Frequency filter, 그리고 Laplacian/LoG(Laplacian of Gaussian) filter 중 하나에 의해 수행되며, 잡음 제거 기술 가운데 국부적 Impulsive noise가 발생한 경우 Image smoothing 기술을 사용한다.
이에 따라 해당 화소(pixel)에 대한 주변 화소 정보와의 평균값, 중간값을 해당 화소값으로 대체함으로써 주변 화소값에 융화되도록 한다.
또한, 영상 전처리 기술은 추가적으로 영상 정규화(Image normalization)를수행한다. 이는 조도 환경 변화에 강인한 영상을 만들기 위해 영상 내 모든 화소들에 대한 히스토그램을 구성하여 전체 화소 가운데 가장 큰 값과 작은 값을 기준으로 히스토그램 재구성하는 평활화를 수행한다. 입력 영상의 일관성을 유지하기 위해 전체 영상 평균값(bias)을 균일하게 맞춰주는 작업을 통해 환경 변화에 강인한 영상을 얻을 수 있도록 한다.
둘째로 물체 검출 기술은 대상 오브젝트의 동질의 특성(컬러, 질감(texture), 명암도(intensity)) 정보를 기반으로 영역 기반 분류(Region based Segmentation)을 수행하는 것으로, 단일 오브젝트 내에 존재하는 오브젝트의 특성은 동일/유사한 형태를 지니고 있다는 것을 가정한 뒤, 다양한 특성 정보들을 기반으로 단일 오브젝트의 외곽선을 추출한다.
물체 검출 기술은 히스토그램 기반 분류 기법(Histogram based segmentation), 질감 정보 기반 분류 기법(Texture matching), 영역 기반 분류 기법(Region based segmentation), 그리고 경계선 검출 기법(Boundary detection) 중 적어도 하나 이상을 이용하여 수행된다.
셋째로, 물체 인식 기술은 대상 오브젝트의 고유 특성 (크기(size), 형태(shape))을 기반으로 기 저장된 오브젝트 및 대상 오브젝트군에 대한 인식을 수행한다.
물체 인식 기술은 기본적으로 대상 오브젝트의 시점을 고정시키는 것이 중요하므로, 변화폭(variation)이 작기 때문에 적절한 임계값 설정으로 크기/시점 변화에 둔감하도록 적용시킬 수 있다는 제약 조건을 기반으로 기하학적 패턴 매칭 기법을 적용하여 유사도를 판단할 수 있다. 이를 만족하는 결과가 다수 존재할 수 있기 때문에 최종 인식된 결과를 검증할 수 있도록 SURF를 적용하여 검출 물체의 신뢰성을 높이는 기법을 적용한다.
넷째로, 추가 기능으로, 그룹 오브젝트와 섬네일 이미지 표현이 가능하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: 모바일단말 11: 카메라
12: 입출력부 13: 무선송수신부
14: GPS수신부 15: 제어부
15a: 스마트 오브젝트 인식엔진(SOR)
15b: 스마트 프리젠테이션 모듈(SPM)
20: 소셜 네트워크
30: 오브젝트 데이터 관리서버(ODM서버)
31: 검색모듈

Claims (14)

  1. 모바일단말이, 입출력부로 카메라에 의해 촬영된 영상이 출력되면, 상기 모바일단말의 LBS 위치정보를 ODM서버로 전송하여 상기 LBS 위치정보에 해당하는 것으로 검색된 주변 위치의 오브젝트 섬네일 이미지와 위치 광고를 수신하는 제 1 단계;
    상기 모바일단말이, 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 제 2 단계;
    상기 모바일단말이, 상기 인식된 오브젝트 각각을 소셜 네트워크를 통해 상기 ODM서버로 전송하여, 상기 ODM서버에 의해 검색된 상기 인식된 오브젝트 각각에 등록된 메시지, 상기 인식된 오브젝트 각각의 광고를 검색하여 검색된 데이터를 반환받는 제 3 단계;
    상기 모바일단말이, 상기 촬영된 영상의 이미지, 상기 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, 상기 ODM서버로부터 수신된 상기 인식된 오브젝트 각각의 광고와 메시지를 상기 입출력부로 출력하는 제 4 단계; 및
    상기 모바일단말이, 상기 입출력부를 통해 상기 적어도 하나 이상의 인식된 오브젝트 중에서 선택을 사용자로부터 입력받는 제 5 단계; 및
    상기 모바일단말이, 상기 선택된 오브젝트에 대한 메시지를 상기 입출력부로부터 상기 사용자에 의해 입력받아 상기 ODM서버로의 등록을 수행하는 제 6 단계를 포함하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 방법.
  2. 삭제
  3. 청구항 1에 있어서, 상기 제 2 단계는,
    자동 스캔모드로 설정되지 않은 경우, 상기 모바일단말이, 상기 입출력부로 화면터치에 의한 상기 사용자에 의한 영역지정 선택을 입력받은 뒤, 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 방법.
  4. 청구항 1에 있어서, 상기 제 3 단계에 있어서,
    상기 인식된 오브젝트 각각에 등록된 메시지는, 상기 인식된 오브젝트 각각으로 표현하고자 하는 텍스트, 이모티콘, 사진 및 그래픽이미지를 포함하며,
    상기 인식된 오브젝트 각각의 광고는, 지역별 또는 오브젝트별로 설정되는 상기 인식된 오브젝트의 광고를 위한 이미지나 텍스트를 포함하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 방법.
  5. 청구항 1에 있어서, 상기 제 5 단계는,
    상기 모바일단말이, 상기 입출력부를 통해 상기 적어도 하나의 인식된 오브젝트 중에서 선택을 상기 사용자로부터 입력받는 경우 단순터치 또는 터치후 드래그로 입력받는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 방법.
  6. 청구항 5에 있어서, 상기 제 5 단계에 있어서,
    상기 단순터치는, 상기 적어도 하나 이상의 인식된 오브젝트 중 어느 하나에 대한 한 번의 터치에 의해 선택하는 것을 의미하며,
    상기 터치 후 드래그는, 드래그 영역에 포함된 상기 적어도 하나 이상의 인식된 오브젝트 중에서 그룹화를 통한 그룹 오브젝트를 선택하는 것을 의미하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 방법.
  7. 청구항 1에 있어서, 상기 제 6 단계는,
    상기 ODM서버가, 상기 선택된 오브젝트에 대한 메시지가 상기 선택된 오브젝트에 대한 최초 등록인 경우 신규 오브젝트로 등록하고 오우너(owner)로 설정하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 방법.
  8. 모바일단말과 ODM서버가 소셜 네트워크 상에서 오브젝트에 대한 검색 서비스 제공하는 오브젝트 검색 시스템에 있어서, 상기 모바일단말은,
    입출력부로 카메라에 의해 촬영된 영상이 출력되면, 상기 모바일단말의 LBS 위치정보를 상기 ODM서버로 전송하여 상기 LBS 위치정보에 해당하는 것으로 검색된 주변 위치의 오브젝트 섬네일 이미지와 위치 광고를 수신하는 무선송수신부;
    상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하고, 상기 인식된 오브젝트 각각을 소셜 네트워크를 통해 상기 ODM서버로 전송하여, 상기 ODM서버에 의해 검색된 상기 인식된 오브젝트 각각에 등록된 메시지, 상기 인식된 오브젝트 각각의 광고를 검색하여 검색된 데이터를 반환받도록 상기 무선송수신부를 제어하는 SOR; 및
    상기 촬영된 영상의 이미지, 상기 LBS 위치정보에 해당하는 주변 위치의 오브젝트 섬네일 이미지와 위치 광고, 상기 ODM서버로부터 수신된 상기 인식된 오브젝트 각각의 광고와 메시지를 상기 입출력부로 출력하도록 제어하는 SPM; 을 포함하고,
    상기 SPM은,
    상기 입출력부를 통해 상기 적어도 하나 이상의 인식된 오브젝트 중에서 선택을 사용자로부터 입력받은 뒤, 상기 선택된 오브젝트에 대한 메시지를 상기 입출력부로부터 상기 사용자에 의해 입력받아 상기 ODM서버로의 등록을 수행하도록 상기 무선송수신부를 제어하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 시스템.
  9. 삭제
  10. 청구항 8에 있어서, 상기 SPM은,
    자동 스캔모드로 설정되지 않은 경우, 상기 입출력부로 화면터치에 의한 상기 사용자에 의한 영역지정 선택을 입력받은 뒤, 상기 촬영된 영상을 스캔하여 상기 촬영된 영상 상의 적어도 하나 이상의 오브젝트를 인식하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 시스템.
  11. 청구항 8에 있어서,
    상기 인식된 오브젝트 각각에 등록된 메시지는, 상기 인식된 오브젝트 각각으로 표현하고자 하는 텍스트, 이모티콘, 사진 및 그래픽이미지를 포함하며,
    상기 인식된 오브젝트 각각의 광고는, 지역별 또는 오브젝트별로 설정되는 상기 인식된 오브젝트의 광고를 위한 이미지나 텍스트를 포함하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 시스템.
  12. 청구항 8에 있어서, 상기 SPM은,
    상기 입출력부를 통해 상기 적어도 하나의 인식된 오브젝트 중에서 선택을 상기 사용자로부터 입력받는 경우 단순터치 또는 터치후 드래그로 입력받는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 시스템.
  13. 청구항 12에 있어서,
    상기 단순터치는, 상기 적어도 하나 이상의 인식된 오브젝트 중 어느 하나에 대한 한 번의 터치에 의해 선택하는 것을 의미하며,
    상기 터치 후 드래그는, 드래그 영역에 포함된 상기 적어도 하나 이상의 인식된 오브젝트 중에서 그룹화를 통한 그룹 오브젝트를 선택하는 것을 의미하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 시스템.
  14. 청구항 8에 있어서, 상기 ODM서버는,
    상기 선택된 오브젝트에 대한 메시지가 상기 선택된 오브젝트에 대한 최초 등록인 경우 신규 오브젝트로 등록하고 오우너(owner)로 설정하는 것을 특징으로 하는 소셜 네트워크 기반의 오브젝트 검색 시스템.
KR1020110101674A 2011-10-06 2011-10-06 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법 KR101269314B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110101674A KR101269314B1 (ko) 2011-10-06 2011-10-06 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110101674A KR101269314B1 (ko) 2011-10-06 2011-10-06 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법

Publications (2)

Publication Number Publication Date
KR20130037323A KR20130037323A (ko) 2013-04-16
KR101269314B1 true KR101269314B1 (ko) 2013-05-29

Family

ID=48438336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110101674A KR101269314B1 (ko) 2011-10-06 2011-10-06 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법

Country Status (1)

Country Link
KR (1) KR101269314B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101766158B1 (ko) * 2016-10-19 2017-08-09 한국과학기술원 Gs1 코드를 사용하는 비디오 시스템, 그 동작 방법 및 비디오를 이용하는 서비스 제공 방법
KR102078858B1 (ko) * 2018-06-08 2020-04-07 네이버웹툰 주식회사 웹툰 제공 장치 및 휴대 단말의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764441B1 (ko) * 2005-05-31 2007-10-05 에스케이 텔레콤주식회사 이동 통신 단말에서 객체 기반 모바일 방송의 분할된 객체처리 방법과 이를 위한 이동 통신 단말

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764441B1 (ko) * 2005-05-31 2007-10-05 에스케이 텔레콤주식회사 이동 통신 단말에서 객체 기반 모바일 방송의 분할된 객체처리 방법과 이를 위한 이동 통신 단말

Also Published As

Publication number Publication date
KR20130037323A (ko) 2013-04-16

Similar Documents

Publication Publication Date Title
US11587432B2 (en) Methods and systems for content processing
US20210392465A1 (en) Device location based on machine learning classifications
US9918183B2 (en) Methods and systems for content processing
US9805065B2 (en) Computer-vision-assisted location accuracy augmentation
US9928407B2 (en) Method, system and computer program for identification and sharing of digital images with face signatures
US9204038B2 (en) Mobile device and method for image frame processing using dedicated and programmable processors, applying different functions on a frame-by-frame basis
CN103635954B (zh) 基于地理和可视信息增强可视数据流的系统
CA2734613C (en) Methods and systems for content processing
US20120062595A1 (en) Method and apparatus for providing augmented reality
TW201018298A (en) Data access based on content of image recorded by a mobile device
US20130169853A1 (en) Method and system for establishing autofocus based on priority
US20140181678A1 (en) Interactive augmented reality system, devices and methods using the same
KR20110096500A (ko) 위치 기반의 통신 방법 및 시스템
KR20140105478A (ko) 사진을 이용하여 동작을 개시 및 수행하는 기법
CN105814587A (zh) 本地实时面部识别
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
US20160029063A1 (en) Method and apparatus for providing service of rankings of multimedia in social network service system
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
KR101269314B1 (ko) 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법
KR20190028046A (ko) 증강현실을 이용한 역사 공부 방법
CN105653623B (zh) 图片收集方法及装置
US9311562B2 (en) Image retrieval system, information processing apparatus, image retrieval method, and non-transitory computer readable medium
EP2362627B1 (en) Location-based communication method and system
KR20150081395A (ko) 효율적인 광고 서비스를 제공하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160513

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee