KR20190027532A

KR20190027532A - 모바일 기기로 구현되는 이미지 어노테이션 방법

Info

Publication number: KR20190027532A
Application number: KR1020170114430A
Authority: KR
Inventors: 임동혁; 서광원
Original assignee: 호서대학교 산학협력단
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2019-03-15
Also published as: KR101997491B1

Abstract

본 발명은 모바일 기기로 구현되는 이미지 어노테이션 방법에 관한 것으로, 더욱 상세하게는 모바일 기기의 이미지에 대해 자동 입력되는 시간 정보, 위치 정보 및 사용자 입력 정보를 포함하는 상황 정보를 토대로, 어노테이션 DB 즉 DBPedia와 같은 어노테이션 정보를 추가적으로 링크하여 RDF 트리플 모델링(RDF 어노테이션 그래프)하고, 추론를 적용하여 어노테이션 된 트리플의 개수를 증가시킬 수 있는 모바일 기기로 구현되는 이미지 어노테이션 방법에 관한 것이다.

Description

모바일 기기로 구현되는 이미지 어노테이션 방법{Image annotation method implemented by mobile device}

최근 멀티미디어 데이터를 처리할 수 있는 하드웨어(스마트폰, 테블릿 PC 등)의 발달과 소셜 미디어 공유 사이트(페이스북, 인스타그램, 트위터 등)의 증가로 인하여 수 많은 이미지들이 생성되고 있다.

이에 따라 생성된 대량의 이미지 콘텐츠를 관리하고 이미지를 효율적으로 검색할 수 있는 기술의 필요성이 요구되고 있다. 이미지에 대한 의미 정보를 자동으로 추가하여 이미지 내용을 표현하는 어노테이션 기법은 방대한 양의 이미지 데이터를 효과적으로 처리할 수 있는 방법이다. 내용 기반 이미지 검색이 이미지가 가지는 색상 등의 시각적인 정보만을 다루는 데 비해 이미지 어노테이션 기법은 이미지가 가지고 있는 의미 정보를 표현할 수 있는 장점을 가진다.

그러나, 기존의 어노테이션 기법들은 이미지를 디지털 카메라 또는 모바일 기기에서 처리하는 것이 아니라 웹이나 이미지 처리 어플리케이션 환경에서 처리가 이루어지고 있다.

또한, 종래의 일반적인 이미지 어노테이션 기법은 각각의 디지털 이미지에 하나 이상의 의미상 관련된 키워드(semantically related keywords)를 단순 태그로서 주석을 다는 형태로서 주석과 이미지 사이의 특별한 관계나 의미가 없었다.

더구나, 종래의 일반적인 이미지 어노테이션 기법은 이미지에 대한 의미론적 메타데이터가 사용자에 의해 단순 태그로서 직접 입력된 저수준의 정형화된 입력 정보를 토대로 이루어지므로, 추후 원하는 이미지의 검색에 있어 그 정확도가 저하될 수 밖에 없는 문제점이 있었다.

대한민국 등록특허 제 10-1516712 호(2015년04월24일 등록)

따라서, 본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 모바일 기기의 이미지에 대해 자동 입력되는 시간 정보, 위치 정보 및 사용자 입력 정보를 포함하는 상황 정보를 토대로, 어노테이션 DB 즉 DBPedia와 같은 어노테이션 정보를 추가적으로 링크하여 RDF 트리플 모델링(RDF 어노테이션 그래프)하고, 추론를 적용하여 어노테이션 된 트리플의 개수를 증가시킬 수 있는 모바일 기기로 구현되는 이미지 어노테이션 방법을 제공하는 것이다.

본 발명의 다른 목적은 모바일 환경에 초점을 두며 모바일 기기에서 자동으로 얻어지는 상황 정보(시간 정보, 위치 정보 및 사용자 입력 정보)와 DBPedia 와 같은 어노테이션 정보를 추가적으로 어노테이션에 활용하여 사용자가 원하는 이미지를 용이하게 검색할 수 있도록 된 모바일 기기로 구현되는 이미지 어노테이션 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 모바일 기기에서 획득된 이미지는 RDF 트리플의 집합으로 표현되어 RDF 트리플(주어, 술어, 및 목적어)로 모델링(RDF 어노테이션 그래프)하고 추론 적용함으로써, 이미지 검색에서 더욱 효율적인 모바일 기기로 구현되는 이미지 어노테이션 방법을 제공하는 것이다.

상기 목적들을 달성하기 위한 본 발명에 의한 모바일 기기로 구현되는 이미지 어노테이션 방법은, 사용자에 의해 상기 모바일 기기로 업로드된 이미지에 대한 시간 및 위치 정보를 태그 정보로서 입력하는 단계; 상기 입력된 태그 정보를 토대로 어노테이션 DB를 링크하여 RDF 트리플 형태로 변형하여 어노테이션 하는 단계; 및 상기 RDF 트리플 형태로 어노테이션된 이미지를 어노테이션 이미지 데이터 베이스에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

여기서, 상기 시간 및 위치 정보는 해당 이미지에 대해 모바일 기기로부터 자동적으로 얻어지는 상황 정보이고, 상기 태그 정보에는 사용자에 의해 입력되는 사용자 소셜 정보 또는 사용자 개인 정보인 사용자 입력 정보를 포함함이 바람직하다.

또한, 상기 RDF 트리플 형태로 변형하여 어노테이션 하는 단계에서는, 상기 입력되는 태그 정보인 시간 정보, 위치 정보 및 사용자 입력 정보를 포함하는 상황 정보를 토대로, 상기 어노테이션 DB를 통한 어노테이션 정보를 추가적으로 링크하여 RDF 트리플 모델링(RDF 어노테이션 그래프)함이 바람직하다.

또한, 상기 RDF 트리플 모델링은 다음과 같이 정의하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.

정의 1

이미지 i가 주어졌을 때, 이미지 태그 집합으로서의 태그 정보인 Tag(i)는 다음과 같이 정의된다.

Tag(i) = {t1, t2, t3, ..., tn}

(여기서, 이미지가 가지는 태그(tn)는 사용자가 직접 입력하는 사용자 입력 정보와 시스템에서 자동 생성되는 시간 및 위치 등의 상황 정보 등으로 이루어진다).

정의 2

이미지 i가 주어졌을 때, 이미지 트리플 집합(RDF 트리플 형태)인 iTriple은 다음과 같이 정의된다.

iTriple ∈ { Tag(i) × Property × Tag(i) }

(여기서, 이미지 태그(tn)들 간의 의미 관계를 나타내는 Property는 링크된 태그(Linked Tag)의 방법을 이용한다.)

정의 3

이미지 i가 주어졌을 때, 이미지는 이미지 태그를 노드로 이미지 태그들 간의 술어를 간선으로 가지는 RDF 어노테이션 그래프로 정의된다.

또한, 상기 RDF 트리플 모델링(RDF 어노테이션 그래프)에서, 4가지 부 명제(Conjunction Lemma, Subgraph Lemma, Herbrand Lemma, Strong Herbrand Lemma)를 만족시키는 RDF 그래프들에 대해 일련의 규칙을 적용하여 해당 규칙에 해당하는 RDF 트리플을 추가하는 추론을 적용함이 바람직하다.

또한, 상기 어노테이션된 이미지를 데이터 베이스에 저장하는 단계 후에는, 상기 어노테이션 이미지 데이터 베이스에 저장된 RDF 트리플 형태로 어노테이션된 이미지를 검색하는 단계를 더 포함함이 바람직하다.

또한, 상기 이미지를 검색하는 단계에서는, SPARQL 질의를 통한 의미 기반 이미지를 검색하며, 일측은 질의를 대상으로 하는 RDF 그래프를 보여주며, 타측은 SPARQL 질의어를 보여주면서 이루어짐이 바람직하다.

또한, 상기 이미지를 검색하는 단계에서는, 두 개의 RDF 트리플 형태로 어노테이션된 이미지의 유사성을 비교하는 단계를 더 포함함이 바람직하다.

또한, 상기 유사성 비교 단계에서는, 두 개의 RDF 트리플 형태로 어노테이션된 이미지 집합 A, B가 있을 때, Jaccard 유사도의 값인 JSim이 다음의 수학식 1과 같이 계산되는 것을 특징으로 한다.

수학식 1)

(여기서, JSim은 Jaccard 유사도 값이고, S(A), S(B)는 각각 A, B에 속해 있는 트리플 원소를 나타낸다.)

또한, 상기 유사성 비교 단계에서는, 두 개의 RDF 트리플 형태로 어노테이션된 이미지 집합 A, B가 있을 때, Cosine 유사도의 값인 CSim을 하기 수학식 2와 같이 계산되는 것을 특징으로 한다.

수학식 2)

(여기서, CSim은 Cosine 유사도이고, A, B는 이미지에 어노테이션 된 두 RDF 온톨로지 집합이다.)

상술한 바와 같이, 본 발명에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법에 의하면, 모바일 기기의 이미지에 대해 자동 입력되는 시간 정보, 위치 정보 및 사용자 입력 정보를 포함하는 상황 정보를 토대로, 어노테이션 DB 즉 DBPedia와 같은 어노테이션 정보를 추가적으로 링크하여 RDF 트리플 모델링(RDF 어노테이션 그래프)하고, 추론를 적용하여 어노테이션 된 트리플의 개수를 대폭 증가시킬 수 있고 어노테이션의 양적인 면을 높일 수 있는 효과가 있다.

또한, 모바일 환경에 초점을 두며 모바일 기기에서 자동으로 얻어지는 상황 정보(시간 정보, 위치 정보 및 사용자 입력 정보)와 DBPedia와 같은 어노테이션 정보를 추가적으로 어노테이션에 활용하여 사용자가 원하는 이미지를 용이하게 검색할 수 있는 장점도 있다.

도 1은 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법을 나타내는 순서도이다.
도 2는 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 시스템의 개략적인 구조도이다.
도 3은 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 RDF 그래프를 나타내는 예시도이다.
도 4는 RDF 그래프와 이에 해당하는 질의어를 보여주는 예시도이다.
도 5는 RDF 트리플들의 유사도를 비교하여 검색하는 방법을 나타내는 개략도이다.
도 6은 본 발명의 다른 실시예에 따른 추론 기능을 사용한 모바일 기기로 구현되는 이미지 어노테이션 방법을 나타내는 그래프도이다.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안된다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법을 나타내는 순서도이고, 도 2는 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 시스템의 개략적인 구조도이고, 도 3은 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 RDF 그래프를 나타내는 예시도이다.

도시된 바와 같이, 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법은, 모바일 기기(1)로 업로드된 이미지(2)에 대한 상황 정보로서의 태그 정보 입력 단계(S10), 상황 정보와 어노테이션 DB를 참조한 RDF 트리플 이미지 어노테이션 단계(S20), 및 RDF 트리플 형태로 어노테이션된 이미지를 데이터 베이스에 저장하는 단계(S30)를 포함하여 이루어진다.

상기 모바일 기기(1)로 업로드된 이미지(2)에 대한 상황 정보로서의 태그 정보 입력 단계(S10)에서는, 도 2에 도시된 바와 같이, 사용자에 의해 모바일 기기(1)로 업로드된 이미지(2)에 대한 상황 정보인 시간, 위치 정보 등의 이미지 태그 정보를 태그 입력부(10)를 통해 입력하게 된다.

상기 모바일 기기(1)로 업로드된 이미지(2)는 모바일 기기(1)의 카메라를 통해 촬영된 에펠탑 사진(이미지)로서, 카메라를 통해 촬영된 에펠탑 사진은 해당 모바일 기기(1)의 데이터 베이스(3)에 자동으로 저장되어 진다.

여기서, 태그 입력부(10)를 통해 입력되는 상황 정보는 예를 들면 에펠탑 이미지에 대해 해당 모바일 기기(1)로부터 자동적으로 얻어지는 상황 정보 즉, 해당 에펠탑 이미지의 촬영 시간 정보와 위도 및 경도 등을 포함하는 위치 정보를 포함할 수 있으며, 또 해당 이미지에 대해 사용자가 관련 용어나 설명 등으로 직접 정의하여 입력하는 상황 정보로서 예를 들면, Effel tower, Effel, France 등의 정보를 포함할 수도 있다.

물론, 상기 태그 입력부(10)를 통해 입력되는 정보는 사용자의 소셜 정보(SNS)나 사용자 개인 정보 등을 포함할 수 있다.

상기 상황 정보와 어노테이션 DB를 참조한 RDF 트리플 이미지 어노테이션 단계(S20)에서는, 도 2에 도시된 바와 같이, RDF 트리플 이미지 어노테이션 변형부(30)에서 상기 입력된 태그 정보인 상황 정보를 토대로 어노테이션 DB(20)를 참조(링크)하여 RDF 트리플 형태로 변형하여 어노테이션 하게 된다.

여기서, RDF 트리플 이미지 어노테이션 변형부(30)는 도 3에 도시된 바와 같이, 상기 태그 입력부(10)를 통해 입력되는 시간 정보, 위치 정보 및 사용자 입력 정보를 포함하는 상황 정보를 토대로, 어노테이션 DB(20) 즉 DBPedia와 같은 어노테이션 정보를 추가적으로 링크하여 RDF 트리플 모델링(RDF 어노테이션 그래프)하게 된다.

즉, 도 3에 도시된 바와 같이, 상기 RDF 어노테이션 그래프에는 해당 이미지인 에펠탑의 시간 정보와 위도 및 경도 등을 포함하는 위치 정보, 그리고 사용자 입력 태그 정보서의 Effel tower, Effel, France 등의 정보와 이들 정보와 링크된 웹 상의 DBPedia의 어노테이션 DB(20)로부터 해당 에펠탑 이미지에 대한 RDF 그래프로 표현되어 모델링되어 진다.

여기서, 본 발명에 따른 RDF 트리플 이미지 어노테이션 구조는, 모바일 이미지와 사용자로부터의 상황 정보(자동 입력 정보인 시간 및 위치 정보와 사용자 입력 태그 정보 포함)를 입력 받으면 DBPedia 데이터와 함께 참조(링크)되어 RDF 트리플 형태로 변형하여 어노테이션되는 것이다. 즉, RDF 트리플은 주어(Subject), 술어(Predicate), 목적어(Object)의 문장 구조로 이루어지는데, RDF 트리플 변형 방법은 입력받은 사용자 입력 정보로부터 주어와 목적어인 "에필탑"과 "파리"를 선택하고, 상기 상황 정보인 시간 및 위치 정보를 토대로 DBPedia 데이터로부터 술어값인 "파리에 위치한다"를 선택하여 RDF 트리플 형태로 변형됨으로써, 도 3과 같이 에펠탑 이미지에 대한 RDF 그래프로 표현되어지게 된다.

상기 상황 정보와 어노테이션 DB를 참조한 RDF 트리플 이미지 어노테이션 그래프 구조로서의 RDF 모델링을 구체적으로 설명하면 다음과 같다.

즉, 본 발명의 일실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션에서 모멘트(Moment; 순간)의 의미 기반 이미지 어노테이션을 위한 RDF 모델을 제시하는 것이며, RDF는 메타 데이터를 구성하여 웹 응용들 간 정의에 대한 의미를 상호 이해할 수 있도록 하기 위하여 RDF는 트리플(주어, 술어, 목적어)로 표현되며, 다음 정의들에 의해 모바일 기기로 구현되는 이미지가 가지는 태그 정보를 RDF 어노테이션 그래프로의 모델링으로 설명될 수 있다.

정의 1

Tag(i) = {t1, t2, t3, ..., tn}

여기서 이미지가 가지는 태그(tn)는 사용자가 직접 입력하는 사용자 입력 정보와 시스템에서 자동 생성되는 시간 및 위치 등의 상황 정보 등으로 이루어진다.

즉, 사진을 생성할 때 사용자는 사진을 설명할 수 있는 태그를 입력할 수 있다. 도 3에서 사용자가 에펠탑의 사진을 찍고 입력한 태그는 “Effel”, “Effel Tower”와 “France”이다. 모방일 기기에서 자동으로 생성되는 태그는 사진을 찍은 시간과 사진을 찍을 때의 위치 정보(위도 및 경도)가 된다.

모멘트(Moment)에서는 모바일 기기로부터 얻은 위도 및 경도 정보를 통해 해당 위치 “Paris”를 자동으로 태그시킨다. 예를 들면, 도 3에 도시된 바와 같이, Tag(image) = {“Effel”, “EffelTower”, “France”, “Paris”, “2016.1.18.”} 가 된다.

정의 2

iTriple ∈ { Tag(i) × Property × Tag(i) }

이미지 태그(tn)들 간의 의미 관계를 나타내는 Property는 링크된 태그(Linked Tag)의 방법을 이용한다. 사용자가 직접 입력을 하거나 외부 데이터의 정보(DBPedia 어노테이션 DB)를 참고해서 자동으로 Property의 값을 연결해주거나 사용자에게 후보 값을 추천해 줄 수도 있다.

본 발명에서는 시간정보에 대해서는 “http://dbpedia.org/property/date”, 공간정보에 대해서는 “http://dbpedia.org/property/locati on” 술어 값을 자동으로 입력해준다. 예를 들면, 도 3에서 에펠탑은 파리에 위치하므로 “Effel Tower http://dbpedia.org/property/location Paris”라는 트리플을 어노테이션으로 변형되어 만들어 진다.

정의 3

이미지 i가 주어졌을 때, 이미지는 이미지 태그를 노드로 이미지 태그들 간의 술어를 간선으로 가지는 RDF 그래프(RDF 어노테이션 그래프)로 정의된다.

즉, 모바일 기기로부터 얻은 이미지는 상기 정의 2로부터 RDF 트리플의 집합으로 표현되기 때문에 도 3에서와 같이 RDF 그래프로 표현 가능하다.

따라서, 상기 어노테이션 단계에서는 상기 상황정보(시간, 장소, 사용자 입력 태그)를 디비피이디어(DBPedia)를 참조하여 어노테이션 RDF 그래프로 구현되므로, 이는 특히 SPARQL 질의를 통한 의미 기반 이미지 검색에서 큰 장점을 가질 수 있다.

상기 RDF 트리플 형태로 어노테이션된 이미지를 데이터 베이스에 저장하는 단계(S30)에서는, 도 2에 도시된 바와 같이, 어노테이션 이미지 데이터 베이스(40)에 상기 RDF 트리플 형태로 어노테이션된 이미지를 저장하여 후술하는 이미지 검색 과정을 통해 용이하게 해당 이미지를 검색할 수 있게 되는 것이다.

한편, 상기 어노테이션 이미지 데이터 베이스(40)에 저장된 RDF 트리플 형태로 어노테이션된 이미지를 검색하는 과정에 대해서 설명하기로 한다.

본 발명에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법을 통해 저장된 이미지 검색으로 바람직한 방법으로는 SPARQL 질의를 통한 의미 기반 이미지 검색과 RDF 트리플들의 유사도를 비교하여 검색하는 방법이 있다.

먼저, SPARQL(Simple Protocol and RDF Query Language) 질의를 통한 의미 기반 이미지 검색에 대해 설명하면 다음과 같다.

SPARQL 질의를 통한 의미 기반 이미지 검색의 경우, 이미지를 키워드나 태그가 아닌 RDF 모델을 기반으로 어노테이션하기 때문에 이미지 검색을 RDF 질의 언어인 SPARQL을 사용할 수 있다. 즉, 2000년대 이전에 이미지를 관계형 데이터 베이스에 저장하고 이미지의 메타 정보(파일 이름, 색상, 크기)와 색상, 형태가 비슷한 유사 이미지 검색 등을 SQL을 이용한 연구들이 많이 진행되어 왔다. 하지만, 본 발명에서는 그림처럼 이미지가 가지는 의미 정보에 기반한 SPARQL 질의어 처리가 가능한 장점을 살려 현재 시맨틱 웹 데이터(RDF, OWL)을 효과적으로 접근하고 탐색하기 위한 질의 언어로서 SPARQL를 사용하는 것이다. 상기 SPARQL은 크게 PREFIX, SELECT, WHERE로 구성이 된다. PREFIX는 일반 데이터베이스에서 데이터베이스 선택과 비슷한 의미로서 일반적으로 사용할 데이터 셋(네임 스페이스 등)을 지정할 때 사용되며 SELECT는 SQL과 마찬가지로 탐색할 대상을 지정할 때 사용하며 변수를 사용할수 있다. 변수는 ‘변수명’의 형식으로 사용하며 전체를 탐색할 때는 ‘*’를 사용한다. WHERE는 SQL의 조건절과 비슷하며 사용자가 원하는 조건을 지정할 때 사용된다.

도 4는 RDF 그래프와 이에 해당하는 질의어를 보여준다. 본 예제에서는 시간 속성을 포함하는 SPARQL 질의를 사용하고 있다.

도 4에서 왼쪽은 질의를 대상으로 하는 RDF 그래프를 보여주며, 오른쪽은 SPARQL 질의어를 보여준다. “2016-01-01” 기간부터 “University”에서 근무하며 “Data Structure” 과목을 가르치는 교수의 이름을 찾는 질의이다. RDF 모델에서 시간 값에 대해서는 시간을 표현하는 xsd:date를 붙여 표기한다. FILTER는 시간 값에 대해 조건에 맞는 필터링을 수행하는 구문을 표시한다.

본 발명에서는 모든 모바일 이미지가 상술한 바와 같이 RDF 그래프로 어노테이션을 가지고 있기 때문에 SPARQL 질의로 이미지를 검색할 수 있게 되는 것이다. 다.

이어서, RDF 트리플들의 유사도를 비교하여 검색하는 방법에 대해 설명하기로 한다.

도 5는 RDF 트리플들의 유사도를 비교하여 검색하는 방법을 나타내는 개략도이다.

도 5에 도시된 바와 같이, 상기 RDF 트리플들의 유사도를 비교한 어노테이션된 이미지에서 추출된 RDF 트리플과 어노테이션 데이터베이스에 저장된 RDF 트리플들의 유사성을 비교하게 된다.

어노테이션 된 이미지에 RDF 온톨리지 데이터를 이용하여 유사한 이미지들을 찾는 알고리즘은 기존에 많이 사용되는 온톨로지 매칭 알고리즘 중 Jaccard 유사도와 Cosine 유사도를 사용한다.

이미지에 어노테이션 된 두 RDF 온톨로지 집합 A, B가 있을 때, Jaccard 유사도의 값인 JSim은 다음의 수학식 1과 같이 계산된다.

수학식 1)

여기서, JSim은 Jaccard 유사도 값이고, S(A), S(B)는 각각 A, B에 속해 있는 트리플 원소를 나타낸다.

어노테이션된 이미지에 RDF 온톨로지 집합 A를 벡터로 표현하면, A=(t1, t2…, tn)이고, t는 트리플 집합에 포함되어 있는 모든 리소스들의 출현 빈도 값(Occurrence)을 의미한다.

즉, 하나의 트리플은 3개의 리소스인 주어, 술어, 목적어를 가지게 되며 벡터는 이들의 출현 빈도 값으로 표현된다. 이와 같은 벡터를 이용하여 다음과 같은 두 온톨로지 집합의 Cosine 유사도의 값인 CSim을 하기 수학식 2와 같이 계산할 수 있다.

수학식 2)

여기서, CSim은 Cosine 유사도이고, A, B는 이미지에 어노테이션 된 두 RDF 온톨로지 집합이다.

여기서, 두 유사도의 값은 0에서부터 1의 값을 가지며, 0의 값은 두 이미지가 완전히 서로 다른 의미를 보이며, 1의 값은 두 이미지가 의미적으로 일치함을 보인다.(어노테이션된 온톨로지의 값이 같다.) 사용자가 원하는 유사도 임계값을 설정하면 시스템은 사용자가 선택한 이미지와 임계값 이상의 유사도를 가진 이미지가 검색된다.

따라서, 기존 온톨로지 기반 이미지 어노테이션 시스템을 확장하여 안드로이드 환경에서 이미지에 어노테이션하고 유사이미지를 검색할 수 있게 된다. 즉, 기존의 시스템과 다르게 안드로이드 기반의 모바일에서 이미지를 어노테이션하고, Jaccard 유사도와 Cosine 유사도를 이용하여 RDF 트리플의 유사성을 비교하여 유사한 이미지 검색을 할 수 있게 된다.

도 6은 본 발명의 다른 실시예에 따른 추론 기능을 사용한 모바일 기기로 구현되는 이미지 어노테이션 방법을 나타내는 그래프도이다.

즉, 도 6에 도시된 바와 같이, 도 1에 따른 첫 번째 실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법에 RDF(Resource Description Framework) 추론 기능을 사용한 어노테이션 방법을 제공하게 된다.

이를 위하여 제안된 시스템은 Apache Jena Inference API를 통해 구현되었으며 각 이미지들이 가진 어노테이션의 개수가 증가되며, 자동으로 추론된 결과 또한 SPARQL 질의를 통해 검색이 가능하며, 기존 어노테이션 결과에 대한 의미 검색을 더욱 효과적으로 할 수 있게 한다.

본 발명의 다른 실시예에 따른 추론 기능을 사용한 모바일 기기로 구현되는 이미지 어노테이션 방법에서는, 이미지 메타 데이터를 RDF 트리플로 정의하는 단계에 그치지 않고 예를 들면, RDF 스키마(Schema)의 특징인 12개의 함의규칙(예를 들면, FS Entailment[6])을 이용하는 것이 특징이다.

상기 RDFS 함의 규칙이라 함은 RDFS에서 도입된 기존의 RDF 그래프가 가져야 할 제약 조건으로서, 4가지 부 명제(Conjunction Lemma, Subgraph Lemma, Herbrand Lemma, Strong Herbrand Lemma)를 만족시키는 RDF 그래프들에 대해 일련의 규칙을 적용하여 규칙을 만족할 경우 해당 규칙에 해당하는 RDF 트리플을 추가시킴으로써 해당되는 그래프의 의미를 더해주는 효과를 갖는다.

즉, 도 5에 도시된 바와 같이, 4가지 부 명제(Conjunction Lemma, Subgraph Lemma, Herbrand Lemma, Strong Herbrand Lemma)를 만족시키는 RDF 그래프들에 대해 일련의 규칙을 적용함으로써, "Effel tower"는 "paris"에 위치하고 "paris"는 "France"에 위치하므로 "Effel Tower"는 France"에 위치한다는 추론 결과를 얻을 수 있게 되는 것이다.

따라서, 첫 번째 실시예에 따른 모바일 기기로 구현되는 이미지 어노테이션 방법에 이미지에 대한 어노테이션을 추론기를 통하여 추론 결과까지 RDF 그래프에 합산시켜주어 어노테이션의 양적인 면을 높일 수 있게 되는 것이다.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 상기 설명된 실시예에 한정되지 않으며, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다. 이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

1: 모바일 기기
2: 이미지
3: 모바일 기기 데이터 베이스
10: 태그 입력부
20: DBPedia 어노테이션 DB
30: RDF 트리플 이미지 어노테이션 변형부
40: 어노테이션 이미지 데이터 베이스

Claims

모바일 기기로 구현되는 이미지 어노테이션 방법으로서,
사용자에 의해 상기 모바일 기기로 업로드된 이미지에 대한 시간 및 위치 정보를 태그 정보로서 입력하는 단계;
상기 입력된 태그 정보를 토대로 어노테이션 DB를 링크하여 RDF 트리플 형태로 변형하여 어노테이션 하는 단계; 및
상기 RDF 트리플 형태로 어노테이션된 이미지를 어노테이션 이미지 데이터 베이스에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 1 항에 있어서,
상기 시간 및 위치 정보는 해당 이미지에 대해 모바일 기기로부터 자동적으로 얻어지는 상황 정보이고, 상기 태그 정보에는 사용자에 의해 입력되는 사용자 소셜 정보 또는 사용자 개인 정보인 사용자 입력 정보를 포함하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 2 항에 있어서,
상기 RDF 트리플 형태로 변형하여 어노테이션 하는 단계에서는,
상기 입력되는 태그 정보인 시간 정보, 위치 정보 및 사용자 입력 정보를 포함하는 상황 정보를 토대로, 상기 어노테이션 DB를 통한 어노테이션 정보를 추가적으로 링크하여 RDF 트리플 모델링(RDF 어노테이션 그래프)하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 3 항에 있어서,
상기 RDF 트리플 모델링은 다음과 같이 정의하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
정의 1
이미지 i가 주어졌을 때, 이미지 태그 집합으로서의 태그 정보인 Tag(i)는 다음과 같이 정의된다.
Tag(i) = {t1, t2, t3, ..., tn}
(여기서, 이미지가 가지는 태그(tn)는 사용자가 직접 입력하는 사용자 입력 정보와 시스템에서 자동 생성되는 시간 및 위치 등의 상황 정보 등으로 이루어진다).

정의 2
이미지 i가 주어졌을 때, 이미지 트리플 집합(RDF 트리플 형태)인 iTriple은 다음과 같이 정의된다.
iTriple ∈ { Tag(i) × Property × Tag(i) }
(여기서, 이미지 태그(tn)들 간의 의미 관계를 나타내는 Property는 링크된 태그(Linked Tag)의 방법을 이용한다.)

정의 3
이미지 i가 주어졌을 때, 이미지는 이미지 태그를 노드로 이미지 태그들 간의 술어를 간선으로 가지는 RDF 어노테이션 그래프로 정의된다.
제 3 항에 있어서,
상기 RDF 트리플 모델링(RDF 어노테이션 그래프)에서, 4가지 부 명제(Conjunction Lemma, Subgraph Lemma, Herbrand Lemma, Strong Herbrand Lemma)를 만족시키는 RDF 그래프들에 대해 일련의 규칙을 적용하여 해당 규칙에 해당하는 RDF 트리플을 추가하는 추론을 적용하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 1 항에 있어서,
상기 어노테이션된 이미지를 데이터 베이스에 저장하는 단계 후에는, 상기 어노테이션 이미지 데이터 베이스에 저장된 RDF 트리플 형태로 어노테이션된 이미지를 검색하는 단계를 더 포함하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 6 항에 있어서,
상기 이미지를 검색하는 단계에서는, SPARQL 질의를 통한 의미 기반 이미지를 검색하며,
일측은 질의를 대상으로 하는 RDF 그래프를 보여주며, 타측은 SPARQL 질의어를 보여주면서 이루어지는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 6 항에 있어서,
상기 이미지를 검색하는 단계에서는, 두 개의 RDF 트리플 형태로 어노테이션된 이미지의 유사성을 비교하는 단계를 더 포함하는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
제 8 항에 있어서,
상기 유사성 비교 단계에서는, 두 개의 RDF 트리플 형태로 어노테이션된 이미지 집합 A, B가 있을 때, Jaccard 유사도의 값인 JSim이 다음의 수학식 1과 같이 계산되는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
수학식 1)

(여기서, JSim은 Jaccard 유사도 값이고, S(A), S(B)는 각각 A, B에 속해 있는 트리플 원소를 나타낸다.)
제 8 항에 있어서,
상기 유사성 비교 단계에서는, 두 개의 RDF 트리플 형태로 어노테이션된 이미지 집합 A, B가 있을 때, Cosine 유사도의 값인 CSim을 하기 수학식 2와 같이 계산되는 것을 특징으로 하는 모바일 기기로 구현되는 이미지 어노테이션 방법.
수학식 2)

(여기서, CSim은 Cosine 유사도이고, A, B는 이미지에 어노테이션 된 두 RDF 온톨로지 집합이다.)