KR20150137006A - 주석 디스플레이 보조 장치 및 주석 디스플레이를 보조하는 방법 - Google Patents

Abstract

주석 디스플레이 보조 장치는 검색 단어와 관련하여 제1 그룹에 포함될 수 있는 이미지를 디스플레이하는 디스플레이 처리 유닛; 디스플레이 처리 유닛에 의해 디스플레이된 이미지들 중에서 검색 단어와 관련하여 제2 그룹에 포함되어야 하는 이미지의 선택을 수용하는 입력 수용 유닛; 및 이미지와 연관된 주석을 추가하기 위해 제2 그룹에 포함되도록 선택된 이미지에 기초하여 디스플레이 처리 유닛에 의해 디스플레이된 이미지들 중에서 제2 그룹에 속할 수 있는 이미지를 검출하는 주석 추가 유닛을 포함하며, 디스플레이 처리 유닛은 주석 추가 유닛에 의해 검출되어 제2 그룹에 속할 수 있는 이미지와 연관된 주석을 디스플레이하고, 주석은 이미지가 제2 그룹에 속할 수 있음을 나타낸다.

Description

주석 디스플레이 보조 장치 및 주석 디스플레이를 보조하는 방법{ANNOTATION DISPLAY ASSISTANCE DEVICE AND METHOD OF ASSISTING ANNOTATION DISPLAY}

본 발명은 주석 디스플레이 보조 장치 및 주석 디스플레이를 보조하는 방법에 관한 것이다.

"양(sheep)" 또는 "고양이" 등의 미리결정된 시각적 개념이 각각의 이미지에 존재하는지 또는 아닌지를 나타내는 이미지 분류기에 의해 이미지들을 분류하기 위한 기술이 존재한다. 이미지 분류기는 시각적 개념을 포함하는 포지티브 이미지 및 시각적인 개념을 포함하지 않는 네가티브 이미지를 포함하는 훈련 세트를 이용하는 학습 알고리즘에 의해 구축된다. 통상적인 학습 알고리즘으로서, 결과적인 분류기가 이미지 특징들(이미지로부터 추출된 히스토그램 등의 고차원 벡터)의 공간에서 분리 초평면(separating hyper-plane)을 정의하는 선형적인 분류기인 SVM(Support Vector Machine) 알고리즘이 알려져 있다.

또한, 미국특허 제7,890,443호는 빈약한 분류기를 훈련시키기 위한 MIP(multiple instance pruning) 또는 조합 분류기의 "특징들"을 개시한다.

그러나, 각각의 사용자가 훈련세트를 준비하는 것은 어렵다. 예를 들어, 시각적인 개념을 제공하기 위해 포지티브 이미지들과 네가티브 이미지들의 큰 집합을 수동으로 준비하는 것은 시간소모가 크다. 따라서, 각각의 사용자가 모을 수 있는 시각적 개념들의 양은 제한적이다.

이러한 문제를 해결하기 위해, 포지티브 이미지는 GIS(Google image search)를 이용하여 획득되고, 기술어(descriptor)는 포지티브 이미지들의 각각에 대해 계산되고, 선형적인 SVM 분류기는 포지티브 이미지 기술어 및 가중치 벡터를 획득하기 위한 미리 계산된 기술어를 갖는 네가티브 이미지들의 풀(pool)을 이용하여 훈련되고, 데이터 세트는 분류기에 의해 등급이 매겨지는 기술이 제안되었다(K. Chatfield and A. Zisserman. "VISOR: Towards On-the-Fly Large-Scale Object Category Retrieval". Asian Conference on Computer Vision, 2012).

그러나, 웹의 일반성 및 일부 단어들의 모호성으로 인해, GIS에 의해 반환된 포지티브 세트는 때때로 시각적인 개념(검색 단어(search word))이 빈약하게 표현된다. 이러한 이유로, 아직도 각각의 사용자가 시각적 개념이 빈약하게 표현된 이미지들에 표시를 함으로써, 반환된 포지티브 이미지들을 수동으로 수정하는 것이 필요하다. 따라서, 이미지 분류의 결과의 품질을 개선하기 위해서 여전히 전술한 훈련 세트를 준비하는 어려움의 문제는 해결되어야 한다.

본 발명은 전술한 문제들의 관점에서 이루어지고, 이미지들을 분류하기 위한 훈련 세트를 쉽게 준비하기 위해 사용자를 보조하는 기술을 제공한다.

일 실시예에 따르면, 검색 단어와 관련하여 제1 그룹에 포함될 수 있는 이미지를 디스플레이하는 디스플레이 처리 유닛; 디스플레이 처리 유닛에 의해 디스플레이된 이미지들 중에서 검색 단어와 관련하여 제2 그룹에 포함되어야 하는 이미지의, 사용자로부터의 선택을 수용하는 입력 수용 유닛; 및 이미지 상에 주석을 추가하기 위해 제2 그룹에 포함되도록 사용자에 의해 선택된 이미지에 기초하여 디스플레이 처리 유닛에 의해 디스플레이된 이미지들 중에서, 제2 그룹에 포함되도록 사용자에 의해 선택된 이미지 외에, 제2 그룹에 속할 수 있는 이미지를 검출하는 주석 추가 유닛을 포함하는 주석 디스플레이 보조 장치가 제공되며, 디스플레이 처리 유닛은 주석 추가 유닛에 의해 제2 그룹에 속하는 것으로 검출되는 이미지 상에 주석을 디스플레이하고, 주석은 이미지가 제2 그룹에 속할 수 있음을 나타낸다.

또 따른 실시예에 따르면, 검색 단어와 관련하여 제1 그룹에 포함될 수 있는 이미지를 디스플레이하는 단계; 디스플레이하는 단계에서 디스플레이된 이미지들 중에서 검색 단어와 관련하여 제2 그룹에 포함되어야 하는 이미지의, 사용자로부터의 선택을 사용자로부터 수용하는 단계; 이미지 상에 주석을 추가하기 위해 제2 그룹에 포함되도록 사용자에 의해 선택된 이미지에 기초하여 디스플레이 단계에서 디스플레이된 이미지들 중에서, 제2 그룹에 포함되도록 사용자에 의해 선택된 이미지 외에, 제2 그룹에 속할 수 있는 이미지를 검출하는 단계 및 검출하는 단계에서 제2 그룹에 속하는 것으로 검출되는 이미지 상에 주석 - 주석은 이미지가 제2 그룹에 속할 수 있다는 것을 나타냄 - 을 디스플레이하는 단계를 포함하는 주석 디스플레이를 보조하는 방법이 제공된다.

또한, 방법들, 장치들, 시스템들 등에서 이루어진, 전술한 구성들의 임의의 조합 및 본 발명에서의 표현들의 임의의 변화는 본 발명의 실시예들로서 유효하다는 것을 알아야한다.

첨부된 도면들과 함께 읽혀졌을 경우, 본 발명의 다른 목적들, 특징들 및 장점들은 이하의 발명의 상세한 설명으로부터 보다 명백해 질 것이다.
도 1은 일 실시예의 주석 디스플레이 보조 장치의 기능적인 구조의 일 예시를 도시한 블록도;
도 2는 실시예의 주속 디스플레이 보조 장치의 하드웨어 구조의 일 예시를 도시한 블록도;
도 3은 실시예의 디스플레이 처리 유닛에 의해 디스플레이된 스크린의 일 예시를 도시한 도면;
도 4는 실시예의 디스플레이 처리 유닛에 의해 디스플레이된 스크린의 또 다른 예시를 도시한 도면; 및
도 5는 실시예의 프로세스의 일 예를 도시한 플로우차트.

본 발명은 본 명세서에서 예시적인 실시예들을 참조하여 기술될 것이다. 당업자는 본 발명의 교시들을 이용하여 많은 대안적인 실시예들이 달성될 수 있다는 것과 본 발명이 설명적인 목적을 위해 제시된 실시예들에 제한되지 않는다는 것을 알 것이다.

도면들의 설명에서 동일한 구성요소에는 동일한 참조번호가 주어지고, 설명들은 반복되지 않는다는 것을 알아야한다.

도 1은 일 실시예의 주석 디스플레이 보조 장치(100)의 기능적인 구조의 일 예를 도시한 블록도이다.

주석 디스플레이 보조 장치(100)는, 예컨대 인터넷 등의 네트워크(400)를 통해, 예컨대 GIS(Google Image Search) 등의 이미지 검색 엔진을 포함하는 외부 이미지 검색 시스템(300)과 통신할 수 있다.

주석 디스플레이 보조 장치(100)의 기능적 구조를 상세하게 기술하기 전에, 주석 디스플레이 보조 장치(100)의 하드웨어 구조가 설명된다.

도 2는 실시예의 주석 디스플레이 보조 장치(100)의 하드웨어 구조의 일 예시를 도시한 도면이다. 여기서, 주석 디스플레이 보조 장치(100)는, 예컨대 스마트폰, 휴대폰 등의 휴대 단말기인 예가 설명된다.

주석 디스플레이 보조 장치(100)는 전력 소스 시스템(251), 주 시스템(252) - 상기 주 시스템은 프로세서(253), 메모리 제어기(254) 및 주변장치 인터페이스(255)를 포함함 - , 저장 유닛(256), 외부 포트(257), 고주파 회로(258), 안테나(259), 음향 회로(260), 스피커(261), 마이크로폰(262), 센서(263), I/O(Input/Output) 서브 시스템(264) - 상기 I/O 서브 시스템은 디스플레이 제어기(265), 광 센서 제어기(266) 및 입력 제어기(267)를 포함함 - , 터치 패널 디스플레이 시스템(268), 광 센서(269), 및 입력 유닛(270)을 포함한다. 비록 상세하게 설명되지는 않았지만, 센서(263)는 근접 센서(proximity sensor), GPS(Global Positioning System) 회로, 가속도계, 자이로스코프, 자력계, 광 센서(luminosity sensor) 등을 포함할 수 있다.

대안적으로, 주석 디스플레이 보조 장치(100)는, 예컨대 개인용 컴퓨터 등의 단말 장치일 수 있다.

다시 도 1을 참조하면, 주석 디스플레이 보조 장치(100)는 입력 수용 유닛(12), 디스플레이 처리 유닛(14), 주석 추가 유닛(18), 이미지 획득 유닛(16) 및 이미지 데이터 저장소(20)를 포함한다.

입력 수용 유닛(12)은 주석 디스플레이 보조 장치(100)의 사용자의 다양한 입력 동작들을 수용한다. 특히, 입력 수용 유닛(12)은 사용자로부터 시각적 개념의 원문적인 설명(이하에서는, "검색 단어"로서 지칭됨)을 수용한다. 사용자가 양에 관한 이미지를 획득하고자 할 경우, 검색 단어는, 예컨대 "양"일 수 있다.

이미지 획득 유닛은 사용자에 의해 입력된 검색 단어에 기초하여 외부 검색 엔진을 사용하여 제1 그룹에 포함될 수 있는 이미지들을 획득한다.

이미지 획득 유닛(16)은 검색 단어에 기초하여 외부 이미지 검색 시스템(300)에 의해 검색되고 찾아지는 검색 단어와 관련하여 제1 그룹에 포함될 수 있는 이미지들을 획득(다운로드)한다. 이러한 실시예에서, 제1 그룹은 검색 단어에 대해 포지티브인 이미지들(이하에서, "검색 단어에 대한 포지티브 이미지들"로서 지칭됨)의 그룹이다. 따라서, 구체적으로 이미지 획득 유닛(16)은 검색 단어에 기초하여 외부 이미지 검색 시스템(300)에 의해 검색되고 찾아지는 검색 단어에 포지티브일 수 있는 이미지들(이하에서, "검색 단어에 대해 포지티브일 수 있는 이미지들"로서 지칭됨)을 획득(다운로드)한다.

디스플레이 처리 유닛(14)은, 예컨대 터치 패널 디스플레이 시스템 등과 같은 디스플레이 유닛 상에 다양한 정보 항목들을 디스플레이한다. 구체적으로, 디스플레이 처리 유닛(14)은 이미지 획득 유닛(16)에 의해 획득된 검색 단어에 대해 포지티브일 수 있는 이미지들의 리스트를 디스플레이한다.

입력 수용 유닛(12)은 디스플레이 처리 유닛(14)에 의해 디스플레이되는 이미지들 중에서 검색 단어와 관련하여 제2 그룹에 포함되어야 하는 이미지의 사용자로부터의 선택을 수용한다. 이러한 실시예에서, 제2 그룹은 검색 단어에 대한 네가티브인 이미지들(이하에서, "검색 단어에 대한 네가티브 이미지"라고 지칭됨)의 그룹이다. 따라서, 구체적으로, 입력 수용 유닛(12)은 디스플레이 처리 유닛(14)에 의해 디스플레이되는 포지티브일 수 있는 이미지들 중에서 검색 단어에 대해 네가티브인 이미지의 사용자로부터의 선택을 수용한다.

예를 들어, 디스플레이 처리 유닛(14)은 검색 단어에 대해 포지티브일 수 있는 이미지들을 각각 체크박스와 함께 디스플레이할 수 있다. 그 후, 사용자는 검색 단어 등에 의해 정의된 시각적 개념을 포함하지 않는 이미지를 동반하는 체크박스를 수동으로 마킹 또는 체킹함으로써 검색 단어에 대한 네가티브 이미지를 선택할 수 있다. 사용자가 체크박스를 체킹할 때, 디스플레이 처리 유닛(14)은, 예컨대 십자표(cross mark)와 같은 네가티브 아이콘을, 예컨대 동반된 이미지 상에 디스플레이하여, 이것이 실제로는 네가티브 이미지임을 나타낼 수 있다.

주석 추가 유닛(18)은 사용자에 의해 선택된 네가티브 이미지에 기초하여 디스플레이 처리 유닛(14)에 의해 디스플레이된 남아있는 포지티브일 수 있는 이미지들 중에서 검색 단어에 대해 네가티브일 수 있는 이미지(이하에서, "검색단어에 대해 네가티브일 수 있는 이미지"라고 지칭됨)를 검출한다. 이 때, 주석 추가 유닛(18)은 디스플레이 처리 유닛(14)에 의해 디스플레이된 남아있는 포지티브일 수 있는 이미지들이 검색단어에 대해 네가티브일 수 있는 이미지로서 제안되는지 자동적으로 검출하기 위해, 선택된 네가티브 이미지를 임시적인 이미지로서 사용하는 알고리즘을 실행할 수 있다. 이 때, 주석 추가 유닛(18)은 유사성 기초 비교, 분류 기초 비교 등을 이용할 수 있다.

유사성 기초 비교가 사용되는 경우, 주석 추가 유닛(18)은 디스플레이 처리 유닛(14)에 의해 디스플레이된 남아있는 포지티브일 수 있는 이미지들의 각각을 선택된 네가티브 이미지와 비교한다. 비교는, 예컨대 SIFT(Scale Invariant Feature Transform) 등의 로컬 기술어를 이용하고 뒤이어 매칭되는 기술어들의 기하학적인 확인으로 수행될 수 있다.

분류 기초 비교가 사용되는 경우, 주석 추가 유닛(18)은, 예컨대 선택된 네가티브 이미지를 네가티브 이미지로서 사용하고, 남아있는 포지티브일 수 있는 이미지들을 포지티브 이미지들로서 사용하는 이미지 분류기를 구축한다.

디스플레이 처리 유닛(14)은 이미지가 검색 단어에 네가티브일 수 있다는 것을 나타내는 주석을 주석 추가 유닛(18)에 의해 검출되는 네가티브일 수 있는 이미지 상에 디스플레이한다. 이미지가 네가티브일 수 있다는 것을 나타내는 주석은, 예컨대 물음표 등의 네가티브 제안 아이콘일 수 있다.

따라서, 사용자는 디스플레이 처리 유닛(14)에 의해 디스플레이되는 이미지에 동반되는 네가티브 제안 아이콘을 참조하여 검색 단어에 대한 또 다른 네가티브 이미지를 쉽게 선택할 수 있다. 입력 수용 유닛(12)은 검색 단어에 대한 네가티브 이미지의 사용자로부터의 선택을 수용한다.

사용자가 검색 단어에 대한 네가티브 이미지를 선택한 경우, 결과는 이미지 데이터 저장소(20)에 저장된다. 구체적으로, 이미지 획득 유닛(16)에 의해 획득된 이미지들의 각각의 이미지 데이터, 검색 단어 및 각각의 이미지가 사용자에 의해 검색 단어에 대한 네가티브 이미지로서 선택되는지 여부를 나타내는 정보는 서로 대응되게 이미지 데이터 저장소(20)에 저장된다.

또한, 이미지 획득 유닛(16)이 외부 이미지 검색 시스템(300)에 의해 검색되고 찾아지는 검색 단어에 대해 포지티브일 수 있는 이미지들을 새롭게 획득한 경우, 주석 추가 유닛(18)은 새롭게 획득된 포지티브일 수 있는 이미지와 이미지 데이터 저장소(20)에 저장된 이미지들을 비교할 수 있다. 그 후, 주석 추가 유닛(18)은 이미지 데이터 저장소(20)에 저장된 이미지들에 기초하여 새롭게 획득된 이미지들 중에서 검색 단어에 대해 네가티브일 수 있는 이미지를 검출할 수 있다.

도 3 및 도 4는 디스플레이 처리 유닛(14)에 의해 디스플레이된 스크린(500)의 예를 도시하는 도면이다.

도 3에서, 검색 단어인 "양(sheep)"은 외부 이미지 검색 시스템(300)에 의해 제공된 검색 웹 사이트의 검색 단어 박스(502)에 입력된다는 것이 가정된다. 그 후, 이미지 획득 유닛(16)은 외부 이미지 검색 시스템(300)으로부터 검색 단어 "양"에 대한 복수의 포지티브일 수 있는 이미지들을 획득한다. 그 후, 디스플레이 처리 유닛(14)은 획득된 이미지들의 리스트를 디스플레이한다. 도 3은 검색 단어 "양"에 대한 그러한 포지티브일 수 있는 이미지들을 도시한다.

또한, 파선(510) 내의 이미지들이 사용자에 의해 사전에 획득되고 확인된 이미지들과 동일하다고 가정한다. 예를 들어, 이미지(504a)는 검색 단어 "양"에 대해 네가티브인 것으로 사용자에 의해 사전에 체킹되었다고 가정되고, 결과는 이미지 데이터 저장소(20)에 저장되었다. 따라서, 네가티브 아이콘인 십자표(506a)가 이미지(504a)와 함께 디스플레이된다.

이러한 상태에서, 사용자가 커서(514)를 사용자가 검색 단어 "양"에 대해 네가티브인 것으로 생각하는 이미지들 중 하나, 예컨대 이미지(504b)로 이동시키는 경우, 박스(512)가 디스플레이된다. 대안적으로, 박스들은 원래 모든 이미지들에 대해 각각 디스플레이될 수 있다. 그 후, 사용자가 박스(512)를 체킹하는 경우, 도 4에 도시된 바와 같이, 십자표(506b)가 이미지(504b)와 함께 디스플레이된다.

그 후, 주석 추가 유닛(18)은 사용자에 의해 선택된 네가티브 이미지들(504a, 504b) 및 남아있는 포지티브일 수 있는 이미지들에 기초하여 남아있는 포지티브일 수 있는 이미지들 중에서 "양"에 대해 네가티브일 수 있는 이미지인 이미지들을 검출한다.

예를 들어, 이 경우에는, 도 4에서 도시된 바와 같이, 네가티브 제안 아이콘들인 물음표들(506c, 506d)이 각각 이미지들(504c, 504d)과 함께 디스플레이된다.

이러한 구성에 의해, 사용자는 물음표들(506c, 506d)을 봄으로써 검색 단어 "양"에 대해 네가티브일 수 있는 이미지들을 쉽게 알 수 있다.

도 5는 실시예의 프로세스의 예시를 도시하는 플로우차트이다.

우선, 입력 수용 유닛(12)은 검색 단어를 수용한다(단계 S102). 그 후, 이미지 획득 유닛(16)은 외부 이미지 검색 시스템(300)으로부터 검색 단어에 대해 포지티브일 수 있는 복수의 이미지들을 획득한다(단계 S104).

그 후, 주석 추가 유닛(18)은 획득된 이미지들을 이미지 데이터 저장소(20)에 저장된 검색 단어에 대해 네가티브인 것으로 검증 또는 체킹되는 사전에 획득된 이미지들과 비교한다(단계 S106). 그 후, 디스플레이 처리 유닛(14)은 네가티브 아이콘 (이전의 주석(previous annotation)) 등과 함께 이미지 획득 유닛(16)에 의해 획득된 이미지들을 디스플레이한다(단계 S108).

그 후, 입력 수용 유닛(12)은 사용자로부터의 검색 단어에 대한 네가티브 이미지의 선택(수동 주석(manual annotation))을 수용한다(단계 S110). 이 때, 디스플레이 처리 유닛(14)은 사용자에 의해 네가티브인 것으로 선택된 이미지에 대해 네가티브 아이콘을 디스플레이한다.

그 후, 주석 추가 유닛(18)은 사용자에 의해 검색 단어에 대해 네가티브인 것으로 현재 및 사전에 선택된 이미지들 및 남아있는 포지티브일 수 있는 이미지들 에 기초하여 검색 단어에 대해 네가티브일 수 있는 이미지들 (네가티브 후보들)을 검출한다(단계 S112).

그 후, 디스플레이 처리 유닛(14)은 검색 단어에 대해 네가티브일 수 있는 것으로 검출되는 이미지들과 함께 네가티브 제안 아이콘들을 디스플레이한다(단계 S114).

그 후, 주석 프로세스가 끝날지가 결정된다(단계 S116). 주석 프로세스가 끝나지 않은 경우(단계(S116)에서의 '아니오'), 프로세스는 단계(S106)으로 돌아가고, 동일한 단계들이 반복된다. 주석 프로세스가 끝난 경우(단계(S116)에서의 '예'), 주석 추가 유닛(18)은 이미지 획득 유닛(16)에 의해 획득된 이미지들의 각각을 검색 단어 및 각각의 이미지가 사용자에 의해 검색 단어에 대한 네가티브 이미지로서 선택되는지 또는 아닌지를 나타내는 정보와 함께 이미지 데이터 저장소(20)에 저장한다(단계 S118).

대안적으로, 단계(S116)에서, 주석 프로세스가 끝나는지 여부는 사용자에 의해 검색 단어에 대해 포지티브 이미지인 것으로 확인되는 이미지들의 수가 목표 수에 도달하는지에 따라 결정될 수 있다. 구체적으로, 단계(S116)에서, 검색 단어에 대해 포지티브 이미지들로 확인되는 이미지들의 수가 목표 수에 도달하는 경우, 주석 프로세스는 끝나는 것으로 결정된다. 다른 한편으로는, 단계(S116)에서, 검색 단어에 대해 포지티브 이미지들로 확인되는 이미지들의 수가 목표 수에 도달하지 않는 경우, 프로세는 단계(S104)로 돌아갈 수 있고, 새로운 이미지들이 다운로드될 수 있다.

실시예에 따르면, 사용자가 검색 단어에 대해 네가티브인 이미지를 선택할 때마다, 검색 단어에 대해 네가티브일 수 있는 이미지들이 검출된다. 그 후, 새로운 네가티브일 수 있는 이미지들이 검출된 경우, 각각의 이미지가 검색 단어에 대해 네가티브일 수 있다는 것을 나타내는, 예컨대 네가티브 제안 아이콘 등의 주석이 디스플레이된다. 여기서, 주석 추가 유닛(18)이 검색 단어에 대해 네가티브일 수 있는 이미지를 검출하는 경우, 주석 추가 유닛(18)은 네가티브일 수 있는 이미지들(각각 네가티브 제안 아이콘들을 갖는 이미지들)을 자동으로 사실상 네가티브 이미지들로서 취급할 수 있다.

따라서, 네가티브 제안 아이콘을 봄으로써 사용자가 검색 단어에 대해 네가티브인 이미지를 빠르게 선택할 수 있기 때문에 사용자는 쉽게 훈련 세트를 준비할 수 있다.

본 발명은 원래의 온-더-플라이(on-the-fly) 이미지 분류 시스템의 포지티브 세트 주석의 속도를 높이고 보다 인체공학적으로 만드는 데에 기여한다. 아직 검사되지 않은 이미지들 내에서 네가티브인 것들을 자동으로 제안하는 것은 포지티브 세트에 보다 빠른 주석을 허용하여, 사용자 경험을 보다 유연하게 만든다.

전술한 실시예는 주석 프로세스가 포지티브일 수 있는 이미지들의 데이터 세트 상에서 수행되는 예를 제시한다. 대안적으로, 동일한 로직과 시스템이 네가티브일 수 있는 이미지들의 데이터 세트 상에 사용될 수 있다. 이것은 제1 그룹과 제2 그룹이 각각 검색 단어에 대해 네가티브인 이미지들의 그룹 및 검색 단어에 대해 포지티브인 이미지들의 그룹일 수 있다는 것을 의미한다.

예를 들어, 가장 영향력이 큰 네가티브 이미지(초평면 분리에 근접한 이미지)에 수동으로 주석을 다는 것이 유용하다. 그러한 경우에, 디스플레이 처리 유닛(14)은 네가티브일 수 있는 이미지를 디스플레이할 수 있다. 그 후, 사용자는 네가티브일 수 있는 이미지들 중에서 검색 단어에 포지티브인 이미지를 선택할 수 있다. 그 후, 디스플레이 처리 유닛(14)은 사용자에 의해 포지티브인 것으로 선택된 이미지와 함께 포지티브 아이콘을 디스플레이할 수 있다.

그 후, 주석 추가 유닛(18)은 사용자에 의해 선택된 포지티브 이미지와 남아있는 네가티브일 수 있는 이미지들에 기초하여 디스플레이 처리 유닛(14)에 의해 디스플레이된 남아있는 네가티브일 수 있는 이미지들 중에서 포지티브일 수 있는 이미지를 검출할 수 있다. 그 후, 디스플레이 처리 유닛(14)은 포지티브 제안 아이콘들을 각각 포지티브일 수 있는 이미지들과 함께 디스플레이할 수 있다. 그 후, 사용자는 포지티브 제안 아이콘들을 봄으로써 이미지에 포지티브인 이미지를 쉽게 선택할 수 있다.

또한, GIS 등의 외부 이미지 검색 시스템(300)으로부터 다운로드된 이미지들이 반복되는 경우가 있을 수 있다. 이러한 반복은 주석 프로세스를 불필요하게 힘들게 만든다. 따라서, 동일한 시각적 정보를 포함하는 이미지는 이미지들을 군집화함으로써 검출될 수 있고, 쌓는 방식(stacked manner)으로 디스플레이될 수 있다. 군집화 프로세스는 상세하게 전술한 바와 같이 유사성 기초 비교를 사용하여 수행될 수 있다. 이러한 구성을 이용하여, 사용자는 보다 빠르게 큰 범위의 이미지들 - 큰 훈련 세트는 결과에 중요한 포지티브 영향을 가지는 것으로 알려져 있음 - 에 주석을 달 수 있다. 이 경우에, 선택적으로, 사용자는 이미지 군집을 검사하기 위해 쌓인 이미지들을 확장시키는 것이 가능할 수 있다.

주석 디스플레이 보조 장치(100)의 개별적인 구성요소는 하드웨어와 소프트웨어의 임의적인 조합으로 구체화되고, 임의의 컴퓨터의 CPU, 메모리, 도면들에 도시된 구성요소들을 구체화하기 위해 메모리에 로드된 프로그램, 하드디스크와 같이 프로그램을 저장하기 위한 저장 유닛 및 네트워크 접속을 위한 인터페이스로 전형화될 수 있다. 실시예들을 위한 방법들 및 장치들이 다양한 변형을 허용한다는 것을 당업자라면 이해할 수 있을 것이다.

본 발명은 구체적으로 개시된 실시예들에 제한되지 않고, 본 발명의 범위를 벗어나지 않으면서 변경 및 변형이 이루어 질 수 있다.

Claims (7)

1. 주석 디스플레이 보조 장치로서,
   검색 단어와 관련하여 제1 그룹에 포함될 수 있는 이미지들을 디스플레이하는 디스플레이 처리 유닛;
   상기 디스플레이 처리 유닛에 의해 디스플레이된 이미지들 중에서 상기 검색 단어와 관련하여 제2 그룹에 포함되어야 하는 이미지의 선택을 수용하는 입력 수용 유닛; 및
   상기 이미지와 연관된 주석을 추가하기 위해 상기 제2 그룹에 포함되도록 선택된 이미지에 기초하여 상기 디스플레이 처리 유닛에 의해 디스플레이된 이미지들 중에서, 상기 제2 그룹에 포함되도록 선택된 이미지 외에, 상기 제2 그룹에 속할 수 있는 이미지를 검출하는 주석 추가 유닛
   을 포함하며,
   상기 디스플레이 처리 유닛은 상기 주석 추가 유닛에 의해 상기 제2 그룹에 속할 수 있는 것으로 검출된 이미지와 연관된 주석을 디스플레이하고, 상기 주석은 상기 이미지가 제2 그룹에 속할 수 있음을 나타내는, 주석 디스플레이 보조 장치.
2. 제1항에 있어서,
   상기 제1 그룹 및 상기 제2 그룹은 각각 상기 검색 단어에 대해 포지티브인 이미지들의 그룹 및 상기 검색 단어에 대해 네가티브인 이미지들의 그룹이거나, 각각 상기 검색 단어에 대해 네가티브인 이미지들의 그룹 및 상기 검색 단어에 대해 포지티브인 이미지들의 그룹인, 주석 디스플레이 보조 장치.
3. 제1항에 있어서,
   상기 입력 검색 단어에 기초하여 외부 검색 엔진을 이용하여 상기 제1 그룹에 포함될 수 있는 이미지들을 획득하는 이미지 획득 유닛을 더 포함하고,
   상기 디스플레이 처리 유닛은 상기 이미지 획득 유닛에 의해 획득된 이미지들을 디스플레이하는, 주석 디스플레이 보조 장치.
4. 제1항에 있어서,
   상기 주석 추가 유닛은 상기 제2 그룹에 포함되도록 현재 선택된 이미지 뿐만 아니라 상기 제2 그룹에 포함되도록 사전에 선택된 이미지에 기초하여, 상기 디스플레이 처리 유닛에 의해 디스플레이된 남아있는 이미지들 중에서 상기 제2 그룹에 속할 수 있는 이미지를 검출하는, 주석 디스플레이 보조 장치.
5. 제1항에 있어서,
   상기 디스플레이 처리 유닛은 쌓는 방식(stacked manner)으로 군집화에 의해 동일한 시각적 정보를 포함하도록 검출되는 이미지들을 디스플레이하는, 주석 디스플레이 보조 장치.
6. 주석 디스플레이를 보조하는 방법으로서,
   검색 단어와 관련하여 제1 그룹에 포함될 수 있는 이미지를 디스플레이하는 단계;
   상기 디스플레이하는 단계에서 디스플레이된 이미지들 중에서 상기 검색 단어와 관련하여 제2 그룹에 포함되어야 하는 이미지의 선택을 수용하는 단계;
   상기 이미지와 연관된 주석을 추가하기 위해 상기 제2 그룹에 포함되도록 선택된 이미지에 기초하여 상기 디스플레이하는 단계에서 디스플레이된 이미지들 중에서, 제2 그룹에 포함되도록 선택된 이미지 외에, 상기 제2 그룹에 속할 수 있는 이미지를 검출하는 단계 및
   상기 검출하는 단계에서 상기 제2 그룹에 속할 수 있는 것으로 검출된 상기 이미지와 연관된 주석 - 상기 주석은 상기 이미지가 제2 그룹에 속할 수 있다는 것을 나타냄 - 을 디스플레이하는 단계
   를 포함하는 주석 디스플레이를 보조하는 방법.
7. 제6항에 있어서,
   상기 제1 그룹 및 상기 제2 그룹은 각각 상기 검색 단어에 대해 포지티브인 이미지들의 그룹 및 상기 검색 단어에 대해 네가티브인 이미지들의 그룹이거나, 각각 상기 검색 단어에 대해 네가티브인 이미지들의 그룹 및 상기 검색 단어에 대해 포지티브인 이미지들의 그룹인, 주석 디스플레이를 보조하는 방법

Images