KR20060076311A

KR20060076311A - 미디어 아이템들을 클러스터링 및 조회하기 위한 방법

Info

Publication number: KR20060076311A
Application number: KR1020067006053A
Authority: KR
Inventors: 주나스 파알라스마아; 주카-페가 살멘카이타; 안티 소르바리; 타피오 탈그렌
Original assignee: 노키아 코포레이션
Priority date: 2003-10-02
Filing date: 2004-09-27
Publication date: 2006-07-04
Also published as: EP1668540A1; KR100803769B1; US20050076056A1; JP2007507775A; JP2010191997A; USRE43260E1; TWI360058B; TW200515214A; US7313574B2; WO2005031601A1

Abstract

본 발명은 데이터 처리 단말기들에서 미디어 아이템들을 관리하는 것에 관한 것이다. 더 상세히 말하면, 본 발명은 모바일 단말들 내에서 계층적 다차원 클러스터들 내에 편성된 미디어 아이템들을 정렬, 보이기, 및 질의하는 방법, 장치 및 컴퓨터 프로그램 생성물에 대한 것이다. 미디어 아이템들은 다차원 클러스터링을 통해 정렬되고, 한 차원에 대해 최초의 엔트리를 규정하여 조회되며, 다음 엔트리는 그 최초의 엔트리를 만족하는 미디어 아이템들로부터 다른 차원에 기반한다.

Description

미디어 아이템들을 클러스터링 및 조회하기 위한 방법{Method for clustering and querying media items}

본 발명은 데이터 처리 단말기들에서 미디어 아이템들을 관리하는 것에 관한 것이다. 보다 상세하게 말하면, 본 발명은 모바일 단말기들의 계층적 다차원 클러스터들 안에 조직된 미디어 아이템들을 정렬, 표시, 및 조회하는 방법, 장치, 및 컴퓨터 프로그램 생성물에 관한 것이다.

이미지를 포함하는 디지털 미디어의 량이 증가하면서, 미디어 컬렉션을 관리하는 소프트웨어 어플리케이션들이 폭넓게 채택되어 왔다. 최신 프로그램들이 미디어 컬렉션을 분류하는 것을 돕기 위해 메타데이터 또는 관리되는 미디어 아이템들에 관한 정보를 이용하고 있다. 종래의 기술은 연계된 디스플레이 및 기타 사용자 인터페이스 기능들을 포함하는 퍼스널 컴퓨터들 상에서 통상적으로 작동되는 솔루션들에 집중해 왔다. 그러나, 모바일 통신 및 컴퓨팅 기술의 발전이, 보다 제한된 사용자 인터페이스 기능들을 가진 모바일 퍼스널 통신 장치들에도 역시 유사한 미디어 컬렉션들을 가질 수 있게 하고 있다.

아도브 앨범(Adobe Album ®)과 같이, 퍼스널 컴퓨터에 저장되는 미디어 컬렉션들을 관리하기 위해 개발된 소프트웨어 어플리케이션들이 존재한다. 종래 기 술들 가운데 한 예가 아도브 시스템에 의해 출원된 국제공개번호 WO 02/057959A2 "디지털 미디어 관리 장치 및 방법"에 기재되어 있다. 이 공개문서는 디지털 이미지들과 같은 오브젝트들을 관리하고 찾아 디스플레이하기 위한 방법 및 장치를 기술하고 있다. 오브젝트들은 서술적인 텍스트 및 수치로 된 데이터 ("메타데이터")와 결부되며, 관련 데이터베이스에 저장되어 그로부터 선택, 소팅, 발견될 수 있다. 이 오브젝트들은 이들의 메타데이터가 서치(search) 기준과 매치되는 정도에 따라 서치 및 디스플레이된다. 서로 상이한 매치 그룹들에 존재하는 오브젝트들은 서로 다른 백그라운드 컬러나 패턴 앞에 디스플레이되는 등, 비주얼 큐(cue)들에 의해 디스플레이 영역 내에서 서로 구별될 수 있다.

미디어 오브젝트들을 관리하는 방법의 한 예가 마이크로소프트사에 의해 출원된 공개 문서 US2003/0009469A1의 "데이터베이스에서의 미디어 오브젝트 관리"에 개시되어 있다. 이 문서는 미디어 오브젝트 및 기존의 미디어 오브젝트들, 카테고리들, 인덱스들 및 서치들에 대한 컨텍스추얼(contextual) 정보를 이용하여 데이터베이스 내 미디어 오브젝트들을 조직하여, 데이터베이스 내 미디어 오브젝트 목록을 카탈로그로 만들기 위한 결론에 도달하고자 하는 방법 및 장치를 개시한다. 이 방법 및 장치는 표지 붙이지 않은(unlabeled) 데이터의 그룹들을 형성하고 상기 그룹까지의 미터 거리를 이용하여 미디어 오브젝트들을 클러스터링(clustering)하기 위해 제공된다. 미디어 오브젝트들은 시간상으로 서로 가깝게 촬영된 이미지들을 클러스터링함으로써 다양한 컬렉션들로 자동으로 조직된다. 사용자 인터페이스는 컬렉션 마다 하나의 이미지를 포함할 수 있으며, 그 이미지가 사용자에게 보여진 다. 사용자가 어떤 이미지를 서치하고 있을 때, 사용자는 이미지들의 컬렉션들을 각각 나타내는 이미지들을 보고 원하는 이미지와 관련된다고 보여지는 컬렉션을 선택한다. 한 컬렉션이 선택되면, 그 컬렉션에 해당하는 이미지들이 사용자에게 보여진다.

상술한 방법은 퍼스널 컴퓨터들에는 잘 맞지만, 모바일 환경으로 전송될 때 사용성 및 운영상의 문제들을 가진다는 것을 알 수 있다. 기존의 방법들은, 상당한 크기의 디스플레이를 보고 마우스와 같이 찍고 클릭(point-and-click)하는 방법들에 의해 미디어 아이템들, 카테고리 등을 선택하는 사용자의 능력에 의존하고 있기 때문에, 모든 모바일 단말 카테고리들에서는 그다지 적합하지 않다. 그러나, 최종 사용자 편에서는 개인 모바일 단말 안에 그에 해당하는 기능을 가져, 개인용 컴퓨터들이 액세스 가능하지 않을 때에도 사용자들에게 자신들의 미디어 컬렉션들을 액세스할 수 있게 하는 것이 매우 선호될 수 있을 것이다.

모바일 단말들에서는 미디어 조회(질의, query) 문제들이 보통 로컬 스토리지 (메모리 카드나 그에 유사한 것) 내 폴더 기반 방식으로 해결되지만, 이것은 데스크톱 환경에서의 폴더 기반 방식과 똑같은 한계들을 갖는다. 종래의 방법들에서, 모바일 단말기의 미디어 질의 문제는 모바일 네트 (mobile net) 접속을 통해 원격 미디어 컬렉션에 액세스함으로써 해결되며, 사용자 인터페이스 로직 (카테고리, 키워드 등의 이용)은 서버 측에서 처리된다. 이 방식은 적절한 로직이 서버 편에서 구축되었다면, 매우 앞선 메타데이터 관련 질문들을 잠정적으로 일체화시킬 수 있다는 장점을 가진다. 그러나, 이 방법은 어떤 이유로 네트워크 연결이 가능 하지 않은 경우에는 그럴싸하지 못하다.

상술한 이유들로 인해, 많은 양의 미디어 아이템들을 관리하기 위한 새로운 방법을 개발할 필요가 있다. 이러한 방법은 작은 디스플레이들에서도 사용이 합당할 만큼 용이해야 하며, 제한된 선택 메커니즘들만으로 실용적 액세스를 제공해야 한다. 본 발명은 클라이언트 편에서의 접근 방식으로서, 그 구성이 모바일 기기 안에서 수행될 수 있다.

본 발명은 모바일 단말에서 미디어 아이템들을 관리하기 위한 방법, 장치 및 컴퓨터 프로그램 생성물을 제공한다. 특히, 본 발명은 모바일 단말들에서 계층적 다차원 클러스터들 안에 조직된 미디어 아이템들을 정렬, 보이기, 및 질의하는데 초점을 맞춰, 모바일 단말들에서의 메타데이터 관련 미디어 질의에 대한 사용자 인터페이스 제약을 극복한다. 본 발명은 상기 클러스터들로부터 미디어 아이템들을 다차원적 클러스터링 및 조회(querying)하고 클러스터링 계층의 깊이(depth)를 자동으로 선택하는 방법을 제시한다. 또한 본 발명은 클러스터들과 함께 사용될 질의 메커니즘을 가진 사용자 인터페이스 역시 제공한다.

본 발명에 따라, 미디어 아이템들은 서술적 정보, 차원과 함께 제공되며, 공통되는 한 서술 정보를 가진 미디어 아이템들이 함께 클러스터링 된다. 서술 정보는 사용자에 의해 수동으로, 혹은 자동으로 미디어 아이템 파일로 삽입될 수 있는 메타데이터로서 설정된다. 적절한 서술 정보의 한 예가 위치 및 시간이며, 그에 따라 클러스터는 소정 시간에 소정 장소에서 입수된 미디어 아이템들을 포함한다.

미디어 아이템들의 컬렉션을 포함하는 클러스터가 사용자에게 보여진다. 본 발명에 따른 사용자 인터페이스는 한 클러스터가 사용자 인터페이스의 다른 독자적 아이템들 가운데 한 단일 아이템으로서 보여지도록 정해진다. 사용자가 클러스터를 선택할 때, 다른 보기가 열리면서 그 클러스터의 아이템들이 사용자에게 보여진다.

클러스터링의 이점은, 사용자에게 보여지고 있는 미디어 아이템들의 리스트가 (모든 아이템들이 하나의 리스트 안에 보여지는) 종래 기술의 해법에서보다 짧기 때문에 모바일 단말들의 제한된 디스플레이 용량을 경감할 수 있다는 것이다.

클러스터링은 또, 서술 정보에 의존하여 논리적으로 동일한 보기에 어떻게든 링크되고 있는 미디어 아이템들을 수집하는 것을 돕는다. 또한, 클러스터링은 사용자가 빠르게 그 클러스터의 내용을 볼 수 있게 하는 충분한 정보를 제공하기도 한다. 클러스터 명명하기는 클러스터들 및 미디어 아이템들을 미디어 컬렉션들로 체계화시키는 것을 돕는다.

본 발명에 따른 미디어 관리자가 모바일 단말에 구축되었을 때, 이 미디어 관리자는 어느 때 어느 곳에서나 이용 가능하다. 특정 사용자 인터페이스는 모바일 단말의 디스플레이 기능들의 한계를 고려하여 이들을 축소시킨다. 또한 미디어 관리자는 최종 사용자들로 하여금 복잡한 질의들을 일정한 "찍고 클릭하기"로만 생성할 수 있도록 하여, 사용자의 이전의 질의 양태에 기반하여 미디어 질의의 자동적 적응 기회를 더 만듦으로써 이어지는 질의 만들기 상황들에서 최종 사용자의 질의 만들기 노력을 줄일 수 있게 한다.

본 발명의 바람직한 실시예들은 이어지는 상세한 설명 및 첨부된 청구범위 안에서 도면과 함께 설명된다. 본 발명의 다른 목적들 및 이점들 역시 이러한 설명 내에서 고려된다. 본 발명 자체는 청구범위들에서의 특정성에 의해 정의된다.

도 1은 클러스터 영역 및 바뀌는 사용자의 위치를 시각화한 것이다.

도 2는 모바일 단말의 디스플레이 내 미디어 아이템들의 전형적 계층을 도시한 것이다.

도 3은 본 발명에 따른 전자 장치의 일례를 도시한 것이다.

도 4는 본 발명에 따른 방법을 간략화된 흐름도로서 나타낸 것이다.

본 발명은 적은 노력으로 복잡한 미디어 질의들을 생성할 수 있도록 모바일 단말들의 최종 사용자들을 자동으로 보조하기 위해 데이터 마이닝(mining) 및 클러스터링(군집)의 방법을 적용한다. 본 발명은 모바일 단말들을, 이 단말들에서 사용 가능한 사용자 인터페이스 기술에 대한 극도의 제약사항 및 개인적인 미디어 관리 소프트웨어 기능을 같이 고려할 때, 매우 바람직하고 유용하다. 실제로, 본 발명은 모바일 장치에서 미디어 컬렉션 중 원하는 부분들을 선택하기 위해 다단계(deep)의 다차원 메타데이터 계층들을 포함하는 복잡한 분류 방식들의 사용을 허용한다. 본 발명에 따른 방법은 도 4에서 아주 간단한 흐름도로서 표현된다. 본 발명에 따른 방법은 서로 다른 타입의 미디어 아이템들과 함께 이용될 수 있으나, 이미지들은 이하의 예를 통해 이용된다.

미디어 아이템들의 그룹들 형성하기

시공간 좌표 시스템에서 이미지들을 클러스터링함으로써 이미지들을 그룹들로 분리하는 것이 가능하다. 그러나, 시간과 공간 좌표들이 동시에 고려되는 다차원 클러스터링을 적용하는 것은 혼란스러운 결과를 일으킬 수 있다. 본 발명에 따르면, 단계적인 클러스터링이 적용되어, 이미지들이 날짜 및 위치별로 최종 그룹들 안에 클러스터링된다. 이러한 해법을 이용함으로써, 사용자는 그룹화 너머의 로직을 보다 잘 이해하여 복잡함을 피할 수 있게 된다.

다음은 본 발명의 방법의 사용 예이다. 변수들은 상황에 따라 가변할 수 있으며, 제약사항들로서 간주되어서는 안된다.

한 이미지가 촬영될 때, 그 이미지는 자신에 대한 서술 정보를 포함하는 메타데이터와 함께 제공된다. 그리고나서 다른 이미지들이나 클러스터들이 서치된다. 서치는, 현재의 이미지가 촬영된 장소로부터 X 미터 미만에서 촬영되고 동일한 날에 촬영된 이미지들이나 클러스터들에 초점을 맞추거나, 아이템들의 다른 서술 정보를 비교함으로써 행해질 수 있다. 그러한 종류의 이미지나 클러스터가 발견되면, 이전 이미지들 및 새로운 이미지를 포함하는 클러스터가 생성된다.

사용 가능한 정확한 위치 정보가 존재하지 않으면, 클러스터들은 같은 셀에서 같은 날 촬영된 이미지들로 된 클러스터를 형성함으로써 셀 ID 데이터만을 사용해 생성될 수도 있다. 사용자가 (가령 랜드마크 관리 어플리케이션을 이용하여) 셀 ID들의 그룹이 한 이름으로 된 위치 (가령 여름 별장)에 해당한다고 확인했다면, 그 확인된 셀들의 그룹에서 같은 날 찍은 모든 이미지들이 하나의 클러스터를 생성할 수 있다. 사용될 수 있는 다른 가능한 위치 관련 정보의 예들은 위치 영역 코드(GSM), 나라 코드(GSM) 및 서비스 영역 식별(WCDMA)이다.

상대적으로 밀집한 클러스터 안에 일시적으로 존재하지만 그에 속하지는 않는 이미지들 역시 클러스터에 추가될 수 있다. 예로 드는 상황에서, 한 사람이 여름 별장에서 빌딩 프로젝트에 대한 작업을 하고 있고 거기서 몇 장의 사진들을 찍는다. 도중에 그는 식료품들을 사기 위해 가까운 가게에 차를 몰고 가기로 결정한다. 가게에서 그는 철자가 잘못된 우스운 표시를 사진 찍는다. 가게에서 찍은 이 사진은 여름 별장 클러스터에 추가될 수 있는데, 그것이 그날의 여름 별장 사진들과 밀접하게 관련되기 때문이다. 도 1은 이러한 상황을 시각화한 것이다. A1-A6로 마크된 포인트들은 촬영된 이미지들을 가리키고, A1-A6 사이의 곡선 B는 사용자의 위치를 가리키며, 점선으로 된 사각형은 클러스터 영역 C를 규정한다.

클러스터 안에 일시적으로 존재하지만 그에 속하지 않는 사진들은 클러스터에 그냥 추가되어서는 안된다. 예를 들어, 일부 사진이 아침에 집에서 찍힌 것이고, 일부는 그날 직장에서 찍은 것이고, 그런 다음 저녁때 더 많은 사진들이 집에서 찍힌 상황에서, 집에서 찍은 사진들은 하나의 클러스터를 형성하지만, 직장에서 찍은 사진들은 거기 추가될 수 없다. 클러스터 안에 일시적으로 촬영된 사진들은, 클러스터 영역으로부터 사용자가 멀리 있던 시기가 그다지 길지 않다면, 그 클러스터에 추가될 수 있다. 사진들이 찍혔던 장소들 및 클러스터 중심 사이의 거리가 너무 길어서는 안된다는 것 역시 알 수 있다.

사진이 클러스터에 추가될 수 있는지의 여부를 규정하는 가능한 한 방법은 그 사진이 아래의 조건을 만족하는지를 체크해 보는 것이다:

1. 사진이 클러스터 안에 일시적으로 존재해야 한다.

2.

, 이때 dist(t)는 시간 t에서 사용자와 클러스터 사이의 거리이다. t1은 사용자가 클러스터 영역 C를 떠났던 시간이고 t2는 사용자가 클러스터로 다시 들어온 시간이다(도 1 참조). "n"은 어떤 고정된 적응적 한계값을 의미한다.

사용자의 위치는 가령 GPS 장치등에 의해 여러 방법으로 추적될 수 있다. GPS 장치는 본 발명의 장치 안에 병합될 수 있다. 위치 데이터는 가령 이미지를 찍은 시간에, 아니면 주기적으로 획득될 수 있다. 위치 데이터가 사용가능하지 않으면, 그 위치는 셀 ID 등으로 추적될 수 있다. GPS 대신 다른 GPS 시스템들 (A-GPS, D-GPS), AOA(도달 각도, Angle Of Arrival), E-OTD(향상된 관측 시간 차, enhanced observed time difference), T-DOA(도달 시차), TOA(도달 시간) 등 기타 어떤 위치확인 시스템을 이용하여, 위치의 자동 추적이 행해지거나, 사용자가 수동으로 위치 좌표를 정의할 수 있다. 수동으로 정의된 좌표들은 위치 데이터베이스에 저장된다. 데이터베이스는 장소들("여름 별장")에 대한 정보 및 그 장소들에 해당하는 좌표를 포함한다. 단말의 위치 및 추적은 계속해서 이뤄져야 한다. 사진이 찍힐 때에만 추적이 이뤄지면, 너무 적은 수의 추적 위치들 때문에 위치계산에 충분치 못할 것이다.

미디어 아이템의 메타데이터에는 장소 및 시간 대신 다른 서술 정보 역시 있을 수 있다. 적절한 한가지 예가, 제1서술 정보가 "취미"이고 그 밖의 서술 정보가 낚시, 스키, 골프 등 및/또는 시간인 경우이다. 그러면 2003년 1월 낚시 사진들과 같은 엔트리에 따라 질의들(queries)이 형성될 수 있다. 제1서술 정보에 대한 또 다른 예가 "사람"이면, 그에 따라 그 밖의 서술 정보는 아내, 동료들, 아이 등이 될 수 있다. 이러한 예들을 이해함으로써, 서술 정보가 거의 어느 것과도 관련될 수 있다는 것을 알게 될 것이다.

클러스터들의 명명

클러스터들을 식별하기 위해, 이들에게는 어떤 전달력 있는 이름이 붙게 된다. 이름 붙이기(labeling)는 클러스터 서술 정보에 의해 자동으로, 혹은 수동으로 될 수 있다. 하나의 관행이, 클러스터 내 이미지들이 촬영된 장소, 촬영된 때의 시간, 클러스터에 얼마나 많은 이미지들이 있는지에 관한 정보의 라벨(label)을 작성하는 것이다. 좌표 정보가 사용될 수 없으면, 위치 영역 코드들과 같은 상위 레벨 네트워크를 이용하여 셀 ID 번호의 변화를 추적함으로써 근접도가 판단될 수 있다. 단말이 이동할 수 있는 속도에 대한 소정의 상한치를 전제함에 따라, 시간 정보 역시 근접도 결정에 이용될 수 있다. 단시간 안에 촬영된 사진들은 상대적으로 서로 가깝게 촬영된다.

좌표에 기반하는 위치가 사용될 수 있고 사용자가 반경 정보를 가진 랜드마크들 (명명된 좌표 위치들)을 생성했으면, 그 반경 정보가 클러스터들을 명명할 때의 클러스터들 형성시에 활용될 수 있다. 랜드마크 반경 내의 이미지들은 같은 장 소 안에서 촬영된 것으로 간주된다. 이미지들이 어떤 랜드마크 안에서 촬영된 것이 아니더라도, 이 랜드마크 이름은 여전히, 가령 "여름 별장"이 어떤 랜드마크 이름인 경우 "여름 별장에 가까움" 등으로 명명하는데 사용될 수 있다. 클러스터 명명시, 클러스터의 이름은 장소들(클러스터 좌표들/셀 ID/위치 영역 코드 등)에 대한 파악가능한 이름들을 사용자에게 제공할 수 있는 원격 서버나 단말 데이터베이스로부터 질의된 이름에 적어도 부분적으로 기반하는 것일 수 있다. 클러스터 이름은 한 가지 이상의 장소 이름들 (가령, 핀란드, 헬싱키, 루오홀라흐티)을 포함할 수 있다.

만일 대부분의 이미지들이 가령 핀란드에서 촬영된 것이고 사용자가 몇 개의 이미지들은 스페인에서 촬영했을 때, 다른 보다 상세한 위치 정보 대신 나라 이름(스페인)을 디스플레이하는 것을 선호할지 모른다. 한편, 이미지가 촬영되었던 장소의 이름이 알려지지 않았으면, 가령 그룹(1), 그룹(2) 등으로 클러스터들을 명명하는 것 역시 가능하다.

이와 동일한 명명 원리들 역시 독자적 이미지들에 적용될 수 있다. 명명하기는 클러스터들과 이미지들을 미디어 컬렉션들로 체계화하는 것을 돕는다. 서로 다른 종류의 서술 정보의 이용이 여러 사용자들로 하여금 그들에게 가장 잘 맞는 방법으로 이미지 정보를 볼 수 있게 한다.

사용자 인터페이스

앞서 설명한 바와 같이, 서로 밀접하게 관련된 이미지들-거의 같은 장소에서 같은 날 촬영된-을 클러스터 안에 묶는 것이 바람직하다. 본 발명에 따르면, 이 클러스터는 사용자 인터페이스의 독자적 미디어 아이템들 가운데 하나의 아이템으로서 보여짐이 바람직하다. 즉, 사용자 인터페이스는 독자적 미디어 아이템들과 클러스터들에 의해 형성된 어레이를 보인다. 리스트 보기와 같이 한 개 혹은 여러 개의 클러스터들을 포함하는 보기(view)는 어느 클러스터에도 포함되지 않는 독자적 이미지들을 포함할 수도 있다. 이 클러스터는 시각적으로 다른 외양 때문에 독자적 이미지들과 쉽게 구별될 수 있다. 예를 들어, 그 외양은 클러스터의 라벨 옆에 디스플레이 될 클러스터의 하나 이상의 이미지들을 선택하고 이런 식으로 그 클러스터를 시각적으로 나타냄으로써 형성될 수 있다. 한 예로서, 선택된 이미지가 최초에 촬영된 것일 수 있는데, 그렇게 함으로써 클러스터의 외양은 새 이미지들이 촬영되고 그 클러스터에 추가되어도 바뀌지 않기 때문이다.

예로서, 도 2는 모바일 단말의 디스플레이 상의 미디어 아이템들의 계층을 도시한다. 이 예에서, 메인 메뉴는 "이미지들"로 명명되어, 하나의 보기 1에 나란한 클러스터들 및 미디어 아이템들의 어레이를 디스플레이한다. 2003년 5월 22일 여름 별장에서 촬영된 네 개의 이미지들을 디스플레이하는 대신, 네 이미지들 중 하나만이 클러스터로서 디스플레이된다. 그 클러스터는 그 안의 미디어 아이템들에 의해 공유되는 서술 정보를 따라 명명된다. 이 예에서, 이름은 이미지가 촬영되었던 장소(여름 별장)이다. 이미지들의 날짜(22/05/2003) 및 최종 개수(4 이미지들)와 같이, 클러스터의 다른 정보 역시 클러스터의 헤더 안에서 보여질 수 있다. 클러스터의 선택 및 개방은 클러스터 안에 이미지들을 포함하는 다음 보기 2를 디스플레이한다.

때때로 어떤 클러스터는 이벤트를 나타낼 수 있다. 클러스터들은 재명명될 때 이벤트들이 된다. "여름 별장"이 "여름 별장에서 연날리기"와 같이 재명명되면, 클러스터는 실제적 의미를 가지게 되고 따라서 이벤트로 간주된다. 어떤 경우, 이벤트 정보는 달력 정보 등을 이용함으로써 자동적으로 얻어질 수 있다.

미디어 아이템들이나 클러스터들의 수를 알맞게 작은 수로 유지하기 위해, 큰 클러스터들이 바람직하게 된다. 이러한 용도로서, 클러스터링 파라미터들이 그에 맞게 선택되거나 기존의 미디어 아이템들의 양에 기반해 조정될 수 있다. 큰 클러스터들이 만들어질 때, 서브 클러스터들을 액세스하기 위한 수단을 반드시 제공해야 한다. 이는 단계적 방식으로 클러스터링 프로세스를 적용함으로써 달성될 수 있다. 또, 최종 사용자가 더 자세히 검토하기 위해 그 클러스터를 선택하기 전에 이미 비주얼 큐들 등에 의해 최종 사용자에게로 대부분의 적용 가능한 서브 클러스터링 옵션들이 전송될 수 있다.

단계적 클러스터링은 클러스터링을 두 부분으로 나눈다. 클러스터링의 첫 단계에서, 클러스터들은 시간과 장소의 결합임이 바람직하고, 이들의 리스트는 시간에 기초해 편성된다. 클러스터링의 두 번째 단계에서, 서브 클러스터들이 만들어 질 수 있다. 서브 클러스터들은 가령 (명명된 블루투스 장치 ID들 등에 기반하는) 사람의 물리적 존재, 미디어 아이템들의 속성들 (화이트 밸런스 설정에 기반한 "실내"나 "실외" 등), 미디어 아이템들에 할당된 명확한 메타데이터 키워드들/카테고리들/태그들, 또는 미디어 아이템들의 시각적 유사성 등에 기반하는 것일 수 있다.

클러스터링 방법의 한 예를 설명한다. 아래의 테이블들에는 시간 및 위치에 대한 서술 정보가 들어 있다. 시간 정보의 계층이 테이블 A에 도시되고, 위치 정보가 테이블 B에 도시된다.

2000년

1월

2월

3월

...

2001년

1월

2월

3월

...

테이블 A

핀란드

헬싱키

탐페레

지뱌스킬랴

스웨덴

스톡홀름

에스토니아

탈린

테이블 B

이미지들을 질의할 때, 사용자는 먼저 2000년 2월과 같은 시간 정보를 선택한다. 그런 다음 위치 정보가 선택될 수 있다. 본 발명에 따르면, 선택 리스트내에 도시된 위치들만이 2000년 2월 기준을 만족시키는 것이다. 즉, 사용자가 2000년 2월에 사진을 찍었던 위치들만을 포함하는 리스트가 도시된다. 클러스터들 내 정보량이 질의시의 정보와 다르면 (가령, 질의시 월(months)이고 클러스터들에는 주(weeks) 또는 일(days)), 양 이미지들 및 클러스터들이 모두 리스트에 보여진다.

큰 미디어 컬렉션들을 관리할 때, 첫 번째 단계의 클러스터링은 가장 최근의 주나 달 등과 같은 "최근의 미디어 아이템들"에 매우 알맞게 적용된다. 그러나, 최종 사용자들이 최근의 미디어 아이템들에 초점을 맞추지 않으면, 이 첫 번째 단계의 클러스터링은 알파벳 (또는 위치 계층이 가능하다면 계층적) 순서로 정렬되고 첫 번째 단계 클러스터링 시도가 서브 클러스터들에 대해 사용된다.

다음으로, 클러스터들에 대한 복잡한 미디어 질의들을 생성하는 방법이 설명될 것이다. 이 방법들은 데이터 마이닝 기술에도 역시 적용될 수 있다. 다음의 방법들은 1) 알맞은 크기 및 수로 된 서브 공간들 (클러스터들)로 컬렉션을 나누는 분류 방식을 통해 서술 정보를 식별하고, 2) 더 자세한 질의들에 적용될 수 있는 질의 형성시 자동으로 패턴을 식별하기 위한 사용자 양태의 온라인 분석을 하려는 것이다. 상술한 미디어 아이템들의 조직화를 고려할 때, 그 너머의 트리 형태의 구조가 보기 용이하다. 다음 방법들은 질의시 트리 형태의 구조를 이용한다.

이하의 방식들은 사용자가 핀란드에서 수백 장의 이미지들을 촬영했고 몇몇 다른 도시에서 몇 장을 촬영하는 등의 상황에 적용될 수 있다. 일부 이미지들은 스톡홀름과 탈린에서 촬영되었다. 사용자가 위치 정보를 선택할 때, 사용 가능한 아이템은 헬싱키, 탐페레, 지뱌스킬랴, 스웨덴 그리고 에스토니아나 "나머지"가 될 수 있다. 가장 흔하게 사용되는 것 등과 같은-추가적 기준 역시 사용될 수 있다.

일차원 분류 방식 내에서 계층상의 깊이(depth)에 대한 자동적/지원되는 선택

이 방식은 주로, 미디어 아이템 공간을 적절한 수의 클러스터들로 나누는 계층적 분류(categorizaion) 트리 내 노드들에 대한 평가에 기반한다. 이 방식은 최 종 사용자가 루트 노드로부터 시작하는지 리스트 형식 내 모든 리프(leaf) 노드들을 액세스하는지의 여부와 비교해 협의 단계들의 수를 줄일 수 있다.

먼저, 함수 v(i)는, 사용자가 리스트로부터 한 장의 사진을 얻기 위해 i 횟수만큼 클릭해야 하는, 사용자가 느끼는 귀찮은 정도로서 정의된다. 예를 들어 v(i)=i 이거나 v(i)=pow(i, 1.5)일 수 있다.

이어서, V(T)가 V(T)=sum(v(len(n))*items(n):n in T)라는 트리 T에 대해 정의된다.

여기서 len(n)은 트리 T의 노드 n의 깊이이다.

트리들의 리스트에 대해서도 마찬가지이다:

V(T₁,..., T_m)=V(T₁)+...+V(T_m))

위에서 V는 사용자의 귀찮은 정도(annoyance)를 나타내고 T₁,...T_m은 트리들이다.

트리들 (클러스터들)의 리스트는 사용자에게 제공되는 것이다. 당연히, 옵션의 수가 어떤 알맞은 수 N (가령 4 내지 8)으로 제한됨이 바람직하다.

사용자의 귀찮은 정도 V는 트리의 공통적으로 사용된 부분들로의 단축경로(shortcut)를 제공함으로써 줄어들 수 있다. 이것은 초기의 트리 T (이것은 단일 루트를 가진다고 전제될 수 있다)를 N 개의 서브 트리들인 T₁,...T_N으로 분할함으로써 행해진다. 이것은 트리 내 모든 아이템들을 분할하고, 따라서 V(T₁,...T_N)는 최 소가 된다. 서브 트리들인 T₁,...T_N이 어떤 공통적 노드들도 가지지 않는다고 가정한다.

본 발명에 따른 알고리즘은 각 노드에 대해, 새 트리 루트를 위해 그 노드를 선택하는 데 있어서의 이익을 계산한다. 이것은 m 개의 서브 트리들을 규정함으로써 수행된다. 한 노드를 루트로서 선택하는 이점이 서브 트리들인 T₁,...T_m 내 각 노드 n에 대해 계산된다:

function = sum(v(len(k) + l)*items(k) - sum (v(len(k)*items (k)))

위에서 "k"는 "T_i" 내에 있고, "n"은 "T_j" 내에 있으며 "len(n)=l"은 T_i 내이다.

(가령 트리 T_i 내 노드 n에 대한) 이러한 함수(function)에 있어서, 최대값이 선택되고, 그런 다음 T_i가, n 아래(n을 포함함)의 T_i와 그 부분을 제외한 T_i의 두 부분으로 분리된다. 이러한 종류의 최적화(T_i를 쪼개는 것)로 인해 n 위와 n 아래의 노드들에 대한 값들만이 재계산에 필요하게 된다.

그러한 계산은, 최종 사용자에 의해 십중팔구 선택되었을 사항들을 순위 매기기 위해 해석되었던, 이전의 최종 사용자의 질의 형식에 따라 수정된다. 미디어 아이템들은, 이 아이템들이 알려져 있는 것들인지 미디어 아이템 질의의 적절한 타겟들이라고 습득된 것인지의 여부에 기초하여 가중된다. 예를 들어, 높은 가중치(>1)는 이전에 자주 보여졌거나, 공유되었거나, 트랜잭션과 관련되었던 미디어 아 이템들을 나타내고, 낮은 가중치(<1)는 한물 갔거나 현재의 컨텍스트와 관련이 없는 미디어 아이템들을 나타낸다.

다차원 분류 방식 내에서의 차원의 자동적/보조적 선택

이러한 방식은 기본적으로, 적용되고 있는 분류 방식의 서로 다른 차원들로 미디어 아이템들이 분포되는 방식에 대한 해석에 기반한다. 이러한 방식을 통해, 가장 효율적으로 미디어 아이템 공간을 적절한 서브 공간들로 나누는 차원들이 결정될 수 있다. 바람직한 실시예는 배포 전에 모든 차원들에서 상술한 방법들을 적용한다. 최선 차원(best dimension)의 기준은 가령 1) 얼마만큼 균등하게 미디어 아이템들이, 계산된 서브 트리들로 나눠지는지, 혹은 2) 미디어 아이템들에 접근하는데 필요한 네비게이션 단계들의 평균 회수가 얼마인가가 될 수 있다.

그러한 계산은, 질의 정보 내 개인적 선호사항들을 고려하여(한 사람에게 있어, 직관적으로 먼저 인물을 서치하고 그런 다음 장소와 어떤 다른 사람을 서치하거나, 그 반대로 서치하는 것이 직관적인 것이 될 수 있다) 해석되었던, 이전의 최종 사용자의 질의 형식에 따라 수정된다.

이러한 경우 역시, 미디어 아이템들은, 그 아이템들이 알려져 있거나 미디어 아이템 질의의 적절한 타겟들이라고 습득된 것인지의 여부에 기반해 가중될 수 있다. 예를 들어, 높은 가중치(>1)는 이전에 자주 보여졌거나, 공유되었거나, 트랜잭션과 관련되었던 미디어 아이템들을 나타내고, 낮은 가중치(<1)는 한물 갔거나 현재의 컨텍스트와 관련이 없는 미디어 아이템들을 나타낸다. 얼마나 다른 질의들이 이전에 서로 다른 컨텍스트들에 적용되었는지를 해석함에 기반해 방식이 수정될 수 있다.

상술한 방식들을 이용할 때, 최종 사용자는 한 차원 내의 카테고리들을 브라우징하기 위해 리스트를 위 아래로 스크롤하고, (어느 것을 선택하는 것이 아니라) 차원들 사이를 이동하기 위해 좌/우 버튼을 움직이고, 원하는 차원 안에 있는 서브 카테고리들을 열기 위해 선택하고 (누르기) 질의의 일부로 될 현재의 카테고리를 선택한다(소프트 키). 이를 가능하게 하기 위해, 장치는 계층적 다단계 분류(categorization) 방식을 이용하고, 최소 6 키들이나 이와 비슷한 것 (가령 5-가지 버튼, 하나의 소프트 키)으로 된 네비게이션 수단을 포함하여 질의 형식의 "X" 및 "Y" 양태들 모두의 기본사항들(basics)을 나타낸다(X는 차원, 즉 "위치"/"사람"/"이벤트"/를 어떻게 자동적으로/지원에 의해(automatically/assisted) 선택하는지를 나타내고, Y는 계층적 차원, 즉, "핀란드"/"헬싱키"/"센터"/ 내에서 어떻게 자동적으로/지원에 의해 그 깊이(depth)를 선택할 것인지를 나타낸다).

구성

도 3은 본 발명에 따른 전자 장치(MS)의 예를 도시한 것이다. 본 발명에 따른 미디어 아이템 관리자(MM)는 전자 장치(MS)의 데이터 처리 유닛(CPU)의 한 부분으로 구성될 수 있다. 미디어 관리자(MM)는 미디어 앨범 서버들이라 불리는 서버 편 안에 있을 수 있고, 네트워크를 통해 전자 장치(MS)에 의해 접근될 수 있다. 그러나, 때때로, 사적 이유 등에 의해, 가능한 전 메타데이터를 개인용 장치 안에 저장하는 것이 보다 유용하며, 그에 따라 미디어 아이템 관리자(MM)의 클라이언트 편에서의 구축이 바람직하게 된다. 전자 장치가 어떤 다른 어플리케이션들(APP) 역시 포함할 수 있다는 것은 자명한 사항이다.

전자 장치(MS)는 메모리(MEM) 안에 미디어 컬렉션을 저장한다. 미디어 컬렉션은, 가령, 어떤 기존의 데이터 전송 접속을 통해 획득된다. 그러나,상기 전자 장치(MS)에 디지털 카메라가 부착되거나 일체화되어 존재하는 것이 바람직하므로, 그에 따라 그 카메라로 찍은 이미지들이 메모리(MEM)로 직접 저장된다. 미디어 컬렉션은 사용자 인터페이스(UI)를 통해 질의 및 보여진다. 전자 장치(MS)는 모바일 통신 및 카메라 기능을 갖춘 단말기, 즉 카메라 폰임이 바람직하다.

상술한 설명은 이해를 명확히 하기 위해 제공된 것일 뿐으로, 그에 따른 제한사항이 이하의 청구범위로 반드시 투영될 필요는 없을 것이다.

Claims

미디어 아이템들을 관리하는 방법에 있어서,

독자적 미디어 아이템들이, 적어도 두 개의 서술 정보를 포함하는 메타데이터와 함께 제공되고, 적어도 한 개의 공통된 서술 정보를 가진 독자적 미디어 아이템들이 함께 클러스터링(clustering)되고, 미디어 아이템들을 포함한 클러스터는 상기 독자적 미디어 아이템과 유사한 방법으로 관리됨을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 독자적 미디어 아이템을 클러스터링할지의 여부를 판단하기 위해, 그 미디어 아이템이 다른 독자적 미디어 아이템들 또는 클러스터들과 비교됨을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 클러스터는 상기 서술 정보에 따라 명명됨을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 클러스터는 상기 독자적 미디어 아이템들 사이에서 디스플레이되나 이들과는 시각적으로 차별화됨을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 미디어 아이템들 및 클러스터들의 관리는, 상기 미디어 아이템들을 적어도 정렬, 질의(querying) 및 보이는(viewing) 동작을 포함함을 특징으로 하는 미디어 아이템 관리 방법.
제5항에 있어서, 상기 미디어 아이템들을 질의하는 동작은, 한 서술 정보에 대한 최초의 엔트리를 규정하는 동작을 포함하고, 다음 엔트리는 상기 최초의 엔트리를 만족시키는 미디어 아이템들의 다른 서술 정보에 기반함을 특징으로 하는 미디어 아이템 관리 방법.
제5항에 있어서, 상기 미디어 아이템들을 보이는 동작은, 미디어 아이템들 및 클러스터들의 어레이를 보이는 동작을 포함하고, 클러스터 선택 후에 그 클러스터 안에 있는 미디어 아이템들이 표시됨을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 방법은 클라이언트 측의 방법임을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 한 서술 정보는 단말기의 위치임을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 다른 서술 정보는 미디어 아이템의 획득 시간임을 특징으로 하는 미디어 아이템 관리 방법.
제3항에 있어서, 상기 클러스터는 수동적으로 명명 및 갱신되고, 그 이름이 해당 스토리지 시스템을 따라 갱신되기도 함을 특징으로 하는 미디어 아이템 관리 방법.
제1항에 있어서, 상기 미디어 아이템들은 클러스터들 안에서 서브 클러스터들로 더 세분됨을 특징으로 하는 미디어 아이템 관리 방법.
제6항에 있어서, 상기 미디어 아이템들을 질의하는 동작은, 사용자의 이전의 질의 양태에 기반하여 자동적으로 순응됨을 특징으로 하는 미디어 관리 방법.
제9항에 있어서, 상기 위치 정보는 위치확인 시스템으로부터 자동으로 획득되거나 사용자에 의해 수동으로 정의됨을 특징으로 하는 미디어 관리 방법.
제1항에 있어서, 상기 미디어 아이템은 이미지임을 특징으로 하는 미디어 관리 방법.
미디어 아이템들을 관리하는 장치에 있어서,

독자적 미디어 아이템들을 적어도 두 개의 서술 정보를 구비하는 메타데이터와 함께 제공하는 디파이너(definer); 및

적어도 하나의 공통적인 서술 정보를 포함하는 독자적 미디어 아이템들을 함께 클러스터링하는 그루퍼(grouper)를 포함함을 특징으로 하고,

미디어 아이템들을 가진 클러스터를 상기 독자적 미디어 아이템과 유사한 방식으로 관리하도록 구성됨을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서,

독자적 미디어 아이템의 클러스터링 여부를 알기 위해, 상기 독자적 미디어 아이템을 다른 독자적 미디어 아이템들이나 클러스터들과 비교하는 비교기를 더 포함함을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서,

상기 서술 정보에 따라 클러스터를 명명하는 수단을 더 포함함을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서, 서로 분리될 수 있는 여러 클러스터들 및 여러 미디어 아이템들을 관리하도록 구성됨을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서,

미디어 아이템들에 대한 정렬 수단, 질의 수단, 및 보이기 수단 중 하나 이상을 더 포함함을 특징으로 하는 미디어 아이템 관리 장치.
제20항에 있어서, 상기 질의 수단은 한 서술 정보에 대한 첫 번째 엔트리에 따라 미디어 아이템들을 조회(query)하고, 그 첫 번째 엔트리를 만족시키는 미디어 아이템들의 다른 서술 정보에 대한 다음 엔트리에 따라 미디어 아이템들을 추가로 조회하도록 구성됨을 특징으로 하는 미디어 아이템 관리 장치.
제20항에 있어서, 상기 보이기 수단은 미디어 아이템들을 독자적으로, 또는 어레이로서 클러스터링된 것으로 보이도록 구성됨을 특징으로 하는 미디어 아이템 관리 장치.
제22항에 있어서, 상기 보이기 수단은 클러스터의 미디어 아이템들을 독자적으로, 또는 별도의 어레이로서 클러스터링된 것으로 보이도록 구성됨을 특징으로 하는 미디어 아이템 관리 장치.
제23항에 있어서, 상기 어레이는 사용자 인터페이스의 한 보기임을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서,

상기 장치의 위치를 확인하기 위한 수단을 더 구비함을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서,

모바일 통신 수단을 더 포함함을 특징으로 하는 미디어 아이템 관리 장치.
제16항에 있어서,

촬영 수단을 더 포함함을 특징으로 하는 미디어 아이템 관리 장치.
미디어 아이템들을 관리하기 위한 컴퓨터 프로그램 생성물에 있어서,

컴퓨터 판독 가능 프로그램이 저장된 메모리를 포함하고,

상기 컴퓨터 판독 가능 프로그램은 독자적 미디어 아이템들을 적어도 두 서술 정보를 포함하는 메타데이터와 함께 제공하는 명령어들, 적어도 하나의 공통된 서술 정보를 가진 독자적 미디어 아이템들을 함께 클러스터링하기 위한 명령어들을 포함하고,

상기 미디어 아이템들을 가진 클러스터는 독자적 미디어 아이템과 유사한 방식으로 관리될 수 있음을 특징으로 하는 컴퓨터 프로그램 생성물.