KR101412478B1 - 선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 - Google Patents

선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR101412478B1
KR101412478B1 KR1020120112975A KR20120112975A KR101412478B1 KR 101412478 B1 KR101412478 B1 KR 101412478B1 KR 1020120112975 A KR1020120112975 A KR 1020120112975A KR 20120112975 A KR20120112975 A KR 20120112975A KR 101412478 B1 KR101412478 B1 KR 101412478B1
Authority
KR
South Korea
Prior art keywords
keyword
photograph
user
selection
photo
Prior art date
Application number
KR1020120112975A
Other languages
English (en)
Other versions
KR20140013878A (ko
Inventor
손승우
Original Assignee
주식회사 인프라웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인프라웨어 filed Critical 주식회사 인프라웨어
Publication of KR20140013878A publication Critical patent/KR20140013878A/ko
Application granted granted Critical
Publication of KR101412478B1 publication Critical patent/KR101412478B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36Memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명은 선택패턴 기반의 사진관리 방법에 관한 것으로, 더욱 상세하게는 사용자의 사진에 대한 구현 패턴을 이용함으로써 스마트 단말에 저장되어 있는 수많은 사진을 별도의 관리조작 없이 단순히 사진을 선택하여 보는 것만으로도 자동적으로 사진 관리가 가능해져 사진 선별에 대한 많은 시간 절약을 할 수 있도록 하기 위한 선택패턴 기반의 사진관리 방법에 관한 것이다. 본 발명에 따르면 사용자의 별도의 사진에 대한 관리 없이 또는 관리에 대한 최소한의 활동을 통해서 사용자가 저장한 사진을 효과적으로 선별하여 사진 선별에 필요한 시간을 최소화하는 편의를 제공한다. 즉, 사용자의 사진에 대한 구현 패턴을 이용함으로써 많은 사진을 별도 관리 없이 보는 것만으로도 사진의 관리가 가능해져 사진 선별에 대한 많은 시간 절약을 할 수 있는 장점을 제공한다.

Description

선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 {SELECTION PATTERN BASED PICTURE MANAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM FOR THE SAME}
본 발명은 선택패턴 기반의 사진관리 방법에 관한 것으로, 더욱 상세하게는 사용자의 사진에 대한 구현 패턴을 이용함으로써 스마트 단말에 저장되어 있는 수많은 사진을 별도의 관리조작 없이 단순히 사진을 선택하여 보는 것만으로도 자동적으로 사진 관리가 가능해져 사진 선별에 대한 많은 시간 절약을 할 수 있도록 하기 위한 선택패턴 기반의 사진관리 방법에 관한 것이다.
최근들어 카메라, 휴대폰, 스마트폰, 스마트패드 등과 같은 대용량 디지털 기기들이 급격하게 보급됨에 따라 사용자는 이러한 디지털 기기를 이용하여 많은 사진을 찍고 별도의 관리 없이 이를 보관하거나 많은 시간을 들여 이를 일일이 선별하는 과정을 거친다.
그러나 메모리 소자의 용량의 증가 추세로 많은 수의 사진을 저장할 수 있게 된 장점은 있으나, 사용자가 사진을 찍은 후 해당 디지털 기기에서 확인하거나 혹은 자신의 유선 단말이 PC나 관리서버 등으로 사진을 옮길 경우 하나씩 또는 전체의 썸네일 형식으로 각 사진을 출력한 뒤, 선별하는 과정을 많은 시간을 드는 문제점이 있어왔다.
또한 애플 사의 아이폰에서는 PC 등의 호스트 단말장치에서 폴더 관리를 통해 사진을 선별한 후 아이튠스(iTunes)의 동기화 기능(sync)을 작동시킴으로써 어느 정도의 사진선별을 기대하고 있다. 이러한 방식에서도 사용자가 아이폰의 사진을 PC로 옮기고 다시 각종 폴더 조작을 통해 사진을 선별하는 번거로운 작업을 수행해주어야 하는 불편함이 있다.
이에 따라 해당 기술분야에 있어서는 다수의 디지털 사진에 대해서 사용자의 별도의 사진에 대한 관리가 없이도 또는 관리에 대한 최소한의 활동을 통해서도 사용자가 촬영한 사진을 자동으로 선택하여 관리하는 알고리즘을 제공하기 위한 기술개발이 절실히 요구되고 있다.
[관련기술문헌]
1. 이동통신 단말기에서 사진파일 관리 방법(특허출원 제10-2004-0000390호)
2. 휴대 단말기의 사진관리 방법(특허출원 제10-2004-0073844호)
본 발명의 목적은 선택패턴 기반의 사진관리 기술로서 사용자의 사진에 대한 구현 패턴을 이용함으로써 스마트 단말에 저장되어 있는 수많은 사진을 별도의 관리조작 없이 단순히 사진을 선택하여 보는 것만으로도 자동적으로 사진 관리가 가능해져 사진 선별에 대한 많은 시간 절약을 할 수 있도록 하기 위한 선택패턴 기반의 사진관리 방법을 제공하는 것이다.
이러한 과제를 달성하기 위한 본 발명에 따른 선택패턴 기반의 사진관리 방법은, 갤러리부(12)가 메인저장부(14)에서 관리하는 다수의 사진 이미지에 대한 갤러리를 제공하는 제 1 단계; 사진선별부(13)가 갤러리로 관리되는 다수 사진에 대해서 사용자로부터 제공되는 구현요청에 대응하여 디스플레이 감상을 제공하는 제 2 단계; 사진선별부(13)가 갤러리 디스플레이 감상 과정을 모니터링하면서 사진별로 사용자의 선호도를 산출하는 제 3 단계; 사진선별부(13)가 사진별 선호도가 업데이트됨에 따라 갤러리로 관리되는 사진들을 선호도에 따라 정렬하는 제 4 단계; 사진선별부(13)가 정렬 결과 미리 설정된 상위 순위의 사진들을 선별하는 제 5 단계;를 포함하여 구성된다.
이때, 제 3 단계는, 갤러리 디스플레이 감상 과정에서 사진별 감상시간을 기준으로 선호도를 산출하는 단계; 갤러리 디스플레이 감상 과정에서 사진별 감상횟수를 기준으로 선호도를 산출하는 단계;의 하나 이상을 포함하여 구성된다.
또한, 본 발명에 따른 선택패턴 기반의 사진관리 방법은, 갤러리부(12)가 메인저장부(14)에서 관리하는 다수의 사진 이미지에 대한 갤러리를 제공하는 제 1 단계; 사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 제 2 단계; 사진선별부(13)가 갤러리로 관리되는 다수 사진에 대해서 사용자 조작에 대응하여 디스플레이 감상을 제공하는 제 3 단계; 사진선별부(13)가 갤러리 디스플레이 감상 과정에서 선별 키워드에 매칭되는 사진에 대한 선택입력을 제공받는 제 4 단계; 사진선별부(13)가 선택 입력받은 하나 이상의 사진을 선별 키워드와 매칭시켜 관리하는 제 5 단계;를 포함하여 구성된다.
또한, 본 발명에 따른 선택패턴 기반의 사진관리 방법은, 갤러리부(12)가 메인저장부(14)에서 관리하는 다수의 사진 이미지에 대한 갤러리를 제공하는 제 1 단계; 사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 제 2 단계; 사진선별부(13)가 갤러리로 관리되는 다수 사진에 대해서 사용자 조작에 대응하여 디스플레이 감상을 제공하는 제 3 단계; 사진선별부(13)가 갤러리 디스플레이 감상 과정에서 사용자의 사진 선택패턴을 모니터링하여 사진별로 선별 키워드와의 관련지수를 산출하는 제 4 단계; 사진선별부(13)가 산출 결과 미리 설정된 임계치 이상의 관련지수를 나타내는 사진에 대해서는 선별 키워드와의 매칭을 자동 지정하여 관리하는 제 5 단계;를 포함하여 구성된다. 이때, 사진선별부(13)가 키워드 지정해제 메뉴를 통해 특정 사진에 대해 자동 지정된 선별 키워드를 해제하는 제 6 단계;를 더 포함할 수도 있다.
또한, 본 발명에 따른 선택패턴 기반의 사진관리 방법은, 사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 제 1 단계; 카메라부(16)를 통한 사진 촬영을 통해 신규 생성되는 사진에 대해 위 설정된 선별 키워드와의 매칭을 자동 지정하여 관리하는 제 2 단계; 제 2 단계를 선별 키워드가 해제될 때까지 반복하는 제 3 단계; 사진선별부(13)가 키워드 지정해제 메뉴를 통해 특정 사진에 대해 자동 지정된 선별 키워드를 해제하는 제 4 단계;를 포함하여 구성된다.
또한, 본 발명은, 사진선별부(13)가 사진 검색을 위한 검색 키워드를 입력받는 단계; 사진선별부(13)가 사진에 매칭된 선별 키워드와 검색 키워드 간의 검색을 통해 검색 결과에 따른 사진을 식별하는 단계; 그 식별된 사진을 검색 결과로 사용자에게 제공하는 단계;를 더 포함할 수 있다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 이상과 같은 선택패턴 기반의 사진관리 방법을 실행하기 위한 프로그램을 기록한 것이다.
본 발명에 따르면 사용자의 별도의 사진에 대한 관리 없이 또는 관리에 대한 최소한의 활동을 통해서 사용자가 저장한 사진을 효과적으로 선별하여 사진 선별에 필요한 시간을 최소화하는 편의를 제공한다.
즉, 사용자의 사진에 대한 구현 패턴을 이용함으로써 많은 사진을 별도 관리 없이 보는 것만으로도 사진의 관리가 가능해져 사진 선별에 대한 많은 시간 절약을 할 수 있는 장점을 제공한다.
[도 1]은 본 발명에 따른 선택패턴 기반의 사진관리 방법을 개념적으로 나타내는 도면.
[도 2]는 본 발명에 따른 선택패턴 기반의 사진관리 방법이 구현되는 사용자 단말의 구성을 나타내는 블록도.
[도 3]은 본 발명의 제 1 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도.
[도 4]는 본 발명의 제 2 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도.
[도 5]는 본 발명의 제 3 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도.
[도 6]은 본 발명의 제 4 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도.
[도 7]은 본 발명의 제 5 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 선택패턴 기반의 사진관리 방법을 개념적으로 나타내는 도면으로서, 상기와 같은 종래기술에서의 사진관리 방식과는 본원발명의 기술적 사상을 개념적으로 표현한 것이다.
본 발명에서는 사용자의 단말장치(사용자 단말)를 통해 각종 사진을 감상하면 그 과정에서 이루어지는 사용자의 선택패턴에 기초하여 이들 사진을 적절히 선별하여 따로 관리하며, 이를 통해 이후에 사진 탐색에 편의를 제공한다. 이때 갤러리, 또는 사진갤러리는 사용자 단말에 저장되어 있는 각종 사진의 모음을 의미하는데, 좀더 확장하여 웹서핑 과정에서 사용자가 감상하게 되는 사진 이미지도 포함하는 것으로 구현할 수도 있다.
또한, 사용자 단말은 사용자의 사진 선택패턴에 기초하여 갤러리 사진을 선별하는데, 그 선별된 사진을 별도 폴더로 복사하여 관리할 수도 있고, 당해 사진파일에 대한 액세스 정보를 데이터베이스에 넣어서 관리할 수도 있으며, 각자 사진파일에 메타데이터(metadata)를 삽입하여 활용할 수도 있다. 이들은 갤러리의 다수 사진을 선별 관리하기 위한 기술적 수단으로서 구현 예에 따라서 임의로 선택하여 적용할 수 있다.
본 발명에서는 선별기준인 선택패턴으로서 기본적으로 사용자가 오래 감상한 사진이거나 자주 감상한 사진을 따로 선별하려고 한다. 이를 통해 궁극적으로는 다수의 사진들 중에서 사용자가 간직할만하다고 생각하고 있는 사진을 별도로 선정하여 관리하려고 하는 것이다.
[도 2]는 본 발명에 따른 선택패턴 기반의 사진관리 방법이 구현되기에 적합한 사용자 단말(10)의 내부구성을 나타내는 블록도이다. [도 2]를 참조하면, 사용자 단말(10)은 입출력부(11), 갤러리부(12), 사진선별부(13), 메인저장부(14), 선별저장부(15), 카메라부(16), 제어부(17)를 포함한다. 이때 입출력부(11)는 입력부(11a)와 출력부(11b)로 이루어지는데, 본 발명에서는 설명의 편의를 위해 입출력부(11)를 입력부(11a)와 출력부(11b)가 일체로 이루어지는 터치스크린을 기준으로 본 발명의 구성과 동작을 설명한다.
메인저장부(14)는 사용자 단말(10)에 저장된 각종 사진 이미지들을 보관하는 저장공간으로서 소위 '갤러리'라는 명칭으로 사용자에게 이들 사진에 대한 감상 기능을 제공한다. 반면, 선별저장부(15)는 본 발명에 따른 선택패턴 기반의 사진관리 방법에 의해 선별작업이 수행된 사진 이미지를 별도로 관리하는 저장공간이며, 바람직하게는 선별저장부(15)에 저장된 사진들, 즉 선별된 사진들만 별도로 감상할 수 있는 기능이 제공된다.
사진선별부(13)는 메인저장부(14)에 저장되어 있는 각종 사진 이미지들에 대해 사용자의 선택패턴 기반으로 사진 선별 작업을 수행하는 구성요소이다. 사진선별부(13)의 선별작업 프로세스에 대해서는 [도 3] 내지 [도 7]을 참조하여 상세하게 후술한다.
갤러리부(12)는 메인저장부(14)에 저장된 다수의 사진 이미지를 감상할 수 있는 어플리케이션, 소위 '갤러리'를 제공한다. 현재 안드로이드 플랫폼의 스마트폰에서는 사진을 감상하는 기능을 갤러리라고 부르므로 본 명세서에서도 그 명칭을 그대로 활용하였다. 갤러리부(12)는 메인저장부(14)에 저장된 사진 이미지에 대한 갤러리를 제공할 뿐만 아니라, 선별저장부(15)가 관리하는 사진 이미지에 대해서도 갤러리를 제공하도록 구성할 수도 있다.
한편, 메인저장부(14)와 선별저장부(15)는 별도의 저장매체로 구성될 수도 있으나, 물리적으로는 동일한 저장매체 상에 폴더를 달리하여 별도로 관리되는 저장영역으로 구현될 수 있다. 또한, 본 명세서에서 사진을 이들 2개의 저장부(14, 15)에서 별도 저장한다는 것도 기술적으로는 사진파일(예: JPG 파일)은 하나이면서 이에 대한 관리를 메인저장부(14)와 선별저장부(15)에서 별도로 수행한다는 구현도 포함하는 것으로 해석되어야 한다. 즉, 관리용 데이터 스트럭쳐가 별도로 구현되는 것도 포함한다.
한편, 메인저장부(14)와 선별저장부(15)를 구현하기 위한 저장장치는 사용자 단말(10) 내부의 하드디스크나 플래시메모리로 구현될 수 있는데, 이에 한정되지는 않는다. 예를 들어 네트워크를 통해 제공되는 웹디스크나 클라우드 저장매체, 또는 NAS(Network Attached Storage) 등을 통해 메인저장부(14)와 선별저장부(15)가 구현되는 것도 본 발명에서 가능하다.
카메라부(16)는 사용자 단말(10)에서 사진을 찍어서 사진 이미지 파일을 생성하기 위한 구성요소이다.
[도 3]은 본 발명의 제 1 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도이다. [도 2] 및 [도 3]을 참조하면, 본 발명의 제 1 실시예에 따르면 사용자 단말(10)을 통해 사진을 감상한 시간을 사진별로 추출하여 썸네일 방식(thumnail)으로 출력하거나 메인저장부(14)에서 선별저장부(15)로 사진원본을 이동 또는 복사하여 선별 관리할 수 있다.
먼저, 갤러리부(12)는 메인저장부(14)를 통해 다수의 사진 이미지에 대한 갤러리를 제공한다(S11). 즉, 카메라(16)를 통해 사진을 촬영하거나 호스트 컴퓨터로부터 이미지 파일 복사를 통해 다수의 사진 이미지가 저장 관리되며 이들 사진은 갤러리로 관리된다.
단계(S11) 이후, 사진선별부(13)는 갤러리로 관리되는 다수 사진에 대해서 사용자로부터 구현요청을 제공받으며, 그에 대응하여 입출력부(11)를 통해 디스플레이 감상을 제공한다(S12). 디스플레이 감상 과정에서 사용자는 입출력부(10)로 구현된 소프트 버튼, UI 화면조작, 각종 제스처를 이용하여 사진을 넘겨가며 개별 사진을 감상하게 된다.
단계(S12) 이후, 사진선별부(13)는 갤러리 디스플레이 감상 과정을 모니터링하면서 사진별로 사용자의 선호도를 지속적으로 산출한다(S13). 제 1 실시예에서는 사진별로 감상에 사용한 시간, 즉 사용자 조작에 의해 입출력부(11)로 메인으로 구현된 시간을 사진별로 연산하여 이를 당해 사진에 대한 선호도로 설정한다. 즉, 사용자 조작에 의해 당해 사진이 표시된 시점부터 다음 사진으로 넘길 때까지의 시간이 사진선별부(13)에 의해 연산된다. 바람직하게는 갤러리 감상에서 썸네일 방식으로 디스플레이 화면에 둘 이상의 사진이 함께 표시된 상태는 시간연산 과정에서 제외한다.
단계(S13) 이후, 사진선별부(13)는 그 선호도, 즉 사진별로 산출된 감상시간에 기초하여 사진들을 정렬한다(S14). 바람직하게는 선호도(감상시간)의 값이 업데이트될 때마다 사진 정렬을 수행한다.
단계(S14) 이후, 사진선별부(13)는 그 정렬된 사진들 중에서 미리 설정된 상위 순위, 예컨대 HOT 100 리스트를 추출하고 상위 순위에 해당하는 사진을 별도로 관리한다(S15). 이때, 별도 관리는 이들 사진 파일이나 이들 사진에 대한 액세스 정보를 선별저장부(15)에 저장하는 방식일 수 있고, 그에 관련된 메타데이터를 사진 파일에 삽입하는 방식일 수도 있다.
예를 들어 4개의 사진이 갤러리에 포함되어 있을 때, 사진 1을 본 시간이 1.5초, 사진 2는 5초, 사진 3은 0.5초, 사진 4는 1.3초일 경우 선호도를 기준으로 사진 2, 1, 4, 3의 순서로 사진을 정렬하며, 이중에서 상위 순위로 사진 2, 1을 선별하여 별도로 관리할 수 있다.
이때, 사진 선별의 임계치 혹은 선별대상 순위를 사용자가 설정 가능한 것이 바람직하다. 예컨대, 2초 이상 본 사진이나 가장 오랫동안 본 상위 50개의 사진 등과 같이 사용자가 지정할 수 있다. 다른 실시예로서 사진선별부(13)는 전체 사진을 감상한 시간 중에서 상위 30%의 오래 감상한 사진 혹은 감상시간이 평균 이상인 사진을 추출하여 선별저장부(15) 상의 특정 폴더(예: 좋아하는 사진)에 썸네일이나 원본 이동/복사 방식으로 관리 가능하다.
여기서 선별저장부(15) 상에 별도로 저장된 사진은 별도로 관리가 가능하며 바람직하게는 사용자가 사진갤러리를 조작할 때마다 감상시간을 산출하고 그 결과에 따라 수시로 업데이트된다. 또한 필요에 따라 USB 저장장치 등으로의 자동전송 기능을 사진선별부(13)가 수행할 수 있다.
[도 4]는 본 발명의 제 2 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도이다. [도 2] 내지 [도 4]를 참조하면, 본 발명의 제 2 실시예에 따르면 사용자 단말(10)을 통해 사진을 감상한 횟수를 사진별로 추출하여 썸네일 방식으로 출력하거나 메인저장부(14)에서 선별저장부(15)로 사진원본을 이동 또는 복사하여 선별 관리할 수 있다. 여기서 선별을 위한 임계 횟수는 사용자가 지정하여 관리할 수 있다(예: 5회).
먼저, 갤러리부(12)는 메인저장부(14)를 통해 다수의 사진 이미지에 대한 갤러리를 제공한다(S21). 즉, 카메라(16)를 통해 사진을 촬영하거나 호스트 컴퓨터로부터 이미지 파일 복사를 통해 다수의 사진 이미지가 저장 관리되며 이들 사진은 갤러리로 관리된다.
단계(S21) 이후, 사진선별부(13)는 갤러리로 관리되는 다수 사진에 대해서 사용자로부터 구현요청을 제공받으며, 그에 대응하여 입출력부(11)를 통해 디스플레이 감상을 제공한다(S22). 디스플레이 감상 과정에서 사용자는 입출력부(10)로 구현된 소프트 버튼, UI 화면조작, 각종 제스처를 이용하여 사진을 넘겨가며 개별 사진을 감상하게 된다.
단계(S22) 이후, 사진선별부(13)는 갤러리 디스플레이 감상 과정을 모니터링하면서 사진별로 사용자의 선호도를 지속적으로 산출한다(S23). 제 2 실시예에서는 사진별로 감상 횟수, 즉 사용자 조작에 의해 입출력부(11)로 메인으로 구현된 횟수를 사진별로 연산하여 이를 당해 사진에 대한 선호도로 설정한다. 단계(S21)에서 갤러리에서 사진 이미지가 썸네일 방식으로 다수 표시된다고 가정하면 단계(S22)에서 사용자는 입출력부(10)를 통해 보고 싶은 사진을 선택한다. 여기서 특정 사진을 선택한 뒤에 앞으로 가기, 뒤로 가기, 플리커링 등의 조작이 수행될 때 사진선별부(13)는 디스플레이 화면에 메인으로 구현된 횟수를 사진별로 카운팅한다.
이때, 바람직하게는 갤러리 감상에서 썸네일 방식으로 둘 이상의 사진이 함께 표시된 상태는 횟수산정 과정에서 제외한다. 또한, 메인으로 표시되더라도 어느정도 오래 표시된 경우에만 횟수 산정에 반영하는 것이 바람직하다. 즉, 3초 이상 감상한 경우에만 횟수에 반영하는 것이다.
단계(S23) 이후, 사진선별부(13)는 그 선호도, 즉 사진별로 산출된 감상횟수에 기초하여 사진들을 정렬한다(S24). 바람직하게는 선호도(감상횟수)의 값이 업데이트될 때마다 사진 정렬을 수행한다.
단계(S24) 이후, 사진선별부(13)는 그 정렬된 사진들 중에서 미리 설정된 상위 순위, 예컨대 HOT 100 리스트를 추출하고 상위 순위에 해당하는 사진을 별도로 관리한다(S25). 이때, 별도 관리는 이들 사진 파일이나 이들 사진에 대한 액세스 정보를 선별저장부(15)에 저장하는 방식일 수 있고, 그에 관련된 메타데이터를 사진 파일에 삽입하는 방식일 수도 있다.
한편, 사진선별부(13)는 사용자가 오래 감상한 사진과 사용자가 자주 감상한 사진에 대한 데이터베이스를 구축하는 방식에 있어서 비표준 방식과 표준 방식의 어느 한가지로 형성가능하다. 비표준 방식은 *.db 파일 등으로 따로 추출하여 이를 관리하는 방식이며, 표준 방식은 각 사진에 포함된 메타 정보에 필드(field)를 추가하여 관리하는 방식이다. 표준 방식은 다양한 소프트웨어에서 해당 메타 정보를 활용할 수 있는 장점이 있고, 비표준 방식은 소프트웨어의 효율성이 높고 최적화가 용이한 장점이 있다.
한편, 제 1 실시예에서는 감상시간에 기초하여 선호도를 산출하고 제 2 실시예에서는 감상횟수에 기초하여 선호도를 산출한다. 하지만, 감상시간과 감상횟수를 종합적으로 검토하여 선호도를 산출할 수도 있는데, 이 경우에는 이들 반영요소(감상시간, 감상횟수)를 각각 수치화한 후에 가중치를 반영하여 합산한 수치를 기준으로 선호도를 산출할 수 있다.
[도 5]는 본 발명의 제 3 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도이다. [도 2] 내지 [도 5]를 참조하면, 본 발명의 제 3 실시예는 사용자가 키워드를 지정하여 사진을 선별하는 방법이다.
먼저, 갤러리부(12)는 메인저장부(14)를 통해 다수의 사진 이미지에 대한 갤러리를 제공한다(S31). 즉, 카메라(16)를 통해 사진을 촬영하거나 호스트 컴퓨터로부터 이미지 파일 복사를 통해 다수의 사진 이미지가 저장 관리되며 이들 사진은 갤러리로 관리된다.
단계(S31) 이후, 사진선별부(13)는 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는데(S32), 새로운 키워드를 가상키보드 등을 통해 입력받을 수도 있고 기존에 입력되어 있던 여러 키워드 중에서 어느 하나에 대한 선택을 제공받을 수도 있다. 이들 키워드는 사진을 선별하기 위한 것으로 '선별 키워드'라고 부르며, 예컨대 캠핑, 길동사진, 영희사진, 스키사진 등으로 지정가능하며 그 형식에는 별다른 제한이 없다.
단계(S32) 이후, 사진선별부(13)는 갤러리의 다수 사진에 대한 사용자의 조작에 대응하여 사진 탐색 또는 사진 감상을 제공하며, 역시 사용자의 조작에 대응하여 현재 설정된 선별 키워드에 매칭되는 사진을 선택한다(S33). 즉, 사용자는 갤러리에서 사진을 보면서 선별 키워드에 매칭되는 사진들을 선택하며, 여기서 선별 키워드 및 사진선택은 복수 개로도 가능하다.
단계(S33) 이후, 사진선별부(13)는 단계(S33)의 선택신호에 해당하는 하나 이상의 사진을 선별 키워드에 매칭시켜 별도 관리하거나 당해 사진 파일에 선별 키워드를 메타데이터로 삽입한다(S34).
먼저, 선택된 사진을 별도 관리하는 예를 살펴보면, 선별저장부(15)에 선별 키워드에 대응되는 폴더를 생성한 뒤 단계(S33)에서 선택된 사진의 파일을 이동 또는 복사할 수 있다. 또는 선별저장부(15)에 사진선별을 위한 데이터베이스를 관리하면서 단계(S33)에서 선택된 사진에 대한 액세스 정보를 당해 선별 키워드에 대한 목록으로 저장할 수도 있다. 다음으로 메타데이터로 관리하는 예를 살펴보면, 당해 선별 키워드를 그 선택된 사진 파일에 삽입하거나 별도 데이터베이스를 통해 메타데이터를 관리한다.
단계(S34) 이후, 사진선별부(13)는 사진 탐색(사진 감상)이 종료되었는지 여부를 체크하고, 만일 그렇지 않다면 당해 설정된 선별 키워드에 매칭되는 사진의 선택 과정이 지속적으로 수행되도록 한다(S35).
이상의 과정을 통해 사용자 단말(10)에서 갤러리로 관리하는 다수의 사진을 사용자의 소망에 따라 키워드 별로 선별한다. 하나의 사진에 여러 개의 선별 키워드가 설정될 수도 있고, 반대로 선별 키워드가 하나도 설정되지 않은 사진도 있을 수가 있다.
단계(S35) 이후, 사용자는 입출력부(11)를 통해 사진 검색을 위한 키워드, 즉 검색 키워드를 입력한다(S36). 이는 사용자 단말(10)에서 관리하는 다수의 사진들 중에서 특정 키워드에 매칭되는 사진들만 따로 살펴보려는 기능이며, 이를 위해 사용자가 검색 키워드를 입력한다.
단계(S36) 이후, 사진선별부(13)는 앞서 선별된 사진들의 관리 방식에 대응하여 검색 키워드에 대응되는 선별 폴더를 검색하거나 메타데이터를 검색하여 그 검색결과에 따른 사진들을 제시하는데, 바람직하게는 사진 목록이나 썸네일을 통해 사용자에게 제공한다(S37). 이를 통해 사용자는 갤러리로 관리되는 다수의 사진들, 예컨대 10,000개의 사진들 중에서 특정 키워드, 예컨대 '스키사진'에 대응되는 사진들만 따로 감상할 수 있게 된다.
[도 6]은 본 발명의 제 4 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도이다. [도 2] 내지 [도 5]를 참조하면, 본 발명의 제 4 실시예는 사용자가 선별 키워드를 지정하되 사용자가 갤러리를 이용할 때의 선택패턴을 지속적으로 모니터링하고 감상시간 또는 감상횟수에 따라 사진을 추출하여 당해 선별 키워드에 매칭시켜 선별하는 방법이다.
먼저, 갤러리부(12)가 다수의 사진에 대한 갤러리를 제공하고(S41), 사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 과정(S42)은 제 3 실시예와 동일하다.
단계(S42) 이후, 사진선별부(13)는 갤러리로 관리되는 다수 사진에 대해서 사용자로부터 구현요청을 제공받으며, 그에 대응하여 입출력부(11)를 통해 디스플레이 감상을 제공한다(S43). 디스플레이 감상 과정에서 사용자는 입출력부(10)로 구현된 소프트 버튼, UI 화면조작, 각종 제스처를 이용하여 사진을 넘겨가며 개별 사진을 감상하게 된다.
단계(S43) 이후, 사진선별부(13)는 갤러리 디스플레이 감상 과정에서 사용자의 선택패턴을 모니터링함으로써 갤러리에 포함되는 사진별로 현재 설정된 선별 키워드와의 관련성을 파악한다(S44). 이때 선별 키워드와의 관련성을 파악하기 위한 선택패턴으로는 사진별로 이루어지는 사용자의 감상시간이나 감상횟수를 생각할 수 있는데, 이에 대해서는 제 1, 2 실시예에서 전술한 바와 같다. 이는 사용자가 단계(S42)에서 특정 키워드를 선택했다면 당해 키워드에 관심이 많은 것이고 그렇다면 아무래도 그와 관련된 사진을 좀더 오래 살펴보거나 여러번 살펴볼 것으로 기대하는 것이다. 이처럼 사용자의 선택패턴을 모니터링하여 사진별로 선별 키워드와의 관련성을 나타내는 지수를 산출한다.
단계(S44) 이후, 사진선별부(13)는 미리 설정된 임계치 이상의 관련성을 갖는 사진에 대해서는 자동으로 당해 선별 키워드에 매칭하여 별도 관리하거나 메타데이터를 자동 지정한다(S45). 사용자가 당해 사진이 당해 선별 키워드와 매칭된다고 명시한 바는 없으나, 사용자의 선택패턴을 모니터링하여 해석한 결과 그 관련성을 추출해낸 것이다.
단계(S45) 이후, 사진선별부(13)는 갤러리에 대한 사진 탐색(사진 감상)이 종료되었는지 또는 선별 키워드가 해제되었는지 여부를 체크하고, 만일 그렇지 않다면 당해 설정된 선별 키워드에 매칭되는 사진의 자동 지정 과정이 지속적으로 수행되도록 한다(S46).
단계(S46) 이후, 사진선별부(13)는 특정 사진에 대해 '키워드 지정해제' 메뉴를 통해 단계(S45)에서 자동 지정된 선별 키워드를 해제한다(S47). 제 4 실시예에서는 사용자의 선택패턴에 기초하여 선별 키워드와의 관련성을 해석하고 그에 따라 선별 키워드를 자동 지정하는 방식이므로 아무래도 오류의 개연성이 상대적으로 높을 수밖에 없다. 그에 따라, 사용자가 사후적으로 잘못 자동 지정된 선별 키워드를 해제하는 기능을 마련한 것이다.
단계(S47) 이후, 사용자는 입출력부(11)를 통해 사진 검색을 위한 키워드, 즉 검색 키워드를 입력한다(S48). 이는 사용자 단말(10)에서 관리하는 다수의 사진들 중에서 특정 키워드에 매칭되는 사진들만 따로 살펴보려는 기능이며, 이를 위해 사용자가 검색 키워드를 입력한다.
단계(S48) 이후, 사진선별부(13)는 앞서 선별된 사진들의 관리 방식에 대응하여 검색 키워드에 대응되는 선별 폴더를 검색하거나 메타데이터를 검색하여 그 검색결과에 따른 사진들을 제시하는데, 바람직하게는 사진 목록이나 썸네일을 통해 사용자에게 제공한다(S49). 이를 통해 사용자는 갤러리로 관리되는 다수의 사진들, 예컨대 10,000개의 사진들 중에서 특정 키워드, 예컨대 '스키사진'에 대응되는 사진들만 따로 감상할 수 있게 된다.
[도 7]은 본 발명의 제 5 실시예에 따른 선택패턴 기반의 사진관리 방법을 나타내는 순서도이다. [도 2] 내지 [도 7]을 참조하면, 본 발명의 제 5 실시예는 사용자가 키워드를 먼저 지정해둔 상태에서 사진 촬영을 함으로써 그 신규 생성된 사진에 대한 선별을 달성하는 방법이다.
먼저, 사진선별부(13)는 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는데(S51), 새로운 키워드를 가상키보드 등을 통해 입력받을 수도 있고 기존에 입력되어 있던 여러 키워드 중에서 어느 하나에 대한 선택을 제공받을 수도 있다. 이들 키워드는 사진을 선별하기 위한 것으로 '선별 키워드'라고 부른다.
단계(S51)에 의해 선별 키워드가 설정된 상태에서 사용자는 카메라부(16)를 이용하여 사진을 촬영하는데, 그 촬영을 통해 생성된 신규 사진 이미지를 그 설정된 선별 키워드를 설정하여 자동으로 별도 관리하거나 메타데이터를 자동으로 지정한다(S52). 예를 들어, '졸업사진'이라는 선별 키워드를 먼저 설정하면, 그 이후로부터 촬영하는 모든 사진에 대해서는 졸업사진이라는 선별 키워드가 자동으로 설정되어 별도 관리되는 것이다.
단계(S52) 이후, 사진선별부(13)는 선별 키워드의 지정이 해제되었는지 여부를 체크하고, 만일 그렇지 않다면 당해 설정된 선별 키워드에 자동 지정되는 사진촬영 과정이 지속적으로 수행되도록 한다(S53).
단계(S53) 이후, 사진선별부(13)는 특정 사진에 대해 '키워드 지정해제' 메뉴를 통해 단계(S52)에서 자동 지정된 선별 키워드를 해제한다(S54). 제 5 실시예에서는 사진 촬영된
사용자의 선택패턴에 기초하여 선별 키워드와의 관련성을 해석하고 그에 따라 선별 키워드를 자동 지정하는 방식이므로 아무래도 오류의 개연성이 상대적으로 높을 수밖에 없다. 그에 따라, 사용자가 사후적으로 잘못 자동 지정된 선별 키워드를 해제하는 기능을 마련한 것이다.
단계(S54) 이후, 사용자는 입출력부(11)를 통해 사진 검색을 위한 키워드, 즉 검색 키워드를 입력한다(S55). 이는 사용자 단말(10)에서 관리하는 다수의 사진들 중에서 특정 키워드에 매칭되는 사진들만 따로 살펴보려는 기능이며, 이를 위해 사용자가 검색 키워드를 입력한다.
단계(S55) 이후, 사진선별부(13)는 앞서 선별된 사진들의 관리 방식에 대응하여 검색 키워드에 대응되는 선별 폴더를 검색하거나 메타데이터를 검색하여 그 검색결과에 따른 사진들을 제시하는데, 바람직하게는 사진 목록이나 썸네일을 통해 사용자에게 제공한다(S56).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
10 : 사용자 단말
11 : 입출력부
11a : 입력부
11b : 출력부
12 : 갤러리부
13 : 사진선별부
14 : 메인저장부(main storage)
15 : 선별저장부(selection storage)
16 : 카메라부
17 : 제어부

Claims (8)

  1. 삭제
  2. 삭제
  3. 갤러리부(12)가 메인저장부(14)에서 관리하는 다수의 사진 이미지에 대한 갤러리를 제공하는 제 1 단계;
    사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 제 2 단계;
    상기 사진선별부(13)가 상기 갤러리로 관리되는 다수 사진에 대해서 사용자 조작에 대응하여 디스플레이 감상을 제공하는 제 3 단계;
    상기 사진선별부(13)가 상기 갤러리 디스플레이 감상 과정에서 상기 선별 키워드에 매칭되는 사진에 대한 선택입력을 제공받는 제 4 단계;
    상기 사진선별부(13)가 상기 선택 입력받은 하나 이상의 사진을 상기 선별 키워드와 매칭시켜 관리하는 제 5 단계;
    를 포함하여 구성되는 선택패턴 기반의 사진관리 방법.
  4. 갤러리부(12)가 메인저장부(14)에서 관리하는 다수의 사진 이미지에 대한 갤러리를 제공하는 제 1 단계;
    사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 제 2 단계;
    상기 사진선별부(13)가 상기 갤러리로 관리되는 다수 사진에 대해서 사용자 조작에 대응하여 디스플레이 감상을 제공하는 제 3 단계;
    상기 사진선별부(13)가 상기 갤러리 디스플레이 감상 과정에서 사용자의 사진 선택패턴을 모니터링하여 사진별로 상기 선별 키워드와의 관련지수를 산출하는 제 4 단계;
    상기 사진선별부(13)가 상기 산출 결과 미리 설정된 임계치 이상의 관련지수를 나타내는 사진에 대해서는 상기 선별 키워드와의 매칭을 자동 지정하여 관리하는 제 5 단계;
    를 포함하여 구성되는 선택패턴 기반의 사진관리 방법.
  5. 청구항 4에 있어서,
    상기 사진선별부(13)가 키워드 지정해제 메뉴를 통해 특정 사진에 대해 상기 자동 지정된 선별 키워드를 해제하는 제 6 단계;
    를 더 포함하여 구성되는 선택패턴 기반의 사진관리 방법.
  6. 사진선별부(13)가 사진 선별을 위한 키워드(선별 키워드)의 설정을 사용자로부터 제공받는 제 1 단계;
    카메라부(16)를 통한 사진 촬영을 통해 신규 생성되는 사진에 대해 상기 설정된 선별 키워드와의 매칭을 자동 지정하여 관리하는 제 2 단계;
    상기 제 2 단계를 상기 선별 키워드가 해제될 때까지 반복하는 제 3 단계;
    상기 사진선별부(13)가 키워드 지정해제 메뉴를 통해 특정 사진에 대해 상기 자동 지정된 선별 키워드를 해제하는 제 4 단계;
    를 포함하여 구성되는 선택패턴 기반의 사진관리 방법.
  7. 청구항 3 내지 청구항 6 중 어느 하나의 항에 있어서,
    상기 사진선별부(13)가 사진 검색을 위한 검색 키워드를 입력받는 단계;
    상기 사진선별부(13)가 상기 사진에 매칭된 선별 키워드와 상기 검색 키워드 간의 검색을 통해 상기 검색 결과에 따른 사진을 식별하는 단계;
    상기 식별된 사진을 검색 결과로 사용자에게 제공하는 단계;
    를 더 포함하여 구성되는 선택패턴 기반의 사진관리 방법.
  8. 청구항 3 내지 청구항 6 중 어느 하나의 항에 따른 선택패턴 기반의 사진관리 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020120112975A 2012-07-23 2012-10-11 선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 KR101412478B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120079925 2012-07-23
KR1020120079925 2012-07-23

Publications (2)

Publication Number Publication Date
KR20140013878A KR20140013878A (ko) 2014-02-05
KR101412478B1 true KR101412478B1 (ko) 2014-07-01

Family

ID=50264234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120112975A KR101412478B1 (ko) 2012-07-23 2012-10-11 선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101412478B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106499A (ko) 2021-01-22 2022-07-29 삼성전자주식회사 개인화된 미디어 컨텐츠를 제공하는 방법 및 이를 이용한 전자 장치
KR102310714B1 (ko) * 2021-04-27 2021-10-08 주식회사 레코더즈 사용자 맞춤형 프로필 이미지 생성방법, 장치 및 컴퓨터프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366575A (ja) 2001-03-26 2002-12-20 Lg Electronics Inc イメージ検索方法及び検索装置
KR20050117541A (ko) * 2005-09-07 2005-12-14 노키아 코포레이션 빈도수 카운팅을 위한 방법 및 장치
KR20070013854A (ko) * 2005-07-27 2007-01-31 주식회사 팬택앤큐리텔 카메라를 구비한 이동 단말기에서 촬영한 사진들의리스트를 관리하는 방법 및 장치
KR20080040064A (ko) * 2006-11-02 2008-05-08 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366575A (ja) 2001-03-26 2002-12-20 Lg Electronics Inc イメージ検索方法及び検索装置
KR20070013854A (ko) * 2005-07-27 2007-01-31 주식회사 팬택앤큐리텔 카메라를 구비한 이동 단말기에서 촬영한 사진들의리스트를 관리하는 방법 및 장치
KR20050117541A (ko) * 2005-09-07 2005-12-14 노키아 코포레이션 빈도수 카운팅을 위한 방법 및 장치
KR20080040064A (ko) * 2006-11-02 2008-05-08 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.

Also Published As

Publication number Publication date
KR20140013878A (ko) 2014-02-05

Similar Documents

Publication Publication Date Title
US7779358B1 (en) Intelligent content organization based on time gap analysis
US8810688B2 (en) Information processing apparatus and information processing method
US20070185890A1 (en) Automatic multimode system for organizing and retrieving content data files
JP2012507189A (ja) コンテンツベース・フィルタリング及びテーマベース・クラスタリングを用いたページ内へのイメージの配置
KR102180474B1 (ko) 백업 정보를 디스플레이 하여 이미지 파일을 관리하는 장치 및 방법
JP2008005154A (ja) 画像処理装置及びその制御方法
US20130135323A1 (en) Method and device for providing information
JP2014154891A (ja) 情報処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2006279118A (ja) 画像再生装置及びプログラム
KR101412478B1 (ko) 선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
EP3467830B1 (en) Information processing method for displaying images, information processing apparatus, and program
JP2008040851A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2007293555A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
KR20120040483A (ko) 백업 시스템 및 그 백업 시스템에서 이미지 검색 서비스 제공 방법
US10225459B2 (en) Image reproducing apparatus that selects image from multiple images and reproduces same, method of controlling image reproducing apparatus, and storage medium
KR100964799B1 (ko) 영상 데이터의 파일명 생성 방법
JP6576391B2 (ja) 通信装置、制御方法、プログラム
KR101300052B1 (ko) 이미지 탐색 방법 및 그 방법이 기록된 기록매체
KR101963298B1 (ko) 사진 관리 전용 어플리케이션이 구동되는 스마트기기 및 그 사진관리방법
US20140324921A1 (en) Electronic device, method, and storage medium
JP2009140339A (ja) 情報処理装置及び情報処理方法
JP6366273B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20090003939A (ko) 컴퓨터의 인물 이미지 파일 관리 방법
JP2009265873A (ja) 画像群の標題付与装置、およびカメラ
US20190155812A1 (en) Method, device, and non-transitory computer-readable recording medium storing computer program for providing content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170612

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180528

Year of fee payment: 5