KR20150142317A - 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템 - Google Patents

이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템 Download PDF

Info

Publication number
KR20150142317A
KR20150142317A KR1020140070899A KR20140070899A KR20150142317A KR 20150142317 A KR20150142317 A KR 20150142317A KR 1020140070899 A KR1020140070899 A KR 1020140070899A KR 20140070899 A KR20140070899 A KR 20140070899A KR 20150142317 A KR20150142317 A KR 20150142317A
Authority
KR
South Korea
Prior art keywords
image
target image
directories
directory
information
Prior art date
Application number
KR1020140070899A
Other languages
English (en)
Other versions
KR102223205B1 (ko
Inventor
김효은
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140070899A priority Critical patent/KR102223205B1/ko
Priority to US14/639,488 priority patent/US9542623B2/en
Publication of KR20150142317A publication Critical patent/KR20150142317A/ko
Application granted granted Critical
Publication of KR102223205B1 publication Critical patent/KR102223205B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템이 제공된다. 상기 이미지 분류 장치는 타겟을 촬영하여 타겟 이미지를 생성하는 촬영 모듈, 타겟 이미지와 관련된 제1 환경 정보를 감지하는 센서, 타겟 이미지를 저장하는 N개의 디렉토리(N은 자연수)를 포함하는 저장 모듈 및 타겟 이미지로부터 제1 컨텐츠 정보를 추출하고, 제1 컨텐츠 정보와 제1 환경 정보를 기초로 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 프로세서를 포함한다.

Description

이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템{Image classification device, method for operating the same and electronic system comprising the image classification device}
본 발명은 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템에 관한 것이다.
스마트 기기의 사진첩은, 사용자가 임의의 디렉토리(directory)를 생성하여 사진을 분류할 수 있도록 설정 가능하다. 하지만, 대부분의 사용자는 매번 사진을 촬영할 때마다 사진첩에 사진을 분류해야 한다는 점에 대해 번거로움을 느끼며, 나중에 사진을 정리할 때 어려움을 느낄 수 있다. 따라서, 이러한 불편함을 해소할 수 있는 기능을 갖춘 사진첩에 대한 연구가 계속해서 진행되고 있다.
본 발명이 해결하려는 과제는, 새로 촬영되는 사진이 사용자에 의해 정의된 디렉토리들 중 어느 곳에 저장되어야 적합한지를 실시간으로 판단하여 사용자에게 적합한 디렉토리를 추천해주는 이미지 분류 장치를 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 새로 촬영되는 사진이 사용자에 의해 정의된 디렉토리들 중 어느 곳에 저장되어야 적합한지를 실시간으로 판단하여 사용자에게 적합한 디렉토리를 추천해주는 이미지 분류 장치의 동작 방법을 제공하는 것이다.
본 발명이 해결하려는 또 다른 과제는, 새로 촬영되는 사진이 사용자에 의해 정의된 디렉토리들 중 어느 곳에 저장되어야 적합한지를 실시간으로 판단하여 사용자에게 적합한 디렉토리를 추천해주는 전자 시스템을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 이미지 분류 장치의 일 실시예는, 타겟을 촬영하여 타겟 이미지를 생성하는 촬영 모듈, 타겟 이미지와 관련된 제1 환경 정보를 감지하는 센서, 타겟 이미지를 저장하는 N개의 디렉토리(N은 자연수)를 포함하는 저장 모듈 및 타겟 이미지로부터 제1 컨텐츠 정보를 추출하고, 제1 컨텐츠 정보와 제1 환경 정보를 기초로 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 프로세서를 포함한다.
상기 제1 환경 정보는 타겟 이미지의 외적 요인에 의해 획득되는 정보를 포함할 수 있다.
상기 타겟 이미지의 외적 요인에 의해 획득되는 정보는, 타겟 이미지의 조도, 타겟 이미지가 촬영된 시간대 또는 타겟 이미지가 촬영된 위치를 포함할 수 있다.
상기 제1 컨텐츠 정보는 타겟 이미지 그 자체로부터 획득되는 정보를 포함할 수 있다.
상기 타겟 이미지 그 자체로부터 획득되는 정보는, 타겟 이미지의 확대/축소 여부 또는 타겟 이미지의 회전 여부를 포함할 수 있다.
상기 제1 컨텐츠 정보는 타겟 이미지의 확대/축소 여부 또는 타겟 이미지의 회전 여부를 포함할 수 있다.
상기 N개의 디렉토리는 사용자에 의해 정의되고, N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리는 사용자에게 피드백될 수 있다.
상기 N개의 디렉토리는 사용자에 의해 정의되고, N개의 디렉토리 각각에는 서로 다른 대표 이미지가 등록될 수 있다.
상기 N개의 디렉토리 각각에 등록된 서로 다른 대표 이미지는 백터 형태를 가질 수 있다.
상기 프로세서는, N개의 디렉토리 각각에 저장된 서로 다른 대표 이미지를 벡터 형태로 변환하는 제1 서브 프로세서와, 벡터 형태로 변환된 대표 이미지 및 N개의 디렉토리를 기초로 분류 모델을 생성하는 제2 서브 프로세서를 포함할 수 있다.
상기 분류 모델은 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는데 이용될 수 있다.
상기 벡터 형태로 변환된 대표 이미지는, 대표 이미지로부터 추출된 제2 컨텐츠 정보와, 대표 이미지와 관련된 제2 환경 정보를 포함할 수 있다.
상기 제1 서브 프로세서는, 타겟 이미지를 제1 컨텐츠 정보와 제1 환경 정보를 포함하는 벡터 형태로 변환할 수 있다.
상기 프로세서는, 분류 모델과 벡터 형태로 변환된 타겟 이미지를 이용하여 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 제3 서브 프로세서를 더 포함할 수 있다.
상기 프로세서는 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 분류 모델을 생성하고, 분류 모델은 타겟 이미지에 대한 N개의 디렉토리 각각의 적합도 값을 계산하는데 이용될 수 있다.
상기 계산 작업은 벡터 형태로 변환된 타겟 이미지를 기초로 수행되고, 벡터 형태로 변환된 타겟 이미지는 제1 컨텐츠 정보와 제1 환경 정보를 포함할 수 있다.
상기 타겟 이미지에 대해 가장 높은 적합도 값을 가지는 디렉토리에 대한 정보를 제공받아 스크린으로 제공하는 스크린 구동 모듈을 더 포함할 수 있다.
상기 프로세서는 타겟 이미지에 대해 가장 높은 적합도 값을 가지는 디렉토리에 대한 정보를 스크린 구동 모듈로 제공할 수 있다.
상기 프로세서는, N개의 디렉토리 중 특정 개수 이하의 디렉토리가 타겟 이미지에 대해 특정 적합도 값 이상을 가지는 경우 타겟 이미지를 타겟 이미지가 저장되어야 하는 디렉토리의 대표 이미지로 추가 등록할 수 있다.
상기 프로세서는 촬영 모듈로부터 타겟 이미지를 직접 제공받을 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 전자 시스템은, 이미지가 저장되는 N개의 디렉토리(N은 자연수) 각각에 대표 이미지가 등록될 수 있도록 사용자로부터 입력을 제공받는 인터페이서, 인터페이서로부터 제1 명령을 제공 받고, 제1 명령을 토대로 타겟을 촬영하여 타겟 이미지를 생성하는 카메라, 인터페이서로부터 제1 명령과 다른 제2 명령을 제공 받아 분류 모델을 생성하고, 분류 모델을 이용하여 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 프로세서 및 선택된 디렉토리에 관한 정보를 가공하여 인터페이서로 제공하는 출력부를 포함하되, 인터페이서는 출력부로부터 제공받은 선택된 디렉토리에 관한 정보를 디스플레이한다.
상기 인터페이서는 터치 입력이 가능한 디스플레이 패널을 포함할 수 있다.
상기 출력부는 선택된 디렉토리에 관한 정보를 알림 메세지 형태로 가공할 수 있다.
상기 제1 명령은 타겟에 대한 촬영 명령을 포함할 수 있다.
상기 제2 명령은 N개의 디렉토리 및 N개의 디렉토리 각각에 등록된 대표 이미지를 토대로 분류 모델을 생성하라는 명령을 포함할 수 있다.
상기 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이미지 분류 장치의 동작 방법은, 타겟을 촬영하여 타겟 이미지를 생성하고, 타겟 이미지로부터 제1 컨텐츠 정보를 추출하고, 제1 컨텐츠 정보와 타겟 이미지와 관련된 제1 주변 환경 정보를 기초로 N개의 디렉토리(N은 자연수) 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 것을 포함하되, N개의 디렉토리는 사용자에 의해 정의된다.
상기 선택된 디렉토리로 타겟 이미지를 저장하는 것을 더 포함할 수 있다.
상기 선택된 디렉토리에 대한 정보를 스크린에 디스플레이하는 것을 더 포함할 수 있다.
상기 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 것은, N개의 디렉토리 각각에 서로 다른 대표 이미지를 등록하고, N개의 디렉토리와 N개의 디렉토리 각각의 대표 이미지를 기초로, N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 분류 모델을 생성하고, 분류 모델을 이용하여 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 것을 포함할 수 있다.
상기 N개의 디렉토리 각각에 서로 다른 대표 이미지를 등록하는 것은, N개의 디렉토리 각각에 서로 다른 대표 이미지를 저장하고, 저장된 대표 이미지로부터 제2 컨텐츠 정보를 추출하고, 대표 이미지를 제2 컨텐츠 정보 및 대표 이미지와 관련된 제2 주변 환경 정보를 포함하는 벡터 형태로 변환하는 것을 포함할 수 있다.
상기 분류 모델을 이용하여 N개의 디렉토리 중 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 것은, 타겟 이미지를 제1 컨텐츠 정보와 제1 주변 환경 정보를 포함하는 벡터 형태로 변환하고, 분류 모델을 이용하여 벡터 형태로 변환된 타겟 이미지에 대한 N개의 디렉토리 각각의 적합도 값을 계산하고, N개의 디렉토리 중 가장 높은 적합도 값을 가지는 디렉토리를 타겟 이미지가 저장되어야 하는 디렉토리로 선택하는 것을 포함할 수 있다.
상기 N개의 디렉토리 중 특정 개수 이하의 디렉토리가 타겟 이미지에 대해 특정 적합도 값 이상을 가지는 경우 타겟 이미지를 타겟 이미지가 저장되는 디렉토리의 대표 이미지로 추가하는 것을 더 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 분류 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 저장 모듈을 설명하기 위한 블록도이다.
도 3은 도 1의 프로세서를 설명하기 위한 블록도이다.
도 4는 도 3의 제2 서브 프로세서에서 생성된 분류 모델을 설명하기 위한 도면이다.
도 5는 도 3의 제1 서브 프로세서에 의해 벡터 형태로 변환된 이미지를 설명하기 위한 도면이다.
도 6은 도 5의 벡터 형태로 변환된 이미지의 일 예를 설명하기 위한 도면이다.
도 7은 도 4의 분류 모델을 생성하는 방법을 설명하는 도면이다.
도 8은 도 4의 분류 모델을 이용하여 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 방법을 설명하는 도면이다.
도 9는 도 1의 이미지 분류 장치를 포함하는 전자 시스템을 설명하는 블록도이다.
도 10 및 도 11은 도 9의 전자 시스템의 동작을 설명하는 개념도이다.
도 12는 본 발명의 일 실시예에 따른 이미지 분류 장치의 동작 방법을 설명하는 순서도이다.
도 13은 도 12의 타겟 이미지가 저장되어야 하는 디렉토리 선택 단계(S300)를 구체적으로 설명하는 순서도이다.
도 14는 도 13의 N개의 디렉토리 각각에 서로 다른 대표 이미지 등록 단계(S310)를 구체적으로 설명하는 순서도이다.
도 15는 도 13의 분류 모델 이용하여 디렉토리 선택(S380)을 구체적으로 설명하는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 이미지 분류 장치를 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 분류 장치를 설명하기 위한 블록도이다. 도 2는 도 1의 저장 모듈을 설명하기 위한 블록도이다. 도 3은 도 1의 프로세서를 설명하기 위한 블록도이다.
도 1을 참조하면, 이미지 분류 장치(1)는 촬영 모듈(CAMERA MODULE)(100), 저장 모듈(STORAGE MODULE)(120), 프로세서(PROCESSOR)(140), 센서(SENSOR)(160), 스크린 구동 모듈(SCREEN OPERATING MODULE)(180), 스크린(SCREEN)(200)을 포함할 수 있다.
먼저, 촬영 모듈(100)은 타겟을 촬영하여 타겟 이미지(IMAGE)를 생성할 수 있다. 또한 촬영 모듈(100)은 타겟 이미지(IMAGE)를 저장 모듈(120) 및 프로세서(140)로 제공할 수 있다.
저장 모듈(120)은 촬영 모듈(100)로부터 타겟 이미지(IMAGE)를 제공받아 저장할 수 있다.
구체적으로, 도 2를 참조하면, 저장 모듈(120)은 N개의 디렉토리(D1~DN)(N은 자연수) 및 제어부(CONTROL UNIT)(125)를 포함할 수 있다.
여기에서, N개의 디렉토리(D1~DN) 중 어느 하나에는 촬영 모듈(100)로부터 제공받은 타겟 이미지(IMAGE)가 저장될 수 있다. 또한 N개의 디렉토리(D1~DN) 각각에는 각 디렉토리를 대표하는 대표 이미지(R-IMAGE)가 저장될 수 있다. 뿐만 아니라 프로세서(140)에 의해 대표 이미지가 벡터 형태로 변환되어 각 디렉토리에 등록될 수 있다. 벡터 형태로 변환된 대표 이미지(V.R-IMAGE)에 대한 구체적인 설명은 후술하도록 한다.
보다 구체적으로 설명하자면, N개의 디렉토리(D1~DN)는 각각 서로 다른 대표 이미지(R-IMAGE)에 의해 대표되고 이에 따라 서로 다른 특징을 가지는 이미지들을 저장할 수 있다. 예를 들면, N개의 디렉토리(D1~DN) 중 제1 디렉토리(D1)는 주로 1개의 얼굴을 포함하며, 사진에서 얼굴이 차지하는 부분의 면적이 상대적으로 크고, 전체적으로 어두우며, 낮 시간에 주로 촬영되었고, GPS 위치는 제약이 없다는 조건에 부합하는 타겟 이미지를 주로 저장할 수 있다. 또한 제2 디렉토리(D2)는 얼굴을 포함되지 않고, 전체적으로 밝고, 시간에 대한 제약은 없으며, GPS 위치가 로컬화된 조건에 부합하는 타겟 이미지를 주로 저장할 수 있다.
이와 같이 N개의 디렉토리(D1~DN)는 사용자에 의해 각각 정의될 수 있고, 이에 따라 서로 다른 특징을 가지는 이미지들을 저장할 수 있다.
또한 후술하는 분류 모델 생성시, 프로세서(140)는 N개의 디렉토리(D1~DN)에 각각 저장되어 있는 대표 이미지(R-IMAGE)를 이용할 수 있다. 이에 대한 구체적인 설명은 후술하도록 한다.
제어부(125)는 프로세서(140)로부터 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리에 관한 정보(이하에서는, '선택 디렉토리 정보(SD)' 라고 함) 및 새로 추가 등록되는 대표 이미지에 관한 정보(이하에서는, '추가 대표 이미지 정보(ARI)이미지'라고 함)를 제공받을 수 있다. 또한 제어부(125)는 선택 디렉토리 정보(SD) 및 추가 대표 이미지 정보(ARI)를 N개의 디렉토리(D1~DN)로 제공할 수 있다.
추가적으로, 만약 사용자가 선택 디렉토리 정보에 개시된 디렉토리를 타겟 이미지(IMAGE)를 저장할 디렉토리로 결정한다면, N개의 디렉토리(D1~DN) 중 선택된 디렉토리에 타겟 이미지(IMAGE)가 저장될 수 있다. 그러나 사용자가 선택 디렉토리 정보에 개시된 디렉토리를 타겟 이미지(IMAGE)를 저장할 디렉토리로 결정하지 않는다면, N개의 디렉토리(D1~DN) 중 선택된 디렉토리에는 타겟 이미지(IMAGE)가 저장되지 않는다.
즉, N개의 디렉토리(D1~DN)에 타겟 이미지(IMAGE)와 선택 디렉토리 정보(SD)가 제공된 상태로, 사용자의 결정에 따라 타겟 이미지(IMAGE)가 선택된 디렉토리로 저장될 수도 있고 저장되지 않을 수도 있다.
추가 대표 이미지 정보(ARI)에 관한 구체적인 설명은 후술하도록 한다.
다시 도 1을 참조하면, 프로세서(140)는 촬영 모듈(100)로부터 타겟 이미지(IMAGE)를 제공받고 센서(160)로부터 환경 정보(EI)를 제공받을 수 있다. 또한 프로세서(140)는 저장 모듈(120)로 선택 디렉토리 정보(SD) 및 추가 대표 이미지 정보(ARI)를 제공할 수 있다.
구체적으로, 도 3을 참조하면, 프로세서(140)는 제1 내지 제3 서브 프로세서(SUB PROCESSOR 1 ~ SUB PROCESSOR 3)를 포함할 수 있다.
제1 서브 프로세서(143)는 센서(160)로부터 환경 정보(EI)를 제공받고, 촬영 모듈(100)로부터 타겟 이미지(IMAGE)를 제공받을 수 있다. 또한 제1 서브 프로세서(143)는 타겟 이미지(IMAGE)로부터 컨텐츠 정보를 추출하여 타겟 이미지(IMAGE)를 컨텐츠 정보 및 환경 정보(EI)를 포함하는 벡터 형태로 변환할 수 있다. 벡터 형태로 변환된 타겟 이미지(V.IMAGE)는 제2 서브 프로세서(146)로 제공될 수 있다.
여기에서, 컨텐츠 정보는 예를 들면, 타겟 이미지(IMAGE) 그 자체로부터 획득되는 정보를 포함할 수 있으며, 구체적으로 이미지의 가공 정보(예를 들면, 스케일링(scaling), 회전(rotation), 얼굴 또는 물체의 분할 정도 등등) 또는 비가공 정보(예를 들면, 가공되지 않은 이미지 전체 그 자체)를 포함할 수 있다.
또한 컨텐츠 정보는 이미지의 가공 또는 비가공 정보로부터 추출한 특징(예를 들면, SIFT, SURF, FAST 등의 알고리즘으로부터 추출한 특징) 또는 그로부터 구성된 디스크립터(descriptor)(예를 들면, SIFT, SURF, BRIEF 등의 알고리즘으로부터 생성된 디스크립터 벡터)를 포함할 수도 있다.
또한 환경 정보(EI)는 타겟 이미지(IMAGE)와 관련된 외적 요소를 포함할 수 있다. 구체적으로 예를 들어, 환경 정보(EI)는 이미지의 조도, 이미지가 촬영된 시간대, 이미지가 촬영된 시간 기준 카메라 어플리케이션의 ON~OFF 구간의 다른 이미지 정보, 촬영된 위치(GPS 정보), 해당 이미지에 대한 사용자의 활동(예를 들면, SNS 업로드 등등)과 같이 이미지를 촬영한 기기로부터 획득할 수 있는 다양한 정보를 포함할 수 있다.
추가적으로, 제1 서브 프로세서(143)는 분류 모델(C.MODEL) 생성시, 저장 모듈(120)의 N개의 디렉토리(D1~DN)에 각각 저장되어 있는 대표 이미지(R-IMAGE)를 이용할 수 있다. 구체적으로, 제1 서브 프로세서(143)는 N개의 디렉토리(D1~DN)에 각각 저장되어 있는 대표 이미지(R-IMAGE)를 벡터 형태로 변환할 수 있다.
여기에서, 벡터 형태로 변환된 대표 이미지(V.R-IMAGE)는 대표 이미지(R-IMAGE)는 대표 이미지(R-IMAGE)로부터 추출된 컨텐츠 정보 및 대표 이미지(R-IMAGE)와 관련된 환경 정보를 포함할 수 있다. 보다 구체적으로, 대표 이미지(R-IMAGE)로부터 추출된 컨텐츠 정보는 대표 이미지(R-IMAGE)의 가공 또는 비가공 정보로부터 추출한 특징 또는 그로부터 구성된 디스크립터를 포함할 수 있다. 또한 대표 이미지(R-IMAGE)와 관련된 환경 정보는 센서(160)로부터 제공받는 환경 정보(EI)로써, 대표 이미지(R-IMAGE)와 관련된 외적 요소를 포함할 수 있다.
제1 서브 프로세서(143)는 이러한 벡터 형태로 변환된 대표 이미지(V.R-IMAGE)를 제2 서브 프로세서(146)로 제공할 수 있다. 즉, 제1 서브 프로세서(143)는 타겟 이미지(IMAGE)와 대표 이미지(R-IMAGE)를 각각 벡터 형태로 변환하여 제2 서브 프로세서(146)로 제공할 수 있다. 또한 제1 서브 프로세서(143)는 벡터 형태로 변환된 대표 이미지(V.R-IMAGE)를 저장 모듈(120)로 제공하여 각 디렉토리에 등록되도록 할 수 있다.
제2 서브 프로세서(146)는 백터 형태로 변환된 대표 이미지(R-IMAGE) 및 N개의 디렉토리를 기초로 분류 모델(C.MODEL)을 생성할 수 있다. 또한 제2 서브 프로세서(146)는 제1 서브 프로세서(143)로부터 벡터 형태로 변환된 타겟 이미지(V.IMAGE)와 벡터 형태로 변환된 대표 이미지(V.R-IMAGE)를 제공받을 수 있다.
구체적으로, 도 4 내지 도 7을 참조하여 분류 모델(C.MODEL)에 대해 보다 자세하게 설명하도록 한다.
도 4는 도 3의 제2 서브 프로세서에서 생성된 분류 모델을 설명하기 위한 도면이다. 도 5는 도 3의 제1 서브 프로세서에 의해 벡터 형태로 변환된 이미지를 설명하기 위한 도면이다. 도 6은 도 5의 벡터 형태로 변환된 이미지의 일 예를 설명하기 위한 도면이다. 도 7은 도 4의 분류 모델을 생성하는 방법을 설명하는 도면이다.
먼저, 도 4를 참조하면, M*N 행렬(M과 N은 자연수)로 구성된 분류 모델(M number of N-dimensional classifiers)을 도시되어 있다.
여기에서, M 행은 M개의 디렉토리를 의미하고, N열은 각 디렉토리마다 가지고 있는 N개의 가중치를 의미할 수 있다.
구체적으로, 벡터 형태로 변환된 타겟 이미지(V.IMAGE) 또는 벡터 형태로 변환된 대표 이미지(V.R-IMAGE)가 N개의 요소(여기에서, N개의 요소는 컨텐츠 정보와 환경 정보를 포함함)로 이루어져 있는 경우, 각 디렉토리마다 각각의 요소에 대해서 부여하는 가중치가 다를 수 있다. 또한 각 디렉토리마다 각각의 요소에 대해서 부여하는 가중치가 다르기에, 서로 다른 특징을 가지는 이미지가 분류 및 저장될 수 있다.
도 4에 도시된 분류 모델(M number of N-dimensional classifiers)은 일 예에 불과하며, 행렬 형태가 아닌 다른 형태로 구현될 수도 있다.
이어서 도 5를 참조하면, N*1 행렬(N은 자연수)로 구성된 벡터 형태의 이미지가 도시되어 있다.
구체적으로, N*1 행렬(N은 자연수)로 구성된 벡터 형태의 이미지는 벡터 형태로 변환된 타겟 이미지 또는 벡터 형태로 변환된 대표 이미지를 포함할 수 있다.
또한 N행을 이루는 각 요소는 이미지와 관련된 환경 정보 또는 이미지로부터 추출된 컨텐츠 정보를 포함할 수 있다. 또한 1열로 이루어진바, 도 5에 도시된 N*1 행렬은 1개의 이미지일 수 있다.
한편 도 6을 참조하면, 도 5의 N*1 행렬로 구성된 벡터 형태의 이미지의 일 예가 도시되어 있다.
즉, 앞서 설명한 바와 같이, 벡터 형태로 변환된 타겟 이미지 또는 대표 이지미는 각각 환경 정보와 컨텐츠 정보를 포함하는바, N행을 이루는 각 요소는 예를 들어, 사진 속 얼굴의 수(number of faces), 사진 속에서 얼굴이 차지하는 면적이 큰지(major face exist?), 밝기(light), 시간대(day or night), 위치 정보(gps info)일 수 있다.
마지막으로 도 7을 참조하면, 벡터 형태로 변환된 대표 이미지 행렬(K number of training inputs)와 M개의 디렉토리와의 매칭 결과를 표현하는 행렬(K number of training results)을 기초로 분류 모델(M number of N-dimensional classifiers)을 생성하는 연산 과정이 도시되어 있다.
구체적으로, 벡터 형태로 변환된 대표 이미지 행렬(K number of training inputs)은 벡터 형태로 변화된 K개의 대표 이미지(즉, N*K 행렬로써, N개의 요소를 포함하는 K개의 대표 이미지를 의미함)일 수 있다.
또한 M개의 디렉토리와의 매칭 결과를 표현하는 행렬(K number of training results)은 M개의 디렉토리 각각에 대한 K개의 대표 이미지의 결과를 표현할 수 있다. 즉, 1행을 살펴보면 1*1 위치의 값(result directory)만 1이고 나머지 1*2~1*M 까지는 0이라는 것을 알 수 있다. 즉, 분류 모델(M number of N-dimensional classifiers)의 1행(single domain classifier)과 벡터 형태로 변환된 대표 이미지 행렬(K number of training inputs)의 1열(single input vector) 간의 계산 결과만이 1을 나타내고 분류 모델의 2~M행 각각과 벡터 형태로 변환된 대표 이미지 행렬(K number of training inputs)의 1열 간의 계산 결과는 0이라는 것을 알 수 있다. 이는 벡터 형태로 변환된 대표 이미지 행렬(K number of training inputs)의 1열(single input vector)에 해당하는 대표 이미지는 M개의 디렉토리 중 제1 디렉토리(result directory)의 대표 이미지라는 것을 의미한다.
따라서, 이와 같은 논리를 적용하여 벡터 형태로 변환된 대표 이미지 행렬(K number of training inputs)과 M개의 디렉토리와의 매칭 결과를 표현하는 행렬(K number of training results)을 이용하여 분류 모델(M number of N-dimensional classifiers)을 생성할 수 있다.
다시 도 3을 참조하면, 제2 서브 프로세서(146)는 분류 모델(C.MODEL)을 생성하여, 백터 형태로 변환된 타겟 이미지(IMAGE)와 분류 모델(C.MODEL)을 제3 서브 프로세서(149)로 제공할 수 있다.
제3 서브 프로세서(149)는 분류 모델(C.MODEL)과 벡터 형태로 변환된 타겟 이미지(V.IMAGE)를 이용하여 N개의 디렉토리(D1~DN) 중 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택할 수 있다.
구체적으로, 제3 서브 프로세서(149)는 제2 서브 프로세서(146)로부터 분류 모델(C.MODEL)과 벡터 형태로 변화된 타겟 이미지(IMAGE)를 제공받을 수 있다. 또한 제공받은 분류 모델(C.MODEL)과 벡터 형태로 변환된 타겟 이미지(V.IMAGE) 간의 연산을 통해 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택할 수 있다.
구체적으로, 도 8을 참조하여 도 8을 참조하면, 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택하는 방법을 설명하도록 한다.
도 8은 도 4의 분류 모델을 이용하여 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 방법을 설명하는 도면이다.
설명하기에 앞서, 분류 모델(C.MODEL)은 M*N 행렬이고, 벡터 형태로 변환된 타겟 이미지(V.IMAGE)는 N*1 행렬이라고 가정한다.
도 8을 참조하면, 분류 모델(C.MODEL)의 1행(single domain classifier)과 벡터 형태로 변환된 타겟 이미지(V.IMAGE)와의 행렬 연산 결과, 결과 행렬(RESULT)의 1*1 위치의 값만 1이고 나머지 1*2~1*M은 0이라는 것을 알 수 있다.
이는, 벡터 형태로 변환된 타겟 이미지(V.IMAGE)가 M개의 디렉토리 중 제1 디렉토리에 저장되는 것이 적합하다는 의미이다. 만약, 결과 행렬(RESULT)의 1*3 위치의 값만 1이고 나머지 1*1~1*2, 1*4~1*M은 0이라면, 벡터 형태로 변환된 타겟 이미지(V.IMAGE)는 제3 디렉토리에 저장되는 것이 적합하다는 의미라는 것을 알 수 있다.
다만, 도 8에는 결과 행렬(RESULT)이 0 또는 1로만 구성된 것으로 도시되어 있지만, 실제로는 0~1 사이의 다양한 값을 가질 수 있다. 즉, 분류 모델(C.MODEL)과 벡터 형태로 변환된 타겟 이미지(V.IMAGE) 사이의 행렬 연산을 하게 되면, 타겟 이미지(IMAGE)에 대한 N개의 디렉토리 각각의 적합도 값이 구해질 수 있다. 여기에서, 적합도 값은 각각 0~1 사이의 값일 수 있다.
다시 도 3을 참조하면, 제3 서브 프로세서(149)는 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택하여 선택 디렉토리 정보(SD)를 저장 모듈(120) 및 스크린 구동 모듈(180)로 제공할 수 있다.
보다 구체적으로, 제3 서브 프로세서(149)는 N개의 디렉토리 각각의 적합도 값을 연산하여, 그 중 타겟 이미지(IMAGE)에 대해 가장 높은 적합도 값을 가지는 디렉토리를 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리로 선택할 수 있다.
또한 제3 서브 프로세서(149)는 타겟 이미지(IMAGE)에 대해 가장 높은 적합도 값을 가지는 디렉토리에 대한 정보 즉, 선택 디렉토리 정보(SD)를 스크린 구동 모듈(180)로 제공할 수 있다.
뿐만 아니라 제3 서브 프로세서(149)는 N개의 디렉토리(D1~DN) 중 특정 개수 이하의 디렉토리가 타겟 이미지(IMAGE)에 대해 특정 적합도 값 이상을 가지는 경우 그 타겟 이미지(IMAGE)를 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리의 대표 이미지로 추가 등록할 수 있다.
구체적으로 예를 들어, 10개의 디렉토리 중 2개 이하의 디렉토리가 0.3 이상의 적합도 값을 가정해보자. 이러한 가정 하에서, 그 타겟 이미지는 10개의 디렉토리 중 소수의 디렉토리와만 적합성을 가지는바, 가장 높은 적합도 값을 가지는 디렉토리에 대해서만 높은 적합성을 가질 확률도 크고, 이에 따라 그 디렉토리에 대한 대표성을 가질 가능성도 클 수 있다. 따라서, 제3 서브 프로세서(149)는 이러한 타겟 이미지(IMAGE)를 대표 이미지로 추가 등록할 필요성이 있다고 판단하고 추가 대표 이미지 정보(ARI)를 저장 모듈(120) 즉, 제어부(125)로 제공할 수 있다.
여기에서, 추가 대표 이미지 정보(ARI)는 대표 이미지로 추가 등록할 필요가 있는 타겟 이미지에 관한 정보를 포함할 수 있다.
이러한 과정을 통해 N개의 디렉토리 중 각각의 디렉토리에는 1개 이상의 대표 이미지가 저장될 수 있고, 대표 이미지의 수가 증가할수록 타겟 이미지를 적절한 디렉토리로 분류 및 추천할 가능성이 높아질 수 있다.
즉, 도 2를 참조하면, 프로세서(140) 즉, 제3 프로세서(도 3의 149)로부터 추가 대표 이미지 정보(ARI)를 제공받은 제어부(125)는 N개의 디렉토리(D1~DN)로 추가 대표 이미지 정보(ARI)를 제공할 수 있다. 또한 추가 대표 이미지 정보(ARI)를 제공받은 N개의 디렉토리(D1~DN)는 해당하는 디렉토리에 해당 타겟 이미지를 대표 이미지로 추가할 수 있다.
다시 도 1을 참조하면, 센서(160)는 이미지(타겟 이미지(IMAGE) 또는 대표 이미지(R-IMAGE))와 관련된 환경 정보(EI)를 감지할 수 있다.
구체적으로, 센서(160)는 이미지와 관련된 환경 정보(EI)를 감지하여, 프로세서(140)로 제공할 수 있다. 즉, 센서(160)는 환경 정보(EI)를 제1 서브 프로세서(도 3의 143)로 제공할 수 있다.
스크린 구동 모듈(180)은 프로세서(140)로부터 선택 디렉토리 정보(SD)를 제공받을 수 있다.
구체적으로, 스크린 구동 모듈(180)은 제3 서브 프로세서(도 3의 149)로부터 선택 디렉토리 정보(SD)를 제공받아 이를 토대로 메시지 형태로 구현된 선택 디렉토리 정보(RSD)를 스크린(200)으로 제공할 수 있다.
예를 들어, 타겟 이미지가 저장되어야 하는 디렉토리로 제1 디렉토리가 선택된 경우, 메시지 형태로 구현된 선택 디렉토리 정보(RSD)는 '제1 디렉토리에 사진을 저장하시겠습니까? 예 또는 아니오'라는 문구를 포함할 수 있다.
스크린(200)은 스크린 구동 모듈(180)로부터 메시지 형태로 구현된 선택 디렉토리 정보(RSD)를 제공받아, 이를 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 이미지 분류 장치(1)는 사용자에 의해 정의된 N개의 디렉토리(D1~DN)와 각각의 디렉토리를 대표하는 대표 이미지(R-IMAGE)를 토대로 분류 모델(C.MODEL)을 생성하는 프로세서(140)를 포함한다. 따라서, 이러한 프로세서(140)를 이용하여 새로 촬영 및 생성된 타겟 이미지(IMAGE)가 사용자에 의해 생성된 N개의 디렉토리(D1~DN) 중 어느 디렉토리에 저장되어야 적합한지를 실시간으로 판단하여 적합한 디렉토리를 사용자에게 추천해줄 수 있다.
이하에서는, 도 9 내지 도 11을 참조하여, 도 1의 이미지 분류 장치를 포함하는 전자 시스템에 대해 설명하도록 한다.
도 9는 도 1의 이미지 분류 장치를 포함하는 전자 시스템을 설명하는 블록도이다. 도 10 및 도 11은 도 9의 전자 시스템의 동작을 설명하는 개념도이다.
설명하기에 앞서, 전자 시스템(2)은 예를 들어, 카메라 기능 및 사진첩 기능을 포함하는 모든 전자 시스템을 포함할 수 있으나, 본 발명에서는 스마트폰을 예로 들어 설명하도록 한다.
도 9를 참조하면, 전자 시스템(2)은 인터페이서(300), 카메라(400), 프로세서(140), 출력부(500)를 포함할 수 있다. 또한 전자 시스템(2)은 도 1의 이미지 분류 장치(1)를 포함하는 시스템이다.
먼저, 인터페이서(300)는 사용자(USER)로부터 입력(INPUT)을 제공받을 수 있다.
구체적으로, 인터페이서(300)는 이미지가 저장되는 N개의 디렉토리(N은 자연수) 각각에 대표 이미지가 등록될 수 있도록 사용자(USER)로부터 입력(INPUT)을 제공받을 수 있다. 또한 인터페이서(300)는 예를 들어, 터치 입력이 가능한 디스플레이 패널을 포함할 수 있다.
즉, 인터페이서(300)는 사용자(USER)로부터 터치 입력을 제공받아, 카메라(400) 및 프로세서(140)로 각각 제1 및 제2 명령(CMD1, CMD2)을 제공할 수 있다.
여기에서, 제1 명령(CMD1)은 촬영 대상이 되는 타겟에 대한 촬영 명령을 포함할 수 있다. 또한 제2 명령(CMD2)은 N개의 디렉토리 및 N개의 디렉토리 각각에 등록된 대표 이미지를 토대로 분류 모델을 생성하라는 명령을 포함할 수 있다.
보다 구체적으로, 사용자(USER)가 인터페이서(300)를 통해 제공하는 입력(INPUT)이 인터페이서(300)에 디스플레이된 촬영 버튼에 대한 입력인 경우, 제1 명령(CMD1)이 카메라(400)로 제공될 수 있다. 또한 사용자(USER)가 인터페이서(300)를 통해 제공하는 입력(INPUT)이 N개의 디렉토리 각각에 대표 이미지를 저장하는 입력인 경우, 제2 명령(CMD2)이 프로세서(140)로 제공될 수 있다.
또한 인터페이서(300)는 출력부(500)로부터 디렉토리 추천 메시지(OM)를 제공받아 디스플레이할 수 있는바, 이에 대한 구체적인 설명은 후술하도록 한다.
카메라(400)는 인터페이서(300)로부터 제1 명령(CMD1)을 제공받아 타겟을 촬영할 수 있다.
구체적으로, 카메라(400)는 제1 명령(CMD1)을 토대로 타겟을 촬영하여 타겟 이미지(IMAGE)를 생성할 수 있다. 또한 카메라(400)는 생성한 타겟 이미지(IMAGE)를 프로세서(140)로 제공할 수 있다
프로세서(140)는 인터페이서(300)로부터 제1 명령(CMD1)과 다른 제2 명령(CMD2)을 제공 받아 분류 모델을 생성하고, 분류 모델을 이용하여 N개의 디렉토리 중 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택할 수 있다.
또한 프로세서(140)는 N개의 디렉토리 중 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택하여 선택 디렉토리 정보(SD)를 생성할 수 있다. 프로세서(140)는 생성한 선택 디렉토리 정보(SD)를 출력부(500)로 제공할 수 있다.
여기에서, 프로세서(140)는 도 1의 프로세서와 동일한 기능을 수행할 수 있으나, 이에 한정되는 것은 아니다.
출력부(500)는 선택 디렉토리 정보(SD)를 제공받아 메시지 형태로 가공할 수 있다.
구체적으로, 출력부(500)는 선택 디렉토리 정보(SD)를 가공하여 디렉토리 추천 메시지(OM)를 생성할 수 있다. 또한 출력부(500)는 디렉토리 추천 메시지(OM)를 인터페이서(300)로 제공할 수 있다. 여기에서, 디렉토리 추천 메시지(OM)는 예를 들어, 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리가 N개의 디렉토리 중 제1 디렉토리인 경우, '제1 디렉토리에 저장하시겠습니까? 예 또는 아니오'와 같은 메시지일 수 있다.
도 10 및 도 11을 참조하면, 도 9의 전자 시스템(2)의 동작을 스마트폰을 예로 들어 설명하고 있다.
먼저, 도 10을 참조하면, 카메라(미도시)를 통해 인터페이서(300)(여기에서는 디스플레이 패널)에 촬영 대상 즉, 타겟이 디스플레이 될 수 있다. 그 후 사용자가 인터페이서(300)에 카메라 촬영 버튼을 터치하는 입력을 제공하면, 앞서 도 9에서 설명한 각 구성 요소가 동작함에 따라, 타겟 이미지가 저장되어야 하는 디렉토리를 프로세서(140)가 선택할 수 있다.
이어서 도 11을 참조하면, 프로세서(140)에 의해 선택된 디렉토리에 관한 정보(즉, 선택 디렉토리 정보(SD))는 인터페이서(300)를 통해 메시지 형태로 사용자에게 제공된다. 도 11을 보면 알 수 있듯이, 'D1(제1 디렉토리를 D1이라 칭한다고 가정)에 저장하시겠습니까? YES or NO' 라는 메시지가 인터페이서(300)를 통해 디스플레이된다는 것을 알 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 이미지 분류 장치(1)를 포함하는 전자 시스템(2)은 새로 촬영되는 사진이 사용자에 의해 정의된 디렉토리들 중 어느 곳에 저장되어야 적합한지를 실시간으로 판단하여 사용자에게 적합한 디렉토리를 추천해줄 수 있다.
추가적으로, 디렉토리 추천 메시지(OM)에 대해 사용자가 'Yes' 라는 입력을 인터페이서(300)로 제공하는 경우, 인터페이서(300)는 프로세서(140)로 이러한 피드백을 제공하고, 프로세서(140)는 이러한 피드백을 토대로 타겟 이미지(IMAGE)를 선택된 디렉토리를 대표하는 새로운 대표 이미지로 추가할 수도 있다.
이하에서는, 도 12 내지 도 15를 참조하여, 도 1의 이미지 분류 장치의 동작 방법에 대해 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 이미지 분류 장치의 동작 방법을 설명하는 순서도이다. 도 13은 도 12의 타겟 이미지가 저장되어야 하는 디렉토리 선택 단계(S300)를 구체적으로 설명하는 순서도이다. 도 14는 도 13의 N개의 디렉토리 각각에 서로 다른 대표 이미지 등록 단계(S310)를 구체적으로 설명하는 순서도이다. 도 15는 도 13의 분류 모델 이용하여 디렉토리 선택(S380)을 구체적으로 설명하는 순서도이다.
먼저, 도 1 및 도 12를 참조하면, 타겟 이미지를 생성한다(S100).
구체적으로, 촬영 모듈(100)을 이용하여 타겟을 촬영하여 타겟 이미지(IMAGE)를 생성할 수 있다. 또한 촬영 모듈(100)은 타겟 이미지(IMAGE)를 저장 모듈(120) 및 프로세서(140)로 제공할 수 있다.
다음으로, 제1 컨텐츠 정보를 추출한다(S200).
구체적으로, 프로세서(140)는 제공 받은 타겟 이미지(IMAGE)로부터 제1 컨텐츠 정보를 추출하여 타겟 이미지(IMAGE)를 제1 컨텐츠 정보 및 제1 환경 정보를 포함하는 벡터 형태로 변환할 수 있다. 여기에서, 제1 컨텐츠 정보는 타겟 이미지(IMAGE)로부터 추출한 컨텐츠 정보이고, 제1 환경 정보는 타겟 이미지(IMAGE)와 관련된 환경 정보일 수 있다.
이어서, 타겟 이미지(IMAGE)가 저장되어야 하는 디렉토리를 선택한다(S300). 도 13을 참조하여, S300을 보다 구체적으로 설명하도록 한다.
먼저, N개의 디렉토리 각각에 서로 다른 대표 이미지를 등록한다(S310).
도 14를 참조하여, N개의 디렉토리 각각에 서로 다른 대표 이미지를 등록하는 방법에 대해 보다 구체적인 순서도가 도시되어 있다.
먼저, N개의 디렉토리 각각에 서로 다른 대표 이미지를 저장한다(S320).
구체적으로, N개의 디렉토리는 각각 사용자에 의해 정의되고, 사용자는 각각의 디렉토리의 특징을 대표할 수 있는 대표 이미지를 선정하여 각 디렉토리에 저장할 수 있다.
다음으로, 제2 컨텐츠 정보를 추출한다(S330).
구체적으로, 프로세서(140)는 N개의 디렉토리 각각에 저장된 대표 이미지로부터 제2 컨텐츠 정보를 추출하여 대표 이미지(R-IMAGE)를 제2 컨텐츠 정보 및 제2 환경 정보를 포함하는 벡터 형태로 변환할 수 있다. 여기에서, 제2 컨텐츠 정보는 대표 이미지(R-IMAGE)로부터 추출한 컨텐츠 정보이고, 제2 환경 정보는 대표 이미지(R-IMAGE)와 관련된 환경 정보일 수 있다.
이어서, 대표 이미지를 벡터 형태로 변환한다(S340).
구체적으로, 프로세서(140)는 대표 이미지를 제2 컨텐츠 정보 및 제2 환경 정보를 포함하는 벡터 형태로 변환할 수 있다. 이와 같이 N개의 디렉토리 각각에 저장된 대표 이미지를 벡터 형태로 변환함으로써 대표 이미지를 각 디렉토리에 등록할 수 있다.
다시 도 13을 참조하면, 분류 모델을 생성한다(S360).
구체적으로, 벡터 형태로 변환된 대표 이미지와 N개의 디렉토리를 기초로 분류 모델을 생성할 수 있다. 분류 모델을 생성하는 방법에 대해서는 앞서 도 7에서 자세히 설명한바, 생략하도록 한다.
다음으로 분류 모델을 이용하여 디렉토리를 선택한다(S380).
구체적으로, 분류 모델과 벡터 형태로 변환된 타겟 이미지 간의 행렬 연산을 통해 타겟 이미지가 저장되어야 하는 디렉토리를 선택할 수 있다.
분류 모델을 이용하여 디렉토리를 선택하는 단계(S380)에 대한 보다 구체적인 설명은 도 15를 참조하여 설명하도록 한다.
도 15를 참조하면, 먼저 타겟 이미지를 벡터 형태로 변환한다(S390).
구체적으로, 프로세서(140)는 제1 컨텐츠 정보 및 제1 환경 정보를 포함하도록 타겟 이미지를 벡터 형태로 변환할 수 있다.
다음으로, 적합도 값을 계산한다(S400).
구체적으로, 분류 모델과 벡터 형태로 변환된 타겟 이미지 간의 행렬 연산을 통해 타겟 이미지에 대한 N개의 디렉토리 각각의 적합도 값을 계산할 수 있다. 적합도 값을 연산하는 방법에 대해서는 앞서 도 8에서 설명한바, 생략하도록 한다.
이어서, 가장 높은 적합도 값을 가지는 디렉토리를 선택한다(S410).
구체적으로, N개의 디렉토리 중 타겟 이미지에 대해 가장 높은 적합도 값을 가지는 디렉토리를 타겟 이미지가 저장되어야 하는 디렉토리로 선택할 수 있다.
이와 같은 과정을 거쳐서 선택된 디렉토리에 관한 정보는 스크린(200)을 통해 디스플레이되어 사용자에게 추천되고, 만약 사용자가 선택된 디렉토리에 타겟 이미지를 저장할 것을 결정한다면, 해당 디렉토리로 타겟 이미지는 저장될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 촬영 모듈 120: 저장 모듈
140: 프로세서 160: 센서
180: 스크린 구동 모듈 200: 스크린

Claims (10)

  1. 타겟을 촬영하여 타겟 이미지를 생성하는 촬영 모듈;
    상기 타겟 이미지와 관련된 제1 환경 정보를 감지하는 센서;
    상기 타겟 이미지를 저장하는 N개의 디렉토리(N은 자연수)를 포함하는 저장 모듈; 및
    상기 타겟 이미지로부터 제1 컨텐츠 정보를 추출하고, 상기 제1 컨텐츠 정보와 상기 제1 환경 정보를 기초로 상기 N개의 디렉토리 중 상기 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 프로세서를 포함하는 이미지 분류 장치.
  2. 제 1항에 있어서,
    상기 제1 환경 정보는 상기 타겟 이미지의 외적 요인에 의해 획득되는 정보를 포함하는 이미지 분류 장치.
  3. 제 1항에 있어서,
    상기 제1 컨텐츠 정보는 상기 타겟 이미지 그 자체로부터 획득되는 정보를 포함하는 이미지 분류 장치.
  4. 제 1항에 있어서,
    상기 N개의 디렉토리는 사용자에 의해 정의되고, 상기 N개의 디렉토리 각각에는 서로 다른 대표 이미지가 등록되는 이미지 분류 장치.
  5. 제 4항에 있어서,
    상기 프로세서는,
    상기 N개의 디렉토리 각각에 저장된 서로 다른 대표 이미지를 벡터 형태로 변환하는 제1 서브 프로세서와,
    상기 벡터 형태로 변환된 대표 이미지 및 상기 N개의 디렉토리를 기초로 분류 모델을 생성하는 제2 서브 프로세서를 포함하는 이미지 분류 장치.
  6. 제 5항에 있어서,
    상기 제1 서브 프로세서는,
    상기 타겟 이미지를 상기 제1 컨텐츠 정보와 상기 제1 환경 정보를 포함하는 벡터 형태로 변환하는 이미지 분류 장치.
  7. 제 6항에 있어서,
    상기 프로세서는,
    상기 분류 모델과 상기 벡터 형태로 변환된 타겟 이미지를 이용하여 상기 N개의 디렉토리 중 상기 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 제3 서브 프로세서를 더 포함하는 이미지 분류 장치.
  8. 제 1항에 있어서,
    상기 프로세서는 상기 촬영 모듈로부터 상기 타겟 이미지를 직접 제공받는 이미지 분류 장치.
  9. 이미지가 저장되는 N개의 디렉토리(N은 자연수) 각각에 대표 이미지가 등록될 수 있도록 사용자로부터 입력을 제공받는 인터페이서;
    상기 인터페이서로부터 제1 명령을 제공 받고, 상기 제1 명령을 토대로 타겟을 촬영하여 타겟 이미지를 생성하는 카메라;
    상기 인터페이서로부터 상기 제1 명령과 다른 제2 명령을 제공 받아 분류 모델을 생성하고, 상기 분류 모델을 이용하여 상기 N개의 디렉토리 중 상기 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 프로세서; 및
    상기 선택된 디렉토리에 관한 정보를 가공하여 상기 인터페이서로 제공하는 출력부를 포함하되,
    상기 인터페이서는 상기 출력부로부터 제공받은 선택된 디렉토리에 관한 정보를 디스플레이하는 전자 시스템.
  10. 타겟을 촬영하여 타겟 이미지를 생성하고,
    상기 타겟 이미지로부터 제1 컨텐츠 정보를 추출하고,
    상기 제1 컨텐츠 정보와 상기 타겟 이미지와 관련된 제1 주변 환경 정보를 기초로 N개의 디렉토리(N은 자연수) 중 상기 타겟 이미지가 저장되어야 하는 디렉토리를 선택하는 것을 포함하되,
    상기 N개의 디렉토리는 사용자에 의해 정의되는 이미지 분류 장치의 동작 방법.
KR1020140070899A 2014-06-11 2014-06-11 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템 KR102223205B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140070899A KR102223205B1 (ko) 2014-06-11 2014-06-11 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템
US14/639,488 US9542623B2 (en) 2014-06-11 2015-03-05 Image classification device, method for operating the same and electronic system comprising the image classification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140070899A KR102223205B1 (ko) 2014-06-11 2014-06-11 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템

Publications (2)

Publication Number Publication Date
KR20150142317A true KR20150142317A (ko) 2015-12-22
KR102223205B1 KR102223205B1 (ko) 2021-03-08

Family

ID=54836322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140070899A KR102223205B1 (ko) 2014-06-11 2014-06-11 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템

Country Status (2)

Country Link
US (1) US9542623B2 (ko)
KR (1) KR102223205B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992553A (zh) * 2017-11-28 2018-05-04 维沃移动通信有限公司 一种多媒体文件操作方法及移动终端
CN107977431A (zh) * 2017-11-30 2018-05-01 广东欧珀移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN110753184A (zh) * 2019-10-17 2020-02-04 广东小天才科技有限公司 一种基于位置状态的拍摄方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111428A1 (en) * 2008-11-04 2010-05-06 Jie Yu Event recognition using image and location information
KR20110000856A (ko) * 2009-06-29 2011-01-06 주식회사 엠씨넥스 영상 처리 장치
US20130212094A1 (en) * 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633678A (en) * 1995-12-20 1997-05-27 Eastman Kodak Company Electronic still camera for capturing and categorizing images
JP4226814B2 (ja) 2001-08-30 2009-02-18 富士フイルム株式会社 画像情報管理方法及びシステム
US7035467B2 (en) 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
JP2003281163A (ja) 2002-03-26 2003-10-03 Canon Inc 画像処理装置及び画像処理方法、記憶媒体
JP2006086801A (ja) 2004-09-16 2006-03-30 Konica Minolta Photo Imaging Inc デジタルカメラ及び記録プログラム
JP4614130B2 (ja) 2005-08-26 2011-01-19 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR100705177B1 (ko) 2006-01-09 2007-04-06 엘지전자 주식회사 이동통신 단말기 및 이를 이용한 사진영상 분류 방법
KR101203516B1 (ko) 2006-08-22 2012-11-21 엘지전자 주식회사 휴대용 단말기 및 그의 영상이미지 파일 관리방법
JP2011516966A (ja) 2008-04-02 2011-05-26 グーグル インコーポレイテッド デジタル画像集合内に自動顔認識を組み込む方法および装置
KR20100026724A (ko) 2008-09-01 2010-03-10 삼성전자주식회사 휴대단말의 촬영 데이터 관리 방법 및 장치
US8611677B2 (en) 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8478052B1 (en) * 2009-07-17 2013-07-02 Google Inc. Image classification
US8533134B1 (en) 2009-11-17 2013-09-10 Google Inc. Graph-based fusion for video classification
US8452778B1 (en) 2009-11-19 2013-05-28 Google Inc. Training of adapted classifiers for video categorization
KR20120064577A (ko) 2010-12-09 2012-06-19 한국전자통신연구원 부가정보를 이용한 자동 사진분류방법 및 장치
US8503792B2 (en) 2010-12-17 2013-08-06 Sony Corporation Patch description and modeling for image subscene recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111428A1 (en) * 2008-11-04 2010-05-06 Jie Yu Event recognition using image and location information
KR20110000856A (ko) * 2009-06-29 2011-01-06 주식회사 엠씨넥스 영상 처리 장치
US20130212094A1 (en) * 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning

Also Published As

Publication number Publication date
US9542623B2 (en) 2017-01-10
KR102223205B1 (ko) 2021-03-08
US20150363430A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
US9811910B1 (en) Cloud-based image improvement
US9491366B2 (en) Electronic device and image composition method thereof
US10015374B2 (en) Image capturing apparatus and photo composition method thereof
KR101725884B1 (ko) 이미지들에 대한 자동 프로세싱
US8626782B2 (en) Pattern identification apparatus and control method thereof
US10452953B2 (en) Image processing device, image processing method, program, and information recording medium
US9554060B2 (en) Zoom images with panoramic image capture
KR102121529B1 (ko) 디지털 영상 처리 방법 및 디지털 영상 처리 장치
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
US20230245441A9 (en) Image detection method and apparatus, and electronic device
US10880478B2 (en) Camera, system and method of selecting camera settings
KR20150142317A (ko) 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템
WO2015064292A1 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム
CN110996078A (zh) 图像获取方法、终端及可读存储介质
JP2013254151A (ja) 画像処理装置および画像処理方法
JP2015069580A (ja) 人物画像分類装置、人物画像分類方法、及び、プログラム
CN110313001A (zh) 照片处理方法、装置及计算机设备
KR20150011714A (ko) 영상 방향 판단 장치
JP6132996B1 (ja) 画像処理装置，画像処理方法，画像処理プログラム
KR101754993B1 (ko) 증강 현실을 이용한 포토존 촬영 장치
CN115509351B (zh) 一种感官联动情景式数码相框交互方法与系统
CN109660712A (zh) 选择视频序列的帧的方法、系统和装置
JP6652911B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
US20230088309A1 (en) Device and method for capturing images or video
JP7211496B2 (ja) 教師データ生成装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right