KR20140019630A - 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체 - Google Patents

이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체 Download PDF

Info

Publication number
KR20140019630A
KR20140019630A KR1020120086003A KR20120086003A KR20140019630A KR 20140019630 A KR20140019630 A KR 20140019630A KR 1020120086003 A KR1020120086003 A KR 1020120086003A KR 20120086003 A KR20120086003 A KR 20120086003A KR 20140019630 A KR20140019630 A KR 20140019630A
Authority
KR
South Korea
Prior art keywords
image
additional information
user
tagging
information
Prior art date
Application number
KR1020120086003A
Other languages
English (en)
Other versions
KR101993241B1 (ko
Inventor
최형탁
최원종
권오훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020120086003A priority Critical patent/KR101993241B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to BR112015002638A priority patent/BR112015002638A2/pt
Priority to EP13179427.3A priority patent/EP2696347B1/en
Priority to MX2015001647A priority patent/MX348693B/es
Priority to AU2013300316A priority patent/AU2013300316B2/en
Priority to US13/959,859 priority patent/US10191616B2/en
Priority to CN201310338529.XA priority patent/CN103577102B/zh
Priority to RU2015103859A priority patent/RU2015103859A/ru
Priority to PCT/KR2013/007065 priority patent/WO2014025185A1/en
Publication of KR20140019630A publication Critical patent/KR20140019630A/ko
Application granted granted Critical
Publication of KR101993241B1 publication Critical patent/KR101993241B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title

Abstract

본 발명은 이미지에 포함된 오브젝트에 대한 부가 정보를 이미지에 태깅하고, 태깅된 부가 정보를 이용하여 이미지를 검색하는 방법 및 시스템, 기기와 그 기록 매체를 제공한다. 본 발명에 따른 이미지에 대한 부가 정보 태깅 방법은, 디스플레이된 이미지에 포함된 오브젝트를 인식하고, 사용자로부터 오브젝트에 대한 부가 정보를 입력 받고, 입력 받은 부가 정보를 디스플레이된 이미지에 태깅하는 단계들을 포함한다.

Description

이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체{Method and system for tagging and searching additional information about image, apparatus and computer readable recording medium thereof}
본 발명은 이미지 검색에 관한 것으로, 특히, 이미지에 정보를 태깅(tagging)하고, 태깅된 정보를 이용하여 이미지를 검색(searching) 방법과 시스템, 기기와 그 기록 매체에 관한 것이다.
스마트 폰, 핸드 헬드 PC(hand-held Personal Computer), 태블릿(tablet) PC, 스마트 TV(Television)와 같은 기기뿐 아니라 클라우드 서버(cloud server)에 많은 량의 이미지를 저장하는 사용자가 증가하고 있다.
따라서 원하는 이미지를 빠르고 용이하게 검색하기 위하여, 사용자가 이미지를 상세하게 분류하여 저장하여야 하는 번거로움이 있다. 그러나 상술한 바와 같이 이미지를 상세하게 분류하여 저장하여도 원하는 오브젝트(object)를 포함하는 이미지를 검색하기 위해서, 사용자는 이미지를 일일이 열어보고 확인하여야 한다. 이로 인하여 많은 량의 이미지를 저장하고 있는 사용자 입장에서는 원하는 오브젝트를 포함하는 이미지를 검색하는데 어려움을 겪을 수 있다.
본 발명이 해결하고자 하는 과제는 이미지에 포함된 오브젝트에 기초한 부가 정보를 이미지에 태깅하는 방법 및 시스템, 기기와 그 기록 매체를 제공하는데 있다.
본 발명이 해결하고자 하는 다른 과제는 오브젝트에 기초하여 이미지에 태깅된 정보를 이용하여 이미지를 검색하는 방법 및 시스템, 기기와 그 기록 매체를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법은, 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하는 단계; 상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받는 단계; 및 상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 단계를 포함하는 것이 바람직하다.
상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계는, 상기 인식된 적어도 하나의 오브젝트에 대한 사용자의 선택신호를 수신하는 단계를 포함하는 것이 바람직하다.
상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계는, 상기 적어도 하나의 부가 정보를 입력할 수 있는 그래피컬 사용자 인터페이스(GUI) 오브젝트를 디스플레이 하는 단계; 및 상기 그래피컬 사용자 인터페이스 오브젝트를 통해 입력되는 부가 정보를 상기 선택된 오브젝트에 관련된 부가 정보로 입력 받는 단계를 더 포함하는 것이 바람직하다.
상기 인식된 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계는, 상기 적어도 하나의 오브젝트를 인식하는 단계에서 인식된 적어도 하나의 오브젝트에 대한 터치가 감지됨에 따라 상기 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계를 포함하는 것이 바람직하다.
상기 인식된 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계는, 상기 적어도 하나의 오브젝트를 인식하는 단계에서 인식된 복수의 오브젝트에 대한 멀티 터치가 감지됨에 따라 상기 복수의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계를 포함하는 것이 바람직하다.
상기 적어도 하나의 오브젝트를 인식하는 단계는 상기 인식된 오브젝트를 나타내는 정보를 상기 디스플레이된 이미지상에 디스플레이 하는 단계를 포함하는 것이 바람직하다.
상기 인식된 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계는, 상기 디스플레이된 이미지상에서 터치 앤 드래그에 의해 영역이 설정됨에 따라 상기 설정된 영역에 포함된 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계를 포함하는 것이 바람직하다.
상기 이미지에 대한 부가 정보 태깅 방법은, 상기 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 단계를 더 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 예에 따른 기기는, 적어도 하나의 외부 기기와 통신하는 통신부; 이미지에 대한 부가 정보 태깅 프로그램 및 이미지에 대한 부가 정보 태깅에 관련된 정보를 저장하는 저장부; 사용자의 입력 정보를 수신하고, 사용자 인터페이스 오브젝트 및 상기 이미지에 대한 부가 정보 태깅 프로그램의 실행에 따른 정보를 출력하는 입출력부; 및 상기 입출력부를 통해 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 상기 입출력부를 통해 상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받고, 상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 프로세서를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 예에 따른 기기는, 터치 기반 사용자 입력 정보를 수신하고, 디스플레이된 이미지에 대한 부가 정보 태깅에 관련된 정보를 디스플레이 하는 터치 스크린; 상기 터치 스크린을 제어하여 사용자 인터페이스를 제공하는 적어도 하나의 프로세서; 적어도 하나의 외부 기기와 통신하는 통신부; 상기 프로세서에 의해 실행 가능하도록 구성된 적어도 하나의 프로그램과 상기 디스플레이된 이미지에 대한 부가 정보 태깅에 관련된 정보를 저장하는 저장부를 포함하고, 상기 프로그램은, 상기 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받고, 상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 명령어들을 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 에에 따른 이미지에 대한 부가 정보 태깅 시스템은, 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받고, 상기 입력 받은 부가 정보를 상기 이미지에 태깅하고, 상기 오브젝트를 포함하는 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 기기; 및 상기 다른 이미지를 저장하는 적어도 하나의 외부 기기를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법은, 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트에 대한 사용자의 의도를 나타내는 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계; 상기 입력 받은 적어도 하나의 부가 정보를 상기 이미지에 태깅하는 단계; 및 상기 적어도 하나의 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 단계를 포함하는 것이 바람직하다.
상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계는 상기 디스플레이된 이미지에 포함된 복수의 오브젝트에 대한 사용자의 선택 신호를 수신하는 단계; 상기 적어도 하나의 부가 정보를 입력할 수 있는 입력 창을 디스플레이 하는 단계; 및 상기 입력 창을 통해 입력되는 부가 정보를 상기 복수의 오브젝트를 포함하는 오브젝트 그룹에 대한 부가 정보로 입력 받는 단계를 포함하는 것이 바람직하다.
상기 다른 이미지는 얼굴 인식 기술과 매칭 기술, 물체 인식 기술과 매칭 기술, 문자 인식 기술과 매칭 기술, 윤곽선 검출 기술과 매칭 기술, 및 특징점 검출 기술과 매칭 기술중 적어도 하나에 기초하여 검출되는 것이 바람직하다.
상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계는 상기 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트에 대한 사용자의 선택 신호를 수신하는 단계; 상기 적어도 하나의 부가 정보를 입력할 수 있는 입력 창을 디스플레이 하는 단계; 및 상기 입력 창을 통해 입력되는 부가 정보를 상기 적어도 하나의 오브젝트에 대한 부가 정보로 입력 받는 단계를 포함하는 것이 바람직하다.
상기 디스플레이된 이미지에 포함된 상기 적어도 하나의 오브젝트에 대한 사용자의 선택 신호는 상기 오브젝트에 대한 터치가 감지되거나 복수의 오브젝트에 대한 멀티 터치가 감지되거나 복수의 오브젝트에 대한 터치 앤 드래그에 따른 영역 설정이 감지되거나 상기 오브젝트의 선택을 나타내는 사용자의 공간 제스처가 인식됨에 따라 수신되는 바람직하다.
상기 입력 창을 디스플레이 하는 단계는, 하나의 문자가 입력될 때마다 선택 가능한 적어도 하나의 완성된 부가 정보를 디스플레이 하는 단계를 포함하는 것이 바람직하다.
상기 이미지에 상기 부가 정보를 태깅하는 단계 및 상기 다른 이미지에 상기 부가 정보를 태깅하는 단계는 각각 해당되는 이미지의 메타 데이터에 부가 정보를 포함시키는 방식으로 수행되는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 바람직한 실시 예에 따른 기기는, 적어도 하나의 외부 기기와 통신하는 통신부; 이미지에 대한 부가 정보 태깅 프로그램 및 부가 정보 태깅에 관련된 정보를 저장하는 저장부; 사용자의 입력 정보를 수신하고, 사용자 인터페이스 오브젝트 및 상기 이미지에 대한 부가 정보 태깅 프로그램 실행에 따른 정보를 출력하는 입출력부; 및 상기 입출력부를 통해 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트에 대한 사용자의 의도를 나타내는 적어도 하나의 부가 정보를 상기 입출력부를 통해 상기 사용자로부터 입력 받고, 상기 입력 받은 적어도 하나의 부가 정보를 상기 이미지에 태깅하고, 상기 적어도 하나의 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 프로세서를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 실시 예에 따른 기기는, 터치 기반 사용자 입력 정보를 수신하고, 이미지에 대한 부가 정보 태깅에 관련된 정보를 디스플레이 하는 터치 스크린; 상기 터치 스크린을 제어하여 사용자 인터페이스를 제공하는 적어도 하나의 프로세서; 적어도 하나의 외부 기기와 통신하는 통신부; 상기 프로세서에 의해 실행 가능하도록 구성된 적어도 하나의 프로그램과 상기 이미지에 대한 부가 정보 태깅에 관련된 정보를 저장하는 저장부를 포함하고, 상기 프로그램은, 상기 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 인식된 적어도 하나의 오브젝트에 대한 사용자의 의도를 나타내는 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받고, 상기 입력 받은 적어도 하나의 부가 정보를 상기 이미지에 태깅하고, 상기 적어도 하나의 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 적어도 하나의 부가 정보를 자동으로 태깅하는 명령어들을 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 실시 예에 따른 이미지에 대한 부가 정보 태깅 시스템은, 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트에 대한 사용자의 의도를 나타내는 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받고, 상기 입력 받은 적어도 하나의 부가 정보를 상기 이미지에 태깅하고, 상기 적어도 하나의 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 기기; 및 상기 다른 이미지를 저장하는 적어도 하나의 외부 기기를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 실시 예에 따른 이미지 검색 방법은, 이미지에 포함된 적어도 하나의 오브젝트를 인식하는 단계; 상기 인식된 적어도 하나의 오브젝트에 대한 사용자의 의도를 나타내는 적어도 하나의 부가 정보를 사용자로부터 입력 받는 단계; 상기 입력 받은 적어도 하나의 부가 정보를 상기 이미지에 태깅하는 단계; 상기 적어도 하나의 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 단계; 및 상기 부가 정보에 기초한 검색 요청에 따라 상기 부가 정보가 태깅된 상기 이미지 및 상기 다른 이미지를 검색하여 디스플레이 하는 단계를 포함하는 것이 바람직하다.
상기 과제를 달성하기 위한 본 발명의 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 이미지에 대한 부가 정보 태깅 방법은 상술한 이미지에 대한 부가 정보 태깅 방법과 같이 수행된다.
상기 과제를 달성하기 위한 본 발명의 실시 예에 따른 이미지 검색 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 이미지 검색 방법은 상술한 이미지 검색 방법과 같이 수행된다.
도 1은 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 시스템의 구성도이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법의 동작 흐름도이다.
도 3a는 본 발명의 바람직한 일 실시 예에 따른 이미지에 포함된 오브젝트에 대한 부가 정보를 입력하고, 태깅 범위를 설정하는 화면의 예이다.
도 3b는 본 발명의 바람직한 일 실시 예에 따른 이미지에 포함된 복수의 오브젝트를 포함하는 오브젝트 그룹에 대한 부가 정보를 입력하는 화면과 태깅 범위를 설정하는 화면의 예이다.
도 4는 도 3a에 도시된 부가 정보 입력 창에 기초하여 부가 정보가 입력되는 과정에 대한 화면의 예이다.
도 5는 본 발명의 바람직한 실시 예에 따른 제 1 기기의 기능 블록도의 일 예이다.
도 6은 도 5에 도시된 저장부에 저장되는 프로그램 및/또는 명령어 세트의 예이다.
도 7은 본 발명의 바람직한 실시 예에 따른 제 1 기기의 기능 블록도의 다른 예이다.
도 8은 본 발명의 바람직한 실시 예에 따른 제 1 기기의 기능 블록도의 또 다른 예이다.
도 9는 본 발명의 바람직한 일 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법의 동작 흐름도이다.
도 10은 도 9의 동작 흐름도에서 이미지에 부가 정보를 태깅하는 과정에 대한 상세한 동작 흐름도이다.
도 11은 도 9의 동작 흐름도에서 다른 이미지에 부가 정보를 자동 태깅하는 과정에 대한 상세한 동작 흐름도이다.
도 12는 도 11의 다른 이미지를 검출하는 과정에 대한 상세한 동작 흐름도이다.
도 13은 본 발명의 바람직한 일 실시 예에 따른 이미지 검색 방법의 동작 흐름도이다.
도 14는 본 발명의 바람직한 일 실시 예에 따른 이미지 검색 과정에 대한 화면의 예시도이다.
도 15는 본 발명의 바람직한 일 실시 예에 따른 이미지 검색 방법의 동작 흐름도이다.
도 16은 본 발명의 바람직한 다른 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법에 대한 동작 흐름도이다.
도 17a 내지 도 17f는 도 16의 동작 흐름도를 설명하기 위한 화면의 예이다.
도 18은 본 발명의 바람직한 또 다른 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법에 대한 동작 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. 본 출원에서 제시한 화면들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 예를 들어 명세서 전반에서의 컨텐트는 컨텐츠를 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전반에서 언급되는 이미지는 적어도 하나의 오브젝트를 포함한다. 이미지는 적어도 하나의 오브젝트를 포함하는 이미지 컨텐트 또는 컨텐트로 표현될 수 있다. 오브젝트는 사람, 사물, 동물, 꽃, 건축물, 풍경, 및 음식 등을 포함할 수 있으나 이로 제한되지 않는다. 이미지는 사진과 같은 정지 영상과 동영상에서 추출된 프레임단위의 이미지를 포함할 수 있다.
명세서 전반에서 언급되는 부가 정보는 이미지에 포함된 적어도 하나의 오브젝트에 대한 사용자의 의도를 나타내는 정보이다. 따라서 부가 정보는 이미지에 포함된 오브젝트에 대한 사용자의 생각과 관련성이 높다. 부가 정보는 이미지에 대한 검색용 키워드(keyword)로 이용될 수 있다. 복수의 오브젝트를 포함하는 이미지의 경우에도 복수의 오브젝트를 그룹핑하고, 오브젝트 그룹에 포함된 각 오브젝트에 대한 사용자의 의도를 나타내는 부가 정보 또는 그룹핑된 오브젝트에 대한 사용자의 의도를 나타내는 부가 정보를 이미지에 붙여줄 수 있다. 예를 들어 복수의 오브젝트를 하나의 오브젝트 그룹으로 그룹핑하고, 오브젝트 그룹에 대한 사용자의 의도를 나타내는 하나의 부가 정보를 이미지에 붙여줄 수 있다.
그러므로 부가 정보를 이용하여 이미지를 검색할 경우에, 원하는 오브젝트를 포함하는 이미지 또는 원하는 복수의 오브젝트들을 포함하는 오브젝트 그룹을 포함하는 이미지를 검색할 수 있다. 예를 들어 상술한 바와 같이 이미지에 포함된 복수의 오브젝트를 하나의 오브젝트 그룹으로 그룹핑하고, 하나의 부가 정보를 태깅하고, 태깅된 하나의 부가 정보를 이용하여 검색할 경우에 상술한 복수의 오브젝트를 포함한 이미지만 검색할 수 있다. 태깅은 부가 정보를 이미지에 붙여 주는 기기의 동작을 의미한다. 부가 정보는 태그 정보로 언급될 수 있다.
부가 정보는 그래피컬 사용자 인터페이스 오브젝트(Graphical User Interface Object)를 통해 입력될 수 있다. 본 발명의 바람직한 실시 예에 따른 그래피컬 사용자 인터페이스 오브젝트는 사용자와 기기간의 인터페이스에 필요한 오브젝트이다. 예를 들어 그래피컬 사용자 인터페이스 오브젝트는 문자 또는/및 숫자 정보로 표현된 부가 정보를 입력할 수 있는 입력 창, 가상 키보드, 사용자의 음성 신호 입력의 활성화 상태를 안내하는 안내 창 등을 포함할 수 있으나 이로 제한되지 않는다.
명세서 전반에서 언급되는 사용자의 입력 정보는 사용자의 제스처(gesture), 사용자의 음성 신호, 터치 도구를 이용하여 표현된 텍스트 및 이미지, 물리적인 버튼 제어에 의존할 수 있다.
사용자의 제스처는 입력 장치에 따라 다양하게 정의될 수 있다. 즉, 입력 장치가 터치스크린 기반일 때, 사용자의 제스처는 예를 들어 탭(tap), 터치 앤 홀드(touch and hold), 더블 탭(double tap), 드래그(drag), 터치 앤 드래그, 패닝(panning), 플릭(flick), 드래그 앤 드롭(drag and drop), 및 스윕(sweep) 등 터치스크린에 대한 사용자의 터치 기반 동작(motion)을 포함할 수 있으나 이로 제한되지 않는다.
터치스크린에 대한 사용자의 터치는 사용자의 손가락 또는 터치 도구를 이용하여 수행될 수 있다. 터치 도구로는 예를 들어, 스타일러스가 있으나 이로 제한되지 않는다. 터치 도구는 외부 입력 장치로 언급될 수 있다.
입력 장치가 모션 센서 기반일 때, 사용자의 입력 정보는 사용자에 의한 기기의 움직임 기반의 사용자의 제스처에 의존할 수 있다. 상기 기기의 움직임은 예를 들어 기기 흔들기, 및 기기 치기 등을 포함할 수 있다. 모션 센서는 가속도 센서, 지자기 센서, 자이로 센서, 및 방향(orientation) 센서를 포함한다.
입력 장치가 카메라 기반일 때, 사용자의 입력 정보는 사용자의 얼굴 인식 기반 인증 정보 및 상술한 사용자의 손 기반의 사용자의 제스처 정보를 포함할 수 있다. 손 기반의 사용자의 제스처는 카메라를 이용하여 촬영된 영상 기반의 공간 제스처(space gesture)를 포함할 수 있다. 즉, 사용자의 입력 정보에 관련된 손 기반의 사용자의 제스처는 카메라를 이용하여 촬영된 손의 이동 방향 또는 손짓에 따른 공간 제스처 또는 공간 동작에 기초할 수 있다.
예를 들어 손의 이동 방향에 따라 화면상의 포인팅 위치가 변경되고 주먹을 쥘 경우에 화면상의 포인팅 위치가 결정될 수 있다. 결정된 위치에 복수의 이미지가 모여 있고, 주먹 쥐었던 손이 펼쳐지면서 이동되면, 손이 펼쳐지면서 이동되는 방향으로 복수의 이미지가 화면상에 흩어져 디스플레이 될 수 있다. 이와 같이 이미지가 화면상에 흩어져 디스플레이 된 후, 손이 시계 반대 방향으로 원을 그리면 뒤로 가기(return) 기능이 수행되어 복수의 이미지가 이전 화면과 같이 한 곳에 모인 화면이 디스플레이 될 수 있다. 카메라는 이미지 센서 또는 광 센서 기반으로 구성될 수 있다.
또한, 본 발명의 바람직한 실시 예에 따라 이미지에 포함된 오브젝트의 선택을 나타내는 폐곡선을 그리는 사용자의 공간 제스처 또는 오브젝트를 포인팅하는 사용자의 공간 제스처가 카메라 기반의 사용자 입력 정보로서 입력될 수 있다.
입력 장치가 상술한 물리적 버튼뿐 아니라 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함할 때, 유저 입력 정보는 입력 장치에 대한 사용자의 물리적인 제어에 의존할 수 있다. 입력 장치가 오디오 입력 장치 기반일 때, 사용자의 입력 정보는 자연어(natural language) 기반의 사용자의 음성 신호에 의존할 수 있다.
이하, 본 발명의 실시 예를 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 시스템(100, 이하 시스템이라고 약함)의 구성도이다. 도 1을 참조하면, 시스템(100)은 제 1 기기(110), 클라우드 서버(120), 제 2 기기(130), 및 네트워크(140)를 포함한다. 도 1에 도시된 시스템(100)은 본 발명에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 수행하기 위한 네트워크 구성도로 언급될 수 있다. 또한, 도 1에 도시된 시스템(100)은 수행되는 동작에 기초하여 이미지에 대한 부가 정보 태깅 시스템 또는 이미지 검색 시스템으로 언급될 수 있다.
제 1 기기(110)는 스마트 폰(Smart Phone), 노트북(Notebook), 태블릿(Tablet) PC(Personal Computer), 이동 단말(Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 PC, PDA(Personal Digital Assistant), 스마트 TV, 및 통신 기능 및 디스플레이 기능을 갖는 디지털 CE(Consumer Electronics) 기기 등과 같은 기기를 포함하나 이로 제한되지 않는다.
제 1 기기(110)는 제 1 기기(110)를 통해 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받는다. 부가 정보를 사용자로부터 입력 받기 전에 제 1 기기(110)는 인식된 오브젝트에 대한 사용자의 선택 신호를 수신할 수 있다. 제 1 기기(110)는 사용자로부터 입력 받은 적어도 하나의 부가 정보를 상술한 이미지에 태깅한다. 제 1 기기(110)는 상술한 적어도 하나의 오브젝트를 포함하는 다른 이미지에 사용자로부터 입력 받은 부가 정보를 자동적으로 태깅하는 기능을 갖는다. 이를 위하여 제 1 기기(110)는 이미지에 대한 부가 정보 태깅 어플리케이션을 실행하여 이미지에 대한 부가 정보 태깅 서비스를 사용자에게 제공할 수 있다.
또한, 제 1 기기(110)는 오브젝트에 기초한 부가 정보를 검색어(또는 검색 키워드)로 이용하여 이미지를 검색하고, 출력하는 기능을 갖는다. 이를 위하여 제 1 기기(110)는 이미지 검색 어플리케이션을 실행하여 이미지 검색 서비스를 사용자에게 제공할 수 있다. 이미지 검색 어플리케이션과 상술한 이미지에 대한 부가 정보 태깅 어플리케이션은 하나의 어플리케이션 또는 하나의 서비스로 구현될 수 있다.
클라우드 서버(120)는 상술한 이미지를 포함한 다양한 컨텐트 및/또는 다양한 어플리케이션을 저장할 수 있다. 클라우드 서버(120)는 클라우드 스토리지 또는 컨텐트 제공 서버 또는 어플리케이션 제공 서버 또는 클라우드로 언급될 수 있다. 클라우드 서버(120)는 복수개의 클라우드 서버로 표현될 수 있다.
클라우드 서버(120)가 상술한 제 1 기기(110)에 디스플레이된 이미지틀 저장한 경우에, 제 1 기기(110)의 요청에 따라 상술한 이미지를 제 1 기기(110)로 제공할 수 있다. 또한 클라우드 서버(120)는 상술한 다른 이미지를 저장하고, 제 1 기기(110)의 요청에 따라 상술한 다른 이미지를 검출하고, 검출된 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 기능을 가질 수 있다.
그러나 시스템(100)은 클라우드 서버(120)에서 검출된 다른 이미지를 제 1 기기(110)로 전송하고, 제 1 기기(110)에서 클라우드 서버(120)로부터 수신된 다른 이미지에 상기 부가 정보를 자동으로 태깅하도록 구현될 수 있다. 클라우드 서버(120)는 제 1 기기(110)에 연결되어 있는 외부 기기에 포함되는 것으로 언급될 수 있다.
제 2 기기(130)는 제 1 기기(110)와 같이 스마트 폰(Smart Phone), 노트북(Notebook), 태블릿(Tablet) PC(Personal Computer), 이동 단말(Mobile Device), 핸드헬드(handheld) 기기 또는 핸드헬드 PC, PDA(Personal Digital Assistant), 스마트 TV, 및 통신 기능 및 디스플레이 기능을 갖는 디지털 CE(Consumer Electronics) 기기 등과 같은 기기를 포함하나 이로 제한되지 않는다.
제 2 기기(130)는 제 1 기기(110)의 주변 기기로서 근거리 무선 통신에 의해 제 1 기기(110)와 연결될 수 있는 기기이다. 근거리 무선 통신은 예를 들어, NFC(Near Field Communication) 네트워크, 블루투스(Bluetooth) 네트워크, 및 RFID(Radio Frequency Identification) 네트워크를 포함할 수 있으나 이로 제한되지 않는다. 제 2 기기(130)는 제 1 기기(110)의 외부 기기에 포함되는 것으로 이해될 수 있다. 따라서 명세서 전반에서 언급되는 외부 기기는 클라우드 서버(120)와 제 2 기기(130)중 적어도 하나를 포함한다.
제 2 기기(130)는 상술한 제 1 기기(110)에 디스플레이된 이미지 및/또는 상술한 다른 이미지를 저장하고 있을 수 있다. 제 2 기기(130)가 상술한 제 1 기기(110)에 디스플레이된 이미지를 저장하고 있는 경우에, 제 2 기기(130)는 제 1 기기(110)의 요청에 따라 상술한 이미지를 제 1 기기(110)로 전송하고, 제 1 기기(110)는 제 2 기기(130)로부터 수신된 이미지를 상술한 바와 같이 디스플레이 하여 상술한 바와 같이 부가 정보를 태깅할 수 있다. 또한, 제 2 기기(130)가 상술한 다른 이미지를 저장하고 있는 경우에, 제 1 기기(110)의 요청에 따라 제 2 기기(130)는 상술한 다른 이미지를 검출하고, 상기 검출된 다른 이미지에 상술한 부가 정보를 자동으로 태깅할 수 있다.
그러나 시스템(100)은 제 2 기기(130)에서 검출된 다른 이미지를 제 1 기기(110)로 전송하고, 제 1 기기(110)는 제 2 기기(130)로부터 수신된 다른 이미지에 상기 부가 정보를 자동으로 태깅하도록 구현될 수 있다.
네트워크(140)는 유선 네트워크 또는/및 무선 네트워크를 포함한다. 네트워크(140)는 후술할 도 5의 통신부(503)를 설명할 때 상세하게 설명하기로 한다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법의 동작 흐름도이다. 도 2의 동작 흐름도는 도 1에 도시된 시스템(100)에 기초한다.
도 2는 제 1 기기(110)에 디스플레이 되고 있는 이미지에 포함된 적어도 하나의 오브젝트에 대한 적어도 하나의 부가 정보를 상술한 이미지에 태깅하고, 제 1 기기(110), 클라우드 서버(120), 및 제 2 기기(130)중 적어도 하나에 저장된 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 예이다.
도 3a는 본 발명의 바람직한 일 실시 예에 따른 이미지에 포함된 적어도 하나의 오브젝트에 대한 부가 정보를 입력 및 태깅 범위를 설정하는 화면의 예이다. 도 3b는 본 발명의 바람직한 일 실시 예에 따른 이미지에 포함된 복수의 오브젝트를 포함하는 오브젝트 그룹에 대한 부가 정보를 입력하는 화면과 태깅 범위를 설정하는 화면의 예이다. 도 4는 도 3a에 도시된 부가 정보 입력 창(332)에 기초하여 부가 정보가 입력되는 과정에 대한 화면의 예이다.
도 3a, 도 3b, 및 도 4를 참조하여 도 2의 동작 흐름도를 설명하면 다음과 같다. 제 1 기기(110)는 도 3a의 화면(310)과 같은 이미지(311)를 디스플레이 한다(S201). 디스플레이 되고 있는 이미지(311)는 제 1 기기(110)에서 획득되거나 생성되거나 클라우드 서버(120) 또는 제 2 기기(130)로부터 수신될 수 있으나 이로 제한되지 않는다. 디스플레이 되고 있는 이미지(311)는 상술한 바와 같이 사진과 같은 정지 영상이거나 동영상으로부터 추출된 프레임 단위의 영상일 수 있으나 이로 제한되지 않는다. 이미지(311)가 제 1 기기(110)에서 획득되거나 생성되는 경우에, 제 1 기기(110)는 캡쳐(capture) 기능을 이용하여 이미지(311)를 획득하거나 생성할 수 있다. 제 1 기기(110)의 캡쳐 기능은 카메라 프로그램 또는 스냅샷(snapshot) 프로그램과 같은 화면 캡쳐 프로그램에 의해 수행될 수 있다. 이미지(311)가 클라우드 서버(120) 또는 제 2 기기(130)로부터 수신되는 경우에, 제 1 기기(110)는 이미지(311)에 대한 요청 신호를 클라우드 서버(120) 또는 제 2 기기(130)로 전송하여 이미지(311)를 수신할 수 있다.
제 1 기기(110)는 디스플레이 되고 있는 이미지(311)에 포함된 적어도 하나의 오브젝트에 대한 사용자의 선택 신호(321)를 수신한다(S202). 도 3a의 화면(320)은 사용자의 손가락 터치 기반의 폐곡선(closed path)(321)을 하나의 오브젝트에 대한 사용자의 선택 신호(321)로 인식한 경우를 설명하기 위한 화면의 예이다. 즉, 도 3a에 도시된 화면(310)과 같은 이미지(311)가 제 1 기기(110)에 디스플레이 될 때, 사용자의 손가락 터치 기반의 폐곡선(321)이 감지되면, 제 1 기기(110)는 폐곡선(321)에 포함된 오브젝트에 대한 사용자의 선택 신호가 수신된 것으로 인식한다. 오브젝트에 대한 사용자의 선택 신호는 상술한 사용자의 손가락 터치 기반으로 제한되지 않는다. 즉, 스타일러스 터치 기반 또는 사용자의 공간 제스처 기반 등으로 오브젝트에 대한 사용자의 선택 신호는 입력될 수 있다. 또한, 오브젝트에 대한 사용자의 선택 신호는 도 3a의 화면(320)에 도시된 폐곡선(321)으로 제한되지 않고 다른 형태로 표현될 수 있다. 예를 들어 후술할 도 17e에 도시된 바와 같이 터치 앤 드래그로 디스플레이 되고 있는 이미지에 영역(1751)을 설정함에 따라 제 1 기기(110)는 설정된 영역(1751)에 포함된 복수의 오브젝트에 대한 사용자의 선택 신호를 수신할 수 있다.
도 3b는 복수의 오브젝트를 포함하는 이미지(354)가 제 1 기기(110)에 디스플레이되고 있는 화면(350)의 예이다. 복수의 오브젝트에 대한 선택 신호는 상술한 도 17e에 도시된 바와 같이 터치 앤 드래그에 의한 영역 설정에 기초하여 수신될 수 있다. 그러나 복수의 오브젝트에 대한 선택 신호는 도 3b에 도시된 바와 같이 사각형 형태의 폐곡선(351, 352, 353)에 기초하여 수신되거나 사각형 형태의 폐곡선(351, 352, 353)의 4곳의 모서리 부분이 둥근 형태로 표현된 폐곡선에 기초하여 수신되거나 4곳의 모서리 부분에 인접한 위치의 카메라 초점 영역(351’)에 기초한 대한 수신될 수 있다. 4곳의 모서리 부분에 인접한 위치의 카메라 초점 영역(351’)에 기초한 오브젝트에 대한 사용자의 선택 신호는, 예를 들어, 카메라 초점 영역(351’)라인을 포함한 카메라 초점 영역(351’)내의 임의의 위치에 대한 터치가 감지되면, 해당되는 오브젝트에 대한 사용자의 선택 신호가 수신된 것으로 인식할 수 있다. 적어도 하나의 오브젝트에 대한 선택 신호(321)가 수신되면, 제 1 기기(110)는 부가 정보를 입력할 수 있는 입력 창을 디스플레이 한다(S203). 복수의 오브젝트에 대한 선택 신호는 도 3b에 도시된 바와 같이 점선에 기초하여 수신될 수 있다.
부가 정보를 입력할 수 있는 입력 창은 도 3a의 화면(330)에 도시된 바와 같이 선택된 오브젝트에 인접한 디스플레이 위치에 팝업 창(331)에 포함되는 형태로 디스플레이 될 수 있다.
도 3a의 팝업 창(331)은 부가 정보를 입력할 수 있는 입력 창(332), 후술할 선택 가능한 태깅 범위 정보(333~338)와 입력 및 선택에 대한 확인을 나타내는 정보(339)를 포함한다. 태깅 범위 정보(333~338)는 태깅 범위를 설정할 수 있는 정보이다. 그러나 단계 S203에서 제 1 기기(110)는 선택 가능한 태깅 범위 정보(333~338)를 제외한 부가 정보 입력 창(332)과 확인을 나타내는 정보(339)를 포함하는 창을 디스플레이 할 수 있다. 만약 단계 S203에서 부가 정보 입력 창(332)과 확인을 나타내는 정보(339)를 포함하는 창이 디스플레이 될 경우에, 후술할 태깅 범위 정보 디스플레이 시, 팝업 창(331)에서 부가 정보 입력 창(332)을 제외하고 선택 가능한 태깅 범위 정보(333~338)와 입력 및 선택에 대한 확인을 나타내는 정보(339)를 포함하는 창이 디스플레이 된다. 팝업 창(331)은 이미지(311)와 멀티 창 형태로 디스플레이 될 수 있다. 팝업 창(331), 팝업 창(331)에 포함된 입력 창(332), 태깅 범위 정보(333-338), 및 확인을 나타내는 정보(339)는 그래피컬 사용자 인터페이스(Graphical User Interface, GUI)의 오브젝트(object)에 포함된다.
도 3b는 상술한 바와 같이 부가 정보 입력 창(355)과 태깅 범위 정보(333~338)를 포함하는 창을 독립적으로 디스플레이 하는 화면의 예이다. 즉, 도 3b에 도시된 바와 같이 복수의 오브젝트를 포함하는 화면(350)이 제 1 기기(110)상에 디스플레이 되고, 오브젝트들(351, 352, 353)에 대한 사용자의 선택 신호가 수신되면, 단계 S203에서 제 1 기기(110)는 부가 정보 입력 창(355)을 디스플레이 한다.
제 1 기기(110)에 도 3a에 도시된 바와 같이 부가 정보 입력 창(332)이 디스플레이 되고, 부가 정보 입력 창(332)을 통해 부가 정보가 입력되면(S204), 제 1 기기(110)는 입력된 부가 정보를 이미지에 태깅한다(S205). 입력 창(332)을 통해 입력되는 부가 정보는 사용자의 의도를 나타내는 임의의 정보가 입력될 수 있다. 그러나 도 4에 도시된 바와 같이 입력 창(332)에 하나의 문자가 입력될 때마다 완성된 부가 정보가 디스플레이 되고, 디스플레이 되는 완성된 부가 정보에 기초하여 선택된 부가 정보가 입력될 수 있다.
도 4의 화면(410)은 입력 창(332)에 하나의 문자 “C”가 입력됨에 따라 선택 가능한 완성된 부가 정보 “CHOAN, CHOSUN, CYWORLD"를 포함하는 완성된 부가 정보 창(412)이 추가로 디스플레이 되고, 이를 기초로 선택된 ”CHOAN"이 부가 정보로 입력된다. 다음, 화면(420)에 도시된 바와 같이 콤마(,)를 입력하고, “F"가 입력됨에 따라 선택 가능한 완성된 부가 정보인 ”First Daughter, First Meeting"을 포함하는 완성된 부가 정보 창(422)이 추가로 디스플레이 되고, 이를 기초로 선택된 “First Daughter"가 부가 정보로서 입력되어 제 1 기기(110)에 화면(430)이 디스플레이 된다.
도 4의 경우에 하나의 오브젝트에 두 개의 부가 정보가 입력되고, 두 개의 부가 정보를 구분하기 위해 콤마(,)를 사용한 예이다. 그러나 두 개의 부가 정보를 구분하기 위해 두 칸 이상 띄어쓰기를 이용하도록 구현될 수 있다. 두 칸 이상 띄어쓰기를 이용하는 것은 한 칸 띄어쓰기를 포함하는 부가 정보와 구별하기 위한 것이다. 두 개의 부가 정보를 구분하기 위한 것은 상술한 콤마와 두 칸 이상 띄어 쓰기로 제한되지 않는다. 예를 들어 두 개의 부가 정보를 구분하기 위해 슬레쉬(/) 등이 이용될 수 있다. 또한, 복수의 오브젝트를 포함하는 하나의 오브젝트 그룹에 적어도 하나의 부가 정보가 도 4에 도시된 바와 같이 입력될 수 있다.
도 4에 도시된 바와 같이 제공되는 완성된 부가 정보는 제 1 기기(110)에서 이미지에 대한 부가 정보 태깅 방법을 수행할 때 적어도 1회 이상 입력된 부가 정보와 제 1 기기(110)에 사전에 저장된 부가 정보중 적어도 하나를 포함한다. 제 1 기기(110)에 사전에 저장된 부가 정보는 입력된 부가 정보를 포함하도록 업데이트 될 수 있다.
도 3b의 경우에, 제 1 기기(110)는 부가 정보 입력 창(355)를 통해 복수의 오브젝트를 포함하는 하나의 오브젝트 그룹에 대한 사용자의 의도를 나타내는 적어도 하나의 부가 정보를 입력 받을 수 있다. 도 3a 및 도 4에서 상술한 바와 같이 하나의 오브젝트 그룹에 대해 사용자로부터 복수개의 부가 정보를 입력 받을 수 있으나 하나의 부가 정보를 입력 받을 수 있다. 예를 들어, ‘가족’ 또는 ‘동료’와 같은 정보를 부가 정보로서 입력 받을 수 있다.
입력된 부가 정보를 제 1 기기(110)에 디스플레이된 이미지(311, 354)에 태깅하는 것은 입력된 부가 정보를 이미지(311, 354)의 메타 데이터에 포함시키는 방식으로 수행될 수 있다. 예를 들어 이미지(311, 354)의 EXIF(EXchangable Image File format)에 입력된 부가 정보를 삽입하는 방식으로 상기 입력된 부가 정보를 이미지(311, 354)에 태깅할 수 있다. EXIF는 이미지가 생성된 날짜 정보, 위치 정보, 생성자 정보, 이미지의 크기(image size), 및 이미지 생성시 이미지를 생성한 기기의 동작 조건 정보 등을 포함할 수 있다. 만약 이미지를 생성한 기기가 디지털 카메라인 경우에 상술한 동작 조건 정보는 노출 시간(exposure time), 촬영 프로그램(Exposure program), 렌즈 초첨 길이(Focus length), 조리개 수치(F-number), 셔터 스피드(Shutter Speed), 플래시 사용 여부 등을 포함할 수 있으나 이로 제한되지 않는다.
따라서 제 1 기기(110)에 디스플레이 되고 있는 이미지가 디지털 카메라 또는 제 1 기기(110)의 카메라 기능 또는 캡쳐 프로그램을 이용하여 획득되거나 생성된 경우에, 제 1 기기(110)는 부가 정보를 상술한 정보들을 포함하고 있는 EXIT에 포함되도록 태깅한다. 이 때, EXIT에 포함되는 부가 정보가 이미지를 검색할 때 검색어 또는 검색 키워드로 이용될 수 있도록, 검색어 전용 데이터 필드(data field)를 EXIT에 정의하고, 검색어 전용 데이터 필드에 상술한 부가 정보를 기록하거나 상술한 부가 정보가 검색어 또는 검색 키워드임을 나타내는 식별 정보와 함께 EXIT에 포함시킬 수 있다. 그러나 이미지의 메타 데이터는 상술한 EXIT로 제한되지 않는다.
제 1 기기(110)에 디스플레이 되고 있는 이미지에 부가 정보를 태깅한 후, 제 1 기기(110)는 태깅 범위 정보를 디스플레이 한다(S206). 디스플레이 되는 태깅 범위 정보는 도 3a에 도시된 화면(331) 또는 도 3b의 화면(360)에 도시된 바와 같이 All Device(333), Cloud(334), Current Device(335), Current Content(336), Current Screen(337), 및 Peripherals(338) 항목들을 포함할 수 있으나 이로 제한되지 않는다. 도 3a의 화면(331)은 부가 정보 입력 창(332)과 태깅 범위 정보(333 ~ 338)를 함께 디스플레이 하는 예이고, 도 3b는 부가 정보 입력 창(355)와 태깅 범위 정보(333 ~ 338)를 독립적인 화면으로 디스플레이 하는 예이다.
"All Device(333)" 항목은 제 1 기기(110)에 연결되어 있는 모든 기기에 저장된 이미지를 태깅 범위로 설정하는 항목이다. 예를 들어, 제 1 기기(110)에 클라우드 서버(120)와 제 2 기기(130)가 모두 연결되어 있는 상태이면, 제 1 기기(110), 클라우드 서버(120) 및 제 2 기기(130)에 저장된 이미지들이 태깅 범위에 포함된다. 그러나, 클라우드 서버(120)만 제 1 기기(110)에 연결되어 있는 상태이면, 제 1 기기(110)와 클라우드 서버(120)에 저장된 이미지들이 태깅 범위에 포함된다.
"Cloud(334)" 항목은 제 1 기기(110)에 연결되어 있는 클라우드 서버(120)에 저장된 이미지를 태깅 범위로 설정하는 항목이다. 클라우드 서버(120)가 복수개인 경우에 복수의 클라우드 서버에 저장된 이미지들이 태깅 범위에 포함된다. "Current Device(335)" 항목은 제 1 기기(110)에 저장된 이미지를 태깅 범위로 설정하는 항목이다. "Current Content(336)" 항목은 단계 S201에서부터 제 1 기기(110)에 디스플레이 되고 있는 이미지를 태깅 범위로 설정하는 항목이다. "Current Screen(337)" 항목은 단계 S201에서 제 1 기기(110)에 디스플레이 되고 있는 이미지와 함께 디스플레이 되고 있는 다른 이미지를 태깅 범위로 설정하는 항목이다. 예를 들어, 태깅 범위를 "Current Screen(337)" 항목으로 선택할 때, 상술한 단계 S201에서 제 1 기기(110)에 디스플레이 되는 화면이 도 3a의 화면(340)과 같고, 사용자에 의해 선택된 오브젝트가 이미지(311)에 포함된 오브젝트일 때, 이미지들(341~348)이 태깅 범위에 포함된다. Peripherals(338)” 항목은 제 1 기기(110)에 연결된 주변 기기에 저장된 이미지들을 태깅 범위로 설정하는 항목이다.
도 3a의 팝업 창(331) 또는 도 3b의 태깅 범위 선택 창(360)에 도시된 바와 같이 태깅 범위 정보가 디스플레이 된 후, 태깅 범위에 대한 선택 신호가 사용자에 의해 입력되면(S207), 제 1 기기(110)는 입력된 태깅 범위에 대한 선택 신호에 따라 결정된 태깅 범위에 기초하여 다른 이미지를 검출하고, 검출된 다른 이미지에 부가 정보를 자동적으로 태깅한다(S208 ~ S215).
검출되는 다른 이미지는 단계 S202에서 선택된 오브젝트를 포함하는 이미지이다. 따라서, 다른 이미지는 선택된 오브젝트에 대한 특징 값에 기초하여 검출될 수 있으나 이로 제한되지 않는다. 선택된 오브젝트에 대한 특징 값은 얼굴 영역 추출 후, 얼굴 인식 기술, 물체 인식 기술, 윤곽선 검출 기술, 특징점 검출 기술, 및 문자 인식 기술 중 적어도 하나를 이용하여 얻은 수치로 표현되는 특징 값을 포할 수 있으나 이로 제한되지 않는다.
예를 들어, 단계 S202에서 선택된 오브젝트에 대해 제 1 기기(110)는 얼굴 영역 추출 과정을 수행하여 선택된 오브젝트에 사람 얼굴이 포함되어 있는지를 판단한다. 선택된 오브젝트에 사람 얼굴이 포함된 것으로 판단되면, 제 1 기기(110)는 PCA(Principal Component Analysis)와 같은 주성분 분석법에 기초한 얼굴 인식 과정을 수행하여 얼굴 영역에 대한 수치로 표현된 특징 값을 검출한다. 제 1 기기(110)는 검출된 특징 값을 저장하고 상술한 다른 이미지를 검출할 때 이용한다.
또한, 단계 S202에서 선택된 오브젝트에 대해 얼굴 영역 추출 과정을 수행하여 선택된 오브젝트에 사람 얼굴이 포함되어 있지 않은 것으로 판단되면, 제 1 기기(110)는 상술한 윤곽선 검출 기술, 물체 인식 기술, 특징점 검출 기술, 및 문자 인식 기술 중 적어도 하나를 이용하여 오브젝트에 대한 수치로 표현된 특징 값을 검출한다. 제 1 기기(110)는 검출된 특징 값을 저장하고, 상술한 다른 이미지를 검출할 때 이용한다.
상술한 선택된 오브젝트의 특징 값에 대한 검출 및 저장은 단계 S202에서 오브젝트를 선택한 후, 단계 S208, S211, 및 S214에서의 다른 이미지를 검출하는 단계를 수행하기 전에 언제든지 수행될 수 있다. 그러나, 단계 S201에서 제 1 기기(110)에 이미지를 디스플레이 할 때, 제 1 기기(110)는 디스플레이 되는 이미지에 포함된 오브젝트에 대한 인식 처리시 상술한 특징 값을 검출하고 저장할 수 있다.
다른 이미지의 검출은 얼굴 인식 기술과 매칭 기술, 물체 인식 기술과 매칭 기술, 문자 인식 기술과 매칭 기술, 윤곽선 검출 기술과 매칭 기술, 및 특징점 검출 기술과 매칭 기술 중 적어도 하나의 기술을 이용하여 수행될 수 있다. 예를 들어 얼굴 인식 기술을 이용하여 제 1 이미지에 포함된 오브젝트의 특징 값을 검출한다. 매칭 기술을 이용하여 제 1 이미지에 포함된 오브젝트의 특징 값과 상술한 디스플레이된 이미지로부터 선택된 오브젝트의 특징 값을 비교한다. 두 특징 값 간의 차가 사전에 설정된 임계 값 이하이면, 상술한 제 1 이미지를 상술한 디스플레이 된 이미지로부터 선택된 오브젝트와 유사한 오브젝트를 포함하는 다른 이미지로서 검출한다. 제 1 이미지는 상술한 사용자에 의해 설정된 태깅 범위에 포함되는 하나의 이미지이다.
상술한 기술들중 어떠한 기술을 사용하여 다른 이미지를 검출할지는 사전에 제 1 기기(110)에 설정될 수 있다. 상술한 특징 값은 오브젝트에 사람 얼굴이 포함되어 있는 지를 나타내는 정보를 더 포함할 수 있다. 특징 값에 상술한 오브젝트에 사람 얼굴이 포함되어 있는 지를 나타내는 정보가 더 포함된 경우에, 얼굴 영역 추출 기술을 이용하여 상술한 제 1 이미지가 사람 얼굴을 포함하는 이미지인지를 판단한다. 만약 제 1 이미지가 사람 얼굴을 포함하지 않는 이미지이면, 제 1 이미지를 다른 이미지 검출 대상에서 제외시킨다. 이는 제 1 이미지에 포함된 오브젝트에 대한 특징 값을 검출하기 위한 처리를 더 이상 수행하지 않는 것으로 이해될 수 있다. 그러나 만약 제 1 이미지가 사람 얼굴을 포함한 이미지이면, 얼굴 인식 기술을 사용하여 제 1 이미지에 포함된 오브젝트에 대해 수치로 표현된 특징 값을 검출한다. 매칭 기술을 이용하여 제 1 이미지에 포함된 오브젝트에 대한 수치로 표현된 특징 값과 단계 S201에서 제 1 기기(110)에 디스플레이된 이미지로부터 선택된 오브젝트에 대한 수치로 표현된 특징 값간의 에러 값이 임계범위에 포함되는지 판단한다. 에러 값이 임계범위에 포함되는지 판단하는 것은 상술한 두 특징 값간의 차 값이 임계값 이하인지를 판단하는 것과 같은 것으로 이해될 수 있다. 상기 에러 값이 임계범위 내에 포함되면, 제 1 기기(110)는 제 1 이미지를 다른 이미지로서 검출한다. 그러나 상술한 에러 값이 임계범위를 벗어나면, 제 1 기기(110)는 제 1 이미지를 다른 이미지 검출 대상에서 제외시킨다.
선택된 오브젝트의 특징 값에 사람 얼굴이 포함되어 있지 않은 것을 나타내는 정보가 포함되어 있으면, 제 1 기기(110)는 얼굴 영역 추출 기술을 이용하여 상술한 제 1 이미지에 사람 얼굴을 포함한 이미지인지를 판단한다. 만약 제 1 이미지가 사람 얼굴을 포함하는 이미지이면, 제 1 기기(110)는 상술한 제 1 이미지를 다른 이미지 컨텐트 검출 대상에서 제외시킨다. 그러나 만약 상술한 제 1 이미지가 사람 얼굴을 포함하지 않은 이미지이면, 제 1 기기(110)는 윤곽선 검출 기술 및 매칭 기술, 특징점 검출 및 매칭 기술, 물체 인식 기술 및 매칭 기술, 및 문자 인식 기술 및 매칭 기술 등과 같은 기술을 이용하여 상술한 제 1 이미지에 포함된 오브젝트에 대해 수치로 표현된 특징 값을 검출한다. 제 1 기기(110)는 검출된 상술한 제 1 이미지에 포함된 오브젝트의 특징 값과 상술한 디스플레이 된 이미지로부터 선택된 오브젝트에 대해 수치로 표현된 특징 값간의 에러 값이 상술한 임계범위 내에 포함되는지 판단한다. 상술한 에러 값이 임계범위 내에 포함되면, 제 1 기기(110)는 제 1 이미지를 다른 이미지로서 검출한다. 상술한 에러 값이 임계범위 내를 벗어나면, 제 1 기기(110)는 제 1 이미지를 다른 이미지 검출 대상에서 제외시킨다.
제 1 기기(110)에 디스플레이된 이미지로부터 선택된 오브젝트의 특징 값 및 다른 이미지를 검출하는 방법은 상술한 바로 제한되지 않는다. 예를 들어, 상술한 얼굴 인식 기술, 윤곽선 검출 기술, 특징점 검출 기술, 물체 인식 기술, 및 문자 인식 기술중 어떤 기술을 이용할지 선택하는 것은 상술한 바와 같이 오브젝트에 사람의 얼굴이 포함되는지에 따라 결정되지 않고, 사물을 포함하는지, 동물을 포함하는지, 곤충을 포함하는지 등 다양한 기준에 따라 결정될 수 있다. 오브젝트의 특징 값을 검출하기 위한 기술 역시 상술한 기술들로 제한되지 않는다. 이에 따라 제 1 기기(110)에 디스플레이된 이미지로부터 선택된 오브젝트의 특징 값은 상술한 기준에 따른 정보를 포함할 수 있다. 즉, 선택된 오브젝트의 특징 값은 오브젝트에 사물이 포함되어 있는지 여부를 나타내는 정보, 동물이 포함되어 있는지 여부를 나타내는 정보, 곤충이 포함되어 있는지 여부를 나타내는 정보 등을 포함할 수 있다. 다른 이미지를 검출하는 방법은 다른 이미지 검출을 수행하는 기기에 사전에 설정된 기준에 따라 수행될 수 있다.
얼굴 인식 기술과 매칭 기술에 기초한 다른 이미지의 검출은 단계 S202에서 선택된 오브젝트의 페이스프린트(faceprint)와 유사하거나 대응되는 페이스프린트를 갖는 오브젝트를 포함하는 다른 이미지를 검출하는 것으로 언급될 수 있다. 페이스프린트는 두 눈 사이의 거리, 코의 두께, 광대 뼈의 높이와 형상, 얼굴에서 이마의 넓이와 높이가 차지하는 비율 등의 수치들을 포함하나 이로 제한되지 않는다.
물체 인식 기술과 매칭 기술에 기초한 다른 이미지의 검출은 단계 S202에서 선택된 오브젝트의 종류, 크기, 방향, 위치 등을 이용하여 유사하거나 정합하는 물체를 포함하는 다른 이미지를 검출하는 것으로 언급될 수 있다.
문자 인식 기술과 매칭 기술에 기초한 다른 이미지의 검출은 단계 S202에서 선택된 오브젝트의 에지 정보를 연결하여 얻은 문자 획과 유사한 문자를 포함하는 다른 이미지를 검출하는 것으로 언급될 수 있다.
윤곽선 검출 기술과 매칭 기술에 기초한 다른 이미지의 검출은 단계 S202에서 선택된 오브젝트의 이미지내에서의 모양, 크기, 표면의 무늬 등으로 표현된 윤곽선과 유사한 윤곽선을 갖는 다른 이미지를 검출하는 것으로 언급될 수 있다.
특징점 검출 기술과 매칭 기술에 기초한 다른 이미지의 검출은 단계 S202에서 선택된 오브젝트를 표현하는데 사용된 특징점들과 유사한 특징점을 갖는 오브젝트를 포함하는 다른 이미지를 검출하는 것으로 언급될 수 있다. 특징점은 각도를 이용한 곡률(Curvature) 방식 또는 거리를 이용한 스트립(strip) 방식들을 이용하여 검출될 수 있으나 이로 제한되지 않는다.
상기 검출된 다른 이미지는 단계 S202에서 선택된 적어도 하나의 오브젝트를 포함한다. 즉, 단계 S202에서 선택된 오브젝트가 하나이고 부가 정보가 선택된 하나의 오브젝트에 태깅된 것이면, 다른 이미지는 단계 S202에서 선택된 하나의 오브젝트를 포함한다. 단계 S202에서 선택된 오브젝트가 복수개이고 이를 하나의 오브젝트 그룹으로 그룹핑하고, 부가 정보가 하나의 오브젝트 그룹에 태깅된 경우에, 다른 이미지는 단계 202에서 선택된 복수의 오브젝트를 포함한다. 이 때, 단계 S201에서 디스플레이된 이미지에 포함된 복수의 오브젝트에 대한 상술한 디스플레이된 이미지내에서의 위치와 상술한 검출된 다른 이미지에 포함된 복수의 오브젝트에 대한 상술한 다른 이미지내에서의 위치는 상이할 수 있다.
한편, 선택된 태깅 범위가 “All Device(333)" 항목에 기초하고, 제 1 기기(110)가 클라우드 서버(120) 및 제 2 기기(130)와 연결된 상태인 경우에, 제 1 기기(110)는 단계 S208 ~ S215에 기초하여 제 1 기기(110), 클라우드 서버(120), 및 제 2 기기(130)에서 각각 상술한 바와 같이 다른 이미지를 검출하고, 검출된 다른 이미지에 부가 정보를 자동 태깅한다.
선택된 태깅 범위가 “Cloud(334)" 항목에 기초하고, 제 1 기기(110)가 클라우드 서버(120)에 연결된 상태인 경우에, 제 1 기기(110)는 단계 S210 ~ S212에 기초하여 클라우드 서버(120)로 자동 태깅 요청 신호를 전송한다. 전송되는 자동 태깅 요청 신호는 단계 S204에서 입력된 부가 정보와 단계 S202에서 선택된 오브젝트에 대한 상술한 특징 값을 포함할 수 있다. 그러나 자동 태킹 요청 신호와 상술한 부가 정보 및 상기 선택된 오브젝트에 대한 특징 값은 독립적으로 전송될 수 있다. 상술한 선택된 오브젝트에 대한 특징 값 대신 선택된 오브젝트의 이미지 정보가 클라우드 서버(120)로 전송될 수 있다. 선택된 오브젝트의 이미지 정보가 클라우드 서버(120)로 전송되는 경우에, 클라우드 서버(120)는, 수신된 오브젝트의 이미지 정보를 포함하는 다른 이미지를 검출하기 위하여, 수신된 오브젝트의 이미지 정보에 대해 상술한 바와 같이 특징 값을 검출하고, 검출된 특징 값을 이용하여 다른 이미지를 검출할 수 있다. 예를 들어 다른 이미지를 검출하기 위해 특징점 검출 기술을 이용할 경우에, 클라우드 서버(120)는 수신된 오브젝트의 이미지 정보에 대해 특징점 정보를 검출하여 다른 이미지를 검출할 수 있다.
선택된 태깅 범위가 “Peripherals(338)"이고, 제 1 기기(110)가 제 2 기기(130)와 연결된 상태이면, 제 1 기기(110)는 단계 S213 ~ S215에 기초하여 제 2 기기(130)로 자동 태깅 요청 신호를 전송한다. 이에 따라 제 2 기기(130)는 단계 S202에서 선택된 오브젝트를 포함하는 다른 이미지를 제 2 기기(130)에서 검출하고, 검출된 다른 이미지에 단계 S204에서 사용자로부터 입력 받은 부가 정보를 태깅한다. 다른 이미지 검출은 상술한 바와 같이 수행될 수 있다.
단계 S207에서 선택된 태깅 범위가 현재 스크린 경우에, 제 1 기기(110)는 단계 S208에서 예를 들어 도 3a의 화면(340)에 포함된 이미지들(341~348)을 대상으로 다른 이미지를 검출한다. 도 3a의 화면(340)의 경우에, 제 1 기기(110)는 이미지들(344, 345, 346)을 다른 이미지로서 검출한다. 이미지들(344, 345, 346)은 이미지(311)에 포함된 오브젝트(321)를 포함하는 이미지들이다. 이에 따라 단계 S209에서, 제 1 기기(110)는 검출된 이미지들(344, 345, 346)에 단계 S204에서 사용자로부터 입력 받은 부가 정보를 자동적으로 태깅한다.
도 5는 도 1에 도시된 제 1 기기(110)의 기능 블록도의 일 예이다. 도 5를 참조하면, 제 1 기기(110)는 입력 정보 수신부(501), 저장부(502), 통신부(503), 출력부(504), 및 프로세서(505)를 포함한다.
입력 정보 수신부(501)는 상술한 사용자의 입력 정보를 수신한다. 따라서 입력 정보 수신부(501)는 터치 기반의 사용자의 제스처(gesture), 사용자의 음성 인식, 사용자의 얼굴 인식, 터치 도구를 이용하여 표현된 텍스트 및 이미지, 물리적인 버튼 제어, 및 원격 제어기(미 도시됨)로부터 송신된 정보에 의존한 신호를 수신할 수 있도록 구성된다.
이로 인하여 입력 정보 수신부(501)는 터치 스크린, 마이크와 같은 오디오 신호 입력부, 카메라, 물리적인 버튼, 및 무선 통신에 기초한 원격 신호 수신부 등을 포함할 수 있다. 원격 신호 수신부는 후술할 도 8에 무선 통신부(801)와 동일하거나 유사하게 구성될 수 있다.
저장부(502)는 적어도 하나의 어플리케이션, 이미지에 대한 부가 정보 태깅 프로그램, 이미지 검색 프로그램, 및 이미지에 대한 부가 정보 태깅 및 이미지 검색에 필요한 정보를 저장한다. 또한, 저장부(502)는 후술할 프로세서(505)에서 실행 가능하도록 구성된 적어도 하나의 프로그램 및/또는 명령어 세트와 자원(resource)을 저장한다.
저장부(502)에 저장되는 적어도 하나의 프로그램은 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 실행하기 위해 필요한 적어도 하나의 프로그램, 기기(110)의 오퍼레이팅 시스템(Operating System) 프로그램, 기기(110)에서 수행되는 각종 기능에 관련된 어플리케이션 프로그램, 및 기기(110)에 포함된 하드웨어 컴포넌트(component)들을 구동시키는 프로그램을 포함한다.
저장부(502)에 저장되는 자원은 본 발명의 바람직한 실시 예에 따라 적어도 하나의 클라우드 서버(120)와 연결하기 위한 클라우드 계정 정보를 포함한다. 클라우드 계정 정보는 제 1 기기(110)에 사전에 설정되거나 사용자에 의해 입력될 수 있다.
또한, 저장부(502)에 저장되는 자원은 제 1 기기(110)의 유저 정보, 제 1 기기(110)에 설정된 어플리케이션 프로그램을 운영하는데 필요한 정보 및 상술한 하드웨어 컴포넌트들을 구동시키는데 필요한 프로그램을 실행하는데 필요한 정보를 포함한다.
저장부(502)는 상기 오퍼레이팅 시스템 프로그램을 비롯한 제 1 기기(110)에 포함된 각 구성요소를 구동시키는 적어도 하나의 프로그램을 저장하는 저장부와 본 발명의 바람직한 실시 예들에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 실행하는 하나 이상의 프로그램과 자원 및 상기 어플리케이션 프로그램들을 저장하는 저장부를 독립적으로 구성할 수 있다.
저장부(502)는 고속 랜덤 액세스 메모리, 자기 디스크 저장 장치, 플래시 메모리와 같은 불휘발성 메모리 또는 다른 불휘발성 반도체 메모리를 포함할 수 있다. 따라서 저장부(502)는 메모리로 언급될 수 있다. 저장부(502)에 저장되는 적어도 하나의 프로그램 및/또는 명령어 세트는 기능에 따라 복수개의 모듈로 분류할 수 있다.
도 6은 저장부(502)에 저장되는 프로그램 및/또는 명령어 세트를 모듈별로 분류한 예이다. 도 6을 참조하면, 저장부(502)는 오퍼레이팅 시스템(601), 통신 모듈(602), 그래픽 모듈(603), GPS(Global Position System) 모듈(604), UI(User Interface) 모듈(605), 센싱 모듈(606), 접촉 및 움직임 모듈(607), 전원 모듈(608), 및 어플리케이션 모듈(609)을 포함하나 이로 제한되지 않는다.
어플리케이션 모듈(609)은 이미지에 대한 부가 정보 태깅 모듈(610), 이미지 검색 모듈(611), 폰 북 모듈(612), 카메라 모듈(613), 올쉐어 재생(All Share Play) 모듈(614), 웹 브라우징 모듈(615), 및 컨텐트 재생 모듈(616)을 포함하나 이로 제한되지 않는다. 이미지에 대한 부가 정보 태깅 모듈(610)과 이미지 검색 모듈(611)은 하나의 모듈로 구성될 수 있다.
오퍼레이팅 시스템(601)은 제 1 기기(110)의 일반적인 기능을 제어하고 관리하는 것으로, 제 1 기기(110)내의 하드웨어 및 소프트웨어 컴포넌트(component)간의 통신을 가능하게 하는 소프트웨어 컴포넌트를 포함한다.
통신 모듈(602)은 통신부(503)를 통해 클라우드 서버(120) 및 제 2 기기(130)와의 통신을 가능하게 한다. 통신 모듈(602)은 통신부(503)를 통해 클라우드 서버(120) 및 제 2 기기(130)로부터 수신되는 데이터와 클라우드 서버(120) 및 제 2 기기(130)로 송신되는 데이터를 처리하기 위한 소프트웨어 컴포넌트를 포함한다. 상기 송수신되는 데이터는 클라우드 계정 인증 및 이미지에 대한 부가 정보 태깅 요청 신호를 포함할 수 있다.
또한, 본 발명의 바람직한 실시 예에 따라 통신 모듈(602)은 클라우드 서버(120)와 제 2 기기(130)로부터 이미지에 대한 부가 정보 태깅 및 이미지 검색 어플리케이션을 다운받거나 이미지를 다운받거나 클라우드 서버(120) 및 제 2 기기(130)에 저장된 어플리케이션을 제 1 기기(110)의 제어에 의해 실행하도록 클라우드 서버(120) 및 제 2 기기(130)와 제 1 기기(110)간에 통신을 가능하게 하는 소프트웨어 컴포넌트를 포함한다.
또한, 통신 모듈(602)은 본 발명의 바람직한 실시 예에 따라 제 1 기기(110)에서 이미지에 대한 부가 정보 태깅 모듈(610)을 실행할 때 자동 태깅 요청 신호를 통신부(503)를 통해 클라우드 서버(120) 및 제 2 기기(130)로 전송할 수 있다. 또한 이미지 검색 모듈(611)을 실행할 때 오브젝트에 기초한 부가 정보를 검색 키워드로서 클라우드 서버(120)와 제 2 기기(130)로 전송할 수 있다.
그래픽 모듈(603)은 출력부(504)에 디스플레이 되는 그래픽의 밝기 조절 및 랜더링을 위한 소프트웨어 컴포넌트 및 어플리케이션 모듈(609)에서 텍스트를 입력하기 위한 가상 키보드(또는 소프트 키보드)를 제공하는 소프트웨어 컴포넌트를 포함한다.
GPS 모듈(604)은 제 1 기기(110)의 위치를 결정하고, 결정된 위치 정보를 위치 기반 서비스를 제공하는 어플리케이션에 제공하는 소프트웨어 컴포넌트를 포함한다.
UI 모듈(605)은 입력 정보 수신부(501)와 출력부(504) 기반의 UI 정보를 제공하는 어플리케이션 모듈(609)에 필요한 UI를 제공하는 소프트웨어 컴포넌트를 포함한다.
센싱 모듈(606)은 입력 정보 수신부(501) 기반의 센싱 정보를 결정하고 결정된 센싱 정보 기반의 서비스를 제공하는 어플리케이션 모듈(609)에 제공하는 소프트웨어 컴포넌트를 포함한다.
접촉 및 움직임 모듈(607)은 입력 정보 수신부(501) 기반의 터치 접촉을 감지하고, 접촉에 기초한 움직임을 추적하여 이를 필요로 하는 어플리케이션 모듈(609)로 제공하는 소프트웨어 컴포넌트를 포함한다.
전원 모듈(608)은 오퍼레이팅 시스템(601)과 연동되어 제 1 기기(110)내의 하드웨어 컴포넌트에 대한 전원 공급을 제어하고, 출력부(504)로 공급되는 전원에 대한 절전 모드를 제어하는 소프트웨어 컴포넌트를 포함한다.
어플리케이션 모듈(609)에 포함되는 모듈들의 기능은 그 명칭으로 당업자가 직관적으로 추론할 수 있을 것으로 생각되므로, 본 발명의 바람직한 실시 예에 관련된 어플리케이션 모듈 중심으로 설명하기로 한다.
예를 들어, 제 1 기기(110)의 입력 정보 수신부(501)를 통해 이미지에 대한 부가 정보 태깅 시작 요청 신호가 수신되면, 제 1 기기(110)는 저장부(502)에 저장된 이미지에 대한 부가 정보 태깅 모듈(610)의 동작을 시작한다.
이에 따라 이미지에 대한 부가 정보 태깅 모듈(610)은 상술한 도 2에서와 같이 이미지에 포함된 적어도 하나의 오브젝트에 대한 부가 정보를 이미지에 태깅하고, 상술한 적어도 하나의 오브젝트를 포함하는 다른 이미지를 검출하고, 검출된 다른 이미지에 부가 정보를 자동적으로 태깅한다.
또한, 제 1 기기(110)의 입력 정보 수신부(501)를 통해 이미지 검색 요청 신호가 수신되면, 제 1 기기(110)는 저장부(502)에 저장된 이미지 검색 모듈(611)의 동작을 시작한다.
제 1 기기(110)의 위치 정보는 GPS 모듈(604)로부터 제공된다.
통신부(503)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(WFD, Wi-Fi Direct) 네트워크, 3G(3rd Generation) 네트워크, 4G(4th Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(IrDA, Infrared Data Association) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크 등과 같은 무선 네트워크 또는 유선 인터넷 및 홈 PNA(Phoneline Networking Alliance)와 같은 유선 네트워크를 통해 클라우드 서버(120) 및 제 2 기기(130)와 네트워크(140)를 통해 데이터를 송수신할 수 있다. 도 1의 네트워크(140)는 통신부(503)에 기초하여 유선 네트워크 또는 무선 네트워크로 정의될 수 있다.
통신부(503)는 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈, 및 위치 정보 모듈중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버(미 도시됨)로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널, 케이블 채널을 포함할 수 있다. 이동 통신 모듈은 이동 통신망 상에서 기지국(미 도시됨) 및 클라우드 서버(120) 및 제 2 기기(130)와 무선 신호를 송수신한다. 무선 신호는 음성 호 신호, 화상 통화 호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 의미한다. 유선 인터넷 모듈은 유선 인터넷 접속을 위한 모듈을 의미한다. 근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스 네트워크, RFID 네트워크, 적외선 통신 네트워크, UWB 네트워크, Zigbee 네트워크, WFD 네트워크, 및 NFC 네트워크 등이 이용될 수 있다.
위치 정보 모듈은 제 1 기기(110)의 위치를 확인하거나 얻기 위한 모듈이다. 일 예로 GPS(Global Position System) 기반 위치 정보 모듈이 있다. GPS 기반 위치 정보 모듈은 복수개의 인공위성으로부터 위치 정보를 수신한다. 위치 정보는 위도 및 경도로 표시되는 좌표 정보를 포함할 수 있다.
출력부(504)는 입력 정보에 따른 사용자 인터페이스 오브젝트 및 상기 이미지에 대한 부가 정보 태깅 프로그램 및 이미지 검색 프로그램 실행에 따른 정보를 출력한다. 출력부(504)는 디스플레이 기능 및 오디오 신호 출력 기능을 포함할 수 있다. 출력부(504)는 입력 정보 수신부(501)와 일체형으로 구성될 수 있다. 출력부(504)가 입력 정보 수신부(501)와 일체형으로 구성되는 경우에 이 구성요소는 입출력부로 언급될 수 있다.
출력부(504)는 액정 디스플레이(Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display), 유기 발광 다이오드(Organic Light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display), 및 AMOLED(Active-Matrix Organic Light-Emitting Diode) 등을 포함할 수 있으나 이로 제한되지 않는다. 출력부(504)는 제 1 기기(110)의 구현 형태에 따라 2개 이상 존재할 수 있다.
프로세서(505)는 제 1 기기(110)의 전반적인 동작을 제어하는 것으로 하나 이상의 프로세서로 언급될 수 있다. 프로세서(505)가 하나 이상의 프로세서로 언급될 수 있는 것은 도 5의 경우에 프로세서(505)를 단일 칩 형태로 도시하였으나 제 1 기기(110)의 기능에 따라 프로세서(505)를 복수개의 프로세서로 분할하여 운영할 수 있기 때문이다.
프로세서(505)는 저장부(502)에 저장된 오퍼레이팅 시스템(601)과 각종 모듈들(602 ~ 616)을 이용하여 입력 정보 수신부(501), 저장부(502), 통신부(503), 및 출력부(504)를 전반적으로 제어할 수 있다. 따라서 프로세서(505)는 제어기나 마이크로프로세서, 디지털 신호 처리기(Digital Signal Processor) 등으로 언급될 수 있다. 또한 프로세서(505)는 오퍼레이팅 시스템(601)과 UI 모듈(605)을 이용하여 입력 정보 수신부(501) 및 출력부(504)를 이용하여 사용자 인터페이스를 제공할 수 있다.
프로세서(505)는 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법에 관련된 적어도 하나의 프로그램을 실행시켜 상술한 도 2에 도시된 제 1 기기(110)의 동작 흐름도를 수행할 수 있다. 프로세서(505)는 상기 프로그램을 저장부(502)로부터 리드하여 실행시키거나 통신부(503)를 통해 연결된 미 도시된 서버 또는 클라우드 서버(120)로부터 다운받아 실행시킬 수 있다.
프로세서(505)는 클라우드 서버(120) 및 제 2 기기(130)에 저장되어 있는 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법에 관련된 적어도 하나의 프로그램을 실행시키고, 클라우드 서버(120) 및 제 2 기기(130)에 저장되어 있는 상술한 사용자에 의해 선택된 오브젝트를 포함하는 이미지들에 부가 정보를 태깅할 수 있다.
프로세서(505)는 제 1 기기(110)내의 각종 하드웨어 컴포넌트들과 프로세서(505)간의 인터페이스 기능부를 포함하는 것으로 이해될 수 있다.
도 7은 도 1에 도시된 제 1 기기(110)의 기능 블록도의 다른 예이다. 도 7을 참조하면, 제 1 기기(110)는 사용자 입력부(701), 센싱부(702), 터치 스크린(touch screen)(703), 카메라(704), 오디오 입력부(705), 오디오 출력부(705), 저장부(707), 통신부(708), 포트(709), 프로세서(710), 및 전원부(711)를 포함한다. 그러나 제 1 기기(110)의 구성은 도 7에 도시된 바로 제한되지 않는다.
사용자 입력부(701)는 제 1 기기(110)의 동작을 제어하기 위한 입력 데이터(또는 제어 데이터) 및 상술한 사용자의 입력 정보를 발생시킨다. 사용자 입력부(701)는 키 패드(key pad), 돔 스위치(dome switch), 및 마우스를 대신할 수 있는 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog switch), 및 하드웨어(H/W) 버튼 등을 포함할 수 있다.
센싱부(702)는 제 1 기기(110)의 위치, 사용자의 접촉 유무, 제 1 기기(110)의 방위, 제 1 기기(110)의 가속 또는 감속 등과 같이 제 1 기기(110)의 현재 상태를 감지하여 제 1 기기(110)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 센싱부(702)는 근접 센서 및 상술한 모션 센서를 포함할 수 있다. 따라서 센싱부(702)는 센서 기반의 사용자 제스처를 인식한 신호를 발생시킬 수 있다.
근접 센서는 사전에 설정된 검출면에 접근하는 물체, 또는 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로 투과형 광전 센서, 직접 반사형 광전 센서, 미러 발사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
터치 스크린(703) 기반의 사용자 입력 정보는 상술한 사용자의 제스처에 의존하는 사용자의 요청(request) 또는 사용자의 선택(selection)에 따라 발생될 수 있다. 사용자의 제스처는 터치 횟수, 터치 패턴, 터치 면적, 및 터치 강도의 다양한 조합에 의해 상술한 사용자 제스처의 예들과 같이 다양하게 정의될 수 있다. 터치 스크린(703)에 대한 사용자의 손가락에 기초한 터치는 터치 스크린(703)의 터치 영역을 터치할 수 있는 사용자의 신체 부위에 기초하는 것으로 이해될 수 있다.
또한 터치 스크린(703)은 터치 스크린(703)의 터치 또는 근접 터치를 감지하기 위한 다양한 센서를 포함할 수 있다. 터치 스크린(703)에 포함되는 센서는 터치 스크린(703)상에서의 사용자의 제스처 또는 패턴을 감지하는 센서를 의미한다. 따라서 터치 스크린(703)은 상술한 터치 기반의 드래그, 플릭, 탭, 터치 앤 홀드, 더블 탭, 패닝, 스윕(sweep) 등과 근접 센서에 기초한 사용자 제스처 또는 패턴을 센싱한 신호를 발생시킬 수 있다. 터치 스크린(703)을 위한 근접 센서는 센싱부(702)에 포함되는 근접 센서와 동일할 수 있다.
터치 스크린(703)의 터치를 감지하는 센서의 일례로 촉각 센서가 있다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다. 터치 스크린(703)의 터치(touch)는 패널에 포인터(pointer)가 터치된 경우이다. 터치는 멀티 터치를 포함할 수 있다. 멀티 터치는 후술할 도 17d에 도시된 바와 같이 복수의 오브젝트를 선택하기 위해 발생될 수 있다. 터치 스크린(703)의 근접 터치(proximity-touch)는 포인터가 터치 스크린(703)에 실제로 터치되지 않고, 터치 스크린(703)으로부터 소정 거리내에 접근된 경우이다. 포인터는 터치 스크린(703)의 특정 부분을 터치하거나 근접 터치하기 위한 도구이다. 그 일 예로, 스타일러스 펜, 손가락 또는 손가락에 대응되는 사람의 신체 부위 또는 손가락에 대응되는 도구 등이 있다. 따라서 포인터는 외부 입력 장치로 언급될 수 있다.
터치 스크린(703)은 제 1 기기(110)에서 처리되는 정보를 출력한다. 예를 들어, 터치 스크린(703)은 터치 스크린(703)에 구비된 센싱부를 통해 센싱된 사용자의 제스처 또는 터치 패턴 또는 사용자 입력부(701)를 통해 입력된 제어 데이터 또는 사용자의 입력 정보 또는 센싱부(702)를 통해 감지된 신호에 응답하는 화면을 디스플레이 한다.
터치 스크린(703)은 입출력 장치로 언급될 수 있다. 터치 스크린(703)이 입출력 장치일 때, 터치 스크린(703)에 디스플레이 되는 화면은 UI(User Interface) 화면, UI 오브젝트, GUI(Graphic User Interface) 화면, 또는 GUI 오브젝트를 포함한다. 터치 스크린(703)은 도 3a 도 3b, 도 4, 후술할 도 14 및 도 17a 내지 도 17f에 도시된 바와 같은 화면을 디스플레이하고, 사용자 입력 정보를 수신할 수 있다.
터치 스크린(703)은 액정 디스플레이(Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display), 유기 발광 다이오드(Organic Light-emitting diode), 플렉시블 디스플레이(Flexible display), 3차원 디스플레이(3D display), 및 AMOLED(Active-Matrix Organic Light-Emitting Diode) 등을 포함할 수 있으나 이로 제한되지 않는다. 터치 스크린(703)은 디스플레이로 언급될 수 있다. 터치 스크린(703)은 제 1 기기(110)의 구현 형태에 따라 2개 이상 존재할 수 있다.
카메라(704)는 영상 통화 모드 또는 촬영 모드에서 이미지 센서(또는 광 센서)에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 터치 스크린(703)에 표시될 수 있다. 카메라(704)에서 처리된 화상 프레임은 저장부(707)에 저장되거나 통신부(708) 또는 포트(709)를 통해 외부로 전송될 수 있다.
카메라(704)는 제 1 기기(110)의 구성에 따라 2개 이상이 구비될 수 있다. 또한, 카메라(704)는 사용자의 공간 제스처를 인식하는 입력 장치로 사용될 수 있다. 카메라(704)에 의해 얻어지는 화상 프레임은 제 1 기기(110)의 사용자의 인증을 위한 얼굴 이미지일 수 있다.
오디오 입력부(705)는 통화모드, 또는 녹화 모드, 또는 음성 인식 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 변환하여 프로세서(710)로 전송한다. 오디오 입력부(705)는 예를 들어 마이크로폰으로 구성될 수 있다. 오디오 입력부(705)는 외부의 음향 신호를 입력 받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 포함하도록 구성될 수 있다.
오디오 입력부(705)를 이용하여 입력되는 상기 음향 신호는 자연어 기반의 사용자의 음성 신호일 수 있다. 예를 들어 이미지에 대한 부가 정보 태킹 요청 명령 또는 이미지 검색 요청 명령이 오디오 입력부(705)를 통해 입력될 수 있다. 오디오 입력부(705)를 통해 이미지에 대한 부가 정보 태깅 요청 명령이 입력되면, 프로세서(710)는 이미지에 대한 부가 정보 태깅 모듈(610)의 구동을 스타트할 수 있다. 오디오 입력부(705)를 통해 이미지 검색 요청 명령이 입력되면, 프로세서(710)는 이미지 검색 모듈(611)의 구동을 스타트할 수 있다. 음향 신호가 자연어 기반의 사용자의 음성 신호라는 것은 음성 인식 기반의 사용자의 입력 정보를 의미한다. 오디오 입력부(705)를 통해 입력되는 외부의 음향 신호는 저장부(707)에 저장되거나 통신부(708) 또는 포트(709)를 통해 외부로 전송될 수 있다.
제 1 기기(110)와 사용자간의 인터페이스 기능에 따라 사용자 입력부(701), 센싱부(702), 터치 스크린(703), 카메라(704), 및 오디오 입력부(705)는 정보 입력부 또는 정보 입출력부로 언급될 수 있다. 예를 들어, 제 1 기기(110)와 사용자간의 사용자 인터페이스 기능이 터치 인식 기능, 음성 인식 기능, 및 공간 제스처 인식 기능을 포함하는 경우에, 사용자 입력부(701), 센싱부(702), 카메라(704), 및 오디오 입력부(705)는 정보 입력부로 언급되고, 터치 스크린(703)은 정보 입출력부로 언급될 수 있다.
오디오 출력부(705)는 통화 모드, 또는 오디오 재생 모드 등에서 외부로부터 수신되는 음향 신호 또는 오디오 신호를 출력한다. 오디오 출력부(706)는 스피커로 구성될 수 있다. 오디오 출력부(706)는 어플리케이션 실행 시 오디오 신호가 발생되면, 발생되는 오디오 신호를 출력한다. 오디오 입력부(705)와 오디오 출력부(706)는 헤드셋과 같이 일체형으로 구성될 수 있다.
통신부(708)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN) 네트워크, 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(WFD, Wi-Fi Direct) 네트워크, 3G(3rd Generation) 네트워크, 4G(4th Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(IrDA, Infrared Data Association) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크 등과 같은 무선 네트워크 또는 유선 인터넷 및 홈 PNA(Phoneline Networking Alliance) 네트워크와 같은 유선 네트워크를 통해 클라우드 서버(120) 및 제 2 기기(130)와 데이터를 송수신할 수 있다.
통신부(708)는 상술한 통신부(503)에서 언급한 방송 수신 모듈, 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈, 및 위치 정보 모듈중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
포트(709)는 USB(Universal Serial Bus) 포트(미 도시됨)와 같은 플러그 앤 플레이(Plug and Play) 인터페이스를 이용하여 외부와 데이터를 송수신할 수 있다. 플러그 앤 플레이 인터페이스는 제 1 기기(110)의 플러그에 외부 기기(미 도시됨)가 꼽히며 자동으로 플레이하는 모듈이다. 미 도시된 것으로 언급된 외부 기기는 도 1의 제 2 기기(130)를 포함할 수 있다.
전원부(711)는 제 1 기기(110)에 포함된 하드웨어 컴포넌트에 전력을 공급한다. 전원부(711)는 배터리 및 교류 전원과 같은 하나 이상의 전원을 포함한다. 제 1 기기(110)는 전원부(711)를 포함하지 않고, 외부 전원 제공부(미 도시됨)와 연결될 수 있는 연결부(connection unit)(미 도시됨)를 포함할 수 있다.
프로세서(710)는 제 1 기기(110)의 전반적인 동작을 제어하는 것으로 하나 이상의 프로세서로 언급될 수 있다. 프로세서(710)가 하나 이상의 프로세서로 언급될 수 있는 것은 도 7의 경우에 프로세서(710)를 단일 칩 형태로 도시하였으나 제 1 기기(110)의 기능에 따라 프로세서(710)를 복수개의 프로세서로 분할하여 운영할 수 있기 때문이다.
프로세서(710)는 저장부(707)에 저장된 오퍼레이팅 시스템과 각종 모듈들을 이용하여 사용자 입력부(701), 센싱부(702), 터치 스크린(703), 카메라(703), 오디오 입력부(705), 오디오 출력부(706), 저장부(707), 통신부(708), 포트(709) 및 전원부(711)를 전반적으로 제어할 수 있다. 상술한 오퍼레이팅 시스템과 각종 모듈들은 도 6에 도시된 오퍼레이팅 시스템(601) 및 모듈들(602-616)에 대응될 수 있다. 프로세서(710)는 제어기나 마이크로프로세서, 디지털 신호 처리기(Digital Signal Processor) 등으로 언급될 수 있다. 또한 프로세서(710)는 저장부(707)에 저장된 오퍼레이팅 시스템(601)과 UI 모듈(605)을 이용하여 사용자 입력부(701), 센싱부(702), 터치 스크린(703), 카메라(704), 및 오디오 입력부(705)를 이용하여 사용자 인터페이스를 제공할 수 있다.
프로세서(710)는 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법에 관련된 적어도 하나의 프로그램을 실행시켜 상술한 도 2와 후술할 도 13에 도시된 동작 흐름도중 하나를 수행할 수 있다. 프로세서(710)는 상기 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 수행하기 위한 프로그램을 저장부(707)로부터 리드하여 실행시키거나 통신부(708)를 통해 연결된 프로그램 제공 서버(미 도시됨) 또는 클라우드 서버(120)와 제 2 기기(130)중 적어도 하나로부터 다운받아 실행시킬 수 있다.
그러나 프로세서(710)는 클라우드 서버(120) 및 제 2 기기(130)중 적어도 하나에 저장된 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 수행하기 위한 프로그램을 사용하도록 구성될 수 있다. 즉, 프로세서(710)는 클라우드 서버(120) 및 제 2 기기(130)중 적어도 하나로 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 수행하기 위한 프로그램의 구동을 통신부(708)를 통해 요청한다. 프로세서(710)는 통신부(708)를 통해 선택된 오브젝트에 대한 이미지 정보, 입력된 부가 정보 및 태깅 범위 정보를 클라우드 서버(120) 및 제 2 기기(130)로 전송하면서 상기 선택된 오브젝트를 포함하는 이미지에 사용자로부터 입력 받은 부가 정보가 태깅되도록 요청한다. 상술한 오브젝트를 포함하는 이미지는 상술한 태깅 범위 정보에 의해 설정된 범위에 저장된 모든 이미지 중에서 상술한 선택된 오브젝트를 포함하는 이미지이다. 따라서 상술한 이미지는 복수의 이미지로 언급될 수 있다.
상술한 부가 정보 태깅 요청을 수신한 클라우드 서버(120) 또는 제 2 기기(130)는 상술한 이미지에 부가 정보를 태깅한다. 프로세서(710)는 사용자의 입력 정보에 기초하여 통신부(708)를 통해 클라우드 서버(120)와 제 2 기기(130)중 적어도 하나로 검색시 이용 가능한 검색어를 요청할 수 있다. 클라우드 서버(120)와 제 2 기기(130)중 적어도 하나로부터 제공되는 검색어는 상술한 부가 정보를 포함한다. 클라우드 서버(120)와 제 2 기기(130)중 적어도 하나로부터 제공되는 검색어에 포함된 부가 정보는 복수개일 수 있다. 검색어에 포함된 부가 정보에 기초한 사용자의 입력 정보에 따라 프로세서(710)는 통신부(708)를 통해 이미지 검색을 요청할 수 있다. 이에 따라 클라우드 서버(120)와 제 2 기기(130)는 부가 정보에 기초한 검색어와 태깅 범위 정보를 이용하여 이미지를 검색하고, 검색된 이미지를 통신부(708)를 통해 제 1 기기(110)로 전송한다. 이에 따라 검색된 이미지가 터치 스크린(703)에 디스플레이 될 수 있다.
상술한 바와 같이 프로세서(710)는 클라우드 서버(120) 및 제 2 기기(130)에 저장되어 있는 본 발명의 바람직한 실시 예에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법에 관련된 적어도 하나의 프로그램을 실행시키고, 프로세서(710)와 클라우드 서버(120)간의 통신에 기초하여 클라우드 서버(120)에서 이미지에 대한 부가 정보 태깅 및 이미지 검색을 실행시키거나 프로세서(710)와 제 2 기기(130)간의 통신에 기초하여 제 2 기기(130)에서 이미지에 대한 부가 정보 태깅 및 이미지 검색을 실행시킬 수 있다. 이와 같이 클라우드 서버(120)와 제 2 기기(130)에 저장된 프로그램을 실행시켜 이미지에 대한 부가 정보 태깅 및 이미지 검색을 실행할 경우에, 저장부(707)에 저장된 프로그램 및 자원은 상술한 클라우드 서버(120)와 제 2 기기(130)에 저장된 프로그램을 실행시킬 수 있는 프로그램 및 자원을 포함하는 것으로 정의될 수 있다. 프로세서(710)는 제 1 기기(110)내의 각종 하드웨어 컴포넌트들과 프로세서(710)간의 인터페이스 기능부를 포함하는 것으로 이해될 수 있다.
도 8은 도 1에 도시된 제 1 기기(110)의 기능 블록도의 다른 예로서, 통신 기능을 갖는 스마트 TV인 경우이다.
도 8을 참조하면, 제 1 기기(110)는 무선 통신부(801), 통신부(802), 방송 신호 수신부(803), 저장부(804), 프로세서(805), 영상 처리부(806), 디스플레이부(807), 오디오 처리부(808), 오디오 출력부(809), 오디오 입력부(810), 카메라(811), 포트(812), 및 사용자 입력부(813)를 포함하나 이로 제한되지 않는다.
무선 통신부(801)는 원격 제어기(미 도시됨)와 무선 통신할 수 있도록 구성된다. 즉, 원격 제어기가 IR 송신기로 구성되면, 무선 통신부(801)는 IR 수신기로 구성되어 원격 제어기로부터 전송되는 적외선 신호를 수신하고, 복조하여 프로세서(805)로 전송한다. 그러나, 원격 제어기가 RF 모듈로 구성되면, 무선 통신부(801)는 RF 모듈로 구성되어 원격 제어기로부터 전송되는 RF 신호를 수신하여 프로세서(805)로 전송한다. 그러나, 무선 통신부(801)는 상술한 IR 모듈 및 RF 모듈로 제한되지 않는다. 즉, 블루투스 네트워크와 같은 근거리 통신 기반으로 구성될 수 있다. 무선 통신부(801)는 사용자의 입력 정보를 수신하는 입력 정보 수신부로 언급될 수 있다.
통신부(802)는 도 7의 통신부(708)에서 언급된 바와 같은 유선 네트워크 또는 무선 네트워크에 기초하여 도 1의 네트워크(140)를 통해 클라우드 서버(120) 및 제 2 기기(130)와 연결되어 데이터를 송수신한다. 따라서 도 8에 도시된 통신부(802)에 연결된 것으로 기재된 외부 기기는 제 2 기기(130)를 포함하고, 서버는 클라우드 서버(120)를 포함한다.
방송 신호 수신부(803)는 튜너(미 도시됨)를 통해 수신되는 방송 신호를 영상 신호 및 오디오 신호로 분리하여 출력한다. 즉, 튜너는 안테나를 통해 수신되는 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 채널에 해당하는 방송 신호를 선택한다. 또한, 선택된 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 오디오 신호로 변환한다. 중간 주파수 신호 혹은 베이스 밴드 영상 또는 오디오 신호는 프로세서(805)로 입력된다.
저장부(804)는 프로세서(805)에서의 각종 신호 처리 및 제어를 위한 적어도 하나의 프로그램을 저장하고, 제 1 기기(110)의 인증을 위한 정보, 및 제 1 기기(110)의 정보 등을 저장할 수 있다. 제 1 기기(110)의 인증을 위한 정보는 제 1 기기(110)의 사용자 정보를 포함할 수 있다. 프로세서(805)에서의 각종 신호 처리 및 제어를 위한 적어도 하나의 프로그램은 상술한 도 2의 동작 흐름도에 기초한 이미지에 대한 부가 정보 태깅 프로그램 및 후술할 도 13의 동작 흐름도에 기초한 이미지 검색 프로그램을 포함한다. 또한, 저장부(804)는 디스플레이부(807)에 디스플레이된 이미지, 사용자에 의해 입력 받은 부가 정보와 선택된 오브젝트에 대한 정보, 다른 이미지를 검출하기 위해 사용되는 기술 정보, 및 상술한 다른 이미지를 저장할 수 있다.
프로세서(805)는 제 1 기기(110)의 전 기능을 제어하고, 통신부(802)를 통해 클라우드 서버(120) 및 제 2 기기(130)와 데이터를 송수신하도록 제어할 수 있다. 프로세서(805)는 저장부(804)에 저장된 적어도 하나의 프로그램을 로딩하여 본 발명의 바람직한 실시 예에 따른 UI(User Interface) 오브젝트 또는 GUI 오브젝트를 구성하여 영상 처리부(806)를 통해 디스플레이부(807)에 디스플레이 할 수 있다. UI 오브젝트 또는 GUI 오브젝트는 UI 화면 또는 GUI 화면을 포함한다. UI 오브젝트와 GUI 오브젝트는 예를 들어 도 3a, 도 3b, 도 4, 도 14, 및 도 17a 내지 도 17f에 도시된 화면을 포함할 수 있다.
프로세서(805)는 통신부(802)를 통해 연결된 클라우드 서버(120) 및 제 2 기기(130)와 이미지에 대한 부가 정보 태깅 및 이미지 검색을 위한 데이터를 송수신할 수 있다. 이를 위하여 프로세서(805)는 저장부(804)에 저장된 적어도 하나의 프로그램과 자원을 이용할 수 있다. 프로세서(805)는 도 7의 프로세서(711)와 같이 적어도 하나 이상의 프로세서로 구성될 수 있다.
영상 처리부(806)는 영상 디코더(미 도시됨) 및 스케일러(미 도시됨)를 포함한다. 영상 처리부(806)는 방송 신호 수신부(803)로부터 출력되는 영상 신호를 화면에 표시되도록 처리한다. 영상 디코더는 역 다중화된 영상신호를 복호화하고, 스케일러는 복호화된 영상 신호의 해상도를 디스플레이부(807)에서 출력하도록 스케일링한다. 영상 디코더는 다양한 규격의 디코더를 구비하는 것이 가능하다. 예를 들어 역다중화된 영상 신호가 MPEG-2 규격의 부호화된 영상 신호인 경우, MPEG-2 디코더에 의해 복호화될 수 있다. 예를 들어, 역다중화된 영상신호가 DMB(Digital Multimedia Broadcasting) 방식 또는 DVB-H에 따른 H.264 규격의 부호화된 영상신호인 경우, H.264 디코더에 의해 복호화될 수 있다. 영상 처리부(806)는 또한, 저장부(804)로부터 리드되거나 통신부(802)를 통해 수신된 이미지가 디스플레이부(807)에 디스플레이되도록 처리할 수 있다.
디스플레이부(807)는 영상 처리부(806)에서 처리된 영상을 출력할 수 있다. 출력되는 영상은 방송 신호 수신부(803)로부터 수신된 영상, UI 오브젝트 또는 GUI 오브젝트, 및 통신부(802)를 통해 클라우드 서버(120) 및 제 2 기기(130)로부터 수신되는 어플리케이션 실행에 따른 영상을 포함할 수 있다. 그러나 디스플레이부(807)는 도 7의 터치 스크린(703)과 같이 구성되어 입력 장치로 사용될 수 있다.
오디오 처리부(808)는 방송 신호 수신부(803)로부터 출력되는 오디오신호와 통신부(802)를 통해 수신되는 컨텐츠에 포함되는 오디오를 처리하여 오디오 출력부(809)로 출력한다. 오디오 출력부(809)는 스테레오 신호, 3.1채널 신호 또는 5.1 채널 신호를 출력하는 등 다양한 형태로 구현될 수 있다.
또한, 오디오 처리부(808)는 오디오 입력부(810)로부터 입력되는 신호를 처리하여 프로세서(805)로 전송할 수 있다. 오디오 입력부(810)는 마이크로 구성될 수 있다.
디스플레이부(807)와 오디오 출력부(809)는 무선 통신부(801) 또는 사용자 입력부(813)를 통해 입력된 정보에 따른 사용자 인터페이스 정보 또는 사용자 인터페이스 오브젝트 및 어플리케이션 실행에 따른 정보를 출력하는 출력부(814)로 정의될 수 있다.
도 8에 도시된 카메라(811), 포트(812) 및 사용자 입력부(813)는 도 7에 도시된 사용자 입력부(701), 카메라(704) 및 포트(709)와 유사하게 구성되어 동작될 수 있으므로 이하 설명을 생략한다.
도 9는 본 발명의 바람직한 일 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법의 동작 흐름도이다. 도 9에 도시된 동작 흐름도는 제 1 기기(110)의 프로세서들(505, 710, 805)에 의해 각각의 저장부(502, 707, 804)에 저장된 적어도 하나의 프로그램 및 자원을 이용하여 수행될 수 있다. 그러나 이하 설명의 편의를 위하여 프로세서(505)에서 수행되는 것으로 설명한다.
도 2에서 설명한 바와 같이 제 1 기기(210)의 프로세서(505)는 출력부(504)에 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트에 대한 부가 정보를 사용자로부터 입력 받고(S901), 입력된 부가 정보를 상술한 디스플레이된 이미지에 태깅한다(S902).
도 10은 도 9의 단계 S901 및 S902에서 수행되는 이미지에 부가 정보를 태깅하는 과정에 대한 상세한 동작 흐름도이다.
도 10을 참조하면, 프로세서(505)는 도 3a의 화면(310) 또는 도 3b의 화면(350)내의 이미지(354)와 같은 이미지를 디스플레이 한다(S1001). 디스플레이 되는 이미지는 상술한 화면(310) 및 화면(350)내의 이미지(354)로 제한되지 않는다. 출력부(504)에 디스플레이 되고 있는 이미지는 상술한 바와 같이 제 1 기기(110)에 의해 캡쳐된 이미지이거나 제 2 기기(130) 또는 클라우드 서버(120)로부터 수신된 이미지일 수 있다.
출력부(504)에 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트에 대한 사용자의 선택 신호가 입력 신호 수신부(501)를 통해 수신되면(S1002), 프로세서(505)는 도 3a의 화면(330)과 같이 부가 정보 입력 창(332)을 포함하는 팝업 창(331) 또는 도 3b의 부가 정보 입력 창(355)를 포함하는 화면(350)을 출력부(504)에 디스플레이 한다(S1003).
부가 정보 입력 창(332, 355)을 통해 사용자로부터 부가 정보가 입력되면, 프로세서(505)는 입력된 부가 정보를 도 2에서 설명한 바와 같이 출력부(504)에 디스플레이된 이미지에 태깅한다(S1004).
한편, 제어부(505)는 도 9의 단계 S903에서 상술한 선택된 오브젝트를 포함하는 다른 이미지에 단계 S901에서의 입력된 부가 정보를 자동적으로 태깅한다. 도 11은 다른 이미지에 부가 정보를 자동적으로 태깅하는 과정에 대한 상세한 동작 흐름도이다.
도 11을 참조하면, 프로세서(505)는 출력부(504)를 통해 도 3a의 팝업 창(331) 또는 도 3b의 화면(360)에 도시된 바와 같이 선택 가능한 태깅 범위 정보를 출력하고, 출력된 태깅 범위 정보에 기초한 사용자의 선택 신호가 입력 정보 수신부(501)를 통해 입력되면, 입력된 태깅 범위 정보에 대한 사용자의 선택 신호에 따라 태깅 범위를 설정한다(S1101).
설정된 태깅 범위에 기초하여 프로세서(505)는 다른 이미지를 검출한다(S1102). 설정된 태깅 범위에 기초한 다른 이미지를 검출하는 것은 도 2에서 설명한 바와 같다.
도 12는 다른 이미지를 검출하는 과정에 대한 상세한 동작 흐름도이다. 도 12는 다른 이미지를 제 1 기기(110)에서 검출하는 예이다. 도 12를 참조하면, 프로세서(505)는 선택된 오브젝트를 분석하고(S1201), 분석한 결과를 이용하여 다른 이미지를 검출한다(S1202).
즉, 단계 S1201에서, 프로세서(505)는 얼굴 영역 추출 기술을 이용하여 디스플레이된 이미지에 포함된 오브젝트에서 얼굴 영역을 추출하고, 얼굴 인식 기술, 물체 인식 기술, 문자 인식 기술, 윤곽선 검출 기술, 및 특징점 검출 기술 중 적어도 하나를 이용하여 도 2에서 설명한 바와 같이 선택된 오브젝트의 특징 값을 검출하고, 필요에 따라 상술한 선택된 오브젝트에 사람 얼굴이 포함되는지 여부를 나타내는 정보를 상기 특징 값에 더 포함시킨다. 따라서 상술한 선택된 오브젝트의 분석 결과는 상술한 특징 값을 포함한다.
단계 S1202에서, 상술한 단계 S1201에서 선택된 오브젝트에 대한 분석에 따라 얻은 특징 값을 이용하여 다른 이미지를 검출한다. 즉, 도 2에서 설명한 바와 같이 상술한 바와 같이 얼굴 영역 추출 기술을 이용하여 제 1 이미지에 포함된 오브젝트에서 얼굴 영역을 추출하고, 추출된 얼굴 영역에 대해 얼굴 인식 기술, 물체 인식 기술, 문자 인식 기술, 윤곽선 검출 기술, 및 특징점 검출 기술 중 적어도 하나를 이용하여 특징값을 검출하고, 검출된 제 1 이미지에 포함된 오브젝트의 특징 값을 단계 S1202에서 검출된 특징 값과 비교하여 검출된 에러 값이 소정의 임계 범위내에 포함되면, 프로세서(505)는 제 1 이미지를 다른 이미지로서 검출한다. 제 1 이미지는 저장부(502)에 저장된 것이다.
그러나, 설정된 태깅 범위가 "All Device"인 경우에, 저장부(503)에 저장된 이미지로부터 상술한 다른 이미지를 검출하면서, 통신부(503)를 통해 연결된 외부 기기로 부가 정보 자동 태깅 요청 신호를 전송하여 외부 기기에서 도 12에 도시된 바와 같은 동작 흐름도에 따라 도 2에서 설명한 바와 같이 이미지에 포함된 오브젝트를 분석하고, 분석된 결과를 이용하여 다른 이미지를 검출하고, 검출된 이미지에 부가 정보를 자동적으로 태깅할 수 있다. 또는, 외부 기기로 전송되는 부가 정보 자동 태킹 요청 신호에 따라 외부 기기는 상술한 다른 이미지를 검출하여 통신부(503)를 통해 프로세서(505)로 전송할 수 있다.
도 11에서 프로세서(505)는 검출된 다른 이미지에 부가 정보를 자동으로 태깅한다(S1103). 다른 이미지에 부가 정보를 태깅하는 것은 상술한 다른 이미지의 메타 데이터(예를 들어 상술한 EXIT)에 부가 정보를 삽입시키거나 포함시키는 방식으로 수행될 수 있다.
도 13은 도 1의 시스템(100)에 기초한 이미지 검색 방법의 동작 흐름도이다.
도 13을 참조하면, 제 1 기기(110)에 검색어 입력 창이 디스플레이 된다(S1301). 즉 도 14에 도시된 화면(1410)과 같이 검색어를 입력할 수 있는 창(1411)이 디스플레이 될 때, “C"입력에 따라 완성된 검색어에 대한 창(1412)이 추가로 디스플레이 된다. 완성된 검색어는 이전에 설정된 부가 정보에 기초하여 제공될 수 있다. 그러나, 완성된 검색어에 대한 창(1412)에 관계없이 사용자에 의해 원하는 검색어가 입력될 수 있다.
디스플레이 되는 검색어 입력 창(1411)에 기초하여 검색어가 입력되면(S1302), 제 1 기기(110)에서 메타 데이터에 검색어를 포함하고 있는 이미지를 검색(S1303)할 뿐 아니라 제 1 기기(110)에 연결된 모든 기기에 입력된 검색어에 기초한 검색 요청을 한다(S1304, S1305). 이에 따라 제 1 기기(110)뿐 아니라 클라우드 서버(120)와 제 2 기기(130)에서 각각 입력된 검색어에 기초하여 이미지를 검색하고(S1306, S1307), 제 1 기기(110)는 클라우드 서버(120)와 제 2 기기(120)에서 검색된 이미지를 각각 수신한다(S1308, S1309).
그러나, 검색어 입력 후, 검색 범위를 설정할 수 있다. 즉, 완성된 검색어 창(1412)에서 “CHOAN”이 선택되어 검색어 창(1411)에 검색어가 입력되고, 화면(1420)에 도시된 바와 같이 검색어 창(1411) 하단에 디스플레이 되는 검색 범위를 설정할 수 있는 정보가 디스플레이 되거나 화면(1430)에 도시된 바와 같이 검색어 창(1411)과 독립된 창에 검색 범위를 설정할 수 있는 정보만 디스플레이 될 수 있다.
디스플레이 되는 검색 범위 정보에 기초하여 검색 범위가 설정되면, 제 1 기기(110)는 설정된 검색 범위에 따라 단계 S1303-S1307를 선택적으로 수행할 수 있다.
즉, 검색 범위 정보로 “All Device(1421)" 항목이 선택되면, 현재 제 1 기기(110)뿐 아니라 제 1 기기(110)에 연결되어 있는 모든 기기에 저장된 이미지가 검색 대상이 된다. 검색 범위 정보로 “Current Device(1422)" 항목이 선택되면, 제 1 기기(110)에 저장된 이미지가 검색 대상이 된다. 검색 범위 정보로 ”Cloud(1423)" 항목이 선택되면, 제 1 기기(110)에 연결되어 있는 클라우드 서버(120)에 저장된 이미지가 검색 대상이 된다. 검색 범위 정보로 “Peripherals(1424)" 항목이 선택되면, 제 1 기기(110)에 연결되어 있는 제 2 기기(130)에 저장된 이미지가 검색 대상이 된다. 이와 같이 검색 범위 정보가 선택된 후, 검색 키(1413)가 제어되면, 제 1 기기(110)는 선택된 검색 범위 정보에 기초한 검색을 수행한다.
설정된 검색 범위 정보에 기초한 이미지가 검색되면, 제 1 기기(110)는 검색된 이미지들을 출력한다(S1310). 출력되는 이미지는 하나일 수 있다. 이미지 검색은 이미지의 메타 데이터에서 검색어 필드를 검출하고, 검출된 검색어 필드에 있는 검색어가 상술한 입력된 검색어에 일치하는지를 비교하는 방식으로 수행될 수 있으나 이로 제한되지 않는다. 검색된 이미지는 도 14의 화면(1440)에 도시된 바와 같이 디스플레이될 수 있다. 도 14는 도 4에서 입력된 “CHOAN"을 검색 키워드로 한 화면의 예이다. 따라서 도 14의 화면(1440)에 포함된 모든 이미지들은 도 3a의 화면(310)에 포함된 오브젝트를 포함한다.
도 15는 본 발명의 바람직한 일 실시 예에 따른 컨텐트 검색 방법의 동작 흐름도이다. 도 15는 제 1 기기(110)의 프로세서(505, 710, 805)에서 수행될 수 있다. 그러나 설명의 편의를 위하여 프로세서(505)에서 수행되는 것으로 설명하면 하기와 같다.
입력 정보 수신부(501)를 통해 이미지 검색 실행이 요청되면, 프로세서(505)는 검색어 입력 창(1411)을 도 14에 도시된 바와 같이 출력부(504)에 디스플레이 한다(S1501). 검색어 입력 창(1411)은 그래피컬 사용자 인터페이스 오브젝트에 포함된다. 출력부(504)에 디스플레이 되는 검색어 입력 창(1411)을 통해 검색어 입력이 수신되면(S1502), 프로세서(505)는 수신된 검색어를 기초로 이미지를 검색한다(S1503). 단계 S1503에서의 검색은 제 1 기기(110)에 디폴트로 설정된 검색 범위에 따라 수행될 수 있다. 그러나, 도 13 및 도 14에서 설명한 바와 같이 사용자에 의해 설정된 검색 범위에 따라 이미지를 검색할 수 있다. 설정된 검색 범위가 제 1 기기(110)의 연결 상태와 일치하지 않을 경우에 검색 범위를 제 1 기기(110)와 연결 상태가 일치하는 범위내에서 수행된다.
예를 들어, 설정된 검색 범위가 “Cloud"일 때, 제 1 기기(110)에 연결된 클라우드 서버가 없으면, 제 1 기기(110)는 이미지에 대한 검색은 수행되지 않을 수 있다. 이러한 경우에 해당되는 에러 메시지를 사용자가 인식할 수 있도록 프로세서(505)는 출력할 수 있다. 그러나, 제 1 기기(110)에 클라우드 서버(120)가 연결된 경우에, 제 1 기기(110)는 클라우드 서버(120)에 저정된 이미지를 검색 대상으로 하여 이미지 검색을 수행한다. 설정된 검색 범위가 ”All Device"이고, 제 1 기기(110)에 연결된 기기가 제 2 기기(130)인 경우에, 이미지에 대한 검색은 제 1 기기(110)와 제 2 기기(130)에서 수행될 수 있다. 이미지에 대한 검색은 도 13에서 상술한 바와 같이 수행될 수 있다.
프로세서(505)는 검색된 이미지를 도 14의 화면(1440)에 도시된 바와 같이 출력한다(S1504). 그러나, 검색된 이미지가 복수개일 때, 디스플레이 되는 형태는 도 14의 화면(1440)에 도시된 바로 제한되지 않고 다양한 형태로 디스플레이 될 수 있다.
예를 들어 검색된 이미지를 파노라마 형태로 디스플레이 할 수 있다. 또는 검색된 순서에 따라 오버랩된 형태로 이미지를 디스플레이하고, 사용자가 다음 검색 순서에 해당되는 이미지에 대한 디스플레이를 요구할 경우에, 현재 디스플레이 되는 최우선 순위로 검색된 이미지를 다른 화면 영역에 디스플레이 하거나 마지막 순서의 이미지 아래로 숨기고, 다음의 검색 순서의 이미지를 최상위에 디스플레이 하는 형태로 검색된 이미지를 디스플레이 할 수 있다.
도 16은 본 발명의 바람직한 다른 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법에 대한 동작 흐름도이다. 도 16은 제 1 기기(110)에 의해 수행될 수 있다. 이에 따라 제 1 기기(110)에 포함되는 저장부(502, 707, 804)는 도 16의 동작 흐름도에 기초하여 필요한 프로그램 및 정보를 저장하는 것으로 정의될 수 있다. 따라서, 도 9의 동작 흐름도에서와 같이 이하 동작을 프로세서(505)에서 수행되는 것으로 설명한다. 그러나, 도 16은 프로세서(710) 및 프로세서(805)에 의해 수행되거나 제 1 기기(110)의 요청에 따라 클라우드 서버(120) 또는 제 2 기기(130)에서 수행될 수 있다. 클라우드 서버(120) 또는 제 2 기기(130)에서 수행될 경우에 제 1 기기(110)는 디스플레이된 이미지 또는 디스플레이된 이미지의 정보를 클라우드 서버(120) 또는 제 2 기기(130)로 전송한다.
프로세서(505)는 출력부(503)에 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식한다(S1601). 오브젝트 인식 방법은 도 2에서 설명된 선택된 오브젝트의 특징 값을 검출하는 것과 같은 방식으로 수행될 수 있다. 도 17a 내지 도 17f는 도 16의 동작 흐름도를 설명하기 위한 화면의 예이다. 만약 출력부(504)를 통해 디스플레이된 이미지가 도 17a에 도시된 화면(1710)과 같을 때, 프로세서(505)는 도 2에서 설명한 얼굴 영역 추출 방법 및 얼굴 인식 기술을 사용하여 이미지(1710)에 포함된 오브젝트에 대한 인식 처리를 수행할 수 있다. 이 때, 프로세서(505)는 각 오브젝트에 대한 특징 값을 검출하여 저장부(502)에 저장할 수 있다.
출력부(504)를 통해 디스플레이된 이미지에 포함된 오브젝트를 인식하기 위하여, 프로세서(505)는 도 2에서 언급된 물체 인식 기술, 문자 인식 기술, 윤곽선 검출 기술, 및 특징점 검출 기술중 적어도 하나를 더 이용할 수 있다. 물체 인식 기술, 문자 인식 기술, 윤곽선 검출 기술, 및 특징점 검출 기술중 적어도 하나를 더 이용하는 것은 사전에 설정될 수 있다. 예를 들어, 디스플레이된 이미지에 포함된 오브젝트에 대해 얼굴 영역 추출 방법을 이용하여 얼굴 영역을 추출한 결과, 얼굴 영역이 추출되지 않은 경우에, 사전에 설정된 우선순위에 따라 상술한 기술중 하나를 선택하여 이용할 수 있다. 또는 디스플레이된 이미지에 포함된 오브젝트에 대해 얼굴 영역 추출 방법을 이용하여 얼굴 영역을 추출한 결과, 얼굴 영역이 추출되었으나, 오브젝트에 대해 좀더 상세한 특징 값을 얻기 위해 얼굴 인식 기술과 윤곽선 검출 기술을 함께 이용하도록 설정된 경우에 얼굴 인식 기술과 윤곽선 검출 기술을 함께 이용할 수 있다. 디스플레이된 이미지에 포함된 오브젝트를 인식하는 것은 상술한 바로 제한되지 않는다.
디스플레이된 이미지(1710)에 포함된 오브젝트에 대한 인식 처리가 완료되면, 프로세서(505)는 도 17b에 도시된 바와 같이 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)를 디스플레이된 이미지상에 디스플레이하는 이미지(1720)를 출력부(504)에 디스플레이 할 수 있다. 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)는 도 17b에 도시된 바와 같이 카메라의 초점 영역을 표시하는 것과 같이 정의될 수 있으나 도 3a의 화면(320) 또는 도 3b의 화면(350)에 도시된 바와 같은 폐곡선으로 디스플레이되도록 정의될 수 있다.
그러나, 프로세서(505)는 디스플레이된 이미지(1710)에 포함된 오브젝트에 대한 인식 처리 후, 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)를 도 17b와 같이 디스플레이된 이미지상에 디스플레이하지 않고, 오브젝트 인식 완료를 나타내는 메시지를 디스플레이 하거나 화면(1710)의 디스플레이 상태를 유지할 수 있다. 프로세서(505)는 출력부(504)에 이미지가 디스플레이될 때, 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하는 과정을 수행할 수 있다.
프로세서(505)는 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받는다(S1602), 이를 위하여, 프로세서(505)는 인식된 오브젝트에 대한 사용자의 선택 신호를 수신할 수 있다. 인식된 오브젝트에 대한 사용자의 선택 신호는 인식된 모든 오브젝트에 대해 수신될 수 있으나 인식된 오브젝트중 적어도 하나의 오브젝트에 대해 수신될 수 있다.
즉, 도 17b에 도시된 바와 같이 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)가 디스플레이된 이미지상에 디스플레이될 때, 도 17c에 도시된 바와 같이 인식된 오브젝트를 나타내는 정보(1723)에 대응되는 오브젝트에 대한 스타일러스 펜(1731)을 이용한 터치가 감지됨에 따라 프로세서(505)는 정보(1723)에 대응되는 오브젝트에 대한 사용자의 선택 신호를 수신한다. 프로세서(505)에 의해 인식된 오브젝트에 대한 사용자의 선택 신호를 수신할 수 있는 터치 영역은 도 17c의 경우에 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)가 디스플레이 되는 위치를 기준으로 하는 초점 영역이다. 따라서 스타일러스 펜(1731) 또는 사용자의 손가락을 이용하여 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)내의 임의의 영역을 터치할 경우에 프로세서(505)는 해당되는 오브젝트에 대한 사용자의 선택신호를 수신할 수 있다.
또는 도 17d에 도시된 바와 같이 인식된 복수의 오브젝트를 나타내는 정보(1721, 1722, 1723)에 대응되는 오브젝트 각각에 대해 손가락을 이용한 멀티 터치가 감지됨에 따라 프로세서(505)는 정보(1721, 1722, 1723)에 대응되는 복수의 오브젝트에 대한 사용자의 선택신호를 수신할 수 있다.
또는 도 17e에 도시된 바와 같이 디스플레이된 이미지상의 터치 앤 드래그 감지에 의해 영역(1751)이 설정됨에 따라 프로세서(505)는 상기 영역(1751)에 포함된 복수의 오브젝트에 대한 사용자의 선택 신호를 수신할 수 있다.
그러나, 인식된 오브젝트에 대한 사용자의 선택 신호 수신은 도 17c 내지 도 17e에 도시된 터치 기반으로 제한되지 않는다, 즉, 상술한 사용자의 선택 신호는 인식된 오브젝트의 선택을 나타내는 사용자의 공간 제스처를 기반으로 수신될 수 있다. 예를 들어, 출력부(504)에 도 17b에 도시된 화면(1720)과 같이 인식된 오브젝트를 나타내는 정보(1721, 1722, 1723)가 디스플레이된 이미지상에 디스플레이되거나 도 17a에 도시된 화면(1710)과 같이 인식된 오브젝트를 나타내는 정보가 디스플레이되지 않을 때, 선택하고자 하는 오브젝트를 포인팅하는 사용자의 공간 제스처를 기반으로 프로세서(505)는 인식된 오브젝트에 대한 사용자의 선택 신호를 수신할 수 있다.
인식된 오브젝트에 대한 사용자의 선택신호가 수신되면, 프로세서(505)는 도 17f에 도시된 바와 같이 선택된 오브젝트에 대한 부가 정보를 입력할 수 있는 입력 창(1761)과 입력 창(1761)을 통해 입력될 정보를 입력하는 가상 키보드(1762)를 포함하는 화면(1760)를 출력부(504)에 디스플레이 한다. 디스플레이되는 입력 창(1761) 및 가상 키보드(1762)는 그래피컬 사용자 인터페이스 오브젝트에 포함되는 것으로 정의될 수 있다. 따라서, 입력 창(1761)과 가상 키보드(1762)를 통해 입력되는 선택된 오브젝트에 대한 부가 정보를 그래피컬 사용자 인터페이스 오브젝트를 통해 입력 받는 것으로 정의될 수 있다.
부가 정보 입력 창(1761)과 가상 키보드(1762)를 이용하여 입력되는 부가 정보는 선택된 오브젝트에 대한 사용자의 의도를 나타내는 정보를 포함한다. 사용자의 의도를 나타내는 정보는 도 3a 및 도 3b에서 설명한 사용자의 의도를 나타내는 정보와 같다.
부가 정보가 입력되면, 프로세서(505)는 입력된 부가 정보를 디스플레이된 이미지에 태깅한다(S1603). 즉, 도 2에서 설명한 바와 같이 디스플레이된 이미지의 메타 데이터에 입력된 부가 정보를 포함시키는 방식으로 디스플레이된 이미지에 부가 정보를 태깅할 수 있다.
도 18은 본 발명의 바람직한 또 다른 실시 예에 따른 이미지에 대한 부가 정보 태깅 방법에 대한 동작 흐름도이다. 도 18은 도 16의 동작 흐름도에 도 9의 단계 S903에 대응되는 기능이 추가된 예이다. 따라서, 도 18의 단계 S1801 내지 단계 S1803은 도 16의 단계 S1601 내지 단계 S1603에 대응되고, 단계 S1804는 도 9의 단계 S903에서 설명한 바와 다른 이미지를 검출하고, 검출된 다른 이미지에 단계 S1802에서 사용자로부터 입력 받은 부가 정보를 태깅한다.
도 13 및 도 15에 기초한 이미지 검색 방법은 도 16 및 도 18의 동작 흐름도에 의해 이미지에 태깅된 부가 정보를 이용하여 수행될 수 있다.
본 발명의 실시 예들에 따른 이미지에 대한 부가 정보 태깅 및 이미지 검색 방법을 컴퓨터로 구현하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 기록되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로써 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (37)

  1. 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하는 단계;
    상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받는 단계; 및
    상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  2. 제 1 항에 있어서, 상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계는,
    상기 인식된 적어도 하나의 오브젝트에 대한 사용자의 선택신호를 수신하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  3. 제 2 항에 있어서, 상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받는 단계는,
    상기 적어도 하나의 부가 정보를 입력할 수 있는 그래피컬 사용자 인터페이스(GUI) 오브젝트를 디스플레이 하는 단계; 및
    상기 그래피컬 사용자 인터페이스 오브젝트를 통해 입력되는 부가 정보를 상기 선택된 오브젝트에 관련된 부가 정보로 입력 받는 단계를 더 포함하는 이미지에 대한 부가 정보 태깅 방법.
  4. 제 2 항에 있어서, 상기 인식된 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계는,
    상기 적어도 하나의 오브젝트를 인식하는 단계에서 인식된 적어도 하나의 오브젝트에 대한 터치가 감지됨에 따라 상기 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  5. 제 2 항에 있어서, 상기 인식된 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계는,
    상기 적어도 하나의 오브젝트를 인식하는 단계에서 인식된 복수의 오브젝트에 대한 멀티 터치가 감지됨에 따라 상기 복수의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 적어도 하나의 오브젝트를 인식하는 단계는 상기 인식된 오브젝트를 나타내는 정보를 상기 디스플레이된 이미지상에 디스플레이 하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  7. 제 2 항에 있어서, 상기 인식된 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계는,
    상기 디스플레이된 이미지상에서 터치 앤 드래그에 의해 영역이 설정됨에 따라 상기 설정된 영역에 포함된 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  8. 제 2 항에 있어서, 상기 인식된 적어도 하나의 오브젝트에 대한 사용자의 선택 신호를 수신하는 단계는,
    상기 적어도 하나의 오브젝트에 대한 선택을 나타내는 상기 사용자의 공간 제스처가 인식됨에 따라 상기 적어도 하나의 오브젝트에 대한 선택 신호를 수신하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  9. 제 2 항에 있어서, 상기 부가 정보는 상기 오브젝트에 대한 상기 사용자의 의도를 나타내는 정보를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  10. 제 1 항에 있어서, 상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 단계는 상기 부가 정보를 상기 이미지의 메타 데이터에 포함시키는 이미지에 대한 부가 정보 태깅 방법.
  11. 제 1 항에 있어서, 상기 이미지에 대한 부가 정보 태깅 방법은,
    상기 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 단계를 더 포함하는 이미지에 대한 부가 정보 태깅 방법.
  12. 제 11 항에 있어서, 상기 다른 이미지는
    상기 이미지가 디스플레이 되고 있는 기기와 연결되어 있는 적어도 하나의 외부 기기에 저장되어 있는 이미지를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  13. 제 12 항에 있어서, 상기 적어도 하나의 외부 기기는 클라우드와 상기 기기의 주변 기기중 적어도 하나를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  14. 제 11 항에 있어서, 상기 다른 이미지는
    상기 이미지가 디스플레이 되고 있는 화면에 상기 이미지와 함께 디스플레이 되고 있는 이미지를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  15. 제 11 항에 있어서, 상기 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 단계는
    태깅 범위를 설정하는 단계;
    상기 설정된 태깅 범위에 기초하여 상기 다른 이미지를 검출하는 단계; 및
    상기 검출된 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  16. 제 15 항에 있어서, 상기 태깅 범위를 설정하는 단계는,
    선택 가능한 태깅 범위를 나타내는 정보를 출력하는 단계; 및
    상기 출력된 태깅 범위를 나타내는 정보에 대한 사용자의 선택 신호에 따라 상기 태깅 범위를 설정하는 단계를 포함하는 이미지에 대한 부가 정보 태깅 방법.
  17. 제 1 항에 있어서, 상기 오브젝트를 인식하는 단계는,
    상기 디스플레이된 이미지에 대해 얼굴 인식 기술, 물체 인식 기술, 문자 인식 기술, 윤곽선 검출 기술, 특징점 검출 기술 중 적어도 하나를 이용하여 수행되는 것을 특징으로 하는 이미지에 대한 부가 정보 태깅 방법.
  18. 적어도 하나의 외부 기기와 통신하는 통신부;
    이미지에 대한 부가 정보 태깅 프로그램 및 이미지에 대한 부가 정보 태깅에 관련된 정보를 저장하는 저장부;
    사용자의 입력 정보를 수신하고, 사용자 인터페이스 오브젝트 및 상기 이미지에 대한 부가 정보 태깅 프로그램의 실행에 따른 정보를 출력하는 입출력부; 및
    상기 입출력부를 통해 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 상기 입출력부를 통해 상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받고, 상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 프로세서를 포함하는 기기.
  19. 제 18 항에 있어서, 상기 프로세서는
    상기 입출력부를 통해 상기 인식된 적어도 하나의 오브젝트에 대한 사용자의 선택 신호를 수신하는 기능을 더 포함하는 기기.
  20. 제 19 항에 있어서, 상기 프로세서는
    상기 적어도 하나의 부가 정보를 상기 사용자로부터 입력 받기 위하여,
    상기 적어도 하나의 부가 정보를 입력할 수 있는 그래피컬 사용자 인터페이스(GUI) 오브젝트를 상기 입출력부에 디스플레이하고,
    상기 그래피컬 사용자 인터페이스 오브젝트를 통해 입력되는 부가 정보를 상기 선택된 오브젝트에 관련된 부가 정보로 입력 받는 기기.
  21. 제 19 항에 있어서, 상기 프로세서는
    상기 인식된 적어도 하나의 오브젝트에 대한 상기 입출력부의 터치가 감지됨에 따라 상기 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 기기.
  22. 제 19 항에 있어서, 상기 프로세서는
    상기 인식된 오브젝트가 복수의 오브젝트를 포함하고,
    상기 인식된 복수의 오브젝트에 대한 상기 입출력부의 멀티 터치가 감지됨에 따라 상기 복수의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 기기.
  23. 제 21 항 또는 제 22 항에 있어서, 상기 프로세서는
    상기 인식된 오브젝트를 나타내는 정보를 상기 디스플레이된 이미지상에 디스플레이하는 기기.
  24. 제 19 항에 있어서, 상기 프로세서는
    상기 디스플레이된 이미지상에서 터치 앤 드래그에 의해 영역이 설정됨에 따라 상기 설정된 영역에 포함된 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 기기.
  25. 제 19 항에 있어서, 상기 프로세서는
    상기 인식된 적어도 하나의 오브젝트에 대한 선택을 나타내는 상기 사용자의 공간 제스처가 상기 입출력부를 통해 인식됨에 따라 상기 적어도 하나의 오브젝트에 대한 상기 사용자의 선택 신호를 수신하는 기기.
  26. 제 19 항에 있어서, 상기 부가 정보는 상기 오브젝트에 대한 사용자의 의도를 나타내는 정보를 포함하는 기기.
  27. 제 18 항에 있어서, 상기 프로세서는 상기 부가 정보를 상기 이미지의 메타 데이터에 포함시키는 기기.
  28. 제 18 항에 있어서, 상기 프로세서는 상기 오브젝트를 포함하는 다른 이미지에 상기 사용자로부터 입력 받은 상기 부가 정보를 자동으로 태깅하는 기기.
  29. 제 28 항에 있어서, 상기 다른 이미지는 상기 기기와 연결되어 있는 적어도 하나의 외부 기기에 저장되어 있는 이미지를 포함하는 기기.
  30. 제 29 항에 있어서, 상기 적어도 하나의 외부 기기는 클라우드와 상기 기기의 주변 기기중 적어도 하나를 포함하는 기기.
  31. 제 28 항에 있어서, 상기 다른 이미지는 상기 이미지가 디스플레이 되고 있는 화면에 상기 이미지와 함께 디스플레이 되는 이미지를 포함하는 기기.
  32. 제 28 항에 있어서, 상기 프로세서는
    상기 다른 이미지에 상기 부가 정보를 자동으로 태깅하기 위하여,
    태깅 범위를 설정하고, 상기 설정된 태깅 범위에 기초하여 상기 다른 이미지를 검출하고, 상기 검출된 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 기기.
  33. 제 32 항에 있어서, 상기 프로세서는
    상기 태깅 범위를 설정하기 위하여,
    선택 가능한 태깅 범위를 나타내는 정보를 상기 입출력부를 통해 출력하고, 상기 출력된 태깅 범위를 나타내는 정보에 대한 사용자의 선택 신호에 따라 상기 태깅 범위를 설정하는 기기.
  34. 제 18 항에 있어서, 상기 프로세서는 상기 디스플레이된 이미지에 대해 얼굴 인식 기술, 물체 인식 기술, 문자 인식 기술, 윤곽선 검출 기술, 및 특징점 검출 기술 중에서 적어도 하나를 이용하여 상기 적어도 하나의 오브젝트를 인식하는 기기.
  35. 터치 기반 사용자 입력 정보를 수신하고, 디스플레이된 이미지에 대한 부가 정보 태깅에 관련된 정보를 디스플레이 하는 터치 스크린;
    상기 터치 스크린을 제어하여 사용자 인터페이스를 제공하는 적어도 하나의 프로세서;
    적어도 하나의 외부 기기와 통신하는 통신부;
    상기 프로세서에 의해 실행 가능하도록 구성된 적어도 하나의 프로그램과 상기 디스플레이된 이미지에 대한 부가 정보 태깅에 관련된 정보를 저장하는 저장부를 포함하고,
    상기 프로그램은,
    상기 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고,
    상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받고,
    상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 명령어들을 포함하는 기기.
  36. 기기에서의 이미지에 대한 부가 정보 태깅 방법을 수행하도록 하는 명령어를 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    상기 이미지에 대한 부가 정보 태깅 방법은,
    디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하는 단계;
    상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받는 단계; 및
    상기 입력 받은 부가 정보를 상기 이미지에 태깅하는 단계를 포함하는 컴퓨터로 읽을 수 있는 기록 매체.
  37. 디스플레이된 이미지에 포함된 적어도 하나의 오브젝트를 인식하고, 상기 인식된 오브젝트에 대한 적어도 하나의 부가 정보를 사용자로부터 입력 받고, 상기 입력 받은 부가 정보를 상기 이미지에 태깅하고, 상기 오브젝트를 포함하는 다른 이미지에 상기 부가 정보를 자동으로 태깅하는 기기; 및
    상기 다른 이미지를 저장하는 적어도 하나의 외부 기기를 포함하는 이미지에 대한 부가 정보 태깅 시스템.
KR1020120086003A 2012-08-06 2012-08-06 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체 KR101993241B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020120086003A KR101993241B1 (ko) 2012-08-06 2012-08-06 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
EP13179427.3A EP2696347B1 (en) 2012-08-06 2013-08-06 Selection of a range among user devices to propagate image tags.
MX2015001647A MX348693B (es) 2012-08-06 2013-08-06 Método y sistema de etiquetado de información acerca de imagen, aparato y medio de grabación susceptible de ser leído en computadora de los mismos.
AU2013300316A AU2013300316B2 (en) 2012-08-06 2013-08-06 Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
BR112015002638A BR112015002638A2 (pt) 2012-08-06 2013-08-06 método para marcar informações, e aparelho
US13/959,859 US10191616B2 (en) 2012-08-06 2013-08-06 Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
CN201310338529.XA CN103577102B (zh) 2012-08-06 2013-08-06 用于标记关于图像的信息的方法和系统、及其装置
RU2015103859A RU2015103859A (ru) 2012-08-06 2013-08-06 Способ и система для тегирования информации об изображении, соответствующее устройство и машиночитаемый носитель записи
PCT/KR2013/007065 WO2014025185A1 (en) 2012-08-06 2013-08-06 Method and system for tagging information about image, apparatus and computer-readable recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120086003A KR101993241B1 (ko) 2012-08-06 2012-08-06 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체

Publications (2)

Publication Number Publication Date
KR20140019630A true KR20140019630A (ko) 2014-02-17
KR101993241B1 KR101993241B1 (ko) 2019-06-26

Family

ID=48951314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120086003A KR101993241B1 (ko) 2012-08-06 2012-08-06 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체

Country Status (9)

Country Link
US (1) US10191616B2 (ko)
EP (1) EP2696347B1 (ko)
KR (1) KR101993241B1 (ko)
CN (1) CN103577102B (ko)
AU (1) AU2013300316B2 (ko)
BR (1) BR112015002638A2 (ko)
MX (1) MX348693B (ko)
RU (1) RU2015103859A (ko)
WO (1) WO2014025185A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050721A (ko) * 2014-10-30 2016-05-11 에스케이텔레콤 주식회사 영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치
KR20160064576A (ko) * 2014-11-28 2016-06-08 한화테크윈 주식회사 영상 검색 방법 및 장치
JP2016122445A (ja) * 2014-12-19 2016-07-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを伴うオブジェクト操作のためのシステム及び方法
KR20160105239A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법
WO2019083275A1 (ko) * 2017-10-27 2019-05-02 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
US10606359B2 (en) 2014-12-19 2020-03-31 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
KR20200042629A (ko) * 2018-10-16 2020-04-24 주식회사 키센스 인공지능 학습을 위한 모바일 기기의 터치 기반 어노테이션과 이미지 생성 방법 및 그 장치
KR20200071815A (ko) * 2018-11-30 2020-06-22 주식회사 키센스 모바일 기기의 터치 기반에 의해 수집된 이미지 빅데이터를 이용한 정보 서비스 제공 방법 및 그 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150092560A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104765951A (zh) * 2014-04-08 2015-07-08 惠州Tcl移动通信有限公司 多媒体医学记录组件及其数据访问方法
US10216996B2 (en) 2014-09-29 2019-02-26 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
CN105808542B (zh) * 2014-12-29 2019-12-24 联想(北京)有限公司 信息处理方法以及信息处理装置
JP6262708B2 (ja) * 2014-12-31 2018-01-17 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 深い検索性を有するオブジェクト化及びハードコピーからオリジナルの電子ファイルを検出するドキュメント検出方法
US10222942B1 (en) 2015-01-22 2019-03-05 Clarifai, Inc. User interface for context labeling of multimedia items
CN106161020B (zh) * 2015-03-27 2019-08-09 阿里巴巴集团控股有限公司 一种身份认证的方法及装置
US20160294890A1 (en) * 2015-03-31 2016-10-06 Facebook, Inc. Multi-user media presentation system
CN104866194B (zh) * 2015-05-21 2018-07-13 百度在线网络技术（北京）有限公司 图片搜索方法及装置
US10515111B2 (en) * 2016-01-19 2019-12-24 Regwez, Inc. Object stamping user interface
US20170249674A1 (en) * 2016-02-29 2017-08-31 Qualcomm Incorporated Using image segmentation technology to enhance communication relating to online commerce experiences
CN106231189A (zh) * 2016-08-02 2016-12-14 乐视控股（北京）有限公司 拍照处理方法和装置
US10782852B1 (en) * 2016-12-11 2020-09-22 Snap Inc. Contextual action mechanisms in chat user interfaces
CN111506752A (zh) * 2019-01-30 2020-08-07 阿里巴巴集团控股有限公司 搜索方法、装置、电子设备及计算机存储介质
US20220256245A1 (en) * 2019-05-23 2022-08-11 Lg Electronics Inc. Display device
JP7467999B2 (ja) * 2020-03-10 2024-04-16 セイコーエプソン株式会社 スキャンシステム、プログラム、およびスキャンシステムのスキャンデータ生成方法
US10939159B1 (en) 2020-07-31 2021-03-02 Arkade, Inc. Systems and methods for enhanced remote control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201734A1 (en) * 2007-02-20 2008-08-21 Google Inc. Association of Ads With Tagged Audiovisual Content
US20100054601A1 (en) * 2008-08-28 2010-03-04 Microsoft Corporation Image Tagging User Interface
KR20120002719A (ko) * 2010-07-01 2012-01-09 에스케이플래닛 주식회사 컨텐츠 서비스 시스템 및 컨텐츠 서비스 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050246324A1 (en) * 2004-04-30 2005-11-03 Nokia Inc. System and associated device, method, and computer program product for performing metadata-based searches
US7587101B1 (en) 2005-02-28 2009-09-08 Adobe Systems Incorporated Facilitating computer-assisted tagging of object instances in digital images
KR100796044B1 (ko) 2007-02-08 2008-01-21 (주)올라웍스 인물 이미지에 대한 태깅 방법
EP1990744B1 (en) 2007-05-09 2013-01-23 Research In Motion Limited User interface for editing photo tags
US8144944B2 (en) * 2007-08-14 2012-03-27 Olympus Corporation Image sharing system and method
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US8594467B2 (en) * 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20100214321A1 (en) 2009-02-24 2010-08-26 Nokia Corporation Image object detection browser
US20100216441A1 (en) 2009-02-25 2010-08-26 Bo Larsson Method for photo tagging based on broadcast assisted face identification
US20110078714A1 (en) 2009-09-25 2011-03-31 Verizon Patent And Licensing Inc. System and method of sharing video on demand content
US8605956B2 (en) * 2009-11-18 2013-12-10 Google Inc. Automatically mining person models of celebrities for visual search applications
US20130046761A1 (en) * 2010-01-08 2013-02-21 Telefonaktiebolaget L M Ericsson (Publ) Method and Apparatus for Social Tagging of Media Files
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
KR101815203B1 (ko) 2010-06-10 2018-01-05 에스케이플래닛 주식회사 컨텐츠 서비스 방법
US8724908B2 (en) * 2010-09-03 2014-05-13 Adobe Systems Incorporated System and method for labeling a collection of images
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9471600B2 (en) * 2011-06-21 2016-10-18 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device and method for handling tags
EP2810218A4 (en) * 2012-02-03 2016-10-26 See Out Pty Ltd NOTIFICATION AND CONFIDENTIALITY MANAGEMENT OF PHOTOS AND VIDEOS ONLINE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080201734A1 (en) * 2007-02-20 2008-08-21 Google Inc. Association of Ads With Tagged Audiovisual Content
US20100054601A1 (en) * 2008-08-28 2010-03-04 Microsoft Corporation Image Tagging User Interface
KR20120002719A (ko) * 2010-07-01 2012-01-09 에스케이플래닛 주식회사 컨텐츠 서비스 시스템 및 컨텐츠 서비스 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050721A (ko) * 2014-10-30 2016-05-11 에스케이텔레콤 주식회사 영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치
KR20160064576A (ko) * 2014-11-28 2016-06-08 한화테크윈 주식회사 영상 검색 방법 및 장치
JP2016122445A (ja) * 2014-12-19 2016-07-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを伴うオブジェクト操作のためのシステム及び方法
US10606359B2 (en) 2014-12-19 2020-03-31 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
KR20160105239A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법
WO2019083275A1 (ko) * 2017-10-27 2019-05-02 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
KR20190047214A (ko) * 2017-10-27 2019-05-08 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
US11853108B2 (en) 2017-10-27 2023-12-26 Samsung Electronics Co., Ltd. Electronic apparatus for searching related image and control method therefor
KR20200042629A (ko) * 2018-10-16 2020-04-24 주식회사 키센스 인공지능 학습을 위한 모바일 기기의 터치 기반 어노테이션과 이미지 생성 방법 및 그 장치
KR20200071815A (ko) * 2018-11-30 2020-06-22 주식회사 키센스 모바일 기기의 터치 기반에 의해 수집된 이미지 빅데이터를 이용한 정보 서비스 제공 방법 및 그 시스템

Also Published As

Publication number Publication date
WO2014025185A1 (en) 2014-02-13
MX348693B (es) 2017-06-26
US20140040828A1 (en) 2014-02-06
EP2696347B1 (en) 2017-03-08
BR112015002638A2 (pt) 2017-07-04
EP2696347A3 (en) 2014-05-07
CN103577102A (zh) 2014-02-12
AU2013300316A1 (en) 2015-02-26
US10191616B2 (en) 2019-01-29
KR101993241B1 (ko) 2019-06-26
RU2015103859A (ru) 2016-08-27
MX2015001647A (es) 2015-04-08
AU2013300316B2 (en) 2016-05-12
EP2696347A2 (en) 2014-02-12
CN103577102B (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
KR101993241B1 (ko) 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
KR102313755B1 (ko) 이동 단말기 및 그 제어 방법
US20120038668A1 (en) Method for display information and mobile terminal using the same
KR20140077510A (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US10990748B2 (en) Electronic device and operation method for providing cover of note in electronic device
US20140267384A1 (en) Display apparatus and control method thereof
JP6253639B2 (ja) コンテンツのオートネーミング遂行方法及びその装置、並びに記録媒体
EP2709005B1 (en) Method and system for executing application, and device and recording medium thereof
US20190369847A1 (en) Image display apparatus and operating method of the same
CN111343512A (zh) 信息获取方法、显示设备及服务器
KR102057196B1 (ko) 정보 전송 방법 및 시스템과 그 기기
CN108009273B (zh) 图像显示方法、装置及计算机可读存储介质
KR20160055552A (ko) 메모 표시 방법 및 이를 위한 디바이스
KR20140003245A (ko) 이동 단말기 및 이동 단말기의 제어 방법
EP3739465A1 (en) Electronic device and operating method therefor
TWI595406B (zh) 顯示裝置及其傳遞訊息的方法
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
KR20180022184A (ko) 이동 단말기 및 그 제어방법
KR20150117128A (ko) 이동단말기 및 그 제어방법
KR101667729B1 (ko) 이동 단말기 및 그것의 제어 방법
KR20150142375A (ko) 디바이스에 컨텐츠를 표시하는 방법 및 그 디바이스
KR20150093520A (ko) 이동 단말기 및 그것의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant