KR101910346B1 - 이미지 처리 방법 및 장치 - Google Patents

이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR101910346B1
KR101910346B1 KR1020167009865A KR20167009865A KR101910346B1 KR 101910346 B1 KR101910346 B1 KR 101910346B1 KR 1020167009865 A KR1020167009865 A KR 1020167009865A KR 20167009865 A KR20167009865 A KR 20167009865A KR 101910346 B1 KR101910346 B1 KR 101910346B1
Authority
KR
South Korea
Prior art keywords
image
information
module
user
photographing
Prior art date
Application number
KR1020167009865A
Other languages
English (en)
Other versions
KR20170072166A (ko
Inventor
지준 첸
타오 장
핑제 왕
Original Assignee
시아오미 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시아오미 아이엔씨. filed Critical 시아오미 아이엔씨.
Publication of KR20170072166A publication Critical patent/KR20170072166A/ko
Application granted granted Critical
Publication of KR101910346B1 publication Critical patent/KR101910346B1/ko

Links

Images

Classifications

    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06K9/00228—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 출원은 이미지 처리 방법 및 장치에 관한 것이다. 해당 방법은, 유저의 이미지에 대하여 얼굴 이미지 식별을 수행하는 단계; 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하되, 상기 인물 신상 정보에는 상기 얼굴 이미지에 대응되는 인물의 아이디 및 상기 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되는 단계; 상기 이미지의 촬영 정보를 획득하되, 상기 촬영 정보에는 상기 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나의 정보가 포함되는 단계; 상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계;를 포함한다. 해당 해결 수단은 이미지 설명을 더욱 정확하게 생성하고, 이미지에 대한 자동 설명이 더욱 지능적으로 구성하며, 인간이 이미지를 설명하는 능력에 더 가깝도록 이미지 설명을 구현함으로써, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.

Description

이미지 처리 방법 및 장치{PICTURE PROCESSING METHOD AND APPARATUS}
본 출원은 2015년 11월 20일에 출원된 중국특허출원 제201510813140.5호를 기반으로 제출하며, 상기 중국특허출원에 대한 우선권을 주장하고 상기 중국특허출원의 전체 내용을 본 출원에 인용한다.
본 출원은 이미지 처리 기술분야에 관한 것으로서, 보다 상세하게는 이미지 처리 방법 및 장치에 관한 것이다
현재 이미지 식별 기술의 발전에 따라, 이미지가 나타내는 깊은 뜻에 대한 연구가 날로 많아지고 있다. 하지만 종래의 자동 이미지 텍스트 설명 시스템은 단지 이미지 중의 사람 또는 물체에 대하여 단독으로 간단하게 설명만하기 때문에, 유저들은 이러한 설명을 통하여 인물 사이의 상호 관계를 알 수 없다.
본 출원은 이미지 처리 방법 및 장치를 제공하며, 그 해결 수단은 아래와 같다.
본 출원의 실시예의 제1 측면은 이미지 처리 방법을 제공하며, 상기 방법은,
유저의 이미지에 대하여 얼굴 이미지를 식별하는 단계;
식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하며, 상기 인물 신상 정보에는 상기 얼굴 이미지에 대응되는 인물의 아이디 및 상기 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되는 단계;
상기 이미지의 촬영 정보를 획득하며, 상기 촬영 정보에는 상기 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나의 정보가 포함되는 단계; 및
상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계;가 포함된다.
선택적으로, 상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하는 단계는,
사전 설정된 인물 정보 베이스를 획득하며, 상기 사전 설정된 인물 정보 베이스는 얼굴 이미지와 인물 신상 정보의 대응 관계를 포함하는 단계;
상기 식별한 얼굴 이미지와 상기 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교하는 단계; 및
상기 식별한 얼굴 이미지에 매칭되는 얼굴 이미지에 대응되는 인물 신상 정보를, 상기 사전 설정된 인물 정보 베이스로부터 획득하는 단계; 를 포함한다.
선택적으로, 상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하는 단계는,
상기 유저의 연락처 정보를 획득하며, 상기 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함되는 단계;
상기 식별한 얼굴 이미지와 상기 프로필 사진을 비교하는 단계; 및
상기 식별한 얼굴 이미지와 매칭되는 상기 프로필 사진에 대응되는 인물 신상 정보를 획득하는 단계; 를 포함한다.
선택적으로, 상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계는,
상기 이미지 내의 물체를 식별하여 물체 명칭을 획득하는 단계; 및
상기 인물 신상 정보, 상기 촬영 정보 및 상기 물체 명칭에 따라 상기 이미지의 설명 정보를 생성하는 단계; 를 더 포함한다.
선택적으로, 상기 방법은 ,
상기 유저의 이미지를 그룹핑하여 이미지 그룹을 생성하는 단계;
각 이미지 그룹에 포함되는 이미지의 설명 정보에 따라 상기 각 이미지 그룹의 설명 정보를 생성하는 단계; 를 더 포함한다.
선택적으로, 상기 이미지 그룹을 생성하는 단계는,
상기 유저의 이미지를 촬영 시간, 촬영 장소 및 상기 식별한 얼굴 이미지 중 적어도 하나에 따라 상기 이미지를 그룹핑하는 단계를 포함한다.
선택적으로, 상기 방법은,
유저가 송신한 보기 명령을 수신하면, 상기 이미지 그룹 및 상기 각 이미지 그룹의 설명 정보를 디스플레이하는 단계를 더 포함한다.
선택적으로, 상기 이미지 그룹 및 상기 이미지 그룹의 설명 정보를 디스플레이하는 단계는,
슬라이드 방식으로 상기 이미지 그룹 에 포함되는 이미지 및 상기 이미지 그룹에 포함되는 이미지의 설명 정보를 디스플레이하는 단계를 포함한다.
본 출원의 실시예의 제2 측면은 이미지 처리 장치를 제공하며, 상기 장치는,
유저의 이미지에 포함되는 얼굴 이미지를 식별하는 식별 모듈;
상기 식별 모듈이 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하며, 상기 인물 신상 정보에는 상기 얼굴 이미지에 대응되는 인물의 아이디 및 상기 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되는 확정 모듈;
상기 이미지의 촬영 정보를 획득하며, 상기 촬영 정보에는 상기 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나가 포함되는 획득 모듈; 및
상기 확정 모듈이 확인한 인물 신상 정보 및 상기 획득 모듈이 획득한 촬영 정보에 기초하여 상기 이미지의 설명 정보를 생성하는 제1 생성 모듈; 을 포함한다.
선택적으로, 상기 확정 모듈은,
사전 설정된 인물 정보 베이스를 획득하며, 상기 사전 설정된 인물 정보 베이스는 얼굴 이미지와 인물 신상 정보의 대응 관계를 포함하는 제1 획득 서브 모듈;
상기 식별 모듈이 식별한 얼굴 이미지와 상기 제1 획득 서브 모듈이 획득한 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교하는 제1 비교 서브 모듈; 및
상기 식별한 얼굴 이미지와 매칭되는 얼굴 이미지에 대응되는 상기 인물 신상 정보를 상기 사전 설정된 인물 정보 베이스로부터 획득하는 제2 획득 서브 모듈; 을 포함한다.
선택적으로, 상기 확정 모듈은,
상기 유저의 연락처 정보를 획득하며, 상기 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함되는 제3 획득 서브 모듈;
상기 식별 모듈이 식별한 얼굴 이미지와 상기 프로필 사진을 비교하는 제2 비교 서브 모듈; 및
상기 식별한 얼굴 이미지와 매칭되는 상기 프로필 사진에 대응되는 상기 인물 신상 정보를 획득하는 제4 획득 서브 모듈; 을 포함한다.
선택적으로, 상기 제1 생성 모듈은,
상기 유저의 이미지에서 물체를 식별하여 물체 명칭을 획득하는 식별 서브 모듈; 및
상기 확정 모듈이 확인한 인물 신상 정보, 상기 획득 모듈이 획득한 촬영 정보 및 상기 식별 서브 모듈이 획득한 물체 명칭에 따라 상기 이미지의 설명 정보를 생성하는 생성 서브 모듈; 을 포함한다.
선택적으로, 상기 장치는,
상기 유저의 이미지를 그룹핑하여 이미지 그룹을 생성하는 그룹핑 모듈; 및
상기 제1 생성 모듈이 생성한 이미지의 설명 정보에 기초하여 상기 이미지 그룹의 설명 정보를 생성하는 제2 생성 모듈; 을 더 포함한다.
선택적으로, 상기 그룹핑 모듈은,
상기 획득 서브 모듈이 획득한 이미지의 촬영 시간, 촬영 장소 및 상기 식별 모듈이 식별한 얼굴 이미지 중 적어도 하나에 따라 상기 유저의 이미지를 그룹핑한다.
선택적으로, 상기 장치는,
유저가 송신한 보기 명령을 수신하면, 상기 이미지 그룹 및 상기 제2 생성 모듈이 생성한 이미지 그룹의 설명 정보를 디스플레이하는 디스플레이 모듈을 더 포함한다.
선택적으로, 상기 디스플레이 모듈은 슬라이드 방식으로 상기 이미지 그룹에 포함되는 이미지 및 상기 제1 생성 모듈이 생성한 이미지의 설명 정보를 디스플레이한다.
본 출원의 실시예의 제3 측면은 이미지 처리 장치를 제공하며, 상기 장치는,
프로세서; 및
프로세서가 실행 가능한 명령을 저장하기 위한 메모리;를 포함하며,
여기서, 상기 프로세서는,
유저의 이미지에 포함되는 얼굴 이미지를 식별하며;
상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하고;
상기 이미지의 촬영 정보를 획득하고;
상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하고,
상기 인물 신상 정보에는 상기 식별한 얼굴 이미지에 대응되는 인물의 아이디 및 상기 식별한 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되며,
상기 촬영 정보에는 상기 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나의 정보가 포함된다.
본 출원의 실시예에 따른 해결 수단은 아래의 유익한 효과를 포함할 수 있다.
본 실시예에서, 이미지에 포함된 얼굴 이미지를 식별하고 얼굴 이미지에 대응되는 인물 신상 정보 및 이미지의 촬영 정보에 따라 이미지의 설명 정보를 생성함으로써, 이미지 설명을 더욱 정확하게 생성하고, 이미지에 대한 자동 설명을 더욱 지능적으로 구현하며, 더욱 인간이 이미지를 설명하는 능력에 가깝도록 하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.
다른 일 실시예에서, 정확하게 이미지 내의 인물 신상 정보를 식별하도록 하여, 후속으로 인물 신상 정보에 의한 이미지 설명을 더욱 정확하게 생성하고, 이미지에 대한 자동 설명을 더욱 지능적으로 구현하며, 더욱 인간이 이미지를 설명하는 능력에 가깝도록 하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.
다른 일 실시예에서, 이미지의 여러 가지 관련 정보에 따라 설명 정보를 생성하여, 설명 정보를 더욱 정확하게 생성하고, 이미지에 대한 자동 설명이 더욱 지능적으로 구현하며, 더욱 인간이 이미지를 설명하는 능력에 가깝도록 하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.
다른 일 실시예에서, 이미지를 그룹핑하고 또한 그룹핑된 이미지 및 설명 정보를 디스플레이하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.
이해해야 할 것은, 상기 일반적인 설명과 후술되는 상세 설명은 예시적이고 해석적인 것일 뿐, 본 출원을 한정할 수 없다.
여기서 개시한 도면은 명세서에 병합되어 명세서의 일부를 구성하며, 본 출원에 부합하는 실시예를 나타내며, 명세서에서 본 출원의 원리를 함께 해석한다.
도1은 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도이다.
도2는 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도이다.
도3은 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도이다.
도4는 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도이다.
도5는 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도이다.
도6은 예시적인 일 실시예에 따라 나타낸 이미지 처리 장치의 블럭도이다.
도7은 예시적인 일 실시예에 따라 나타낸 확정 모듈의 블럭도이다.
도8은 예시적인 일 실시예에 따라 나타낸 확정 모듈의 블럭도이다.
도9는 예시적인 일 실시예에 따라 나타낸 제1 생성 모듈의 블럭도이다.
도10은 예시적인 일 실시예에 따라 나타낸 이미지 처리 장치의 블럭도이다.
도11은 예시적인 일 실시예에 따라 나타낸 이미지 처리 장치의 블럭도이다.
도12는 예시적인 일 실시예에 따라 나타낸 이미지 처리를 진행하는 장치의 블럭도이다.
도13은 예시적인 일 실시예에 따라 나타낸 이미지 처리를 진행하는 장치의 블럭도이다.
여기서 예시적인 실시예를 상세하게 설명하며, 그 예시는 도면에 나타냈다. 하기 설명에서 도면이 언급될 때, 다른 표시가 없는 한, 서로 다른 도면에서 동일한 숫자는 동일 또는 유사한 요소를 나타낸다. 이하 예시적인 실시예에서 설명된 실시형태는 본 출원과 일치한 모든 실시형태를 대표하지 않는다. 오히려 이들은 후술되는 특허청구범위에서 상세하게 설명된, 본 출원의 일부 측면과 일치한 장치 및 방법의 예이다.
본 출원의 실시예에서 제공하는 해결 수단은 단말 또는 서버와 연관되며, 이미지에 대하여 얼굴 이미지 식별을 수행하여 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확정하고, 인물 신상 정보에 따라 이미지의 설명 정보를 생성한다.
해당 단말은 이동전화, 컴퓨터, 디지털방송단말기, 메시지송수신장치, 게임컨트롤러, 패널장치, 의료장치, 헬스장치, 개인용 정보단말기 등으로서, 임의의 이미지 처리 기능이 구비된 장치일 수 있다.
도1은 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도로서, 도1에 도시된 바와 같이, 이미지 처리 방법은 단말 또는 서버에 적용되고, 하기 단계를 포함한다.
단계 S11에서, 유저의 이미지에서 얼굴 이미지를 식별한다.
예를 들면, 기하학적 특징을 기반으로 하는 방법, 탬플릿을 기반으로 하는 방법 및 모델을 기반으로 하는 방법을 단계 S11에서 이용할 수 있다. 탬플릿을 기반으로 하는 방법은 관련 매칭을 기반으로 하는 방법, 고유 얼굴 방법, 선형 판단 분석 방법, 특이값 분해 방법, 뉴럴 네트워크 방법, 동적 연결 매칭 방법 등으로 구분할 수 있다. 모델을 기반을 하는 방법에는 은닉 마르코프 모델, 주동 형태 모델 및 주동 외관 모듈을 기반으로 하는 방법 등이 있다.
단계 S12에서, 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하되, 인물 신상 정보에는 얼굴 이미지에 대응되는 인물의 아이디 및 얼굴 이미지에 대응되는 인물과 유저의 관계 중 적어도 하나가 포함될 수 있다.
여기서, 인물의 아이디는 인물의 성명, 네트워크 아이디, 닉네임, 코드 등 해당 인물 신상을 식별할 수 있는 아이디이다. 인물과 유저의 관계에는 가정 관계, 친척 관계, 동창 관계, 동료 관계, 친구 관계 등이 포함될 수 있다.
단계 S13에서, 이미지의 촬영 정보를 획득하되, 촬영 정보에는 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나가 포함될 수 있다.
이미지의 촬영 정보는 이미지의 교환 이미지 파일(Exchangeable Image File, exif로 약칭)로부터 추출할 수 있다. exif에는 전문적으로 디지털 카메라로 촬영한 이미지를 위하여 정의된 메타데이터가 포함되는 바, 디지털 이미지를 기록하는 적어도 하기 몇 가지 정보가 포함된다.
- 촬영 시간, 촬영 기자재(바디, 렌즈, 플래시 등), 촬영 파라미터(셔터 속도, 조리개 F 값, ISO 속도, 초점 거리, 측광 모드 등), 이미지 처리 파라미터(샤픈, 명암비, 채도, 화이트밸런스 등), 이미지 설명 및 저작권 정보, 촬영 장소(GPS 포지셔닝 데이터 등), 섬네일 등이다.
단계 S14에서, 인물 신상 정보 및 촬영 정보에 따라 이미지의 설명 정보를 생성한다.
예를 들면, 이미지에서 얼굴 이미지를 식별하여 이미지 내의 얼굴이 유저의 부모임을 획득하고, 촬영 시간 2015년 10월 1일, 촬영 장소 천안문 등과 같은 이미지의 촬영 정보를 획득할 수 있다. 즉 이미지에 대한 분석을 통하여 하기 정보 내용을 획득할 수 있는 바, 인물 신상 정보 및 촬영 정보에는 "부모", "2015년 10월 1일", "천안문" 등의 정보가 포함될 수 있다. 이후, 자연 언어 처리 기술의 요약 생성 기술을 이용할 수 있으며, 예를 들면 Extractive 추출식 알고리즘 또는 Abstractive 요약식 알고리즘을 이용할 수 있다. 상기 알고리즘에 의해 생성되는 이미지의 설명 정보는 "국경절에 아빠 엄마와 천안문에서", "국경절에 부모님들과 함께 북경 여행" 등일 수 있다.
본 실시예에서, 이미지 내의 얼굴을 식별하고 얼굴에 대응되는 인물 신상 정보 및 이미지의 촬영 정보에 따라 이미지의 설명 정보를 생성함으로써, 이미지 설명을 더욱 정확하게 지능적으로 생성하고, 인간이 이미지를 설명하는 능력에 더 가깝도록 구현하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 더 향상시킬 수 있다.
다른 실시예에서, 하기 방식을 통하여 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확정할 수 있다.
예를 들어, 사전 설정된 인물 정보 베이스를 통하여 얼굴 이미지에 대응되는 인물 신상 정보를 확인한다.
도2는 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도로서, 도2에 도시된 바와 같이, 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하는 것은 하기 단계를 포함하여 구성될 수 있다.
단계 S21에서, 사전 설정된 인물 정보 베이스를 획득하며, 사전 설정된 인물 정보 베이스에는 얼굴 이미지와 인물 신상 정보의 대응 관계가 포함된다.
단계 S22에서, 식별한 얼굴 이미지와 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교한다.
단계 S23에서, 식별한 얼굴 이미지와 매칭되는 얼굴 이미지에 대응되는 인물 신상 정보를 사전 설정된 인물 정보 베이스로부터 획득한다.
여기서, 유저는 해당 사전 설정된 인물 정보 베이스를 미리 생성할 수 있는 바, 예를 들면 가족 구성원의 얼굴 이미지를 획득하고 또한 각 가족 구성원 얼굴 이미지에 대응되는 아이디 또는 가족 관계를 설정하여 해당 사전 설정된 인물 정보 베이스를 생성할 수 있다. 또는 가족 외에 동창, 친구, 동류 등을 사전 설정된 인물 정보 베이스에 추가시킬 수도 있다.
예를 들어, 유저의 연락인 정보를 통하여 얼굴 이미지에 대응되는 인물 신상 정보를 확인한다.
도3은 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도로서, 도3에 도시된 바와 같이, 식별한 얼굴에 대응되는 인물 신상 정보를 확인하는 것은 하기 단계를 포함하여 구성될 수 있다.
단계 S31에서, 유저의 연락처 정보를 획득하며, 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함된다.
단계 S32에서, 식별한 얼굴 이미지와 프로필 사진을 비교한다.
단계 S33에서, 식별한 얼굴 이미지와 매칭되는 프로필 사진에 대응되는 인물 신상 정보를 획득한다.
여기서, 주소록 중의 연락처 프로필 사진을 통하여 이미지 내의 얼굴 이미지에 대응되는 인물 신상 정보를 확인할 수 있다.
본 실시예서, 또한 복수의 방식을 결합시킬 수 있는 바, 즉 동시에 사전 설정된 인물 정보 베이스와 주소록 중의 연락처 정보에 따라 이미지 중 얼굴 이미지에 대응되는 인물 신상 정보를 확인할 수 있다.
본 실시예에서, 상기 임의 한 가지 방식 또는 두 가지 방식의 결합을 통하여 얼굴 이미지에 대응되는 인물 신상 정보를 확인하고, 정확하게 이미지 내의 인물에 대한 인물 신상 정보를 식별하도록 하여, 후속으로 인물 신상 정보에 의한 이미지 설명을 더욱 정확하게 생성하고, 이미지에 대한 자동 설명을 더욱 지능적으로 구현할 수 있다. 또한, 인간이 이미지를 설명하는 능력에 가까운 기능을 제공함으로써, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 더욱 개선할 수 있다.
다른 일 실시예에서, 이미지의 설명 정보를 더욱 정확하게 생성하기 위하여, 나아가 이미지의 기타 정보, 예를 들면 촬영 정보, 이미지 내의 얼굴 외의 물품 정보 등을 획득할 수 있다.
도4는 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도로서, 도4에 도시된 바와 같이, 상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계에는 또한 하기 단계가 포함된다.
단계 S41에서, 이미지 내의 물체를 식별하여 물체 명칭을 획득한다.
R-CNN(Regions with Convolutional Neural Network), fast-RCNN 등 알고리즘을 이용하여 이미지에 포함된 물체를 식별할 수 있다. 우선, 이미지에 가능한 후선 구역을 그리고, 선택된 물체에 대하여 CNN 분류를 수행한다.
단계 S42에서, 인물 신상 정보, 촬영 정보 및 물체 명칭에 따라 이미지의 설명 정보를 생성한다.
예를 들면, 이미지의 촬영 시간이 2015년 10월 1일이고, 촬영 장소가 천안문이며, 이미지 내의 얼굴이 유저의 부모이며, 이미지 내의 물체 중에 생화, 국기 등이 있는 것을 식별하면, 생성된 설명 정보는 "2015년 10월 1일, 아빠 엄마와 천안문광장에서 국기 게양식을 구경하다"일 수 있다.
그리고, 인물 신상 정보, 촬영 정보 및 물체 명칭 외, 이미지에 대한 자동 설명은 추가적인 기타 정보를 고려할 수 있는 바, 예를 들면 촬영 당일의 날씨 정보, 촬영 시간에 촬영 장소에서 발생한 뉴스 등이다.
본 실시예에서, 이미지의 여러 가지 관련 정보에 따라 설명 정보를 생성하므로, 설명 정보를 더욱 정확하게 생성하고, 이미지에 대한 자동 설명을 더욱 지능적으로 구현할 수 있다. 또한, 인간이 이미지를 설명하는 능력에 더욱 가깝도록 이미지의 자동 설명을 제공하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 더욱 개선할 수 있다.
다른 일 실시예에서, 이미지를 그룹핑하고, 각 이미지 그룹에 대하여 하나의 총체적인 설명 정보를 생성할 수 있다. 도5는 예시적인 일 실시예에 따라 나타낸 이미지 처리 방법의 흐름도로서, 도5에 도시된 바와 같이, 해당 방법에는 하기 단계가 포함된다.
단계 S51에서, 유저의 이미지를 그룹핑하여 이미지 그룹을 생성한다.
단계 S52에서, 각 이미지 그룹에 포함된 이미지의 설명 정보에 따라 각 이미지 그룹의 설명 정보를 생성한다.
예를 들면, Extractive 추출식 알고리즘을 이용하여 각 이미지 그룹에 포함되는 이미지 각각에서 일부 대표적인 텍스트 단편을 추출 및 통합하여 각 이미지 그룹의 설명 정보를 생성할 수 있다.
여기서, 촬영 상황에 기초하여 이미지를 그룹핑할 수 있다. 유저의 이미지를 그룹핑하는 단계는,
이미지의 촬영 시간, 촬영 장소 및 얼굴 이미지 중 적어도 하나에 따라 이미지를 그룹핑하는 단계를 포함한다.
예를 들면, 유저는 2015년 10월 1일에 촬영한 이미지를 하나의 그룹으로 구분하거나,
또는 천안문광장에서 촬영한 이미지를 하나의 그룹으로 구분하거나,
또는 유저 부모 얼굴이 포함된 모든 이미지를 하나의 그룹으로 구분하거나,
또는 2015년 10월 1일에 천안문광장에서 촬영한 이미지를 하나의 그룹으로 구분하거나,
또는 2015년 10월 1일에 촬영한, 유저 부모 얼굴이 포함된 이미지를 하나의 그룹으로 구분하거나,
또는 천안문광장에서 촬영한, 유저 부모 얼굴이 포함된 이미지를 하나의 그룹으로 구분하거나,
또는 2015년 10월 1일에 천안문광장에서 촬영한, 유저 부모 얼굴이 포함된 이미지를 하나의 그룹으로 구분할 수 있다.
이미지의 촬영 정보, 이미지에 포함된 얼굴 이미지 등의 정보에 따라 이미지를 그룹핑함으로써, 동일한 상황에서 촬영한 사진을 정확하게 그룹핑할 수 있으며, 이어서 각 이미지 그룹의 사진에 대한 자동 설명을 정확하게 생성할 수 있다.
유저가 이미지를 확인할 때 이미지 그룹에 따라 이미지를 볼 수 있으며, 유저가 송신한 보기 명령을 수신하면, 이미지 그룹 및 각 이미지 그룹의 설명 정보를 디스플레이한다. 그리고, 슬라이드 방식으로 각 이미지 그룹에 포함되는 이미지 및 이미지의 설명 정보를 디스플레이할 수 있다.
본 실시예에서, 이미지를 그룹핑하고 또한 그룹핑된 이미지 및 설명 정보를 디스플레이하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 향상시킬 수 있다.
아래는 본 출원의 장치 실시예로서, 본 출원의 방법 실시예를 실행할 수 있다.
도6은 예시적인 일 실시예에 따라 나타낸 이미지 처리 장치의 블럭도로서, 해당 장치는 소프트웨어, 하드웨어 또는 양자의 결합 방식으로 구현되어 전자 장치의 일부 또는 전부를 구성할 수 있다. 도6에 도시된 바와 같이, 해당 이미지 처리 장치에는,
유저의 이미지에 포함되는 얼굴 이미지 식별을 수행하는 식별 모듈(61)이 포함된다.
예를 들면, 식별 모듈(61)은 기하학적 특징을 기반으로 하는 방법, 탬플릿을 기반으로 하는 방법 및 모델을 기반으로 하는 방법을 이용하여 얼굴 이미지를 식별할 수 있다. 탬플릿을 기반으로 하는 방법은 관련 매칭을 기반으로 하는 방법, 고유 얼굴 방법, 선형 판단 분석 방법, 특이값 분해 방법, 뉴럴 네트워크 방법, 동적 연결 매칭 방법 등을 포함할 수 있다. 모델을 기반을 하는 방법에는 은닉 마르코프 모델, 주동 형태 모델 및 주동 외관 모듈을 기반으로 하는 방법 등이 있다.
확정 모듈(62)은 식별 모듈이 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인한다. 인물 신상 정보에는 얼굴 이미지에 대응되는 인물의 아이디 및 얼굴 이미지에 대응되는 인물과 유저의 관계 중 적어도 하나의 정보가 포함된다.
여기서, 인물의 아이디는 인물의 성명, 네트워크 아이디, 닉네임, 코드 등 해당 신물 신상을 식별할 수 있는 아이디이다. 인물과 유저의 관계에는 가족 관계, 친척 관계, 동창 관계, 동료 관계, 친구 관계 등이 포함될 수 있다.
획득 모듈(63)은 이미지의 촬영 정보를 획득하되, 촬영 정보에는 하기 적어도 하나의 정보가 포함되는 바, 즉 이미지의 촬영 시간 및 촬영 장소이도록 구성된다.
이미지의 촬영 정보는 이미지의 교환 이미지 파일(Exchangeable Image File, exif로 약칭)로부터 추출할 수 있다. exif에는 전문적으로 디지털 카메라의 이미지를 위하여 정의된 메타데이터가 포함되는 바, 디지털 이미지를 기록하는 적어도 하기 몇 가지 정보가 포함되는 바, 즉
촬영 시간, 촬영 기자재(바디, 렌즈, 플래시 등), 촬영 파라미터(셔터 속도, 조리개 F 값, ISO 속도, 초점 거리, 측광 모드 등), 이미지 처리 파라미터(샤픈, 명암비, 채도, 화이트밸런스 등), 이미지 설명 및 저작권 정보, 촬영 장소(GPS 포지셔닝 데이터 등), 섬네일 등의 정보가 포함될 수 있다.
제1 생성 모듈(64)은 확정 모듈이 확인한 인물 신상 정보 및 획득 모듈이 획득한 촬영 정보에 따라 이미지의 설명 정보를 생성한다.
예를 들면, 식별 모듈(61)을 통하여 이미지의 얼굴 이미지를 식별하고, 확정 모듈(62)은 이미지 내의 얼굴이 유저의 부모임을 확인하며, 획득 모듈(63)이 이미지의 촬영 정보를 획득하는 바, 획득 모듈(63)이 획득한 이미지의 촬영 정보에는 촬영 시간 2015년 10월 1일, 촬영 장소 천안문 등의 정보가 포함된다. 그러면 제1 생성 모듈(64)은 자연 언어 처리 기술의 요약 생성 기술을 이용하여 "국경절에 아빠 엄마와 천안문에서", "국경절에 부모님들과 함께 북경 여행" 등의 이미지 설명 정보를 생성할 수 있다.
본 실시예에서, 식별 모듈(61)이 유저의 이미지에 포함된 얼굴 이미지를 식별하고, 제1 생성 모듈(64)은 확정 모듈(62)이 확인한 인물 신상 정보 및 획득 모듈(63)이 획득한 이미지의 촬영 정보에 따라 이미지의 설명 정보를 생성함으로써, 이미지 설명의 생성을 더욱 정확하게 수행하고, 이미지에 대한 자동 설명을 더욱 지능적으로 구현하며, 인간이 이미지를 설명하는 능력에 더욱 가깝도록 하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.
다른 실시예에서, 하기 방식을 통하여 이미지로부터 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인할 수 있다.
예를 들어, 사전 설정된 인물 정보 베이스를 통하여 얼굴 이미지에 대응되는 인물 신상 정보를 확인한다.
도7은 예시적인 일 실시예에 따라 나타낸 확정 모듈의 블럭도로서, 도7에 도시된 바와 같이, 확정 모듈(62)은,
사전 설정된 인물 정보 베이스를 획득하며, 사전 설정된 인물 정보 베이스에는 얼굴 이미지와 인물 신상 정보의 대응 관계가 포함되는 제1 획득 서브 모듈(71);
식별 모듈이 식별한 얼굴 이미지와 제1 획득 서브 모듈이 획득한 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교하는 제1 비교 서브 모듈(72); 및
식별한 얼굴 이미지와 매칭되는 얼굴 이미지에 대응되는 인물 신상 정보를 상기 사전 설정된 인물 정보 베이스로부터 획득하는 제2 획득 서브 모듈(73); 을 포함한다.
여기서, 유저는 해당 사전 설정된 인물 정보 베이스를 사전 설정할 수 있는 바, 예를 들면 가족 구성원의 얼굴 이미지를 획득하고 또한 각 가족 구성원 얼굴 이미지에 대응되는 아이디 또는 가족 관계를 설정하여 해당 사전 설정된 인물 정보 베이스를 생성할 수 있다. 또는 동창, 친구, 동류 등을 사전 설정된 인물 정보 베이스에 추가시킬 수도 있다.
일 실시예에서, 유저의 연락인 정보를 통하여 얼굴 이미지에 대응되는 인물 신상 정보를 확인한다.
도8은 예시적인 다른 일 실시예에 따라 나타낸 확정 모듈의 블럭도로서, 도8에 도시된 바와 같이, 확정 모듈(62)은,
유저의 연락처 정보를 획득하는 바, 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함되는 제3 획득 서브 모듈(81);
식별 모듈(61)이 식별한 얼굴 이미지와 프로필 사진을 비교하는 제2 비교 서브 모듈(82); 및
식별한 얼굴 이미지와 매칭되는 프로필 사진에 대응되는 인물 신상 정보를 획득하는 제4 획득 서브 모듈(83); 을 포함한다.
여기서, 주소록 중의 연락처 프로필 사진을 통하여 이미지에 포함된 얼굴 이미지에 대응되는 인물 신상 정보를 확인할 수 있다.
본 실시예서, 또한 복수의 방식을 결합시킬 수 있는 바, 즉 동시에 사전 설정된 인물 정보 베이스와 주소록 중의 연락처 정보에 따라 이미지 중 얼굴 이미지에 대응되는 인물 신상 정보를 확인할 수 있다.
본 실시예에서, 한 가지 방식 또는 두 가지 방식의 결합을 통하여 얼굴 이미지에 대응되는 인물 신상 정보를 확인하고, 이미지 내의 인물에 대한 인물 신상 정보를 식별하도록 하여, 후속으로 인물 신상 정보에 의한 이미지 설명을 더욱 정확하게 생성하고, 이미지에 대한 자동 설명을 더욱 지능적으로 구현할 수 있다. 또한, 더욱 인간이 이미지를 설명하는 능력에 가깝도록 하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 향상시킬 수 있다.
다른 일 실시예에서, 더욱 정확하게 이미지의 설명 정보를 생성하기 위하여, 나아가 이미지의 기타 정보, 예를 들면 촬영 정보, 이미지에 포함된 얼굴 이미지 외의 물품 정보 등을 획득할 수 있다.
도9는 예시적인 일 실시예에 따라 나타낸 제1 생성 모듈의 블럭도로서, 도9에 도시된 바와 같이, 제1 생성 모듈(64)은,
이미지 내의 물체를 식별하여 물체 명칭을 획득하는 식별 서브 모듈(91)을 포함한다. R-CNN, fast-RCNN 등 알고리즘을 이용하여 이미지에 포함된 물체를 식별할 수 있다. 우선, 이미지에 가능한 후선 구역을 그리고, 선택된 물체에 대하여 CNN 분류를 수행한다.
생성 서브 모듈(92)은 확정 모듈이 확인한 인물 신상 정보, 획득 모듈이 획득한 촬영 정보 및 식별 서브 모듈이 식별한 물체 명칭에 따라 이미지의 설명 정보를 생성한다.
예를 들면, 사진의 촬영 시간이 2015년 10월 1일이고, 촬영 장소가 천안문이며, 이미지 내의 얼굴이 유저 부모이며, 이미지 내의 물체 중에 생화, 국기 등이 있는 것을 식별하면, 생성된 설명 정보는 "2015년 10월 1일, 아빠 엄마와 천안문광장에서 국기 게양식을 구경하다"일 수 있다.
그리고, 인물 신상 정보, 촬영 정보 및 물체 명칭 외, 이미지에 대한 자동 설명은 또한 기타 정보를 고려할 수 있는 바, 예를 들면 촬영 당일의 날씨 정보, 촬영 시간에 촬영 장소에서 발생한 뉴스 등이다.
본 실시예에서, 이미지의 여러 가지 관련 정보에 따라 설명 정보를 생성하여, 설명 정보를 더욱 정확하게 생성하고, 이미지에 대한 자동 설명 생성 기능을 더욱 지능적으로 구현하며, 더욱 인간이 이미지를 설명하는 능력에 가깝도록 하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 개선할 수 있다.
다른 일 실시예에서, 이미지를 그룹핑하고, 각 이미지 그룹에 대하여 하나의 총체적인 설명 정보를 생성할 수 있다. 도10은 예시적인 일 실시예에 따라 나타낸 이미지 처리 장치의 블럭도로서, 도10에 도시된 바와 같이, 해당 장치는 또한,
유저의 이미지를 그룹핑하도록 구성되는 그룹핑 모듈(65); 및
제1 생성 모듈(64)이 생성한 각 이미지 그룹에 포함되는 이미지 각각의 설명 정보에 따라 각 이미지 그룹의 설명 정보를 생성하는 제2 생성 모듈(66); 을 포함한다.
일 실시예에서, 그룹핑 모듈(65)은 획득 모듈(63)이 획득한 이미지의 촬영 시간, 촬영 장소 및 식별 모듈(61)이 식별한 얼굴 이미지 중 적어도 하나에 따라 이미지를 그룹핑한다.
예를 들면, 유저는 2015년 10월 1일에 촬영한 사진을 하나의 그룹으로 구분하거나,
또는 천안문광장에서 촬영한 사진을 하나의 그룹으로 구분하거나,
또는 유저 부모 얼굴이 포함된 모든 사진을 하나의 그룹으로 구분하거나,
또는 2015년 10월 1일에 천안문광장에서 촬영한 사진을 하나의 그룹으로 구분하거나,
또는 2015년 10월 1일에 촬영한, 유저 부모 얼굴이 포함된 사진을 하나의 그룹으로 구분하거나,
또는 천안문광장에서 촬영한, 유저 부모 얼굴이 포함된 사진을 하나의 그룹으로 구분하거나,
또는 2015년 10월 1일에 천안문광장에서 촬영한, 유저 부모 얼굴이 포함된 사진을 하나의 그룹으로 구분할 수 있다.
이미지의 촬영 정보, 얼굴 이미지 등의 정보에 따라 사진에 대하여 그룹핑을 진행함으로써, 동일한 상황 하에서 촬영한 사진에 대하여 정확하게 그룹핑을 진행하여 후속으로 정확하게 각 그룹의 사진에 대하여 자동 설명을 생성할 수 있다.
도11은 예시적인 일 실시예에 따라 나타낸 이미지 처리 장치의 블럭도로서, 도11에 도시된 바와 같이, 해당 장치는,
유저가 송신한 보기 명령을 수신하면, 상기 이미지 그룹 및 제2 생성 모듈이 생성한 각 이미지 그룹의 설명 정보를 디스플레이하는 디스플레이 모듈(67)을 더 포함한다.
선택적으로, 디스플레이 모듈(67)은 슬라이드의 방식으로 각 이미지 그룹 내의 이미지 및 제1 생성 모듈이 생성한 이미지의 설명 정보를 디스플레이한다.
유저가 이미지를 확인할 때 이미지 그룹에 따라 볼 수 있으며, 이미지 그룹 및 상기 각 이미지 그룹의 설명 정보를 디스플레이한다. 그리고, 슬라이드의 방식으로 각 이미지 그룹에 포함되는 이미지 및 이미지의 설명 정보를 디스플레이할 수 있다.
본 실시예에서, 이미지를 그룹핑하고 또한 그룹핑된 이미지 및 설명 정보를 디스플레이하여, 유저들이 빠르고 정확하게 각 이미지를 파악할 수 있게 하고, 사용자 경험을 향상시킬 수 있다.
본 출원에서는 또한 이미지 처리 장치를 제공하며, 상기 장치는
프로세서; 및
프로세서가 실행 가능한 명령을 저장하기 위한 메모리;를 포함하며,
여기서, 상기 프로세서는,
유저의 이미지에 포함되는 얼굴 이미지를 식별하며;
식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하고;
상기 이미지의 촬영 정보를 획득하고;
상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성한다.
여기서, 상기 인물 신상 정보에는 상기 식별한 얼굴 이미지에 대응되는 인물의 아이디 및 식별한 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되며, 상기 촬영 정보에는 상기 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나의 정보가 포함된다.
도12는 예시적인 일 실시예에 따라 나타낸 이미지 처리를 수행하는 장치의 블럭도로서, 해당 장치는 단말 설비에 적용된다. 예를 들어, 장치(1700)는 비디오 카메라, 녹음 장치, 이동전화, 컴퓨터, 디지털방송단말기, 메시지송수신장치, 게임컨트롤러, 패널장치, 의료장치, 헬스장치, 개인용 정보단말기 등일 수 있다.
장치(1700)는 프로세싱 어셈블리(1702), 메모리(1704), 전원 어셈블리(1706), 멀티미디어 어셈블리(1708), 오디오 어셈블리(1710), 입/출력(I/O) 인터페이스(1712), 센서 어셈블리(1714) 및 통신 어셈블리(1716) 중 하나 또는 다수의 어셈블리를 포함할 수 있다.
프로세싱 어셈블리(1702)는 일반적으로, 예를 들어 표시, 전화 호출, 데이터 통신, 카메라 조작 및 기록 조작과 관련되는 장치(1700)의 전체 조작을 제어한다. 프로세싱 어셈블리(1702)는 하나 또는 다수의 프로세서(1720)를 포함하며, 명령을 수행하여 상기 방법의 전체 또는 일부 단계를 완성할 수 있다. 또한, 프로세싱 어셈블리(1702)는 하나 또는 다수의 모듈을 포함하여 프로세싱 어셈블리(1702)와 기타 어셈블리 사이의 인터랙티브에 편리하도록 할 수 있다. 예를 들어, 프로세싱 어셈블리(1702)는 멀티미디어 모듈을 포함하여, 멀티미디어 어셈블리(1708)와 프로세싱 어셈블리(1702) 사이의 인터랙티브를 편리하게 할 수 있다.
메모리(1704)는 각종 유형의 데이터를 저장하여 장치(1700)에서의 조작을 지지하도록 구성된다. 이들 데이터는 예시적으로, 장치(1700)에서 조작되는 모든 응용 프로그램 또는 방법에 이용되는 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(1704)는 모든 유형의 휘발성 또는 비휘발성 저장장치 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 정적램(SRAM, Static Ramdom Access Memory), 이이프롬(EEPROM, Electrically Erasable Programmable Read-Only Memory), 이프롬(EPROM, Erasable and Programmable ROM), 프롬(PROM, Programmable Read-Only Memory), 롬(ROM, Read-Only Memory), 자기메모리, 플래시메모리, 디스크 또는 CD 또는 이들의 조합일 수 있다.
전원 어셈블리(1706)는 장치(1700)의 각종 어셈블리에 전력을 제공한다. 전원 어셈블리(1706)는 전원관리시스템, 하나 또는 다수의 전원, 및 장치(1700)의 전력 생성, 관리 및 할당과 관련된 그 밖의 다른 어셈블리를 포함할 수 있다.
멀티미디어 어셈블리(1708)는, 상기 장치(1700)와 사용자 사이의, 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정디스플레이(LCD) 및 터치패널(TP)을 포함할 수 있다. 스크린이 터치패널을 포함하는 경우, 스크린은 터치스크린으로 구현되어, 사용자의 입력 신호를 수신할 수 있다. 터치패널은 하나 또는 다수의 터치센서를 포함하여 터치, 슬라이드 및 터치패널 상의 제스처를 감지한다. 터치센서는 터치 또는 슬라이드 동작의 경계를 감지할 수 있을 뿐만 아니라, 상기 터치 또는 슬라이드 조작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 어셈블리(1708)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(1700)가 조작 모드, 예를 들어 촬영 모드 또는 동영상 모드인 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정된 광학렌즈시스템이거나 또는 초점거리와 광학적 초점 변경 능력을 구비할 수 있다.
오디오 어셈블리(1710)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 어셈블리(1710)는 하나의 마이크(MIC)를 포함하며, 장치(1700)가 조작 모드, 예를 들어 호출 모드, 기록 모드 및 음성 인식 모드인 경우, 마이크는 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 나아가 메모리(1704)에 저장되거나 또는 통신 어셈블리(1716)에 의해 송신될 수 있다. 일부 실시예에서, 오디오 어셈블리(1710)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.
I/O 인터페이스(1712)는 프로세싱 어셈블리(1702)와 주변 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 주변 인터페이스 모듈은 키패드, 클릭휠, 버튼 등일 수 있다. 이들 버튼은 홈버튼, 음량버튼, 시작버튼 및 잠금버튼을 포함할 수 있으나 이에 한정되지 않는다.
센서 어셈블리(1714)는 하나 또는 다수의 센서를 포함하며, 장치(1700)에 각 측면의 상태 평가를 제공한다. 예를 들어, 센서 어셈블리(1714)는 장치(1700)의 열기/닫기 상태, 어셈블리의 상대적 포지셔닝 예를 들어 어셈블리가 장치(1700)의 디스플레이 및 키보드임을 검출할 수 있다. 센서 어셈블리(1714)는 또한 장치(1700) 또는 장치(1700)의 하나의 어셈블리의 위치 변화, 사용자와 장치(1700)의 접촉 여부, 장치(1700)의 방위 또는 가속/감속, 및 장치(1700)의 온도 변화를 검출할 수도 있다. 센서 어셈블리(1714)는, 그 어떤 물리적 접촉이 없는 경우 근처 물체의 존재를 검출하도록 구성된 접근 센서를 포함할 수 있다. 센서 어셈블리(1714)는 또한 예를 들어 CMOS 또는 CCD 화상센서와 같이 화상 형성 어플리케이션에서 이용되는 광학 센서를 포함할 수도 있다. 일부 실시예에서, 상기 센서 어셈블리(1714)는 가속 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함할 수도 있다.
통신 어셈블리(1716)는 장치(1700)와 기타 장치 사이의 유선 또는 무선 방식의 통신을 구현하도록 구성된다. 장치(1700)는 통신표준 기반의 무선네트워크, 예를 들어 Wi-Fi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 예시적인 일 실시예에서, 통신 어셈블리(1716)는 방송 채널에 의해 외부 방송관리시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 예시적인 일 실시예에서, 상기 통신 어셈블리(1716)는 근거리 통신을 촉진하도록 근거리무선통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 전파식별(RFID) 기술, 국제적외선데이터통신협회 (IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 기타 기술에 기반하여 구현할 수 있다.
예시적인 실시예에서, 장치(1700)는 하나 또는 다수의 응용주문형 집적회로(ASIC), 디지털신호프로세서(DSP), 디지털신호처리장치(DSPD), 프로그래머블논리소자(PLD), 필드프로그래머블게이트어레이(FPGA), 컨트롤러, 마이크로컨트롤러, 마이크로프로세서 또는 기타 전자소자에 의해 구현되어, 상기 이미지 처리 방법을 실행할 수 있다.
예시적인 실시예에서는 명령을 포함한 비일시적 컴퓨터 판독가능 저장매체, 예를 들어 명령을 포함한 메모리(1704)를 더 제공하고, 상기 명령은 장치(1700)의 프로세서(1720)에 의해 수행되어 상기 이미지 처리 방법을 완성할 수 있다. 예를 들어, 상기 비일시적 컴퓨터 판독가능 저장매체는 ROM, 램(RAM), CD-ROM, 테이프, 플로피 디스크 및 광학 데이터 저장장치 등일 수 있다.
도13은 예시적인 일 실시예에 따라 나타낸 이미지 처리를 진행하는 장치의 블럭도이다. 예를 들면, 장치(1900)은 하나의 서버로 제공될 수 있다. 장치(1900)에는 프로세싱 어셈블리(1922)가 포함되고, 이는 나아가 하나 또는 다수의 프로세서 및 메모리(1932)를 대표로 하는 메모리 자원을 포함하여, 프로세싱 부품(1922)에 의하여 실행될 수 있는 명령, 예를 들면 어플리케이션 프로그램을 저장한다. 메모리(1932)에 저장되는 어플리케이션 프로그램에는 하나 또는 하나 이상의 각각 한 그룹의 명령에 대응되는 모듈이 포함될 수 있다. 그리고, 프로세싱 부품(1922)은 명령을 실행하여 상기 방법을 실행하도록 구성될 수 있다.
장치(1900)에는 또한 장치(1900)의 전원 관리를 실행하도록 구성되는 하나의 전원 어셈블리(1926), 장치(1900)를 네트워크에 접속하도록 구성되는 하나의 유선 또는 무선 네트워크 인터페이스(1950), 및 하나의 입력 출력(I/O) 인터페이스(1958)가 포함될 수 있다. 장치(1900)는 메모리(1932)에 저장된 운영 시스템을 조작할 수 있는 바, 예를 들면 indowsServerTM, MacOSXTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것일 수 있다.
비일시적 컴퓨터 판독가능 저장매체에 있어서, 상기 저장매체 중의 명령이 장치(1700) 또는 장치(1900)의 프로세서에 의하여 실행될 때, 장치(1700) 또는 장치(1900)으로 하여금 상기 이미지 처리 방법을 실행하도록 할 수 있는 바, 상기 방법은,
유저의 이미지에서 얼굴 이미지를 식별하는 단계;
상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하되, 상기 인물 신상 정보에는 상기 얼굴 이미지에 대응되는 인물의 아이디 및 상기 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나가 포함되는 단계;
상기 이미지의 촬영 정보를 획득하되, 상기 촬영 정보에는 상기 이미지의 촬영 시간 및 촬영 장소 중 적어도 하나의 정보가 포함되는 단계;
상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계;를 포함한다.
선택적으로, 식별한 얼굴에 대응되는 인물 신상 정보를 확인하는 단계는,
사전 설정된 인물 정보 베이스를 획득하되, 상기 사전 설정된 인물 정보 베이스에는 얼굴 이미지와 인물 신상 정보의 대응 관계가 포함되는 단계;
상기 식별한 얼굴 이미지와 상기 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교하는 단계;
상기 식별한 얼굴 이미지와 매칭되는 얼굴 이미지에 대응되는 상기 인물 신상 정보를 상기 사전 설정된 인물 정보 베이스로부터 획득하는 단계;를 포함한다.
선택적으로, 식별한 얼굴에 대응되는 인물 신상 정보를 확인하는 단계는,
상기 유저의 연락처 정보를 획득하되, 상기 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함되는 단계;
상기 식별한 얼굴 이미지와 상기 프로필 사진을 비교하는 단계;
상기 식별한 얼굴 이미지와 매칭되는 상기 프로필 사진에 대응되는 상기 인물 신상 정보를 획득하는 단계;를 포함한다.
선택적으로, 상기 인물 신상 정보에 따라 상기 이미지에 대한 설명 정보를 생성하는 단계는 또한,
상기 유저의 이미지에서 물체를 식별하여 물체 명칭을 획득하는 단계;
상기 인물 신상 정보, 상기 촬영 정보 및 상기 물체 명칭에 따라 상기 이미지의 설명 정보를 생성하는 단계;를 포함한다.
선택적으로, 상기 방법은 또한,
상기 유저의 이미지를 그룹핑하여 이미지 그룹을 생성하는 단계;
각 이미지 그룹에 포함되는 이미지 각각의 설명 정보에 따라 상기 이미지 그룹의 설명 정보를 생성하는 단계;를 포함한다.
선택적으로, 상기 이미지 그룹을 생성하는 단계는,
상기 유저의 이미지를 촬영 시간, 촬영 장소 및 상기 식별한 얼굴 이미지 중 적어도 하나에 따라 그룹핑하는 단계를 포함한다.
선택적으로, 상기 방법은 또한,
유저가 송신한 보기 명령을 수신하면, 상기 이미지 그룹 및 상기 이미지 그룹의 설명 정보를 디스플레이하는 단계를 더 포함한다.
선택적으로, 상기 이미지 그룹 및 상기 이미지 그룹의 설명 정보를 디스플레이하는 단계는,
슬라이드 방식으로 상기 이미지 그룹에 포함되는 이미지 및 상기 이미지 그룹에 포함되는 이미지의 설명 정보를 디스플레이하는 단계를 포함한다.
본 분야의 기술자는 명세서 및 여기서 공개한 출원을 고려한 후 본 출원에 따른 기타 실시형태를 쉽게 생각할 수 있다. 본 출원의 취지는 본 출원의 모든 변형, 용도 또는 적응성 변화를 포괄하며, 이러한 변형, 용도 또는 적응성 변화는 본 출원의 일반적 원리를 따르고 본 출원에 공개되지 않은 본 분야의 공지상식 또는 관용적 기술수단을 포함한다. 명세서 및 실시예는 예시적인 것으로 볼 뿐이며, 본 출원의 진정한 범위 및 정신은 후술되는 특허청구범위에 나타낸다.
이해해야 할 것은, 본 출원은 위에서 설명되고 도면에 나타낸 정확한 구성에 한정되지 않으며, 그 범위를 벗어나지 않고 다양하게 수정 및 변경할 수 있다. 본 출원의 범위는 후술되는 특허청구범위에 의해서만 한정된다.

Claims (17)

  1. 이미지 처리 방법에 있어서,
    상기 방법은,
    유저의 이미지에서 얼굴 이미지를 식별하는 단계;
    상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하되, 상기 인물 신상 정보에는 상기 얼굴 이미지에 대응되는 인물의 아이디 및 상기 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나가 포함되는 단계;
    상기 이미지의 촬영 정보를 획득하되, 상기 촬영 정보에는 상기 이미지의 촬영 시간, 촬영 장소, 및 상기 촬영 시간에 상기 촬영 장소에서 발생한 뉴스가 포함되는 단계; 및
    상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하는 단계는,
    사전 설정된 인물 정보 베이스를 획득하되, 상기 사전 설정된 인물 정보 베이스에는 얼굴 이미지와 인물 신상 정보의 대응 관계가 포함되는 단계;
    상기 식별한 얼굴 이미지와 상기 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교하는 단계; 및
    상기 식별한 얼굴 이미지와 매칭되는 얼굴 이미지에 대응되는 상기 인물 신상 정보를 상기 사전 설정된 인물 정보 베이스로부터 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하는 단계는,
    상기 유저의 연락처 정보를 획득하되, 상기 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함되는 단계;
    상기 식별한 얼굴 이미지와 상기 프로필 사진을 비교하는 단계; 및
    상기 식별한 얼굴 이미지와 매칭되는 상기 프로필 사진에 대응되는 상기 인물 신상 정보를 획득하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하는 단계는,
    상기 유저의 이미지에서 물체를 식별하여 물체 명칭을 획득하는 단계; 및
    상기 인물 신상 정보, 상기 촬영 정보 및 상기 물체 명칭에 따라 상기 이미지의 설명 정보를 생성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 방법은,
    상기 유저의 이미지를 그룹핑하여 이미지 그룹을 생성하는 단계; 및
    각 이미지 그룹에 포함되는 이미지의 설명 정보에 따라 상기 이미지 그룹의 설명 정보를 생성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 이미지 그룹을 생성하는 단계는,
    상기 유저의 이미지를 촬영 시간, 촬영 장소 및 상기 식별한 얼굴 이미지 중 적어도 하나에 따라 그룹핑하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 방법은,
    유저가 송신한 보기 명령을 수신하면, 상기 이미지 그룹 및 상기 이미지 그룹의 설명 정보를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 이미지 그룹 및 상기 이미지 그룹의 설명 정보를 디스플레이하는 단계는,
    슬라이드 방식으로 상기 이미지 그룹에 포함되는 이미지 및 상기 이미지 그룹에 포함되는 이미지의 설명 정보를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 이미지 처리 장치에 있어서,
    상기 장치는,
    유저의 이미지에 포함되는 얼굴 이미지를 식별하는 식별 모듈;
    상기 식별 모듈이 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하며, 상기 인물 신상 정보에는 상기 얼굴 이미지에 대응되는 인물의 아이디 및 상기 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되는 확정 모듈;
    상기 이미지의 촬영 정보를 획득하며, 상기 촬영 정보에는 상기 이미지의 촬영 시간, 촬영 장소, 및 상기 촬영 시간에 상기 촬영 장소에서 발생한 뉴스가 포함되는 획득 모듈; 및
    상기 확정 모듈이 확인한 인물 신상 정보 및 상기 획득 모듈이 획득한 촬영 정보에 기초하여 상기 이미지의 설명 정보를 생성하는 제1 생성 모듈; 을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 확정 모듈은,
    사전 설정된 인물 정보 베이스를 획득하며, 상기 사전 설정된 인물 정보 베이스는 얼굴 이미지와 인물 신상 정보의 대응 관계를 포함하는 제1 획득 서브 모듈;
    상기 식별 모듈이 식별한 얼굴 이미지와 상기 제1 획득 서브 모듈이 획득한 사전 설정된 인물 정보 베이스 내의 얼굴 이미지를 비교하는 제1 비교 서브 모듈; 및
    상기 식별한 얼굴 이미지와 매칭되는 얼굴 이미지에 대응되는 상기 인물 신상 정보를 상기 사전 설정된 인물 정보 베이스로부터 획득하는 제2 획득 서브 모듈; 을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  11. 제9항에 있어서,
    상기 확정 모듈은,
    상기 유저의 연락처 정보를 획득하며, 상기 연락처 정보에는 프로필 사진 및 인물 신상 정보가 포함되는 제3 획득 서브 모듈;
    상기 식별 모듈이 식별한 얼굴 이미지와 상기 프로필 사진을 비교하는 제2 비교 서브 모듈; 및
    상기 식별한 얼굴 이미지와 매칭되는 상기 프로필 사진에 대응되는 상기 인물 신상 정보를 획득하는 제4 획득 서브 모듈; 을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  12. 제9항에 있어서,
    상기 제1 생성 모듈은,
    상기 유저의 이미지에서 물체를 식별하여 물체 명칭을 획득하는 식별 서브 모듈; 및
    상기 확정 모듈이 확인한 인물 신상 정보, 상기 획득 모듈이 획득한 촬영 정보 및 상기 식별 서브 모듈이 획득한 물체 명칭에 따라 상기 이미지의 설명 정보를 생성하는 생성 서브 모듈; 을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 장치는,
    상기 유저의 이미지를 그룹핑하여 이미지 그룹을 생성하는 그룹핑 모듈; 및
    상기 제1 생성 모듈이 생성한 이미지의 설명 정보에 기초하여 상기 이미지 그룹의 설명 정보를 생성하는 제2 생성 모듈;을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 그룹핑 모듈은, 상기 획득 서브 모듈이 획득한 이미지의 촬영 시간, 촬영 장소 및 상기 식별 모듈이 식별한 얼굴 이미지 중 적어도 하나에 따라 상기 유저의 이미지를 그룹핑하는 것을 특징으로 하는 이미지 처리 장치.
  15. 제13항에 있어서,
    상기 장치는,
    유저가 송신한 보기 명령을 수신하면, 상기 이미지 그룹 및 상기 제2 생성 모듈이 생성한 이미지 그룹의 설명 정보를 디스플레이하는 디스플레이 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  16. 제15항에 있어서,
    상기 디스플레이 모듈은 슬라이드 방식으로 상기 이미지 그룹에 포함되는 이미지 및 상기 제1 생성 모듈이 생성한 이미지의 설명 정보를 디스플레이하는 것을 특징으로 하는 이미지 처리 장치.
  17. 이미지 처리 장치에 있어서,
    프로세서; 및
    프로세서가 실행 가능한 명령을 저장하기 위한 메모리;를 포함하며,
    상기 프로세서는,
    유저의 이미지에 포함되는 얼굴 이미지를 식별하며;
    상기 식별한 얼굴 이미지에 대응되는 인물 신상 정보를 확인하고;
    상기 이미지의 촬영 정보를 획득하고;
    상기 인물 신상 정보 및 상기 촬영 정보에 따라 상기 이미지의 설명 정보를 생성하고,
    상기 인물 신상 정보에는 상기 식별한 얼굴 이미지에 대응되는 인물의 아이디 및 상기 식별한 얼굴 이미지에 대응되는 인물과 상기 유저의 관계 중 적어도 하나의 정보가 포함되며,
    상기 촬영 정보에는 상기 이미지의 촬영 시간, 촬영 장소, 및 상기 촬영 시간에 상기 촬영 장소에서 발생한 뉴스가 포함되는 것을 특징으로 하는 이미지 처리 장치.

KR1020167009865A 2015-11-20 2015-12-29 이미지 처리 방법 및 장치 KR101910346B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510813140.5 2015-11-20
CN201510813140.5A CN105302315A (zh) 2015-11-20 2015-11-20 图片处理方法及装置
PCT/CN2015/099612 WO2017084182A1 (zh) 2015-11-20 2015-12-29 图片处理方法及装置

Publications (2)

Publication Number Publication Date
KR20170072166A KR20170072166A (ko) 2017-06-26
KR101910346B1 true KR101910346B1 (ko) 2018-10-22

Family

ID=55199667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167009865A KR101910346B1 (ko) 2015-11-20 2015-12-29 이미지 처리 방법 및 장치

Country Status (8)

Country Link
US (1) US10013600B2 (ko)
EP (1) EP3179408B1 (ko)
JP (1) JP2018500611A (ko)
KR (1) KR101910346B1 (ko)
CN (1) CN105302315A (ko)
MX (1) MX360936B (ko)
RU (1) RU2659746C2 (ko)
WO (1) WO2017084182A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010337990B2 (en) * 2009-12-31 2014-03-06 Abb Schweiz Ag Process optimization method and system for a power plant
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
CN105787982B (zh) * 2016-02-29 2018-11-09 腾讯科技（北京）有限公司 一种制作电子书的方法和装置
CN105808668A (zh) * 2016-02-29 2016-07-27 北京小米移动软件有限公司 信息的输出方法及装置
CN105549300A (zh) * 2016-02-29 2016-05-04 北京小米移动软件有限公司 自动对焦方法及装置
CN107239490B (zh) * 2017-04-24 2021-01-15 北京小米移动软件有限公司 一种命名人脸图像的方法、装置及计算机可读存储介质
CN107194179A (zh) * 2017-05-26 2017-09-22 苏州微清医疗器械有限公司 眼底相机及眼底图像拍摄方法
CN107451256A (zh) * 2017-07-31 2017-12-08 东莞理工学院 图片美文的配置方法及系统
CN109388765A (zh) * 2017-08-03 2019-02-26 Tcl集团股份有限公司 一种基于社交网络的图片标题生成方法、装置及设备
CN108154091A (zh) * 2017-12-11 2018-06-12 北京小米移动软件有限公司 图像展示方法、图像处理方法及装置
CN108211359B (zh) * 2017-12-28 2021-04-09 珠海豹好玩科技有限公司 一种信息提示方法、装置、终端和计算机可读存储介质
CN108256099A (zh) * 2018-01-30 2018-07-06 上海与德通讯技术有限公司 关系网的建立方法、基于关系网的提醒方法和智能设备
CN108921840A (zh) * 2018-07-02 2018-11-30 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109784240B (zh) * 2018-12-30 2023-08-22 深圳市明日实业有限责任公司 一种人物识别方法、装置及存储装置
CN109815936B (zh) * 2019-02-21 2023-08-22 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
US11144750B2 (en) * 2019-02-28 2021-10-12 Family Concepts Ii, Llc Association training related to human faces
JP7349124B2 (ja) * 2019-03-28 2023-09-22 国立研究開発法人 海上・港湾・航空技術研究所 原動機の状態判断方法及び状態判断プログラム
CN110765969A (zh) * 2019-10-30 2020-02-07 珠海格力电器股份有限公司 一种拍照方法及系统
CN111259019B (zh) * 2020-01-09 2023-05-12 腾讯科技（深圳）有限公司 资源配置方法、装置、设备和存储介质
CN111526287A (zh) * 2020-04-27 2020-08-11 北京达佳互联信息技术有限公司 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
CN112040054A (zh) * 2020-08-31 2020-12-04 维沃移动通信有限公司 图像生成方法、装置和电子设备
KR102660613B1 (ko) * 2021-02-26 2024-04-25 차형경 언어교육 보조 시스템용 사용자 기기
CN113706401B (zh) * 2021-07-05 2024-05-10 南京师范大学 一种基于手机摄像头的幻灯片自动拍摄及智能剪辑方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100277615A1 (en) 2009-05-01 2010-11-04 Canon Kabushiki Kaisha Image processing apparatus and image management method
US20130217440A1 (en) * 2008-08-19 2013-08-22 Digimarc Corporation Image processing architectures and methods
US20150146040A1 (en) 2013-11-27 2015-05-28 Olympus Corporation Imaging device

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227370B2 (ja) * 2002-07-26 2009-02-18 キヤノン株式会社 情報検索装置、情報検索方法及びプログラム
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
JP4444856B2 (ja) * 2005-02-28 2010-03-31 富士フイルム株式会社 表題付与装置、表題付与方法、及びプログラム
KR100679049B1 (ko) * 2005-09-21 2007-02-05 삼성전자주식회사 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법및 그 장치
JP2007183821A (ja) * 2006-01-06 2007-07-19 Seiko Epson Corp 画像に関連した文の設定
US20080215984A1 (en) 2006-12-20 2008-09-04 Joseph Anthony Manico Storyshare automation
CN101584001B (zh) 2006-12-20 2012-06-13 伊斯曼柯达公司 多输出产品的自动产生
JP2009089046A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像データ処理方法及び撮影装置
RU2381553C1 (ru) * 2008-06-24 2010-02-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке
US9727312B1 (en) * 2009-02-17 2017-08-08 Ikorongo Technology, LLC Providing subject information regarding upcoming images on a display
US9210313B1 (en) * 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
JP5023398B2 (ja) * 2009-03-17 2012-09-12 Ｎｅｃフィールディング株式会社 電子アルバム作成装置、方法、プログラム、システム、サーバー、情報処理装置、端末装置、及び撮像装置
CN102202173B (zh) * 2010-03-23 2013-01-16 三星电子（中国）研发中心 照片自动命名方法及其装置
US8818049B2 (en) * 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
JP2013012933A (ja) * 2011-06-29 2013-01-17 Sanyo Electric Co Ltd 撮影メモ作成装置
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
CN103259915A (zh) * 2012-02-20 2013-08-21 宇龙计算机通信科技(深圳)有限公司 照片命名方法及移动终端
US20150249792A1 (en) * 2012-08-17 2015-09-03 Nikon Corporation Image processing device, imaging device, and program
CN102929934A (zh) * 2012-09-25 2013-02-13 东莞宇龙通信科技有限公司 照片信息显示的方法及移动终端
CN103971391A (zh) 2013-02-01 2014-08-06 腾讯科技（深圳）有限公司 一种动画生成方法及装置
JP2014164697A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
US20140280267A1 (en) * 2013-03-14 2014-09-18 Fotofad, Inc. Creating real-time association interaction throughout digital media
CN103412951B (zh) * 2013-08-22 2016-09-21 四川农业大学 基于人物照片的人脉关联分析管理系统与方法
US20150074206A1 (en) * 2013-09-12 2015-03-12 At&T Intellectual Property I, L.P. Method and apparatus for providing participant based image and video sharing
CN103544721B (zh) * 2013-10-30 2016-05-04 宇龙计算机通信科技(深圳)有限公司 一种移动终端中添加图片备注的方法、系统及移动终端
JP6323465B2 (ja) * 2014-01-15 2018-05-16 富士通株式会社 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
JP6338418B2 (ja) * 2014-03-28 2018-06-06 三菱電機株式会社 画像処理装置及び画像処理方法
CN104317932B (zh) 2014-10-31 2018-04-27 小米科技有限责任公司 照片分享方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130217440A1 (en) * 2008-08-19 2013-08-22 Digimarc Corporation Image processing architectures and methods
US20100277615A1 (en) 2009-05-01 2010-11-04 Canon Kabushiki Kaisha Image processing apparatus and image management method
US20150146040A1 (en) 2013-11-27 2015-05-28 Olympus Corporation Imaging device

Also Published As

Publication number Publication date
EP3179408A2 (en) 2017-06-14
US10013600B2 (en) 2018-07-03
WO2017084182A1 (zh) 2017-05-26
MX360936B (es) 2018-11-21
RU2016136709A (ru) 2018-03-16
RU2659746C2 (ru) 2018-07-03
EP3179408B1 (en) 2024-05-08
JP2018500611A (ja) 2018-01-11
US20170147869A1 (en) 2017-05-25
MX2016005789A (es) 2017-10-20
RU2016136709A3 (ko) 2018-03-16
EP3179408A3 (en) 2017-09-20
CN105302315A (zh) 2016-02-03
KR20170072166A (ko) 2017-06-26

Similar Documents

Publication Publication Date Title
KR101910346B1 (ko) 이미지 처리 방법 및 장치
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
US10534972B2 (en) Image processing method, device and medium
CN107025419B (zh) 指纹模板录入方法及装置
US20170154206A1 (en) Image processing method and apparatus
CN107944447B (zh) 图像分类方法及装置
KR20160011612A (ko) 파일 잠금방법, 장치, 프로그램 및 기록매체
CN105069083B (zh) 关联用户的确定方法及装置
CN107423386B (zh) 生成电子卡片的方法及装置
CN104636164B (zh) 启动页面生成方法及装置
CN106547850B (zh) 表情注释方法及装置
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
JP2017531928A (ja) パノラマ写真の生成方法および装置
CN110717399A (zh) 人脸识别方法和电子终端设备
CN104809204A (zh) 图片处理方法及装置
CN106331328B (zh) 信息提示的方法及装置
CN109145878B (zh) 图像提取方法及装置
CN108986803B (zh) 场景控制方法及装置、电子设备、可读存储介质
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
CN108509863A (zh) 信息提示方法、装置和电子设备
CN113286073A (zh) 拍摄方法、拍摄装置及存储介质
CN108924529B (zh) 图像显示的控制方法及装置
CN107239490B (zh) 一种命名人脸图像的方法、装置及计算机可读存储介质
CN107169042B (zh) 一种共享图片的方法、装置及计算机可读存储介质
WO2021237744A1 (zh) 拍摄方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant