KR101782590B1 - 이미지 분석기반의 관계형 태그생성 및 추천 방법 - Google Patents

이미지 분석기반의 관계형 태그생성 및 추천 방법 Download PDF

Info

Publication number
KR101782590B1
KR101782590B1 KR1020160062812A KR20160062812A KR101782590B1 KR 101782590 B1 KR101782590 B1 KR 101782590B1 KR 1020160062812 A KR1020160062812 A KR 1020160062812A KR 20160062812 A KR20160062812 A KR 20160062812A KR 101782590 B1 KR101782590 B1 KR 101782590B1
Authority
KR
South Korea
Prior art keywords
tag
relational
management server
metadata
analysis
Prior art date
Application number
KR1020160062812A
Other languages
English (en)
Inventor
김대성
Original Assignee
주식회사 즐라이몬스터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 즐라이몬스터 filed Critical 주식회사 즐라이몬스터
Priority to KR1020160062812A priority Critical patent/KR101782590B1/ko
Application granted granted Critical
Publication of KR101782590B1 publication Critical patent/KR101782590B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G06F17/30268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F17/30247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

본 발명은 이미지 분석기반의 관계형 태그생성 및 추천 방법에 관한 것으로 보다 상세하게는 이미지 데이터에 포함된 인물의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 관계형 태그를 추천하고, 이를 생성하여 SNS서버에 업로드하는 방법에 관한 것이다.

Description

이미지 분석기반의 관계형 태그생성 및 추천 방법 { Method for Providing and Recommending Related Tag Using Image Analysis }
본 발명은 이미지 분석기반의 관계형 태그생성 및 추천 방법에 관한 것으로 보다 상세하게는 이미지 데이터에 포함된 인물의 분석을 통해 자동으로 그 사진에 적합한 설명을 함축하는 관계형 태그를 생성 및 추천하는 방법에 관한 것이다.
사회 관계망 서비스를 통해 많은 사용자들이 자신이 촬영한 사진을 공유하고 있다. 기존에는 서로 지인으로 등록된 사용자간 사진을 공유하는 방식에서 점차 관심사별 또는 주제별로 인덱싱(indexing)된 해시태그를 이용하여 관심사가 같은 사람끼리 지인등록 여부와 무관하게 사진을 공유하는 방식이 널리 사용되고 있다.
해시태그는 그 사진을 설명하는 짧은 텍스트로 구성되며, 동일한 해시태그가 적용된 사진들은 쉽게 검색이 되기 때문에 자신의 사진의 노출빈도 및 노출범위를 확대하여 사용자간의 협업, 취미공유에 도움이 되고 있다. 대표적인 사회 관계망 서비스인 Instragram, Facebook 등이 게시이미지와 그와 관련된 게시 이미지 태그를 등록할 수 있도록 하고 있다. 한편 활동적인 사용자일수록 자신의 사진의 노출범위, 노출빈도가 높아지도록 수십 개의 해시태그를 이용하는 경향성이 발견되고 있다. 하지만 종래의 경우 사용자가 매 사진게시시마다 직접 해당 해시태그를 타이핑하거나 선택하도록 하고 있어 사진등록에 소요되는 시간도 많으며, 동일한 주제에 대해 다른 단어를 사용함으로써 통일성 있는 게시 이미지의 분류가 어려워지는 문제가 발생하고 있다. 예컨대 미국의 경우 “#U.S.A”, “#USA”, “America”, “United States” 등 다양한 표현이 가능하기 때문에 해당 주제에 가능한 모든 표현들을 해시태그로 일일이 입력하는 것은 매우 어려운 일이 되고 있다.
한편, 최근 이미지 프로세싱 기술의 발전으로 인해 촬영된 사진에서 인물의 안면을 검출하고, 특이성 분석을 통해 사람의 이름을 추정하거나, 웃음도 검출, 성별검출, 나이검출 등의 기술이 개발된 바 있다. 또한 배경추출을 통해 해당 배경이 촬영된 지역을 추정하거나 배경에 찍인 간판의 글씨를 식별하는 기술이 개발되었다. 하지만 이러한 기술들은 해시태그와는 무관하게 범죄자 식별, 디지털 앨범 정리의 용도로만 제한적으로 사용되고 있다.
국제공개번호 WO 2014-060843 미국특허등록번호 US 8,798,401
본 발명은 상기의 문제를 해결하기 위한 것으로, 이미지 데이터로부터 텍스트 기반의 관계형 태그를 추천받아 추출하여 사회 관계망 서비스 서버에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높이는 것을 목적으로 한다.
본 발명은 상기의 목적을 달성하기 위한 것으로, 이미지 분석기반의 관계형 태그생성 및 추천 방법은, 이미지 분석기반의 자동화된 관계형 태그생성 방법에 있어서, 단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라부에서 촬상되어 입력받는 제 1 단계; 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계; 상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계; 상기 태그생성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단계; 상기 태그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하는 제 5 단계; 신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계; 추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단계;를 포함하여 이루어진 것을 특징으로 한다.
상기 제 3 단계는, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 상기 태그생성 애플리케이션은 “연인” 관련 관계형 태그를 생성하고, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명 이상이고, 성별이 서로 같은 경우 상기 태그생성 애플리케이션은 “친구” 관련 관계형 태그를 생성하고, 상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션은 “가족”관련 관계형 태그를 생성한다.
상기 제 2 단계는, 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보를 더 생성하고, 상기 제 3 단계는, 상기 태그생성 애플리케이션이 상기 배경 분석결과 정보를 기반으로 상기 배경에 대한 텍스트화된 배경관련 태그를 더 생성하고, 상기 제 4 단계는, 상기 배경관련 태그를 네트워크를 통해 상기 태그관리서버로 전송하고, 상기 제 5 단계는, 상기 태그관리서버로 전송된 상기 배경관련 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하고, 상기 제 6 단계는, 신규로 생성되어 상기 태그관리서버에 저장되는 상기 배경관련 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 추천한다.
또한, 상기 제 2 단계는, 상기 태그생성 애플리케이션이 상기 이미지 데이터와 연관된 메타데이터에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보를 더 생성하고, 상기 제 3 단계는, 상기 태그생성 애플리케이션이 상기 메타데이터 분석결과 정보를 기반으로 상기 메타데이터에 관한 텍스화된 메타데이터 태그를 더 생성하고, 상기 제 4 단계는, 상기 메타데이터 태그를 네트워크를 통해 상기 태그관리서버로 전송하고, 상기 제 5 단계는, 상기 태그관리서버로 전송된 상기 메타데이터 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하고, 상기 제 6 단계는, 신규로 생성되어 상기 태그관리서버에 저장되는 상기 메타데이터 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 추천한다.
상기의 구성에 의한 본 발명에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에 따르면, 이미지 데이터로부터 텍스트 기반의 관계형 태그를 추천받아 이를 이미지 데이터와 함께 사회 관계망 서비스 서버에 업로드하여 다양한 사용자에 의해 업로드되는 사진들이 일정한 알고리즘에 의해 체계적으로 분류되도록 하여 빅데이터의 효율적 관리를 가능하게 하고, 사용자 편의성을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법을 설명하기 위한 각 구성의 구성도,
도 2는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법에서 단말기의 세부 구성도,
도 3은 본 발명의 실시예에 따른 태그생성 애플리케이션을 도시하는 세부 구성도,
도 4는 본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법의 개략적인 순서도.
이하에서는 도면을 참조하여 본 발명에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법을 설명한다.
본 발명에 따른 태그생성 시스템은, 단말기(10) 및 태그생성 애플리케이션(100)을 포함하여 구성된다. 단말기(10)는 통신망에 접속가능한 장치로서 특별히 제한되지 않으며 예컨대 스마트폰, 셀룰러폰, PC, 태블릿 등의 정보기기일 수 있다. 태그생성 애플리케이션(100)은 앱 또는 프로그램으로서 사용자 단말기(10)에 설치되어 구동될 수 있다.
단말기(10)는 도 2에 도시된 바와 같이 태그생성 애플리케이션(100), 통신부, 저장부, 디스플레이부, 및 사용자 입력부를 포함하여 구성된다. 통신부는 인터넷 등의 통신망에 접속하여 데이터 통신을 수행하며, 예컨대 WiFi 모뎀, CDMA 모뎀, LTE 모뎀, LAN 카드 등일 수 있다. 저장부는 애플리케이션 및 이미지 데이터(data_img)를 포함하는 각종 데이터를 저장하는 기능을 수행하며, 예컨대 하드드라이버, 플래쉬 메모리, SSD, DRAM, 플래쉬 메모리 등의 저장장치일 수 있다. 디스플레이부는 화면을 통해 이미지, 텍스트 등의 시각화된 정보를 사용자에게 제공하는 기능을 수행한다. 사용자 입력부는 사용자의 입력을 전기적인 신호로 변환하여 단말기(10) 내부에서 처리될 수 있는 데이터의 형태로 제공하는 기능을 수행하며, 예컨대 키보드, 마우스, 터치 스크린 등일 수 있다. 실시예에 따라서는 촬상소자를 통해 피사체를 이미지 데이터(data_img)로 변환하는 카메라부를 더 포함할 수 있다.
태그생성 애플리케이션(100)은 도 3에 도시된 바와 같이 이미지 수신모듈(110), 이미지 분석모듈(121), 관계형 태그 생성모듈(131), 추천모듈(140) 및 업로드 모듈(150)을 포함하여 구성된다. 이러한 모듈들은 발명의 설명을 위해 기능상으로 구분한 것이다.
이미지 수신모듈(110)은 단말기(10)로부터 적어도 하나의 사람이 객체로 포함되는 이미지 데이터(data_img)를 수신하는 기능을 수행한다. 이때 단말기(10)가 카메라부를 더 포함하는 실시예의 경우, 이미지 수신모듈(110)은 단말기(10)의 저장부에 저장된 이미지 데이터(data_img)를 불러오거나, 단말기(10)의 카메라부에서 촬상된 이미지 데이터(data_img)를 입력받도록 구현할 수 있다. 이러한 이미지는 예컨대 JPEG, GIF, BMP 파일포맷 등의2차원 사진 이미지, 일러스트 이미지 등이거나 MP4, MOV, AVI 파일포맷 등의 2차원 동영상 이미지이거나, 인텔사의 Real Sense 등과 같이 3차원 입체영상 포맷의 정지영상 또는 동영상 이미지일 수 있다.
이미지 분석모듈(121)은, 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)에 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보(info_relation)를 생성하는 기능을 수행한다. 이러한 분석 알고리즘에 기반한 이미지 분석기법은 출원일 현재 안면인식, 성별인식, 연령인식, 감정인식이 가능한 단계이다. 이미지 분석모듈(121)은 상용화된 프로그램들을 사용하여 구현할 수 있으며, 예컨대 Face Recognition, Animetrics Face Recognition, Skybiometry Face Detection and Recognition, Face++, FaceMark, EmoVu by Eyeris, FaceRect, EyeFace, Kairos 등의 프로그램들은 각각 안면인식, 성별인식, 연령인식, 감정인식의 전부 또는 일부를 제공한다. 한편 이미지 분석모듈(121)은 반드시 단말기(10) 내부에 설치되어야 하는 것은 아니고 통신망을 통해 연결되는 외부의 이미지 분석 서버일 수 있다. 이러한 실시예에 따르면 모바일 단말기(10)의 한정된 연산 자원으로는 수행하기에 불가능하거나 너무 오랜 시간이 소요되는 복잡한 이미지 분석 알고리즘을 적용하여 보다 고도화된 자동화 태그를 생성할 수 있는 효과를 제공한다.
관계형 태그 생성모듈(131)은, 관계 분석결과 정보(info_relation)를 기반으로 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그(tag_relation)를 생성하는 기능을 수행한다. 예컨대 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우, “#연인”, “#Lover”, “#애인”, “#사랑”, “#데이트”와 같은 “연인” 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법으로, 임계수치 이하로 가까운 경우 “연인” 관계로 추정하도록 할 수 있다.
또한, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 2명 이상이고, 성별이 서로 같은 경우, “#친구”, “#friend”, “#우정”, “#절친”, “#선후배”와 같은 “친구”와 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다. 보다 바람직하게는, 인식된 안면간의 상대적 거리를 연산하는 방법으로, 임계수치 이하로 가까운 경우 “친구” 관계로 추정하도록 할 수 있다.
또 다른 예로는, 이미지 분석모듈(121)의 관계 분석결과 정보(info_relation)가 이미지 데이터(data_img)에 촬영된 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우, “#행복”, “#사랑하는 가족” 등과 같은 “가족” 관련 관계형 태그(tag_relation)를 생성하도록 할 수 있다.
이렇게 상기 태그생성 애플리케이션(100)에서 생성된 상기 관계형 태그는 네트워크를 통해 태그관리서버(20)로 전송된다.
상기 태그관리서버(20)로 전송된 상기 관계형 태그는 수집 및 저장되고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하게 된다.
추천 모듈(140)은 신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천한다.
업로드 모듈(150)은, 단말기(10)의 통신부를 제어하여 이미지 데이터(data_img) 및 추천된 태그 중 사용자가 선택한 태그를 사회 관계망 서비스(SNS) 서버(30)에 업로드하는 기능을 수행한다.
다양한 자동화된 태그를 사용자에게 제공하기 위해 실시예에 따라서는 배경 이미지 분석을 통해 생성된 태그, 사진의 메타데이터(data_meta) 분석을 통해 생성된 태그, 사용자가 기설정한 태그를 게시 이미지 태그(post_tag)로서 업로드하는 것이 보다 바람직하다. 이하에서는 각각의 실시예에 대해서 설명한다.
배경 이미지 분석을 통해 생성된 태그를 더 추출하는 실시예에 따르면, 이미지 분석모듈(121)은, 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보(info_background)를 더 생성하도록 한다.
인공물은 예컨대 유명 건축물, 자동차, 간판 등일 수 있고, 자연물은 예컨대 산, 호수, 해변, 폭포 등과 같은 유명 명승지 또는 기상상태 등일 수 있다.
배경 분석결과 정보(info_background)는 예컨대 자동화된 방법으로 구글(Google)과 같은 검색엔진이 제공하는 이미지 검색을 통해 유사한 배경 이미지를 추출하여 그 위치정보를 파악하거나, ViBe 등의 배경 추출 알고리즘이 적용된 상용화된 프로그램을 모듈화하는 방법으로 구현할 수 있다. 인공물의 배경 분석결과 정보(info_background)의 예로는 유명 건축물의 경우 에펠타워, 자유의 여신상, 엠파이어 스테이트 빌딩 등과 같은 건축물에 대한 식별정보 또는 해당 건축물이 위치하는 위치정보일 수 있으며, 자동차의 경우 해당 자동차의 차종정보, 색상정보일 수 있으며, 간판의 경우 이미지 처리를 통해 인식된 간판의 텍스트 또는 간판의 텍스트나 간판의 형상으로 파악된 간판의 위치정보일 수 있다. 자연물의 배경 분석결과 정보(info_background)의 예로는 유명 명승지의 경우 나이아가라 폭포, 그랜드 캐니언, 에베레스트 산 등과 같은 명승지에 대한 식별정보 또는 해당 명승지가 위치하는 위치정보일 수 있으며, 기상상태의 경우 촬영당시의 하늘의 색상, 구름의 위치, 이미지의 밝기 등으로 유추되는 촬영시 기상정보, 시각정보 등일 수 있다.
그리고, 태그생성 애플리케이션(100)은, 배경 분석결과 정보(info_background)를 기반으로 배경에 대한 텍스트화된 배경관련 태그(tag_background)를 생성하는 배경관련 태그 생성모듈(132)를 더 포함하여 구성된다.
추천모듈(140)은 신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천한다.
마지막으로, 업로드 모듈(150)은 배경관련 태그(tag_background)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(30)에 업로드하도록 구성한다.
예컨대 파이의 에펠탑이 배경으로 된 이미지 데이터(data_img)의 경우, “#에펠타워”, “#프랑스”, “#파리”, “#I love Paris”와 같은 배경관련 태그(tag_background)를 생성하여 이를 게시 이미지 태그(post_tag)로 업로드할 수 있다.
사진의 메타데이터(data_meta) 분석을 통해 생성된 태그를 더 추출하는 실시예에 따르면, 태그생성 애플리케이션(100)은, 메타데이터 분석모듈(122) 및 메타데이터(data_meta) 생성모듈을 더 포함하여 구성된다. 메타데이터 분석모듈(122)은 이미지 데이터(data_img)와 연관된 메타데이터(data_meta)에 포함된 촬영시간 정보, GPS 좌표 등의 촬영장소 정보, 필터, 초점, 해상도 등의 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보(info_metadata)를 생성하는 기능을 수행한다. 메타데이터 태그 생성모듈(133)은, 메타데이터 분석결과 정보(info_metadata)를 기반으로 메타데이터(data_meta)에 관한 텍스화된 메타데이터 태그(tag_metadata)를 생성하는 기능을 수행한다. 이 경우 업로드 모듈(150)은 메타데이터 태그(tag_metadata)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(30)에 업로드한다.
예컨대 메타데이터(data_meta)에 촬영시간이 아침시간이고, 촬영장소가 “스퀘어 광장”인 경우 “#아침”, “#스퀘어 광장”, “#스퀘어 광장의 아침”, “#눈내린 스퀘어 광장”(메타데이터(data_meta)에 날씨정보가 포함되지 않더라도, 촬영시간 정보 및 촬영장소 정보를 통해 해당 장소, 해당 일시의 날씨정보를 날씨조회 서비스 서버에 조회하는 방법으로 기상상태를 메타데이터 태그(tag_metadata)로 생성할 수 있다)의 메타데이터 태그(tag_metadata)를 생성할 수 있다.
이러한 실시예에 따르면, 관계형 태그(tag_relation) 뿐만 아니라 메타데이터(data_meta)를 기반으로 한 메타데이터 태그(tag_metadata)를 자동화된 방법으로 생성하여 사회 관계망 서비스에 포스팅되는 사용자의 게시 이미지(post_img)를 적합하고 규격화된 게시 이미지 태그(post_tag)로 기술함으로써 규격화된 관리를 통해 해당 게시 이미지(post_img)의 노출빈도를 상승시키고, 사용자의 게시 이미지(post_img) 관리의 용이성을 향상스킬 수 있는 효과를 제공한다.
사용자는 자신만의 태그 또는 자신이 선호하는 그룹의 태그와 같이 사진이 아닌 게시사와 관련된 태그를 초기설정 태그(tag_default)를 매 게시 이미지(post_img)마다 부가하고자 하는 경우가 있다. 이하에서는 사용자가 지정한 초기설정 태그(tag_default)를 자동화된 방법으로 포스팅하는 실시예를 설명한다. 이러한 실시예에 따르면, 태그생성 애플리케이션(100)은, 이미지 데이터(data_img)를 입력받기 전에 사용자 입력부를 통해 사용자로부터 적어도 하나의 초기설정 태그(tag_default)를 입력받아 저장하는 초기설정 태그 저장모듈(134)을 더 포함하고, 업로드 모듈(150)은, 초기설정 태그(tag_default)를 게시 이미지 태그(post_tag)로서 사회 관계망 서비스 서버(30)에 업로드하도록 구성할 수 있다. 이러한 실시예에 따르면 사용자는 자신이 선호하는 태그를 초기설정 태그(tag_default)로서 미리 입력하고, 태그생성 애플리케이션(100)은 매번 초기설정 태그(tag_default)를 게시를 사용자가 입력하는 불편함 없이 자동으로 수행하는 효과를 제공한다.
전술한 바와 같이 태그 생성모듈들(131,132,133) 또는 초기설정 태그 저장모듈(134)에 의해 생성 또는 입력되는 관계형 태그(tag_relation), 배경관련 태그(tag_background), 메타데이터 태그(tag_metadata), 초기설정 태그(tag_default) 등은 하나의 태그만 형성되는 것이 아니고, 복수의 태그들을 제공하는 것이 바람직하다. 이 경우 태그생성 애플리케이션(100)은 디스플레이부를 통해 복수의 태그들을 태그 추천창을 통해 사용자에게 추천하고, 사용자가 기입력한 초기설정 태그(tag_default)들을 초기설정 태그(tag_default)창을 통해 사용자에게 디스플레이하여 사용자가 선택한 태그를 선별적으로 사회 관계망 서비스 서버(30)에 게시 이미지 태그(post_tag)로서 제공하는 것이 바람직하다.
본 발명의 실시예에 따른 이미지 분석기반의 관계형 태그생성 및 추천 방법은 도 4에 도시된 바와 같이, 제1단계(S1) 내지 제7단계(S7)을 포함하여 이루어진다.
먼저 단말기(10)에서 실행되는 태그생성 애플리케이션(100)이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터(data_img)를 입력받는 제 1 단계(S1)를 수행한다.
이때 제 1 단계(S1)는, 태그생성 애플리케이션(100)이 단말기(10)의 저장부에 저장된 이미지 데이터(data_img)를 불러오거나, 단말기(10)의 카메라부에서 촬상된 이미지 데이터(data_img)를 입력받도록 구현할 수 있다.
그리고, 단말기(10)의 카메라부로 촬영된 영상 또는 단말기(10)의 저장부에서 업로드 할 이미지 데이터(data_img)를 선택하고, 하단의 사회 관계망 서비스 서버(30) 업로드 아이콘을 사용자 입력기를 통해 사용자가 선택하는 방법으로 구현할 수도 있다.
다음으로, 태그생성 애플리케이션(100)이 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)에 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보(info_relation)를 생성하는 제 2 단계(S2)를 수행한다. 이러한 이미지 분석단계는 안면인식, 성별인식, 연령인식, 인물간 거리인식 등을 수행하는 프로그램에 의해 수행될 수 있다.
다음으로, 상기 태그생성 애플리케이션(100)이 상기 관계 분석결과 정보(info_relation)를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그(tag_relation)를 생성하는 제 3 단계(S3)를 수행한다. 이러한 제 3 단계(S3)는 다양한 분석결과와 그에 적합한 태그를 매칭시킨 매칭테이블을 단말기(10) 또는 외부의 서버에 저장하고 관계 분석결과 정보(info_relation)에 적합한 관계형 태그(tag_relation)를 불러오는 방법으로 구현할 수 있다.
예컨대 제 2 단계(S2)의 관계 분석결과 정보(info_relation)가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 태그생성 애플리케이션(100)은 “연인” 관련 관계형 태그(tag_relation)를 생성하거나, 제 2 단계(S2)의 관계 분석결과 정보(info_relation)가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션(100)은 “가족”관련 관계형 태그(tag_relation)를 생성하도록 구현할 수 있다.
다음으로, 상기 태그생성 애플리케이션(100)에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버(20)로 전송하는 제 4 단계(S4)를 수행한다.
그리고, 상기 태그관리서버(20)로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하는 제 5 단계(S5)를 수행한다.
그 후, 신규로 생성되어 상기 태그관리서버(20)에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계(S7)을 수행한다.
마지막으로, 추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버(30)에 업로드하는 제 7 단계(S7)를 수행한다.
이하에서는 배경이미지 분석을 통해 배경관련 태그(tag_background)를 더 생성하는 실시예를 설명한다.
이 경우 제 2 단계(S2)에서는, 태그생성 애플리케이션(100)이 기설정된 이미지 분석 알고리즘을 적용하여 이미지 데이터(data_img)의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보(info_background)를 더 생성한다.
상기 제 3 단계(S3)에서는, 태그생성 애플리케이션(100)이 배경 분석결과 정보(info_background)를 기반으로 배경에 대한 텍스트화된 배경관련 태그(tag_background)를 더 생성한다.
상기 제 4 단계(S4)에서는 상기 배경관련 태그를 네트워크를 통해 상기 태그관리서버로 전송한다.
상기 제 5 단계(S5)d에서는 상기 태그관리서버로 전송된 상기 배경관련 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축한다.
상기 제 6 단계(S6)에서는, 신규로 생성되어 상기 태그관리서버에 저장되는 상기 배경관련 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 추천한다.
마지막으로, 제 7 단계(S7)에서는, 추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버(30)에 업로드한다.
이하에서는, 이미지 데이터(data_img)와 연관된 메타데이터(data_meta) 분석을 통해 메타데이터 태그(tag_metadata)를 더 생성하는 실시예를 설명한다. 이 경우 제 2 단계(S2)는, 태그생성 애플리케이션(100)이 이미지 데이터(data_img)와 연관된 메타데이터(data_meta)에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보(info_metadata)를 더 생성한다.
다음으로, 제 3 단계(S3)에서는, 태그생성 애플리케이션(100)이 메타데이터 분석결과 정보(info_metadata)를 기반으로 메타데이터(data_meta)에 관한 텍스화된 메타데이터 태그(tag_metadata)를 더 생성한다.
상기 제 4 단계(S4)에서는, 상기 메타데이터 태그를 네트워크를 통해 상기 태그관리서버로 전송한다.
상기 제 5 단계(S5)에서는, 상기 태그관리서버로 전송된 상기 메타데이터 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하고,
상기 제 6 단계(S6)에서는, 신규로 생성되어 상기 태그관리서버에 저장되는 상기 메타데이터 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 추천한다.
마지막으로, 제 7 단계(S7)에서는, 추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버(30)에 업로드한다.
본 발명인 이미지 분석기반의 관계형 태그생성 및 추천 방법은 전술한 실시예에 국한하지 않고, 본 발명의 기술 사상이 허용되는 범위 내에서 다양하게 변형하여 실시할 수 있다.
10 : 단말기 20 : 태그관리서버
30 : 사회 관계망 서비스(SNS) 서버
100 : 태그생성 애플리케이션 110 : 이미지 수신모듈
121 : 이미지 분석모듈 122 : 메타데이터 분석모듈
131 : 관계형 태그 생성모듈 132 : 배경관련 태그 생성모듈
133 : 메타데이터 태그 생성모듈 134 : 초기설정 태그 저장모듈
140 : 추천모듈, 150 : 업로드 모듈
S1 : 제1단계 S2 : 제2단계
S3 : 제3단계 S4 : 제4단계
S5 : 제5단계 S6 : 제6단계
S7 : 제7단계

Claims (4)

  1. 삭제
  2. 이미지 분석기반의 자동화된 관계형 태그생성 및 추천 방법에 있어서,
    단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라부에서 촬상되어 입력받는 제 1 단계;
    상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계;
    상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계;
    상기 태그생성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단계;
    상기 태그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하는 제 5 단계;
    신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계;
    추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단계;를 포함하여 이루어지되,
    상기 제 3 단계는,
    상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명이고, 2명의 성별이 서로 다른 경우 상기 태그생성 애플리케이션은 “연인” 관련 관계형 태그를 생성하고,
    상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 2명 이상이고, 성별이 서로 같은 경우 상기 태그생성 애플리케이션은 “친구” 관련 관계형 태그를 생성하고,
    상기 제 2 단계의 관계 분석결과 정보가 사람의 수가 3명 이상이고, 그 중 적어도 1명은 성인 남성이고, 그 중 적어도 1명은 성인 여성이고, 그 중 적어도 1명은 남성 또는 여성 아이인 경우 상기 태그생성 애플리케이션은 “가족”관련 관계형 태그를 생성하는 것을 특징으로 하는 이미지 분석기반의 관계형 태그생성 및 추천 방법.
  3. 이미지 분석기반의 자동화된 관계형 태그생성 및 추천 방법에 있어서,
    단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라부에서 촬상되어 입력받는 제 1 단계;
    상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계;
    상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계;
    상기 태그생성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단계;
    상기 태그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하는 제 5 단계;
    신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계;
    추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단계;를 포함하여 이루어지되,
    상기 제 2 단계는, 상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터의 배경에 포함된 인공물 또는 자연물을 분석하여 배경 분석결과 정보를 더 생성하고,
    상기 제 3 단계는, 상기 태그생성 애플리케이션이 상기 배경 분석결과 정보를 기반으로 상기 배경에 대한 텍스트화된 배경관련 태그를 더 생성하고,
    상기 제 4 단계는, 상기 배경관련 태그를 네트워크를 통해 상기 태그관리서버로 전송하고,
    상기 제 5 단계는, 상기 태그관리서버로 전송된 상기 배경관련 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하고,
    상기 제 6 단계는, 신규로 생성되어 상기 태그관리서버에 저장되는 상기 배경관련 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 추천하는 것을 특징으로 하는 이미지 분석기반의 관계형 태그생성 및 추천 방법.
  4. 이미지 분석기반의 자동화된 관계형 태그생성 및 추천 방법에 있어서,
    단말기에서 실행되는 태그생성 애플리케이션이, 적어도 하나의 사람이 객체로 포함되는 이미지 데이터를 상기 단말기의 저장부로부터 불러오거나 상기 단말기의 카메라부에서 촬상되어 입력받는 제 1 단계;
    상기 태그생성 애플리케이션이 기설정된 이미지 분석 알고리즘을 적용하여 상기 이미지 데이터에 상기 객체로 포함된 사람의 수, 성별, 나이 또는 감정 중 적어도 어느 하나를 분석하여 관계 분석결과 정보를 생성하는 제 2 단계;
    상기 태그생성 애플리케이션이 상기 관계 분석결과 정보를 기반으로 상기 객체로 포함된 사람 또는 사람들에 관한 텍스트화된 관계형 태그를 생성하는 제 3 단계;
    상기 태그생성 애플리케이션에서 생성된 상기 관계형 태그를 네트워크를 통해 태그관리서버로 전송하는 제 4 단계;
    상기 태그관리서버로 전송된 상기 관계형 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하는 제 5 단계;
    신규로 생성되어 상기 태그관리서버에 저장되는 관계형 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 사용자에게 추천하는 제 6 단계;
    추천된 태그 중 사용자가 선택한 태그와 상기 이미지 데이터를 사회 관계망 서비스 서버에 업로드하는 제 7 단계;를 포함하여 이루어지되,
    상기 제 2 단계는, 상기 태그생성 애플리케이션이 상기 이미지 데이터와 연관된 메타데이터에 포함된 촬영시간 정보, 촬영장소 정보, 이미지 속성 정보 중 적어도 하나를 분석하여 메타데이터 분석결과 정보를 더 생성하고,
    상기 제 3 단계는, 상기 태그생성 애플리케이션이 상기 메타데이터 분석결과 정보를 기반으로 상기 메타데이터에 관한 텍스화된 메타데이터 태그를 더 생성하고,
    상기 제 4 단계는, 상기 메타데이터 태그를 네트워크를 통해 상기 태그관리서버로 전송하고,
    상기 제 5 단계는, 상기 태그관리서버로 전송된 상기 메타데이터 태그를 수집 및 저장하고, 이를 기설정된 태그분석 알고리즘을 이용하여 태그데이터베이스로 구축하고,
    상기 제 6 단계는, 신규로 생성되어 상기 태그관리서버에 저장되는 상기 메타데이터 태그를 상기 태그데이터베이스와 비교 분석하여, 관련성 있는 태그를 추천하는 것을 특징으로 하는 이미지 분석기반의 관계형 태그생성 및 추천 방법.
KR1020160062812A 2016-05-23 2016-05-23 이미지 분석기반의 관계형 태그생성 및 추천 방법 KR101782590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160062812A KR101782590B1 (ko) 2016-05-23 2016-05-23 이미지 분석기반의 관계형 태그생성 및 추천 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062812A KR101782590B1 (ko) 2016-05-23 2016-05-23 이미지 분석기반의 관계형 태그생성 및 추천 방법

Publications (1)

Publication Number Publication Date
KR101782590B1 true KR101782590B1 (ko) 2017-10-23

Family

ID=60298851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062812A KR101782590B1 (ko) 2016-05-23 2016-05-23 이미지 분석기반의 관계형 태그생성 및 추천 방법

Country Status (1)

Country Link
KR (1) KR101782590B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399242A (zh) * 2018-02-28 2018-08-14 努比亚技术有限公司 照片推送方法、移动终端及计算机可读存储介质
KR101898648B1 (ko) 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법
KR20190061667A (ko) 2017-11-28 2019-06-05 (주)타이거컴퍼니 태그 추천 및 태그화 방법
KR102117528B1 (ko) * 2018-12-21 2020-06-01 아주대학교산학협력단 온라인 데이터에 기반한 사용자 특성 예측 장치 및 방법
KR102216755B1 (ko) * 2019-09-24 2021-02-17 주식회사 볼드코퍼레이션 콘텐츠 및 제품을 연동시키는 태그 분석 서비스 제공 방법
KR20220093924A (ko) * 2020-12-28 2022-07-05 한국과학기술원 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061667A (ko) 2017-11-28 2019-06-05 (주)타이거컴퍼니 태그 추천 및 태그화 방법
KR101898648B1 (ko) 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법
CN108399242A (zh) * 2018-02-28 2018-08-14 努比亚技术有限公司 照片推送方法、移动终端及计算机可读存储介质
KR102117528B1 (ko) * 2018-12-21 2020-06-01 아주대학교산학협력단 온라인 데이터에 기반한 사용자 특성 예측 장치 및 방법
KR102216755B1 (ko) * 2019-09-24 2021-02-17 주식회사 볼드코퍼레이션 콘텐츠 및 제품을 연동시키는 태그 분석 서비스 제공 방법
KR20220093924A (ko) * 2020-12-28 2022-07-05 한국과학기술원 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치
KR102571595B1 (ko) * 2020-12-28 2023-08-28 한국과학기술원 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
JP7091504B2 (ja) 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置
US9727565B2 (en) Photo and video search
US8194940B1 (en) Automatic media sharing via shutter click
US8611678B2 (en) Grouping digital media items based on shared features
CN103069415B (zh) 用于图像处理的计算机实施的方法、计算机程序产品和计算机系统
US20160321831A1 (en) Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device
KR20060026924A (ko) 디지털 데이터에 대한 태깅 방법 및 시스템
WO2014090034A1 (zh) 实现增强现实应用的方法及设备
KR101832680B1 (ko) 참석자들에 의한 이벤트 검색
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
CN111699478A (zh) 图像检索装置、图像检索方法、电子设备及其控制方法
US9875512B2 (en) Photo and video sharing
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
WO2014043738A1 (en) Facial recognition with social networking aiding
KR101563238B1 (ko) 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US20230067628A1 (en) Systems and methods for automatically detecting and ameliorating bias in social multimedia
KR20200009888A (ko) 다중 메타데이터 분석기반의 관계형 개인화 태그생성 및 추천 방법
KR101269314B1 (ko) 소셜 네트워크 기반의 오브젝트 검색 시스템 및 오브젝트 검색 방법
Runge et al. Keep an eye on your photos: automatic image tagging on mobile devices
JP5834950B2 (ja) 写真系列の類似度算出装置、方法、及びプログラム
Seo Metadata Processing Technique for Similar Image Search of Mobile Platform
US20180075064A1 (en) Grouping images according to context
KR20120137973A (ko) 포토북 제작용 이미지 컨텐츠 생성 기능을 포함하는 휴대용 단말기 및 이를 이용한 포토북 제작용 이미지 컨텐츠 생성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant