KR20230046030A - 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템 - Google Patents

미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템 Download PDF

Info

Publication number
KR20230046030A
KR20230046030A KR1020210128994A KR20210128994A KR20230046030A KR 20230046030 A KR20230046030 A KR 20230046030A KR 1020210128994 A KR1020210128994 A KR 1020210128994A KR 20210128994 A KR20210128994 A KR 20210128994A KR 20230046030 A KR20230046030 A KR 20230046030A
Authority
KR
South Korea
Prior art keywords
media
message
keyword
media message
received
Prior art date
Application number
KR1020210128994A
Other languages
English (en)
Inventor
고원섭
Original Assignee
라인플러스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라인플러스 주식회사 filed Critical 라인플러스 주식회사
Priority to KR1020210128994A priority Critical patent/KR20230046030A/ko
Priority to JP2022152868A priority patent/JP2023050159A/ja
Priority to US17/953,772 priority patent/US20230100140A1/en
Publication of KR20230046030A publication Critical patent/KR20230046030A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템을 개시한다. 일실시예에 따른 미디어 메시지 검색 방법은 인스턴트 메시징 서비스의 특정 세션을 생성하거나 또는 특정 세션에 참여하는 단계, 특정 세션을 통해 송신하고자 하는 미디어 메시지 또는 특정 세션을 통해 수신된 미디어 메시지를 분석하여 송신하고자 하는 미디어 메시지 또는 수신된 미디어 메시지에 포함된 미디어의 키워드를 추출하는 단계, 상기 추출된 미디어의 키워드를, 대응하는 미디어를 포함하는 미디어 메시지의 식별자와 연계하여 상기 컴퓨터 장치의 로컬 데이터베이스에 저장하는 단계, 특정 세션을 통해 송수신된 인스턴트 메시지에 대한 검색 인터페이스를 제공하는 단계 및 검색 인터페이스를 통해 입력된 키워드를 이용하여 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 제공하는 단계를 포함할 수 있다.

Description

미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템{METHOD AND SYSTEM FOR SEARCHING MEDIA MESSAGE USING KEYWORD EXTRACTED FROM MEDIA FILE}
아래의 설명은 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템에 관한 것이다.
인스턴트 메시징 서비스에서 특정 세션을 통해 송수신된 인스턴트 메시지들의 시퀀스가 해당 세션에 해당하는 대화방(chat room)을 통해 해당 세션에 참가한 참가자들에게 표시될 수 있다. 이때, 인스턴트 메시지들의 수가 많아질수록 참가자들이 대화방 내에서 이전에 송수신된 특정 메시지를 찾기가 어려워질 수 있다.
참가자들이 특정 메시지를 찾는 것을 돕기 위해, 특정 키워드를 포함하는 메시지를 검색하여 대화방내에서 인스턴트 메시지들의 시퀀스 중 검색된 메시지의 위치를 표시해주는 기능이 존재한다.
[선행문헌번호]
한국공개특허 제10-2010-0007228호
인스턴트 메시징 서비스의 특정 세션을 통해 송수신된 메시지에 포함된 사진, 동영상, 오디오와 같은 미디어를 분석하여 키워드를 추출하고, 추출된 미디어의 키워드를 메시지의 메타데이터로 저장함으로써, 해당 세션에 대한 사용자의 키워드 검색 시, 텍스트 메시지뿐만 아니라 미디어 메시지도 제공할 수 있는 미디어 메시지 검색 방법 및 시스템을 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 미디어 메시지 검색 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 인스턴트 메시징 서비스의 특정 세션을 생성하거나 또는 상기 특정 세션에 참여하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 특정 세션을 통해 송신하고자 하는 미디어 메시지 또는 상기 특정 세션을 통해 수신된 미디어 메시지를 분석하여 상기 송신하고자 하는 미디어 메시지 또는 상기 수신된 미디어 메시지에 포함된 미디어의 키워드를 추출하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 추출된 미디어의 키워드를, 대응하는 미디어를 포함하는 미디어 메시지의 식별자와 연계하여 상기 컴퓨터 장치의 로컬 데이터베이스에 저장하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 특정 세션을 통해 송수신된 인스턴트 메시지에 대한 검색 인터페이스를 제공하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 검색 인터페이스를 통해 입력된 키워드를 이용하여 상기 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 제공하는 단계를 포함하는 미디어 메시지 검색 방법을 제공한다.
일측에 따르면, 상기 미디어 메시지를 제공하는 단계는, 상기 검색 인터페이스를 통해 입력된 키워드를 포함하는 텍스트 메시지 및 상기 검색 인터페이스를 통해 입력된 키워드를 이용하여 상기 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 포함하는 검색 결과 리스트를 제공하는 단계; 및 상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서, 상기 검색 결과 리스트에서 선택된 검색 결과에 대응하는 인스턴트 메시지의 위치에 대응하는 부분이 표시되도록 인스턴트 메시지를 제공하는 단계를 포함하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 미디어 메시지를 제공하는 단계는, 상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 상기 검색된 식별자에 대응하는 미디어 메시지의 위치에 대응하는 부분이 표시되도록 상기 검색된 식별자에 대응하는 미디어 메시지를 제공하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 미디어 메시지를 제공하는 단계는, 상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 상기 검색 인터페이스를 통해 입력된 키워드에 대응하는 인스턴트 메시지를 순차적으로 표시하고, 상기 순차적으로 표시하는 인스턴트 메시지는 상기 검색 인터페이스를 통해 입력된 키워드를 포함하는 텍스트 메시지와 상기 검색된 식별자에 대응하는 미디어 메시지를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 미디어의 키워드를 추출하는 단계는, 상기 수신된 미디어 메시지를 송신한 송신자측 단말기에서 상기 수신된 미디어 메시지가 포함하는 미디어에 대해 추출된 키워드를 상기 인스턴트 메시징 서비스를 제공하는 서버를 통해 상기 수신된 미디어 메시지와 함께 전달받아 상기 수신된 미디어 메시지에서 상기 미디어의 키워드를 추출하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 미디어의 키워드를 추출하는 단계는, 상기 미디어가 이미지를 포함하는 경우, 입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 머신러닝 모델을 이용하여 상기 이미지의 카테고리를 상기 이미지를 포함하는 미디어의 키워드로서 추출하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 미디어의 키워드를 추출하는 단계는, 상기 미디어가 오디오를 포함하는 경우, 입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 머신러닝 모델을 이용하여 상기 오디오의 카테고리를 상기 오디오를 포함하는 미디어의 키워드로서 추출하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 미디어의 키워드를 추출하는 단계는, 상기 미디어가 비디오를 포함하는 경우, 입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 제1 머신러닝 모델을 이용하여 상기 비디오의 썸네일 이미지들의 제1 카테고리를 추출하는 단계; 입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 제2 머신러닝 모델을 이용하여 상기 비디오의 오디오의 제2 카테고리를 추출하는 단계; 및 상기 제1 카테고리 및 상기 제2 카테고리 중 적어도 하나를 상기 비디오를 포함하는 미디어의 키워드로서 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 인스턴트 메시징 서비스의 특정 세션을 통해 미디어 메시지 및 상기 미디어 메시지를 송신한 송신자측 단말기에 의해 추출된 상기 미디어 메시지가 포함하는 미디어의 키워드를 수신하고, 상기 수신된 미디어의 키워드를 상기 미디어 메시지와 연계하여 저장하고, 상기 수신된 미디어 메시지 및 상기 미디어의 키워드를 상기 특정 세션의 참가자들의 단말기로 전달하고, 상기 수신된 미디어의 키워드를 상기 미디어와 관련된 타임라인 컨텐츠의 태그로서 등록하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
인스턴트 메시징 서비스의 특정 세션을 통해 송수신된 메시지에 포함된 사진, 동영상, 오디오와 같은 미디어를 분석하여 키워드를 추출하고, 추출된 미디어의 키워드를 메시지의 메타데이터로 저장함으로써, 해당 세션에 대한 사용자의 키워드 검색 시, 텍스트 메시지뿐만 아니라 미디어 메시지도 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 미디어 메시지 검색 방법의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 미디어 메시지 검색 방법의 다른 예를 도시한 흐름도이다.
도 5 내지 도 9는 본 발명의 일실시예에 있어서, 검색 인터페이스를 제공하는 예를 도시한 도면들이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 미디어 메시지 검색 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 미디어 메시지 검색 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 미디어 메시지 검색 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 인스턴트 메시징 서비스, 거래(일례로, 송금) 서비스, 결제 서비스, 가상 거래소 서비스, 리스크 모니터링 서비스, 게임 서비스, 그룹 통화 서비스(또는 음성 컨퍼런스 서비스), 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 검색 서비스 및/또는 컨텐츠 제공 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)는 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250) 중 적어도 하나는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다. 예를 들어, 스마트폰과 같이 터치스크린, 마이크, 스피커 등이 컴퓨터 장치(200)에 포함된 형태로 구현될 수 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일실시예에 따른 미디어 메시지 검색 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 미디어 메시지 검색 방법은 인스턴트 메시징 서비스를 이용하여 특정 세션에 참여하여 인스턴트 메시지를 전송하거나 또는 수신하는 단말기를 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 3의 방법이 포함하는 단계들(310 내지 350)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(310)에서 컴퓨터 장치(200)는 인스턴트 메시징 서비스의 특정 세션을 생성하거나 또는 특정 세션에 참여할 수 있다. 인스턴트 메시징 서비스의 세션은 특정 대화방(chat room)에 대응될 수 있다. 해당 세션을 통해 송수신된 인스턴트 메시지들의 시퀀스가 대응하는 대화방을 통해 해당 세션의 참여자들에게 제공될 수 있다. 일례로, 상술한 적어도 하나의 컴퓨터 프로그램은 인스턴트 메시징 서비스와 연계된 어플리케이션일 수 있으며, 컴퓨터 장치(200)는 적어도 하나의 프로세서(일례로, 프로세서(220))에 의해, 어플리케이션의 제어에 따라 인스턴트 메시징 서비스를 제공하는 서버에 접근하여 특정 세션을 생성하거나 또는 이미 생성되어 있는 특정 세션에 참여할 수 있다.
단계(320)에서 컴퓨터 장치(200)는 특정 세션을 통해 송신하고자 하는 미디어 메시지 또는 특정 세션을 통해 수신된 미디어 메시지를 분석하여 송신하고자 하는 미디어 메시지 또는 수신된 미디어 메시지에 포함된 미디어의 키워드를 추출할 수 있다. 컴퓨터 장치(200)는 인스턴트 메시징 서비스의 해당 세션을 통해 인스턴트 메시지를 송신할 수도 있고, 다른 참가자의 인스턴트 메시지를 수신할 수도 있다. 이때, 텍스트만을 포함하는 인스턴트 메시지를 텍스트 메시지로, 이미지, 오디오 및/또는 비디오와 같은 미디어를 포함하는 인스턴트 메시지를 미디어 메시지로 분류할 수 있다. 컴퓨터 장치(200)는 미디어가 포함된 미디어 메시지를 송신하고자 하는 경우, 미디어 메시지의 송신 이전에 미디어 메시지를 분석하여 송신하고자 하는 미디어 메시지의 키워드를 추출할 수 있다. 다른 예로, 컴퓨터 장치(200)는 미디어를 포함하는 미디어 메시지를 수신하는 경우, 수신된 미디어 메시지에 포함된 미디어의 키워드를 추출할 수도 있다. 미디어의 키워드를 추출하는 방법에 대해서는 이후 더욱 자세히 설명한다.
한편 일실시예에서, 컴퓨터 장치(200)는 수신된 미디어 메시지가 포함하는 미디어를 직접 분석하여 미디어의 키워드를 추출할 수 있다. 다른 실시예에서, 컴퓨터 장치(200)는 미디어 메시지를 송신한 송신자측 단말기에서 추출된 키워드를 단순히 수신할 수도 있다. 일례로, 송신자측 단말기는 자신이 송신하고자 하는 미디어 메시지를 분석하여 미디어 메시지가 포함하는 미디어의 키워드를 추출할 수 있다. 이후, 송신자측 단말기는 미디어 메시지와 함께 추출된 미디어의 키워드를 송신할 수 있다. 송신된 미디어 메시지는 인스턴트 메시징 서비스를 제공하는 서버를 통해 컴퓨터 장치(200)로 전달될 수 있으며, 컴퓨터 장치(200)는 수신된 미디어 메시지에 포함되어 있는 키워드를 해당 미디어 메시지가 포함하는 미디어의 키워드로서 추출할 수 있다. 이때, 미디어 메시지를 전달하는 서버는 송수신되는 인스턴트 메시지들을 서버에 일정 기간 저장할 수 있다. 이 경우, 서버는 미디어 메시지를 저장할 때, 해당 미디어 메시지와 함께 전달된 미디어의 키워드를 해당 미디어 메시지와 연계하여 저장할 수 있다. 서버로 전달되어 저장된 미디어의 키워드들은 추후 해당 미디어와 관련된 타임라인 컨텐츠의 태그로 자동 등록될 수 있다.
단계(330)에서 컴퓨터 장치(200)는 추출된 미디어의 키워드를, 대응하는 미디어를 포함하는 미디어 메시지의 식별자와 연계하여 컴퓨터 장치의 로컬 데이터베이스에 저장할 수 있다. 이러한 미디어의 키워드는 미디어의 메타데이터로서 특정 미디어를 포함하는 미디어 메시지를 검색하는데 활용될 수 있다. 여기서 로컬 데이터베이스는 앞서 컴퓨터 장치(200)의 메모리(210)나 별도로 설명한 영구 저장 장치를 통해 구현될 수 있다.
단계(340)에서 컴퓨터 장치(200)는 특정 세션을 통해 송수신된 인스턴트 메시지에 대한 검색 인터페이스를 제공할 수 있다. 검색 인터페이스는 일례로 사용자로부터 키워드를 입력받기 위한 사용자 인터페이스를 포함할 수 있으나, 실시예에 따라 사용자로부터 키워드나 카테고리 등을 선택받기 위한 사용자 인터페이스를 포함할 수도 있다.
단계(350)에서 컴퓨터 장치(200)는 검색 인터페이스를 통해 입력된 키워드를 이용하여 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 제공할 수 있다.
일실시예로, 컴퓨터 장치(200)는 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 검색된 식별자에 대응하는 미디어 메시지의 위치에 대응하는 부분이 표시되도록 검색된 식별자에 대응하는 미디어 메시지를 제공할 수 있다. 보다 구체적인 예로, 컴퓨터 장치(200)는 해당 세션에서 송수신된 인스턴트 메시지들의 시퀀스에서 검색 인터페이스를 통해 입력된 키워드에 대응하는 인스턴트 메시지를 순차적으로 제공할 수 있다. 이미 설명한 바와 같이 인스턴트 메시지는 텍스트 메시지와 미디어 메시지를 포함할 수 있다. 이 경우, 컴퓨터 장치(200)는 특정한 키워드를 포함하는 텍스트 메시지 및/또는 특정한 키워드와 연계하여 로컬 디바이스에 저장된 식별자의 미디어 메시지를 인스턴트 메시지들의 시퀀스에 따라 순차적으로 제공할 수 있다. 여기서 인스턴트 메시지를 제공하는 것은 해당 시퀀스에서 해당 인스턴트 메시지의 위치가 대화방에 표시되도록 하는 것을 포함할 수 있다.
다른 실시예로, 컴퓨터 장치(200)는 입력된 키워드에 대응하는 검색 결과들의 리스트를 먼저 화면에 표시할 수 있다. 검색 결과들의 리스트는 하나 이상의 검색 결과를 포함할 수 있으며, 이때 각 검색 결과는 대응하는 인스턴트 메시지에 대한 정보를 포함할 수 있다. 일례로, 검색 결과는 텍스트 메시지의 경우, 텍스트 메시지의 송신자의 식별자, 송신자의 프로필 이미지, 그리고 대응하는 텍스트의 적어도 일부를 포함할 수 있다. 다른 예로, 검색 결과는 미디어 메시지의 경우, 송신자의 식별자, 송신자의 프로필 이미지, 그리고 미디어 메시지가 포함하는 미디어의 종류(이미지(사진), 오디오, 비디오(동영상) 등)에 대한 정보를 포함할 수 있다. 이 경우, 특정 검색 결과가 사용자에 의해 선택되는 경우(일례로, 터치스크린 환경에서 사용자에 의해 아이콘(520)이 표시된 영역에 터치입력이 인식되는 경우), 컴퓨터 장치(200)는 인스턴트 메시지들의 시퀀스에서, 선택된 검색 결과에 대응하는 인스턴트 메시지의 위치에 대응하는 부분을 표시함으로써, 해당 검색 결과에 대응하는 인스턴트 메시지를 사용자에게 제공할 수 있다.
따라서, 컴퓨터 장치(200)는 특정 세션을 통해 송수신된 인스턴트 메시지들 중에서 사용자로부터 검색 인터페이스를 통해 입력된 키워드에 대응하는 텍스트 메시지뿐만 아니라, 미디어 메시지까지 검색하여 제공할 수 있게 된다.
한편, 컴퓨터 장치(200)는 미디어 메시지가 포함하는 미디어로부터 키워드를 추출하기 위해, 머신러닝 모델을 활용할 수 있다.
일례로, 미디어가 이미지를 포함하는 경우, 컴퓨터 장치(200)는 입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 머신러닝 모델을 이용하여 이미지의 카테고리를 이미지를 포함하는 미디어의 키워드로서 추출할 수 있다.
다른 예로, 미디어가 오디오를 포함하는 경우, 컴퓨터 장치(200)는 입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 머신러닝 모델을 이용하여 오디오의 카테고리를 오디오를 포함하는 미디어의 키워드로서 추출할 수 있다.
또 다른 예로, 미디어가 비디오를 포함할 수도 있다. 이때, 비디오는 다수의 썸네일 이미지들과 오디오를 포함할 수 있다. 이 경우, 컴퓨터 장치(200)는 입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 제1 머신러닝 모델을 이용하여 비디오의 썸네일 이미지들의 제1 카테고리를 추출할 수 있으며, 입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 제2 머신러닝 모델을 이용하여 상기 비디오의 오디오의 제2 카테고리를 추출할 수 있다. 이후, 컴퓨터 장치(200)는 제1 카테고리 및 제2 카테고리 중 적어도 하나를 비디오를 포함하는 미디어의 키워드로서 결정할 수 있다. 이때, 제1 카테고리는 다수의 썸네일 이미지들에 대한 복수 개의 카테고리들을 포함할 수도 있다. 일례로, 컴퓨터 장치(200)는 제1 카테고리가 포함하는 복수 개의 카테고리들 중 가장 많은 수의 동일한 카테고리를 제1 카테고리로 최종 결정할 수 있다. 이후, 제1 카테고리와 제2 카테고리 중 어느 하나 또는 둘 모두를 미디어의 키워드로서 결정할 수 있다. 이처럼, 미디어의 키워드는 하나 이상의 키워드를 포함할 수도 있다.
한편, 하나의 이미지에 대해 복수의 키워드들이 추출될 수도 있다. 일례로, '래브라도 리트리버(Labrador Retriever)'인 경우, 키워드 "래브라도(Labrador)"와 키워드 "리트리버(Retriever)"가 각각 하나의 이미지에 대한 키워드들로 추출될 수도 있다. 이처럼, 미디어의 키워드는 복수의 키워드를 포함할 수 있다. 이 경우, 해당 미디어를 포함하는 미디어 메시지는 복수의 키워드들 중 어느 하나에 대해 검색될 수 있다.
한편, 각각의 머신러닝 모델은 입력되는 이미지나 오디오에 대해 기설정된 신뢰도 이상인 카테고리를 출력하도록 학습될 수 있다. 이러한 머신러닝 모델은 일례로, MLP(Multi-Layer Perceptron), DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), G-CNN(Group Convolutional Neural Network), R-CNN(Recurrent Convolutional Neural Network) 등 다양한 알고리즘들 중 하나 이상이 활용될 수 있으며, 특정 알고리즘에 한정되는 것은 아니다. 또한, 각각의 머신러닝 모델은 이미지나 오디오를 분류하여 카테고리를 출력하도록 구현된 이미 잘 알려진 모델들 중 어느 하나를 활용할 수도 있다. 일례로, 이미지를 분류하기 위해서는 이미 잘 알려진 코어 머신러닝(CoreML(Core Machine Learning)) 프레임워크와 비전(Vision) 프레임워크가 활용될 수 있으며, 분류의 신뢰도가 70% 이상이면 분류의 식별자를 키워드로 간주할 수 있다. 또한, 오디오의 분류를 위해 이미 잘 알려진 사운드 분석 프레임워크(SoundAnalysis Framework)가 활용될 수 있다. 이미지의 분류와 유사하게 분류의 신뢰도가 70% 이상이면 분류의 식별자를 키워드로 간주할 수 있다.
도 4는 본 발명의 일실시예에 따른 미디어 메시지 검색 방법의 다른 예를 도시한 흐름도이다. 본 실시예에 따른 미디어 메시지 검색 방법은 인스턴트 메시징 서비스를 제공하는 서버를 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 4의 방법이 포함하는 단계들(410 내지 440)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(410)에서 컴퓨터 장치(200)는 인스턴트 메시징 서비스의 특정 세션을 통해 미디어 메시지 및 미디어 메시지를 송신한 송신자측 단말기에 의해 추출된 미디어 메시지가 포함하는 미디어의 키워드를 수신할 수 있다. 여기서, 송신자측 단말기에 의해 추출되는 키워드는 앞서 도 3의 단계(320)에서 송신하고자 하는 미디어 메시지에 대해 추출된 미디어의 키워드일 수 있다. 송신자측 단말기는 미디어 메시지를 송신할 때, 미디어 메시지가 포함하는 미디어의 키워드를 추출한 후, 추출된 미디어의 키워드를 미디어 메시지와 함께 서버로 전송할 수 있다.
단계(420)에서 컴퓨터 장치(200)는 수신된 미디어의 키워드를 미디어 메시지와 연계하여 저장할 수 있다. 일례로, 컴퓨터 장치(200)는 수신된 미디어의 키워드를 수신된 미디어 메시지의 식별자와 연계하여 컴퓨터 장치(200)의 로컬 데이터베이스에 저장할 수 있다. 여기서 로컬 데이터베이스는 앞서 컴퓨터 장치(200)의 메모리(210)나 별도로 설명한 영구 저장 장치를 통해 구현될 수 있다.
단계(430)에서 컴퓨터 장치(200)는 수신된 미디어 메시지 및 미디어의 키워드를 특정 세션의 참가자들의 단말기로 전달할 수 있다. 이를 통해 하나의 미디어 메시지가 해당 미디어 메시지의 송신자측 단말기와 수신자측 단말기 모두에서 검색될 수 있다.
단계(440)에서 컴퓨터 장치(200)는 수신된 미디어의 키워드를 미디어와 관련된 타임라인 컨텐츠의 태그로서 등록할 수 있다. 서버는 인스턴트 메시징 서비스의 각 회원들을 위한 타임라인 서비스를 제공할 수 있다. 이때, 특정 미디어 메시지에 포함된 미디어가 타임라인 컨텐츠로서 타임라인 서비스에 등록되는 경우, 서버는 해당 미디어 메시지로부터 추출된 미디어의 키워드를 타임라인 컨텐츠의 태그로서 자동으로 등록하여 활용할 수 있다.
도 5 내지 도 9는 본 발명의 일실시예에 있어서, 검색 인터페이스를 제공하는 예를 도시한 도면들이다.
도 5의 실시예는 인스턴트 메시징 서비스의 특정 세션을 통해 송수신된 인스턴트 메시지들의 시퀀스 중 적어도 일부가 표시된 대화방 화면(510)의 예를 나타내고 있다. 대화방 화면(510)은 인스턴트 메시지들의 시퀀스 중 적어도 일부뿐만 아니라 다양한 사용자 인터페이스들을 포함할 수 있다. 이때, 본 실시예에 따른 대화방 화면(510)은 검색 인터페이스를 활성화시키기 위한 아이콘(520)이 표시될 수 있다. 아이콘(520)이 사용자에 의해 선택되는 경우(일례로, 터치스크린 환경에서 사용자에 의해 아이콘(520)이 표시된 영역에 터치입력이 인식되는 경우), 검색 인터페이스가 활성화될 수 있다.
도 6의 실시예는 검색 인터페이스가 활성화된 대화방 화면(610)의 예를 나타내고 있다. 대화방 화면(610)은 검색 인터페이스로서 입력되는 키워드를 표시하기 위한 입력창 인터페이스(620)와 제1 점선박스(630)와 같이 키워드를 입력받기 위한 자판 인터페이스가 표시된 예를 나타내고 있다.
도 7의 실시예는 자판 인터페이스를 통해 키워드가 입력됨에 따라 입력창 인터페이스(620)에 입력된 키워드가 표시되고, 입력된 키워드에 대응하는 검색 결과의 리스트가 표시된 대화방 화면(710)의 예를 나타내고 있다. 이때, 제2 점선박스(720)는 대화방 화면(710)에 표시된 검색 결과의 리스트의 일부를 나타내고 있다. 한편, 사용자는 표시된 검색 결과 중 하나를 선택하여 선택된 검색 결과에 대응하는 인스턴트 메시지에 접근할 수 있게 된다. 검색 결과는 대화방 화면(710)에 나타난 바와 같이 텍스트 메시지 외에도 사진, 동영상 및/또는 오디오를 포함하는 미디어 메시지를 포함할 수 있음을 나타내고 있다. 여기서, 도 7의 실시예에 나타난 미디어 메시지들은 입력된 키워드 "고양이"와 연계하여 식별자가 해당 세션의 참여자의 단말기의 로컬 데이터베이스에 저장된 미디어 메시지들임을 쉽게 이해할 수 있을 것이다. 다시 말해, 사용자가 키워드 "고양이"를 입력함에 따라 사용자의 단말기는 로컬 데이터베이스에서 키워드 "고양이"와 연계하여 저장된 식별자를 통해 미디어 메시지들을 검색할 수 있다. 또한, 사용자의 단말기는 키워드 "고양이"를 포함하는 텍스트 메시지들을 검색할 수 있다. 검색된 미디어 메시지들과 텍스트 메시지들은 해당 세션에서 송수신된 인스턴트 메시지들의 시퀀스에 따라 정렬되어 검색 결과 리스트가 생성될 수 있다.
도 8의 실시예는 대화방 화면(710)에서 사용자가 두 번째 검색 결과를 선택함에 따라 두 번째 검색 결과에 대응하는 인스턴트 메시지가 제공되는 대화방 화면(810)의 예를 나타내고 있다. 이때, 대화방 화면(810)에서는 해당 세션을 통해 송수신된 인스턴트 메시지들의 시퀀스 중 미디어 메시지 3(820)의 위치에 대응하는 부분을 표시하고 있다. 또한, 도 8의 실시예에서 제3 점선박스(830)는 이전 검색 결과를 표시하기 위한 제1 사용자 인터페이스를, 제4 점선박스(840)는 다음 검색 결과를 표시하기 위한 제2 사용자 인터페이스를 각각 나타내고 있다. 또한, 도 8의 실시예에서는 제5 점선박스(850)는 현재 표시되는 검색 결과가 전체 검색 결과 10개 중 2번째 검색 결과임을 나타내고 있다.
도 9의 실시예는 대화방 화면(810)에서 사용자가 제4 점선박스(840)를 통해 표시된 제2 사용자 인터페이스를 선택함에 따라 다음 검색 결과를 표시하는 대화방 화면(910)의 예를 나타내고 있다. 도 7의 실시예에서 설명한 바와 같이, 다음 검색 결과는 텍스트 "고양이가 예쁘네"를 포함하는 텍스트 메시지(텍스트 메시지 16(920))에 대응할 수 있으며, 사용자의 단말기는 해당 세션에서 송수신된 인스턴트 메시지들의 시퀀스 중에서 해당 텍스트 메시지(텍스트 메시지 16(920))의 위치에 대응하는 부분을 대화방 화면(910)에 표시할 수 있다.
이처럼, 본 발명의 실시예들에 따르면, 인스턴트 메시징 서비스의 특정 세션을 통해 송수신된 메시지에 포함된 사진, 동영상, 오디오와 같은 미디어를 분석하여 키워드를 추출하고, 추출된 미디어의 키워드를 메시지의 메타데이터로 저장함으로써, 해당 세션에 대한 사용자의 키워드 검색 시, 텍스트 메시지뿐만 아니라 미디어 메시지도 제공할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (18)

  1. 컴퓨터 장치와 결합되어 미디어 메시지 검색 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 미디어 메시지 검색 방법은,
    인스턴트 메시징 서비스의 특정 세션을 생성하거나 또는 상기 특정 세션에 참여하는 단계;
    상기 특정 세션을 통해 송신하고자 하는 미디어 메시지 또는 상기 특정 세션을 통해 수신된 미디어 메시지를 분석하여 상기 송신하고자 하는 미디어 메시지 또는 상기 수신된 미디어 메시지에 포함된 미디어의 키워드를 추출하는 단계;
    상기 추출된 미디어의 키워드를, 대응하는 미디어를 포함하는 미디어 메시지의 식별자와 연계하여 상기 컴퓨터 장치의 로컬 데이터베이스에 저장하는 단계;
    상기 특정 세션을 통해 송수신된 인스턴트 메시지에 대한 검색 인터페이스를 제공하는 단계; 및
    상기 검색 인터페이스를 통해 입력된 키워드를 이용하여 상기 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 제공하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  2. 제1항에 있어서,
    상기 미디어 메시지를 제공하는 단계는,
    상기 검색 인터페이스를 통해 입력된 키워드를 포함하는 텍스트 메시지 및 상기 검색 인터페이스를 통해 입력된 키워드를 이용하여 상기 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 포함하는 검색 결과 리스트를 제공하는 단계; 및
    상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서, 상기 검색 결과 리스트에서 선택된 검색 결과에 대응하는 인스턴트 메시지의 위치에 대응하는 부분이 표시되도록 인스턴트 메시지를 제공하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  3. 제1항에 있어서,
    상기 미디어 메시지를 제공하는 단계는,
    상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 상기 검색된 식별자에 대응하는 미디어 메시지의 위치에 대응하는 부분이 표시되도록 상기 검색된 식별자에 대응하는 미디어 메시지를 제공하는 것을 특징으로 하는 컴퓨터 프로그램.
  4. 제1항에 있어서,
    상기 미디어 메시지를 제공하는 단계는,
    상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 상기 검색 인터페이스를 통해 입력된 키워드에 대응하는 인스턴트 메시지를 순차적으로 표시하고,
    상기 순차적으로 표시하는 인스턴트 메시지는 상기 검색 인터페이스를 통해 입력된 키워드를 포함하는 텍스트 메시지와 상기 검색된 식별자에 대응하는 미디어 메시지를 포함하는 것
    을 특징으로 하는 컴퓨터 프로그램.
  5. 제1항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 수신된 미디어 메시지를 송신한 송신자측 단말기에서 상기 수신된 미디어 메시지가 포함하는 미디어에 대해 추출된 키워드를 상기 인스턴트 메시징 서비스를 제공하는 서버를 통해 상기 수신된 미디어 메시지와 함께 전달받아 상기 수신된 미디어 메시지에서 상기 미디어의 키워드를 추출하는 것을 특징으로 하는 컴퓨터 프로그램.
  6. 제1항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 미디어가 이미지를 포함하는 경우, 입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 머신러닝 모델을 이용하여 상기 이미지의 카테고리를 상기 이미지를 포함하는 미디어의 키워드로서 추출하는 것을 특징으로 하는 컴퓨터 프로그램.
  7. 제1항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 미디어가 오디오를 포함하는 경우, 입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 머신러닝 모델을 이용하여 상기 오디오의 카테고리를 상기 오디오를 포함하는 미디어의 키워드로서 추출하는 것을 특징으로 하는 컴퓨터 프로그램.
  8. 제1항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 미디어가 비디오를 포함하는 경우,
    입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 제1 머신러닝 모델을 이용하여 상기 비디오의 썸네일 이미지들의 제1 카테고리를 추출하는 단계;
    입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 제2 머신러닝 모델을 이용하여 상기 비디오의 오디오의 제2 카테고리를 추출하는 단계; 및
    상기 제1 카테고리 및 상기 제2 카테고리 중 적어도 하나를 상기 비디오를 포함하는 미디어의 키워드로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  9. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 미디어 메시지 검색 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 인스턴트 메시징 서비스의 특정 세션을 생성하거나 또는 상기 특정 세션에 참여하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 특정 세션을 통해 송신하고자 하는 미디어 메시지 또는 상기 특정 세션을 통해 수신된 미디어 메시지를 분석하여 상기 송신하고자 하는 미디어 메시지 또는 상기 수신된 미디어 메시지에 포함된 미디어의 키워드를 추출하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 추출된 미디어의 키워드를, 대응하는 미디어를 포함하는 미디어 메시지의 식별자와 연계하여 상기 컴퓨터 장치의 로컬 데이터베이스에 저장하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 특정 세션을 통해 송수신된 인스턴트 메시지에 대한 검색 인터페이스를 제공하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 검색 인터페이스를 통해 입력된 키워드를 이용하여 상기 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 제공하는 단계
    를 포함하는 미디어 메시지 검색 방법.
  10. 제9항에 있어서,
    상기 미디어 메시지를 제공하는 단계는,
    상기 검색 인터페이스를 통해 입력된 키워드를 포함하는 텍스트 메시지 및 상기 검색 인터페이스를 통해 입력된 키워드를 이용하여 상기 로컬 데이터베이스에서 검색된 식별자에 대응하는 미디어 메시지를 포함하는 검색 결과 리스트를 제공하는 단계; 및
    상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서, 상기 검색 결과 리스트에서 선택된 검색 결과에 대응하는 인스턴트 메시지의 위치에 대응하는 부분이 표시되도록 인스턴트 메시지를 제공하는 단계
    를 포함하는 것을 특징으로 하는 미디어 메시지 검색 방법.
  11. 제9항에 있어서,
    상기 미디어 메시지를 제공하는 단계는,
    상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 상기 검색된 식별자에 대응하는 미디어 메시지의 위치에 대응하는 부분이 표시되도록 상기 검색된 식별자에 대응하는 미디어 메시지를 제공하는 것을 특징으로 하는 미디어 메시지 검색 방법.
  12. 제9항에 있어서,
    상기 미디어 메시지를 제공하는 단계는,
    상기 특정 세션을 통해 송수신된 인스턴트 메시지의 시퀀스에서 상기 검색 인터페이스를 통해 입력된 키워드에 대응하는 인스턴트 메시지를 순차적으로 표시하고,
    상기 순차적으로 표시하는 인스턴트 메시지는 상기 검색 인터페이스를 통해 입력된 키워드를 포함하는 텍스트 메시지와 상기 검색된 식별자에 대응하는 미디어 메시지를 포함하는 것
    을 특징으로 하는 미디어 메시지 검색 방법.
  13. 제9항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 수신된 미디어 메시지를 송신한 송신자측 단말기에서 상기 수신된 미디어 메시지가 포함하는 미디어에 대해 추출된 키워드를 상기 인스턴트 메시징 서비스를 제공하는 서버를 통해 상기 수신된 미디어 메시지와 함께 전달받아 상기 수신된 미디어 메시지에서 상기 미디어의 키워드를 추출하는 것을 특징으로 하는 미디어 메시지 검색 방법.
  14. 제9항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 미디어가 이미지를 포함하는 경우, 입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 머신러닝 모델을 이용하여 상기 이미지의 카테고리를 상기 이미지를 포함하는 미디어의 키워드로서 추출하는 것을 특징으로 하는 미디어 메시지 검색 방법.
  15. 제9항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 미디어가 오디오를 포함하는 경우, 입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 머신러닝 모델을 이용하여 상기 오디오의 카테고리를 상기 오디오를 포함하는 미디어의 키워드로서 추출하는 것을 특징으로 하는 미디어 메시지 검색 방법.
  16. 제9항에 있어서,
    상기 미디어의 키워드를 추출하는 단계는,
    상기 미디어가 비디오를 포함하는 경우,
    입력되는 이미지의 카테고리를 분류하도록 학습된 비전 기반의 제1 머신러닝 모델을 이용하여 상기 비디오의 썸네일 이미지들의 제1 카테고리를 추출하는 단계;
    입력되는 오디오의 카테고리를 분류하도록 학습된 사운드 분석 기반의 제2 머신러닝 모델을 이용하여 상기 비디오의 오디오의 제2 카테고리를 추출하는 단계; 및
    상기 제1 카테고리 및 상기 제2 카테고리 중 적어도 하나를 상기 비디오를 포함하는 미디어의 키워드로서 결정하는 단계
    를 포함하는 것을 특징으로 하는 미디어 메시지 검색 방법.
  17. 제9항 내지 제16항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
  18. 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    인스턴트 메시징 서비스의 특정 세션을 통해 미디어 메시지 및 상기 미디어 메시지를 송신한 송신자측 단말기에 의해 추출된 상기 미디어 메시지가 포함하는 미디어의 키워드를 수신하고,
    상기 수신된 미디어의 키워드를 상기 미디어 메시지와 연계하여 저장하고,
    상기 수신된 미디어 메시지 및 상기 미디어의 키워드를 상기 특정 세션의 참가자들의 단말기로 전달하고,
    상기 수신된 미디어의 키워드를 상기 미디어와 관련된 타임라인 컨텐츠의 태그로서 등록하는 것
    을 특징으로 하는 컴퓨터 장치.
KR1020210128994A 2021-09-29 2021-09-29 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템 KR20230046030A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210128994A KR20230046030A (ko) 2021-09-29 2021-09-29 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템
JP2022152868A JP2023050159A (ja) 2021-09-29 2022-09-26 コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置
US17/953,772 US20230100140A1 (en) 2021-09-29 2022-09-27 Method and system for searching for media message using keyword extracted from media file

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210128994A KR20230046030A (ko) 2021-09-29 2021-09-29 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230046030A true KR20230046030A (ko) 2023-04-05

Family

ID=85705831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210128994A KR20230046030A (ko) 2021-09-29 2021-09-29 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템

Country Status (3)

Country Link
US (1) US20230100140A1 (ko)
JP (1) JP2023050159A (ko)
KR (1) KR20230046030A (ko)

Also Published As

Publication number Publication date
US20230100140A1 (en) 2023-03-30
JP2023050159A (ja) 2023-04-10

Similar Documents

Publication Publication Date Title
US11803564B2 (en) Method and system for keyword search using messaging service
US20180101540A1 (en) Diversifying Media Search Results on Online Social Networks
US20210126806A1 (en) Method for recognizing and utilizing user face based on profile picture in chatroom created using group album
US20220058693A1 (en) Method, system, and non-transitory computer readable record medium for providing chatroom embedded content
JP7393487B2 (ja) プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体
KR20210000047A (ko) 질의 메시지에 대한 답변 메시지를 제공하는 방법 및 시스템
KR20230029582A (ko) 어시스턴트 시스템에서 다자간 통화를 위한 단일 요청의 사용
US20200042526A1 (en) Method, system, and non-transitory computer- readable record medium for searching for non-text using text in conversation
US20200201969A1 (en) Method and system for managing image based on interworking face image and messenger account
KR20200141838A (ko) 키워드 대화방 제공 방법 및 시스템
CN111949859A (zh) 用户画像更新方法、装置、计算机设备及存储介质
KR20230046030A (ko) 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템
CN115097740A (zh) 设备控制方法、装置、系统及存储介质
EP3306555A1 (en) Diversifying media search results on online social networks
TW202301080A (zh) 輔助系統的多裝置調解
KR20220071487A (ko) 대화방 내에서 검색 기능을 제공하는 방법, 시스템, 및 컴퓨터 프로그램
KR20220165993A (ko) 인공지능 캐릭터 생성 방법 및 그 시스템
KR20220104984A (ko) 문서 유사도 학습에 기반한 딥러닝 모델의 전이 학습 방법 및 시스템
KR20210052912A (ko) 앱 사용 패턴과 대화 분석을 통한 앱 기능 바로가기 추천 방법 및 장치
EP4270291A1 (en) Method and computer device to recommend related product technical field
US20220222327A1 (en) Method, computer device, and non-transitory computer-readable recording medium to manage content for user account
KR20230164339A (ko) 메신저 대화방에서 메시지 배경 색상으로 대화 주제를 구분하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR20220170321A (ko) 채팅 메시지 관리 방법 및 시스템
KR20230013915A (ko) 채팅 메시지 관리 방법 및 시스템
KR101836420B1 (ko) 히스토리 탐색을 위한 인덱싱