KR20200071834A - Apparatus and method for providing visual search service based on blockchain - Google Patents

Apparatus and method for providing visual search service based on blockchain Download PDF

Info

Publication number
KR20200071834A
KR20200071834A KR1020180153708A KR20180153708A KR20200071834A KR 20200071834 A KR20200071834 A KR 20200071834A KR 1020180153708 A KR1020180153708 A KR 1020180153708A KR 20180153708 A KR20180153708 A KR 20180153708A KR 20200071834 A KR20200071834 A KR 20200071834A
Authority
KR
South Korea
Prior art keywords
learning model
deep learning
visual search
participant
search service
Prior art date
Application number
KR1020180153708A
Other languages
Korean (ko)
Inventor
허기수
김용준
김익순
김지은
박수란
정기숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180153708A priority Critical patent/KR20200071834A/en
Publication of KR20200071834A publication Critical patent/KR20200071834A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Disclosed are a blockchain-based visual search service providing device and a method thereof. According to one embodiment of the present invention, the blockchain-based visual search service providing device comprises: a first smart contract unit which creates a deep learning model to provide a visual search service based on a blockchain network; and a second smart contract unit which performs a visual search service based on the blockchain network with respect to a video image which received the visual search service from a user terminal device, and provides the visual search result for the video image which performed the visual search service to the user terminal device.

Description

블록체인 기반 시각 검색 서비스 제공 장치 및 방법 {APPARATUS AND METHOD FOR PROVIDING VISUAL SEARCH SERVICE BASED ON BLOCKCHAIN}Device and method for providing a blockchain-based visual search service {APPARATUS AND METHOD FOR PROVIDING VISUAL SEARCH SERVICE BASED ON BLOCKCHAIN}

본 발명은 시각 검색 기술에 관한 것으로, 보다 상세하게는 블록체인 기술, 딥러닝 기술 및 탈중앙 스토리지 기술을 이용한 시각 검색 서비스 제공 기술에 관한 것이다.The present invention relates to a time search technology, and more particularly, to a technology for providing a time search service using blockchain technology, deep learning technology, and decentralized storage technology.

블록체인 (Blockchain)은 퍼블릭 또는 프라이빗 네트워크에서 일어나는 거래 정보가 암호화되어 해당네트워크 구성원 간 공유되는 디지털 원장을 말한다. 따라서, 블록체인 기술은 네트워크 참여자가 공동으로 거래 정보를 검증하고 해시기반으로 블록처리하여 기록 보관함으로서 공인된 제3자 없이도 거래 기록의 무결성 및 신뢰성을 확보하는 P2P기반 분산원장 기술이라 할 수 있다. 이러한 블록체인 네트워크 참여자간의 거래장부 공유를 통해 탈중앙화, 거래 기록 위/변조 불가능 등 기존 중앙화 시스템이 제공하지 못하는 장점을 제공하고 있다. Blockchain is a digital ledger in which transaction information that occurs in public or private networks is encrypted and shared among members of the network. Therefore, blockchain technology can be said to be a P2P-based distributed ledger technology that ensures the integrity and reliability of transaction records without an authorized third party by verifying transaction information jointly by network participants and storing records by hash-based block processing. Through the sharing of the transaction book among participants of the blockchain network, it provides advantages that the existing centralized system cannot provide, such as decentralization and the inability to falsify/delete transaction records.

도 1은 시각 검색 서비스의 일 예인 스마트 렌즈 서비스를 나타낸 도면이다.1 is a diagram illustrating a smart lens service as an example of a visual search service.

도 1에 도시된 바와 같이, 국내 최대규모 검색 사업자인 네이버의 경우 궁금한 대상을 스마트폰 렌즈 내 카메라로 촬영하거나 저장된 이미지를 불러와 검색 할 수 있는 '스마트 렌즈' 모바일 시각 검색 (Visual Search) 서비스를 제공하고 있다. 이 서비스는 기본적으로 딥러닝 기반의 이미지 분석 기술 활용하고 있으며, 무엇보다 국내 최대규모 검색 사업자로서 중앙 서버에 축적해 둔 빅데이터 (Big Data)가 있어 가능하다. 따라서, 이런 서비스를 위해서는 딥러닝 성능을 높이기 위한 다양한 데이터와 많은 데이터를 저장하기 위한 대용량 중앙화 시스템 및 딥러닝 모델(training model)의 빠른 생성을 위한 고성능 H/W시스템이 필요로 한다.As shown in FIG. 1, in the case of Naver, the largest search provider in Korea, a'Smart Lens' mobile visual search (Visual Search) service that can be used to photograph an object in question with a camera in a smartphone lens or retrieve a stored image Is provided. This service basically utilizes deep learning-based image analysis technology, and most of all, it is possible because there is big data accumulated in the central server as the largest search provider in Korea. Therefore, for such a service, a high-capacity centralized system for storing various data and a lot of data for increasing deep learning performance and a high-performance H/W system for rapid creation of a deep learning model are required.

도 2는 시각 검색 서비스의 다른 예인 Trustless Machine Learning Contracts: DanKu 서비스를 나타낸 도면이다.2 is a diagram showing another example of a visual search service, Trustless Machine Learning Contracts: DanKu service.

도 2를 참조하면, ALGORITHMIA의 'DanKu'서비스는 성능 좋은 기계학습 모델을 원하는 구매자에게 블록체인 기술과 연동하여 제공해줄 수 있다. 구매자는 자신의 데이터와 모델 정보를 스마트 컨트랙을 통해 블록체인에 등록한다. 기계학습 엔지니어는 구매자의 학습 데이터와 모델 정보를 다운로드 받아 자신의 알고리즘이 적용된 학습된 모델 생성 후 블록체인에 업로드 한다. 이후 검증 절차를 걸쳐 가장 성능이 좋은 기계학습 모델을 생성한 기계학습 엔지니어에게 보상을 해주는 서비스를 제공하고 있다. 하지만, 이 서비스 역시 기계학습 모델 생성을 위한 데이터는 구매자 소유가 가지고 있는 데이터를 이용 학습 모델 성능에 한계점이 있다.Referring to FIG. 2, ALGORITHMIA's'DanKu' service can provide a machine learning model with good performance in conjunction with blockchain technology to a buyer. The buyer registers his data and model information on the blockchain through smart contracts. The machine learning engineer downloads the buyer's learning data and model information, creates a trained model to which his algorithm is applied, and uploads it to the blockchain. Since then, we provide a service that rewards machine learning engineers who have created the best machine learning models through verification procedures. However, this service also has limitations in learning model performance using data owned by the buyer as the data for generating machine learning models.

한편, 한국등록특허 제 0-1781583 호“블록체인을 기반으로 한 파일 관리/검색 시스템 및 파일 관리/검색 방법”는 블록 체인을 기반으로 하여 데이터 명칭과 데이터의 소유주를 검색하여 제공할 수 있는 파일 관리/검색 시스템 및 파일 관리/검색 방법에 관하여 개시하고 있다.On the other hand, Korean Registered Patent No. 0-1781583 “Blockchain based file management/search system and file management/search method” is a file that can search and provide data name and data owner based on blockchain. Disclosed is a management/search system and a file management/search method.

본 발명은 블록체인, 딥러닝 모델 및 탈중앙 스토리지를 이용한 시각 검색 서비스를 제공하는 것을 목적으로 한다.The present invention aims to provide a visual search service using a blockchain, deep learning model, and decentralized storage.

또한, 본 발명은 블록체인 참여자들에게 투명하고 공정하게 시각 검색 서비스의 성능 개선에 대한 보상을 제공하여 시각 검색 서비스의 성능을 향상시키는 것을 목적으로 한다.In addition, the present invention aims to improve the performance of the visual search service by providing rewards for the performance improvement of the visual search service transparently and fairly to blockchain participants.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치는 블록체인 네트워크에 기반한 시각 검색 서비스를 제공하기 위한 딥러닝 모델을 생성하는 제1 스마트 컨트랙트부 및 사용자 단말 장치로부터 시각 검색 서비스를 요청 받은 영상 이미지에 대하여 블록체인 네트워크에 기반한 시각 검색 서비스를 수행하고, 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 상기 사용자 단말 장치에게 제공하는 제2 스마트 컨트랙트부를 포함한다.A blockchain-based visual search service providing device according to an embodiment of the present invention for achieving the above object is a first smart contract unit and a user terminal generating a deep learning model for providing a visual search service based on a blockchain network A second smart that performs a visual search service based on a blockchain network on a video image requested from a device for a visual search service, and provides the user terminal device with a visual search result for the video image that has performed the visual search service. It includes a contract part.

이 때, 상기 제1 스마트 컨트랙트부는 제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받고, 상기 공유 영상 이미지를 상기 저장 공간에 저장할 수 있다.At this time, the first smart contract unit is provided with a shared video image for generating the deep learning model by a first participant, a storage space for storing the video image by a second participant, and the shared video image Can be stored in the storage space.

이 때, 상기 저장 공간은 분산형 네트워크 환경에 기반하여 상기 블록체인 네트워크에 저장 공간을 임대하는 탈중앙 스토리지의 저장 공간에 상응할 수 있다.At this time, the storage space may correspond to a storage space of decentralized storage that rents storage space to the blockchain network based on a distributed network environment.

이 때, 상기 제1 스마트 컨트랙트부는 제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용을 지불할 수 있다.At this time, the first smart contract unit generates the deep learning model by using the initial learning model provided by a third participant and the shared video image, and the third participant provides the first participant with respect to the shared video image. You can pay for the use.

이 때, 상기 제1 스마트 컨트랙트부는 제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록할 수 있다.At this time, the first smart contract unit verifies the deep learning learning model generated by the third participant by the fourth participant, and uses the deep learning learning model to block the deep learning learning model based on the result of verifying the deep learning learning model. It can be recorded in the distributed ledger of the network.

이 때, 상기 제1 스마트 컨트랙트부는 상기 제4 참여자가, 상기 제3 참여자에 의해 생성된 딥러닝 모델의 시각 검색 결과를 검증하여 상기 딥러닝 모델의 성능을 검증할 수 있다.At this time, the first smart contract unit may verify the performance of the deep learning model by verifying a visual search result of the deep learning model generated by the third participant by the fourth participant.

이 때, 상기 제1 스마트 컨트랙트부는 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용과 상기 딥러닝 모델에 성능을 고려하여 상기 딥러닝 모델을 생성할 수 있다.At this time, the first smart contract unit may generate the deep learning model by considering the usage cost of the shared video image and performance of the deep learning model by the third participant to the first participant.

이 때, 상기 제1 스마트 컨트랙트부는 상기 제3 참여자가 상기 제1 참여자의 공유 영상 이미지를 사용한 빈도에 기반하여 상기 제1 참여자에게 보상을 제공할 수 있다. In this case, the first smart contract unit may provide a reward to the first participant based on the frequency with which the third participant used the shared video image of the first participant.

또한, 상기의 목적을 달성하기 위한 블록체인 기반 시각 검색 서비스 제공 방법은 블록체인 기반 시각 검색 서비스 제공 장치의 블록체인 기반 시각 검색 서비스 제공 방법에 있어서, 블록체인 네트워크에 기반한 시각 검색 서비스를 제공하기 위한 딥러닝 모델을 생성하는 단계; 사용자 단말 장치로부터 시각 검색 서비스를 요청 받은 영상 이미지에 대하여 블록체인 네트워크에 기반한 시각 검색 서비스를 수행하는 단계 및 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 상기 사용자 단말 장치에게 제공하는 단계를 포함한다.In addition, a method for providing a blockchain-based visual search service for achieving the above object is a method for providing a blockchain-based visual search service of a blockchain-based visual search service providing device, for providing a visual search service based on a blockchain network. Creating a deep learning model; Performing a visual search service based on a blockchain network on a video image requested from a user terminal device for a visual search service, and providing a visual search result for the video image performed by the visual search service to the user terminal device Steps.

이 때, 상기 딥러닝 모델을 생성하는 단계는 제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받아 상기 공유 영상 이미지를 상기 저장 공간에 저장할 수 있다.At this time, in the step of generating the deep learning model, the first participant is provided with a shared video image for generating the deep learning model, and the second participant is provided with a storage space for storing the video image to share the The video image may be stored in the storage space.

이 때, 상기 저장 공간은 분산형 네트워크 환경에 기반하여 상기 블록체인 네트워크에 저장 공간을 임대하는 탈중앙 스토리지의 저장 공간에 상응할 수 있다.At this time, the storage space may correspond to a storage space of decentralized storage that rents storage space to the blockchain network based on a distributed network environment.

이 때, 상기 딥러닝 모델을 생성하는 단계는 제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제1 참여자에게 상기 공유 영상 이미지 에 대한 사용 비용을 지불할 수 있다.At this time, the step of generating the deep learning model generates the deep learning model using the initial learning model provided by a third participant and the shared video image, and the cost of using the shared video image to the first participant Can pay.

이 때, 상기 딥러닝 모델을 생성하는 단계는 제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록하는 At this time, the step of generating the deep learning model includes a fourth participant verifying the deep learning learning model generated by the third participant, and based on the result of verifying the deep learning learning model. To record in the distributed ledger of the blockchain network

이 때, 상기 딥러닝 모델을 생성하는 단계는 상기 제4 참여자가, 상기 제3 참여자에 의해 생성된 딥러닝 모델의 시각 검색 결과를 검증하여 상기 딥러닝 모델의 성능을 검증할 수 있다.At this time, in the generating of the deep learning model, the fourth participant may verify the performance of the deep learning model by verifying a visual search result of the deep learning model generated by the third participant.

이 때, 상기 딥러닝 모델을 생성하는 단계는 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용과 상기 딥러닝 모델에 성능을 고려하여 상기 딥러닝 모델을 생성할 수 있다.At this time, in the generating of the deep learning model, the third participant may generate the deep learning model in consideration of the usage cost for the shared video image and performance of the deep learning model to the first participant.

이 때, 상기 딥러닝 모델을 생성하는 단계는 상기 제3 참여자가 상기 제1 참여자의 공유 영상 이미지를 사용한 빈도에 기반하여 상기 제1 참여자에게 보상을 제공할 수 있다.At this time, the step of generating the deep learning model may provide a reward to the first participant based on the frequency with which the third participant used the shared video image of the first participant.

또한, 상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 사용자 단말 장치는 블록체인 네트워크에게 영상 이미지에 대한 시각 검색 서비스를 요청하는 시각 검색 요청부 및 상기 블록체인 네트워크가, 딥러닝 모델을 이용하여 상기 영상 이미지에 대한 상기 시각 검색 서비스를 수행하고, 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 사용자에게 제공하는 시각 검색 서비스 제공부를 포함한다.In addition, the user terminal device according to an embodiment of the present invention for achieving the above object is a visual search request unit and the blockchain network requesting a visual search service for a video image to the blockchain network, the deep learning model And a visual search service providing unit for performing the visual search service for the video image by using and providing a user with a visual search result for the video image that has performed the visual search service.

이 때, 상기 블록체인 네트워크는 제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받고, 상기 공유 영상 이미지를 상기 저장 공간에 저장할 수 있다.At this time, the blockchain network is provided with a shared video image for generating the deep learning model by a first participant, a storage space for storing the video image by a second participant, and the shared video image. It can be stored in the storage space.

이 때, 상기 블록체인 네트워크는 제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용을 지불할 수 있다.At this time, the blockchain network generates the deep learning model using an initial learning model provided by a third participant and the shared video image, and the third participant uses the shared video image to the first participant. You can pay.

이 때, 상기 블록체인 네트워크는 제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록할 수 있다.At this time, the blockchain network verifies the deep learning learning model generated by the third participant by the fourth participant, and uses the deep learning learning model to block the deep learning learning model based on the result of verifying the deep learning learning model. Can be recorded in the distributed ledger.

본 발명은 블록체인, 딥러닝 모델 및 탈중앙 스토리지를 이용한 시각 검색 서비스를 제공할 수 있다.The present invention can provide a visual search service using a blockchain, deep learning model, and decentralized storage.

또한, 본 발명은 블록체인 참여자들에게 투명하고 공정하게 시각 검색 서비스의 성능 개선에 대한 보상을 제공하여 시각 검색 서비스의 성능을 향상시킬 수 있다.In addition, the present invention can improve the performance of the visual search service by providing rewards for improving the performance of the visual search service transparently and fairly to blockchain participants.

도 1은 시각 검색 서비스의 일 예인 스마트 렌즈 서비스를 나타낸 도면이다.
도 2는 시각 검색 서비스의 다른 예인 Trustless Machine Learning Contracts: DanKu 서비스를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 시스템을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 탈중앙 스토리지 시스템을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치를 나타낸 블록도이다.
도 6은 본 발명의 일실시예에 따른 사용자 단말 장치를 나타낸 블록도이다.
도 7은 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법을 나타낸 동작흐름도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 is a diagram illustrating a smart lens service as an example of a visual search service.
2 is a diagram showing another example of a visual search service, Trustless Machine Learning Contracts: DanKu service.
3 is a block diagram showing a system for providing a visual search service based on a blockchain according to an embodiment of the present invention.
4 is a view showing a decentralized storage system according to an embodiment of the present invention.
5 is a block diagram showing an apparatus for providing a blockchain-based visual search service according to an embodiment of the present invention.
6 is a block diagram showing a user terminal device according to an embodiment of the present invention.
7 is a flowchart illustrating a method for providing a blockchain-based visual search service according to an embodiment of the present invention.
8 is a diagram illustrating a computer system according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.If described in detail with reference to the accompanying drawings the present invention. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Therefore, the shape and size of elements in the drawings may be exaggerated for a more clear description.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part “includes” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 시스템을 나타낸 도면이다.3 is a block diagram showing a system for providing a visual search service based on a blockchain according to an embodiment of the present invention.

도 3을 참조하면, 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 시스템은 블록체인 네트워크, 블록체인 기반 시각 검색 서비스 제공 장치(10), 콘텐츠 제공 장치(20), 스토리지 제공 장치(30), 딥러닝 모델 생성 장치(40), 딥러닝 모델 검증 장치(50) 및 사용자 단말 장치(100)를 포함한다.Referring to FIG. 3, a system for providing a blockchain-based visual search service according to an embodiment of the present invention includes a blockchain network, a blockchain-based visual search service providing device 10, a content providing device 20, and a storage providing device 30 ), a deep learning model generation device 40, a deep learning model verification device 50, and a user terminal device 100.

본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치(10)는 블록체인 네트워크에 포함되는 다수의 노드들에 상응할 수 있다.The blockchain-based visual search service providing apparatus 10 according to an embodiment of the present invention may correspond to a plurality of nodes included in the blockchain network.

이 때, 블록체인 기반 시각 검색 서비스 제공 장치(10)는 스마트 콘트랙트, 콘텐츠 제공 장치(20), 스토리지 제공 장치(30), 딥러닝 모델 생성 장치(40) 및 딥러닝 모델 검증 장치(50)를 이용하여 가장 좋은 성능을 갖는 딥러닝 모델이 생성하고 시각 검색 서비스를 사용자 단말 장치(100)에게 제공할 수 있다.At this time, the blockchain-based visual search service providing device 10 includes a smart contract, a content providing device 20, a storage providing device 30, a deep learning model generating device 40, and a deep learning model verification device 50. By using this, a deep learning model having the best performance can be generated and a visual search service can be provided to the user terminal device 100.

이 때, 블록체인 기반 시각 검색 서비스 제공 장치(10)는 시각 검색 서비스를 제공을 위한 블록체인 네트워크에 참여하는 콘텐츠 제공 장치(20)의 콘텐츠 제공자, 스토리지 제공 장치(30)의 스토리지 제공자, 딥러닝 모델 생성 장치(40)의 딥러닝 전문가 및 딥러닝 모델 검증 장치(50)의 딥러닝 모델 검증가에게 딥러닝 모델을 생성한 결과와 시각 검색 결과에 기반하여 보상을 제공할 수 있다.At this time, the blockchain-based visual search service providing device 10 is a content provider of a content providing device 20 participating in a blockchain network for providing a visual search service, a storage provider of a storage providing device 30, deep learning The deep learning expert of the model generating device 40 and the deep learning model verifier of the deep learning model verification device 50 may provide compensation based on a result of generating a deep learning model and a visual search result.

즉, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치(10)는 스마트 컨트랙트(Smart Contract)를 통해 콘텐츠 제공자, 스토리지 제공자, 모델 검증 함수 및 참여자들의 금전적 보상에 관한 내용을 기술한 분산 원장을 처리할 수 있다.That is, the apparatus 10 for providing a blockchain-based visual search service according to an embodiment of the present invention describes contents of a content provider, a storage provider, a model verification function, and financial rewards of participants through a smart contract. Distributed ledgers can be processed.

이 때, 스마트 컨트랙트(Smart Contract)는 콘텐츠 제공 정보, 스토리 제정 정보, 시각 검색 서비스를 딥러닝 모델 검증 함수, 금전적 보상에 관한 내용으로 블록체인 네트워크 환경에서 자동 실행될 수 있다.At this time, the smart contract (Smart Contract) can be automatically executed in the blockchain network environment with content provision information, story making information, visual search service, deep learning model verification function, and monetary compensation.

콘텐츠 제공 장치(20)는 콘텐츠 제공자(Contents provider)가 딥러닝 학습을 위한 데이터(공유 영상 이미지)를 생성하고 제공할 수 있다.The content providing device 20 may generate and provide data (shared video image) for deep learning by a content provider.

이 때, 콘텐츠 제공 장치(20)는 콘텐츠 제공자가 촬영한 다양한 공유 영상 이미지를 스토리지 제공 장치(30)가 제공한 탈중앙 스토리지의 저장공간에 저장할 수 있다.At this time, the content providing device 20 may store various shared video images taken by the content provider in the storage space of the decentralized storage provided by the storage providing device 30.

이 때, 콘텐츠 제공 장치(20)는 저장공간에 저장한 공유 영상 이미지를 딥러닝 모델 학습을 위한 데이터 활용을 위해 공유 할 수 있다.At this time, the content providing device 20 may share the shared video image stored in the storage space for data use for learning a deep learning model.

이 때, 콘텐츠 제공 장치(20)는 개인적인 데이터는 스토리지 제공 장치(30)의 저장공간에 저렴한 비용을 지불하고 안전하게 보관할 수 있다.At this time, the content providing device 20 can safely store personal data at a low cost in the storage space of the storage providing device 30.

이 때, 콘텐츠 제공 장치(20)는 딥러닝 모델 학습을 위한 공유 영상 이미지를 딥러닝 모델 생성 장치(40)에게 제공할 수 있고, 제공한 공유 이미지의 사용 빈도에 따라 비용을 보상 받을 수 있다.At this time, the content providing device 20 may provide the shared video image for learning the deep learning model to the deep learning model generating device 40, and may be compensated for the cost according to the frequency of use of the shared image provided.

스토리지 제공 장치(30)는 스토리지 제공자(Storage Provider)가 탈중앙 스토리지 기술에 기반한 데이터 저장 공간을 제공할 수 있다.The storage providing device 30 may provide a data storage space based on decentralized storage technology by a storage provider.

이 때, 스토리지 제공 장치(30)는 콘텐츠 제공 장치(20)의 데이터 저장 공간 제공을 위해 탈중앙 스토리지 기술을 이용하여 신뢰된 제3자 없는 분산형 네트워크(P2P) 환경에 저장공간을 제공할 수 있다.At this time, the storage providing device 30 may provide storage space to a trusted distributed network without a third party using decentralized storage technology to provide data storage space of the content providing device 20. have.

이 때, 스토리지 제공 장치(30)는 블록체인 네트워크에 참여하여 블록체인 기반 시각 검색 서비스 제공 장치(10)에게 저장공간을 임대하고, 임대수익을 보상받을 수 있다.At this time, the storage providing device 30 may participate in the blockchain network, rent storage space to the blockchain-based visual search service providing device 10, and receive rental income compensation.

이 때, 스토리지 제공 장치(30)는 자신의 스토리지 여유 공간을 일정기간 동안 임대해줄 수 있다.At this time, the storage providing device 30 may lease its storage space for a period of time.

딥러닝 모델 생성 장치(40)는 콘텐츠 제공 장치(20)가 제공한 공유 영상 이미지에 대한 이미지 분석 및 시각 검색을 위한 딥러닝 모델을 생성할 수 있다.The deep learning model generation device 40 may generate a deep learning model for image analysis and visual search for a shared video image provided by the content providing device 20.

이 때, 딥러닝 모델 생성 장치(40)는 딥러닝 전문가(Deep Learning Expert)가 딥러닝 모델 생성을 위해 콘텐츠 제공자의 공유 영상 이미지에 대한 이용 대가를 콘텐츠 제공 장치(20)에게 지불할 수 있다.At this time, deep learning The model generation device 40 may pay the content provider 20 for the use of a shared video image of a content provider for a deep learning expert to generate a deep learning model.

이 때, 딥러닝 모델 생성 장치(40)는 기계학습 모델 알고리즘을 설계하고 고성능 컴퓨터를 이용하여 학습 모델을 훈련 시켜 딥러닝 모델을 생성할 수 있다.At this time, the deep learning model generation device 40 may design a machine learning model algorithm and train a learning model using a high-performance computer to generate a deep learning model.

학습 모델의 훈련에 사용되는 데이터는 콘텐츠 제공 장치(20)가 제공한 공유 영상 이미지에 상응할 수 있다.Data used for training the learning model may correspond to a shared video image provided by the content providing device 20.

이 때, 딥러닝 모델 생성 장치(40)는 콘텐츠 제공 장치(20)에게 공유 영상 이미지의 사용 비용을 지불하여 사용할 수 있다.At this time, the deep learning model generation device 40 may use the content providing device 20 by paying the cost of using the shared video image.

이 때, 딥러닝 모델 생성 장치(40)는 학습 모델을 훈련시켜 생성한 딥러닝 모델을 블록체인의 분산 원장에 제공하여 블록체인 기반 시각 검색 서비스 제공 장치(10)로부터 보상을 받을 수 있다.At this time, the deep learning model generation device 40 may receive a reward from the blockchain-based visual search service providing device 10 by providing the deep learning model generated by training the learning model to the distributed ledger of the blockchain.

이 때, 딥러닝 모델 생성 장치(40)는 훈련 데이터 셋(Training Dataset)을 이용 최적의 학습 모델 알고리즘으로부터 딥러닝 모델을 생성할 수 있다.At this time, the deep learning model generating apparatus 40 may generate a deep learning model from an optimal learning model algorithm using a training dataset.

딥러닝 모델 검증 장치(50)는 딥러닝 검증가(Deep Learning Validator)가 학습된 딥러닝 모델에 대한 검증 데이터 셋(Validation Dataset)을 이용하여 딥러닝 모델을 검증할 수 있다.The deep learning model verification apparatus 50 may verify the deep learning model by using a validation dataset for a deep learning model in which the deep learning validator has been trained.

이 때, 딥러닝 모델 검증 장치(50)는 검증 데이터를 이용하여 블록체인 네트워크의 분산 원장에 기록된 딥러닝 모델을 검증할 수 있다.At this time, the deep learning model verification device 50 may verify the deep learning model recorded in the distributed ledger of the blockchain network using the verification data.

이 때, 딥러닝 모델 검증 장치(50)는 딥러닝 모델을 최적의 상태로 유지시킬 수 있다.At this time, the deep learning model verification apparatus 50 may maintain the deep learning model in an optimal state.

이 때, 딥러닝 모델 검증 장치(50)는 딥러닝 모델을 검증한 결과에 기반하여 최적의 딥러닝 모델을 선택하고, 딥러닝 모델을 유지 보수하여 시각 검색 서비스의 높은 성능을 제공할 수 있다.At this time, the deep learning model verification apparatus 50 may select the optimal deep learning model based on the result of verifying the deep learning model, and maintain the deep learning model to provide high performance of the visual search service.

사용자 단말 장치(100)는 시각 검색(Visual Search) 서비스를 요청하는 사용자(User)에 상응할 수 있다.The user terminal device 100 may correspond to a user requesting a visual search service.

이 때, 사용자 단말 장치(100)는 시각 검색을 요청하고자 하는 요청 이미지를 블록체인 기반 시각 검색 서비스 제공 장치(10)에게 전송할 수 있다.At this time, the user terminal device 100 may transmit a request image for requesting a time search to the block-based time search service providing device 10.

이 때, 사용자 단말 장치(100)는 블록체인 기반 시각 검색 서비스 제공 장치(10)로부터 딥러닝 모델에 기반한 시각 검색 결과를 수신하여 시각 검색 서비스를 제공 받을 수 있다.At this time, the user terminal device 100 may receive a visual search result based on a deep learning model from the blockchain-based visual search service providing device 10 and receive a visual search service.

도 4는 본 발명의 일실시예에 따른 탈중앙 스토리지 시스템을 나타낸 도면이다.4 is a view showing a decentralized storage system according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 탈중앙 스토리지 시스템은 콘텐츠 제공 장치(30)들이 딥러닝 모델 생성에 참여하기 위한 데이터 생성 및 신뢰된 제3자 없이 분산형 네트워크(P2P) 환경에 저장공간을 제공하는 것을 알 수 있다.Referring to FIG. 4, in a decentralized storage system according to an embodiment of the present invention, a distributed network (P2P) environment without data creation and trusted third parties for content providing devices 30 to participate in a deep learning model generation It can be seen that it provides storage space.

도 5는 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치를 나타낸 블록도이다.5 is a block diagram showing an apparatus for providing a blockchain-based visual search service according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치(10)는 제1 스마트 컨트랙트부(11), 제2 스마트 컨트랙트부(12) 및 블록체인 데이터베이스(13)를 포함한다.Referring to FIG. 5, the apparatus 10 for providing a blockchain-based visual search service according to an embodiment of the present invention includes a first smart contract unit 11, a second smart contract unit 12, and a blockchain database 13 It includes.

제1 스마트 컨트랙트부(11)는 블록체인 네트워크에 기반한 시각 검색 서비스를 제공하기 위한 딥러닝 모델을 생성할 수 있다.The first smart contract unit 11 may generate a deep learning model for providing a visual search service based on a blockchain network.

제2 스마트 컨트랙트부(12)는 사용자 단말 장치(100)로부터 시각 검색 서비스를 요청 받은 영상 이미지에 대하여 블록체인 네트워크에 기반한 시각 검색 서비스를 수행하고, 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 상기 사용자 단말 장치(100)에게 제공할 수 있다.The second smart contract unit 12 performs a visual search service based on a blockchain network with respect to the video image requested from the user terminal device 100 for a visual search service, and for the video image that has performed the visual search service. Time search results may be provided to the user terminal device 100.

블록체인 데이터베이스(13)는 스마트 컨트랙트(Smart Contract)를 통해 콘텐츠 제공자, 스토리지 제공자, 모델 검증 함수 및 참여자들의 금전적 보상에 관한 내용을 분산 원장을 통해 기록할 수 있다.The blockchain database 13 may record contents of a content provider, a storage provider, a model verification function, and financial rewards of participants through a smart contract through a smart contract.

이 때, 블록체인 데이터베이스(13)는 콘텐츠 제공 정보, 스토리 제정 정보, 시각 검색 서비스를 딥러닝 모델 검증 함수, 금전적 보상에 관한 내용을 분산 원장을 통해 기록할 수 있다.At this time, the blockchain database 13 may record content providing information, story making information, and a visual search service through a deep learning model verification function and monetary compensation through a distributed ledger.

이 때, 제1 스마트 컨트랙트부(11)는 제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받고, 상기 공유 영상 이미지를 상기 저장 공간에 저장할 수 있다.At this time, the first smart contract unit 11 is provided with a shared video image for generating the deep learning model by a first participant, and a storage space for storing the video image by a second participant, The shared video image may be stored in the storage space.

이 때, 제1 참여자는 콘텐츠 제공 장치(20)를 이용하여 공유 영상 이미지를 제공하는 콘텐츠 제공자에 상응할 수 있다.At this time, the first participant may correspond to a content provider that provides a shared video image using the content providing device 20.

이 때, 제2 참여자는 스토리지 제공 장치(30)를 이용하여 블록체인 네트워크에 저장공간을 임대하는 스토리지 제공자에 상응할 수 있다.At this time, the second participant may correspond to a storage provider that leases storage space to the blockchain network using the storage providing device 30.

이 때, 저장 공간은 분산형 네트워크 환경에 기반하여 상기 블록체인 네트워크에 저장 공간을 임대하는 탈중앙 스토리지의 저장 공간에 상응할 수 있다.At this time, the storage space may correspond to the storage space of decentralized storage that rents storage space to the blockchain network based on a distributed network environment.

이 때, 제1 스마트 컨트랙트부(11)는 제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용을 지불할 수 있다.At this time, the first smart contract unit 11 generates the deep learning model using the initial learning model provided by a third participant and the shared video image, and the third participant sends the shared video to the first participant. You can pay for the use of the image.

이 때, 제3 참여자는 딥러닝 모델 생성 장치(40)를 이용하여 학습 모델을 훈련시켜 딥러닝 모델을 생성하는 딥러닝 전문가에 상응할 수 있다.At this time, the third participant may correspond to a deep learning expert who generates a deep learning model by training the learning model using the deep learning model generation device 40.

이 때, 제1 스마트 컨트랙트부(11)는 제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록할 수 있다.At this time, the first smart contract unit 11 verifies the deep learning learning model generated by the third participant by the fourth participant, and uses the deep learning learning model based on the result of verifying the deep learning learning model. It can be recorded in the distributed ledger of the blockchain network.

이 때, 제4 참여자는 딥러닝 모델 검증 장치(50)를 이용하여 딥러닝 모델을 검증하는 딥러닝 검증가에 상응할 수 있다.At this time, the fourth participant may correspond to a deep learning verifier who verifies the deep learning model using the deep learning model verification device 50.

이 때, 제1 스마트 컨트랙트부(11)는 상기 제4 참여자가, 상기 제3 참여자에 의해 생성된 딥러닝 모델의 시각 검색 결과를 검증하여 상기 딥러닝 모델의 성능을 검증할 수 있다.At this time, the first smart contract unit 11 may verify the performance of the deep learning model by verifying a visual search result of the deep learning model generated by the third participant by the fourth participant.

이 때, 제1 스마트 컨트랙트부(11)는 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용과 상기 딥러닝 모델에 성능을 고려하여 상기 딥러닝 모델을 생성할 수 있다.At this time, the first smart contract unit 11 may generate the deep learning model by considering the usage cost of the shared video image and performance of the deep learning model by the third participant.

이 때, 제1 스마트 컨트랙트부(11)는 상기 제3 참여자가 상기 제1 참여자의 공유 영상 이미지를 사용한 빈도에 기반하여 상기 제1 참여자에게 보상을 제공할 수 있다. At this time, the first smart contract unit 11 may provide a reward to the first participant based on the frequency with which the third participant used the shared video image of the first participant.

도 6은 본 발명의 일실시예에 따른 사용자 단말 장치를 나타낸 블록도이다.6 is a block diagram showing a user terminal device according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 사용자 단말 장치(100)는 시각 검색 요청부(110) 및 시각 검색 서비스 제공부(120)를 포함한다.Referring to FIG. 6, the user terminal device 100 according to an embodiment of the present invention includes a time search request unit 110 and a time search service providing unit 120.

시각 검색 요청부(110)는 블록체인 네트워크에게 영상 이미지에 대한 시각 검색 서비스를 요청할 수 있다.The visual search request unit 110 may request a visual search service for a video image from the blockchain network.

시각 검색 서비스 제공부(120)는 상기 블록체인 네트워크가, 딥러닝 모델을 이용하여 상기 영상 이미지에 대한 상기 시각 검색 서비스를 수행하고, 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 사용자에게 제공할 수 있다.The visual search service providing unit 120 performs the visual search service for the video image using the deep learning model, and the blockchain network performs a visual search result for the video image that has performed the visual search service. It can be provided to the user.

이 때, 상기 블록체인 네트워크는 제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받고, 상기 공유 영상 이미지를 상기 저장 공간에 저장할 수 있다.At this time, the blockchain network is provided with a shared video image for generating the deep learning model by a first participant, a storage space for storing the video image by a second participant, and the shared video image. It can be stored in the storage space.

이 때, 상기 블록체인 네트워크는 제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용을 지불할 수 있다.At this time, the blockchain network generates the deep learning model using an initial learning model provided by a third participant and the shared video image, and the third participant uses the shared video image to the first participant. You can pay for it.

이 때, 상기 블록체인 네트워크는 제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록할 수 있다.At this time, the blockchain network verifies the deep learning learning model generated by the third participant by the fourth participant, and uses the deep learning learning model to block the deep learning learning model based on the result of verifying the deep learning learning model. Can be recorded in the distributed ledger.

도 7은 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법을 나타낸 동작흐름도이다.7 is a flowchart illustrating a method for providing a blockchain-based visual search service according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법은 먼저 콘텐츠를 제공 할 수 있다(S210).Referring to FIG. 7, a method for providing a visual search service based on a blockchain according to an embodiment of the present invention may first provide content (S210 ).

즉, 단계(S210)는 콘텐츠 제공 장치(20)가 콘텐츠 제공자(Contents provider)가 딥러닝 학습을 위한 데이터(공유 영상 이미지)를 생성하고 제공할 수 있다.That is, in step S210, the content providing device 20 may generate and provide data (shared video image) for deep learning by the content provider.

이 때, 단계(S210)는 콘텐츠 제공자가 촬영한 다양한 공유 영상 이미지를 스토리지 제공 장치(30)가 제공한 탈중앙 스토리지의 저장공간에 저장할 수 있다.At this time, step S210 may store various shared video images taken by the content provider in the storage space of the decentralized storage provided by the storage providing device 30.

이 때, 단계(S210)는 저장공간에 저장한 공유 영상 이미지를 딥러닝 모델 학습을 위한 데이터 활용을 위해 공유 할 수 있다.At this time, step S210 may share the shared video image stored in the storage space for data use for learning a deep learning model.

이 때, 단계(S210)는 개인적인 데이터는 스토리지 제공 장치(30)의 저장공간에 저렴한 비용을 지불하고 안전하게 보관할 수 있다.At this time, in step S210, personal data may be safely stored at a low cost in a storage space of the storage providing device 30.

이 때, 단계(S210)는 딥러닝 모델 학습을 위한 공유 영상 이미지를 딥러닝 모델 생성 장치(40)에게 제공할 수 있고, 제공한 공유 이미지의 사용 빈도에 따라 비용을 보상 받을 수 있다.At this time, step S210 may provide a shared video image for learning the deep learning model to the deep learning model generating apparatus 40, and may be compensated for the cost according to the frequency of use of the shared image provided.

또한, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법은 스토리지를 제공할 수 있다(S220).In addition, a method for providing a blockchain-based visual search service according to an embodiment of the present invention may provide storage (S220).

즉, 단계(S220)는 스토리지 제공 장치(30)가 스토리지 제공자(Storage Provider)가 탈중앙 스토리지 기술에 기반한 데이터 저장 공간을 제공할 수 있다.That is, in step S220, the storage providing device 30 may provide a data storage space based on the decentralized storage technology by the storage provider.

이 때, 단계(S220)는 콘텐츠 제공 장치(20)의 데이터 저장 공간 제공을 위해 탈중앙 스토리지 기술을 이용하여 신뢰된 제3자 없는 분산형 네트워크(P2P) 환경에 저장공간을 제공할 수 있다.At this time, step S220 may provide a storage space in a distributed network (P2P) environment without a trusted third party by using a decentralized storage technology for providing data storage space of the content providing device 20.

이 때, 단계(S220)는 블록체인 네트워크에 참여하여 블록체인 기반 시각 검색 서비스 제공 장치(10)에게 저장공간을 임대하고, 임대수익을 보상받을 수 있다.At this time, step S220 may participate in the blockchain network, rent storage space to the blockchain-based visual search service providing device 10, and receive rental income compensation.

이 때, 단계(S220)는 자신의 스토리지 여유 공간을 일정기간 동안 임대해줄 수 있다.At this time, step S220 may lease its storage space for a period of time.

또한, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법은 딥러닝 모델을 생성할 수 있다(S230).In addition, a method for providing a blockchain-based visual search service according to an embodiment of the present invention may generate a deep learning model (S230).

즉, 단계(S230)는 딥러닝 모델 생성 장치(40)가 공유 영상 이미지에 대한 이미지 분석 및 시각 검색을 위한 딥러닝 모델을 생성할 수 있다.That is, in step S230, the deep learning model generation device 40 may generate a deep learning model for image analysis and visual search for a shared video image.

이 때, 단계(S230)는 딥러닝 전문가(Deep Learning Expert)가 딥러닝 모델 생성을 위해 콘텐츠 제공자의 공유 영상 이미지에 대한 이용 대가를 콘텐츠 제공 장치(20)에게 지불할 수 있다.At this time, in step S230, a deep learning expert may pay the content providing device 20 for the use of the shared video image of the content provider to create a deep learning model.

이 때, 단계(S230)는 기계학습 모델 알고리즘을 설계하고 고성능 컴퓨터를 이용하여 학습 모델을 훈련 시켜 딥러닝 모델을 생성할 수 있다.At this time, step S230 may design a machine learning model algorithm and train a learning model using a high-performance computer to generate a deep learning model.

학습 모델의 훈련에 사용되는 데이터는 콘텐츠 제공 장치(20)가 제공한 공유 영상 이미지에 상응할 수 있다.Data used for training the learning model may correspond to a shared video image provided by the content providing device 20.

이 때, 단계(S230)는 콘텐츠 제공 장치(20)에게 공유 영상 이미지의 사용 비용을 지불하여 사용할 수 있다.At this time, step S230 may be used by paying the cost of using the shared video image to the content providing device 20.

이 때, 단계(S230)는 학습 모델을 훈련시켜 생성한 딥러닝 모델을 블록체인의 분산 원장에 제공하여 블록체인 기반 시각 검색 서비스 제공 장치(10)로부터 보상을 받을 수 있다.In this case, step S230 may receive a reward from the blockchain-based visual search service providing apparatus 10 by providing the deep learning model generated by training the learning model to the distributed ledger of the blockchain.

이 때, 단계(S230)는 훈련 데이터 셋(Training Dataset)을 이용 최적의 학습 모델 알고리즘으로부터 딥러닝 모델을 생성할 수 있다.At this time, step S230 may generate a deep learning model from an optimal learning model algorithm using a training dataset.

또한, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법은 딥러닝 모델을 검증할 수 있다(S240).In addition, the method for providing a blockchain-based visual search service according to an embodiment of the present invention may verify a deep learning model (S240).

즉, 단계(S240)는 딥러닝 검증가(Deep Learning Validator)가 딥러닝 모델 검증 장치(50)를 이용하여 학습된 딥러닝 모델에 대한 검증 데이터 셋(Validation Dataset)을 이용하여 딥러닝 모델을 검증할 수 있다.That is, in step S240, the deep learning model validates the deep learning model by using the validation data set for the deep learning model learned by the deep learning validator 50 using the deep learning model verification apparatus 50. Can be.

이 때, 단계(S240)는 딥러닝 모델 검증 장치(50)가 검증 데이터를 이용하여 블록체인 네트워크의 분산 원장에 기록된 딥러닝 모델을 검증할 수 있다.At this time, in step S240, the deep learning model verification device 50 may verify the deep learning model recorded in the distributed ledger of the blockchain network using the verification data.

이 때, 단계(S240)는 딥러닝 모델을 최적의 상태로 유지시킬 수 있다.At this time, step S240 may maintain the deep learning model in an optimal state.

이 때, 단계(S240)는 딥러닝 모델을 검증한 결과에 기반하여 최적의 딥러닝 모델을 선택하고, 딥러닝 모델을 유지 보수하여 시각 검색 서비스의 높은 성능을 제공할 수 있다.At this time, step S240 may select the optimal deep learning model based on the results of verifying the deep learning model, and maintain the deep learning model to provide high performance of the visual search service.

또한, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 방법은 시각 검색 서비스를 제공할 수 있다(S250).In addition, the method for providing a blockchain-based visual search service according to an embodiment of the present invention may provide a visual search service (S250).

먼저, 단계(S250)는 사용자 단말 장치(100)가 블록체인 기반 시각 검색 서비스 제공 장치(100)에게 시각 검색 서비스를 요청할 수 있다.First, in step S250, the user terminal device 100 may request a time search service from the block-based time search service providing device 100.

이 때, 단계(S250)는 사용자 단말 장치(100)가 시각 검색을 요청하고자 하는 요청 이미지를 블록체인 기반 시각 검색 서비스 제공 장치(10)에게 전송할 수 있다.At this time, step S250, the user terminal device 100 may transmit a request image to request a time search to the blockchain-based time search service providing device 10.

이 때, 단계(S250)는 블록체인 네트워크에게 영상 이미지에 대한 시각 검색 서비스를 요청할 수 있다.At this time, step S250 may request a visual search service for a video image from the blockchain network.

또한, 단계(S250)는 사용자 단말 장치(100)로부터 시각 검색 서비스를 요청 받은 영상 이미지에 대하여 블록체인 네트워크에 기반한 시각 검색 서비스를 수행할 수 있다.In addition, step S250 may perform a visual search service based on a blockchain network on a video image requested from the user terminal device 100 for a visual search service.

이 때, 단계(S250)는 콘텐츠 제공 장치(20)에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 스토리지 제공 장치(30)에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받아 상기 공유 영상 이미지를 상기 저장 공간에 저장할 수 있다.At this time, step S250 receives a shared video image for generating the deep learning model by the content providing device 20 and a storage space for storing the video image by the storage providing device 30 The shared video image may be stored in the storage space.

이 때, 저장 공간은 분산형 네트워크 환경에 기반하여 상기 블록체인 네트워크에 저장 공간을 임대하는 탈중앙 스토리지의 저장 공간에 상응할 수 있다.At this time, the storage space may correspond to the storage space of decentralized storage that rents storage space to the blockchain network based on a distributed network environment.

이 때, 단계(S250)는 딥러닝 모델 생성 장치(40)가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 콘텐츠 제공 장치(20)에게 상기 공유 영상 이미지 에 대한 사용 비용을 지불할 수 있다.In this case, step S250 generates the deep learning model using the initial learning model provided by the deep learning model generating device 40 and the shared video image, and the shared video image to the content providing device 20 You can pay for the use.

이 때, 단계(S250)는 딥러닝 모델 검증 장치(50)가 딥러닝 모델 생성 장치(40)에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록할 수 있다.At this time, step (S250), the deep learning model verification apparatus 50 verifies the deep learning learning model generated by the deep learning model generation apparatus 40, and based on the result of verifying the deep learning learning model. The deep learning learning model can be recorded in the distributed ledger of the blockchain network.

이 때, 단계(S250)는 딥러닝 모델 검증 장치(50)가, 딥러닝 모델 생성 장치(40)에 의해 생성된 딥러닝 모델의 시각 검색 결과를 검증하여 상기 딥러닝 모델의 성능을 검증할 수 있다.At this time, in step S250, the deep learning model verification device 50 can verify the performance of the deep learning model by verifying the visual search result of the deep learning model generated by the deep learning model generation device 40. have.

이 때, 단계(S250)는 딥러닝 모델 생성 장치(40)가 콘텐츠 제공 장치(20)에게 상기 공유 영상 이미지에 대한 사용 비용과 상기 딥러닝 모델에 성능을 고려하여 상기 딥러닝 모델을 생성할 수 있다.At this time, in step S250, the deep learning model generation device 40 may generate the deep learning model in consideration of the cost of using the shared video image and the performance of the deep learning model to the content providing device 20. have.

이 때, 단계(S250)는 딥러닝 모델 생성 장치(40)가 콘텐츠 제공 장치(10)의 공유 영상 이미지를 사용한 빈도에 기반하여 콘텐츠 제공 장치(10)에게 보상을 제공할 수 있다.In this case, step S250 may provide a reward to the content providing device 10 based on the frequency of the deep learning model generating device 40 using the shared video image of the content providing device 10.

또한, 단계(S250)는 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 사용자 단말 장치(100)에게 제공할 수 있다.In addition, step S250 may provide the user terminal device 100 with a visual search result for the video image that has performed the visual search service.

도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.8 is a diagram illustrating a computer system according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 장치(10), 콘텐츠 제공 장치(20), 스토리지 제공 장치(30), 딥러닝 모델 생성 장치(40), 딥러닝 모델 검증 장치(50) 및 사용자 단말 장치(100)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.Referring to FIG. 8, a blockchain-based visual search device 10, a content providing device 20, a storage providing device 30, a deep learning model generating device 40, and a deep learning model according to an embodiment of the present invention The verification device 50 and the user terminal device 100 may be implemented in a computer system 1100 such as a computer-readable recording medium. As shown in FIG. 8, the computer system 1100 includes one or more processors 1110, memory 1130, user interface input device 1140, and user interface output device 1150 that communicate with each other through the bus 1120. And storage 1160. Also, the computer system 1100 may further include a network interface 1170 connected to the network 1180. The processor 1110 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 1130 or the storage 1160. The memory 1130 and the storage 1160 may be various types of volatile or nonvolatile storage media. For example, the memory may include ROM 1131 or RAM 1132.

이상에서와 같이 본 발명의 일실시예에 따른 블록체인 기반 시각 검색 서비스 제공 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the apparatus and method for providing a blockchain-based visual search service according to an embodiment of the present invention are not limited to the configuration and method of the above-described embodiments, and the embodiments are variously modified. All or part of each of the embodiments may be selectively combined to constitute this.

10: 블록체인 기반 시각 검색 서비스 제공 장치
11: 제1 스마트 컨트랙트부 12: 제2 스마트 컨트랙트부
13: 블록체인 데이터베이스 20: 콘텐츠 제공 장치
30: 스토리지 제공 장치 40: 딥러닝 모델 생성 장치
50: 딥러닝 모델 검증 장치 100: 사용자 단말 장치
110: 시각 검색 요청부 120: 시각 검색 서비스 제공부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크10: Blockchain based visual search service provision device
11: first smart contract unit 12: second smart contract unit
13: Blockchain database 20: Content provision device
30: storage provision device 40: deep learning model generation device
50: deep learning model verification device 100: user terminal device
110: time search request unit 120: time search service provider
1100: computer system 1110: processor
1120: bus 1130: memory
1131: Romans 1132: Ram
1140: user interface input device
1150: user interface output device
1160: storage 1170: network interface
1180: network

Claims (20)

블록체인 네트워크에 기반한 시각 검색 서비스를 제공하기 위한 딥러닝 모델을 생성하는 제1 스마트 컨트랙트부; 및
사용자 단말 장치로부터 시각 검색 서비스를 요청 받은 영상 이미지에 대하여 블록체인 네트워크에 기반한 시각 검색 서비스를 수행하고, 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 상기 사용자 단말 장치에게 제공하는 제2 스마트 컨트랙트부;
를 포함하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.A first smart contract unit that generates a deep learning model for providing a visual search service based on a blockchain network; And
A visual search service based on a blockchain network for a video image requested by a user terminal device for a visual search service, and providing a visual search result for the video image performed by the visual search service to the user terminal device 2 smart contract unit;
Blockchain-based visual search service providing device comprising a. 청구항 1에 있어서,
상기 제1 스마트 컨트랙트부는
제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받고, 상기 공유 영상 이미지를 상기 저장 공간에 저장하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.The method according to claim 1,
The first smart contract unit
A first participant is provided with a shared video image for generating the deep learning model, a second participant is provided with a storage space for storing the video image, and the shared video image is stored in the storage space. Blockchain based visual search service providing device. 청구항 2에 있어서,
상기 저장 공간은
분산형 네트워크 환경에 기반하여 상기 블록체인 네트워크에 저장 공간을 임대하는 탈중앙 스토리지의 저장 공간에 상응하는 것을 특징으로 하는 블록 체인 기반 시각 검색 서비스 제공 장치.The method according to claim 2,
The storage space
A device for providing a visual search service based on a blockchain, characterized in that it corresponds to a storage space of decentralized storage that rents storage space to the blockchain network based on a distributed network environment. 청구항 2에 있어서,
상기 제1 스마트 컨트랙트부는
제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용을 지불하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.The method according to claim 2,
The first smart contract unit
The deep learning model is generated using an initial learning model provided by a third participant and the shared video image, and the third participant pays the first participant for use of the shared video image. Blockchain based visual search service provision device. 청구항 4에 있어서,
상기 제1 스마트 컨트랙트부는
제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.The method according to claim 4,
The first smart contract unit
A fourth participant verifies the deep learning learning model generated by the third participant, and records the deep learning learning model in the distributed ledger of the blockchain network based on the result of verifying the deep learning learning model. Blockchain based visual search service providing device. 청구항 5에 있어서,
상기 제1 스마트 컨트랙트부는
상기 제4 참여자가, 상기 제3 참여자에 의해 생성된 딥러닝 모델의 시각 검색 결과를 검증하여 상기 딥러닝 모델의 성능을 검증하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.The method according to claim 5,
The first smart contract unit
The fourth participant verifies the performance of the deep learning model by verifying the results of the visual search of the deep learning model generated by the third participant, thereby providing a blockchain-based visual search service providing device. 청구항 6에 있어서,
상기 제1 스마트 컨트랙트부는
상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용과 상기 딥러닝 모델에 성능을 고려하여 상기 딥러닝 모델을 생성하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.The method according to claim 6,
The first smart contract unit
The third participant generates the deep learning model based on the cost of use of the shared video image and the performance of the deep learning model to the first participant. 청구항 7에 있어서,
상기 제1 스마트 컨트랙트부는
상기 제3 참여자가 상기 제1 참여자의 공유 영상 이미지를 사용한 빈도에 기반하여 상기 제1 참여자에게 보상을 제공하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치. The method according to claim 7,
The first smart contract unit
Blockchain-based visual search service providing device, characterized in that the third participant provides a reward to the first participant based on the frequency of using the shared video image of the first participant. 블록체인 기반 시각 검색 서비스 제공 장치의 블록체인 기반 시각 검색 서비스 제공 방법에 있어서,
블록체인 네트워크에 기반한 시각 검색 서비스를 제공하기 위한 딥러닝 모델을 생성하는 단계;
사용자 단말 장치로부터 시각 검색 서비스를 요청 받은 영상 이미지에 대하여 블록체인 네트워크에 기반한 시각 검색 서비스를 수행하는 단계; 및
상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 상기 사용자 단말 장치에게 제공하는 단계;
를 포함하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.In the method of providing a blockchain-based visual search service of a device for providing a blockchain-based visual search service,
Generating a deep learning model for providing a visual search service based on a blockchain network;
Performing a visual search service based on a blockchain network on a video image requested from a user terminal device for a visual search service; And
Providing a visual search result for the video image that has performed the visual search service to the user terminal device;
Blockchain based visual search service providing method comprising a. 청구항 9에 있어서,
상기 딥러닝 모델을 생성하는 단계는
제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받아 상기 공유 영상 이미지를 상기 저장 공간에 저장하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.The method according to claim 9,
The step of generating the deep learning model is
The first participant is provided with a shared video image for generating the deep learning model, and a second participant is provided with a storage space for storing the video image, and the shared video image is stored in the storage space. How to provide blockchain-based visual search service. 청구항 10에 있어서,
상기 저장 공간은
분산형 네트워크 환경에 기반하여 상기 블록체인 네트워크에 저장 공간을 임대하는 탈중앙 스토리지의 저장 공간에 상응하는 것을 특징으로 하는 블록 체인 기반 시각 검색 서비스 제공 방법.The method according to claim 10,
The storage space
A method for providing a blockchain-based visual search service, characterized in that it corresponds to a storage space of decentralized storage that rents storage space to the blockchain network based on a distributed network environment. 청구항 10에 있어서,
상기 딥러닝 모델을 생성하는 단계는
제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제1 참여자에게 상기 공유 영상 이미지 에 대한 사용 비용을 지불하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.The method according to claim 10,
The step of generating the deep learning model is
Blockchain based visual search characterized by generating the deep learning model using the initial learning model provided by a third participant and the shared video image, and paying the first participant the usage fee for the shared video image. How to provide services. 청구항 12에 있어서,
상기 딥러닝 모델을 생성하는 단계는
제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.The method according to claim 12,
The step of generating the deep learning model is
A fourth participant verifies the deep learning learning model generated by the third participant, and records the deep learning learning model in the distributed ledger of the blockchain network based on the result of verifying the deep learning learning model. Blockchain based visual search service provision method. 청구항 13에 있어서,
상기 딥러닝 모델을 생성하는 단계는
상기 제4 참여자가, 상기 제3 참여자에 의해 생성된 딥러닝 모델의 시각 검색 결과를 검증하여 상기 딥러닝 모델의 성능을 검증하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.The method according to claim 13,
The step of generating the deep learning model is
A method for providing a blockchain-based visual search service, wherein the fourth participant verifies the performance of the deep learning model by verifying a result of a visual search of the deep learning model generated by the third participant. 청구항 14에 있어서,
상기 딥러닝 모델을 생성하는 단계는
상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용과 상기 딥러닝 모델에 성능을 고려하여 상기 딥러닝 모델을 생성하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.The method according to claim 14,
The step of generating the deep learning model is
The third participant generates a deep learning model based on the cost of using the shared video image and the performance of the deep learning model to the first participant. 청구항 15에 있어서,
상기 딥러닝 모델을 생성하는 단계는
상기 제3 참여자가 상기 제1 참여자의 공유 영상 이미지를 사용한 빈도에 기반하여 상기 제1 참여자에게 보상을 제공하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 방법.The method according to claim 15,
The step of generating the deep learning model is
A method of providing a blockchain-based visual search service, characterized in that the third participant rewards the first participant based on the frequency of using the shared video image of the first participant. 블록체인 네트워크에게 영상 이미지에 대한 시각 검색 서비스를 요청하는 시각 검색 요청부; 및
상기 블록체인 네트워크가, 딥러닝 모델을 이용하여 상기 영상 이미지에 대한 상기 시각 검색 서비스를 수행하고, 상기 시각 검색 서비스를 수행한 상기 영상 이미지에 대한 시각 검색 결과를 사용자에게 제공하는 시각 검색 서비스 제공부;
를 포함하는 것을 특징으로 하는 사용자 단말 장치.A visual search requesting unit requesting a visual search service for a video image from the blockchain network; And
The blockchain network performs a visual search service for the video image using a deep learning model, and provides a visual search service provider that provides a user with a visual search result for the video image that has performed the visual search service ;
User terminal device comprising a. 청구항 17에 있어서,
상기 블록체인 네트워크는
제1 참여자에 의해 상기 딥러닝 모델 생성을 위한 공유 영상 이미지를 제공 받고, 제2 참여자에 의해 상기 영상 이미지를 저장하기 위한 저장 공간을 제공 받고, 상기 공유 영상 이미지를 상기 저장 공간에 저장하는 것을 특징으로 하는 사용자 단말 장치.The method according to claim 17,
The blockchain network is
A first participant is provided with a shared video image for generating the deep learning model, a second participant is provided with a storage space for storing the video image, and the shared video image is stored in the storage space. User terminal device. 청구항 18에 있어서,
상기 블록체인 네트워크는
제3 참여자가 제공하는 초기 학습 모델과 상기 공유 영상 이미지를 이용하여 상기 딥러닝 모델을 생성하고, 상기 제3 참여자가 상기 제1 참여자에게 상기 공유 영상 이미지에 대한 사용 비용을 지불하는 것을 특징으로 하는 사용자 단말 장치.The method according to claim 18,
The blockchain network is
The deep learning model is generated using an initial learning model provided by a third participant and the shared video image, and the third participant pays the first participant for use of the shared video image. User terminal device. 청구항 19에 있어서,
상기 블록체인 네트워크는
제4 참여자가 상기 제3 참여자에 의해 생성된 딥러닝 학습모델을 검증하고, 상기 딥러닝 학습모델을 검증한 결과에 기반하여 상기 딥러닝 학습모델을 상기 블록체인 네트워크의 분산 원장에 기록하는 것을 특징으로 하는 블록체인 기반 시각 검색 서비스 제공 장치.The method according to claim 19,
The blockchain network is
A fourth participant verifies the deep learning learning model generated by the third participant, and records the deep learning learning model in the distributed ledger of the blockchain network based on the result of verifying the deep learning learning model. Blockchain based visual search service providing device.
KR1020180153708A 2018-12-03 2018-12-03 Apparatus and method for providing visual search service based on blockchain KR20200071834A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180153708A KR20200071834A (en) 2018-12-03 2018-12-03 Apparatus and method for providing visual search service based on blockchain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153708A KR20200071834A (en) 2018-12-03 2018-12-03 Apparatus and method for providing visual search service based on blockchain

Publications (1)

Publication Number Publication Date
KR20200071834A true KR20200071834A (en) 2020-06-22

Family

ID=71142413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153708A KR20200071834A (en) 2018-12-03 2018-12-03 Apparatus and method for providing visual search service based on blockchain

Country Status (1)

Country Link
KR (1) KR20200071834A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121992A (en) * 2021-02-26 2022-09-02 이화여자대학교 산학협력단 Blockchain based weight managing method in distributed deep learning system, distributed deep learning system and node apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121992A (en) * 2021-02-26 2022-09-02 이화여자대학교 산학협력단 Blockchain based weight managing method in distributed deep learning system, distributed deep learning system and node apparatus

Similar Documents

Publication Publication Date Title
CN108665946B (en) Service data access method and device
US11909879B2 (en) Systems and methods for generating customized non-fungible tokens
US20230291544A1 (en) Advanced non-fungible token blockchain architecture
CN112765677B (en) Federal learning method, device and system based on blockchain
WO2021143497A1 (en) Infringement evidence storage method, apparatus, and device based on evidence storage blockchain
WO2020022958A1 (en) Method and apparatus for transaction verification in a blockchain-based network
US9251320B2 (en) Matched content use restriction system
US8631505B1 (en) Method, system, and device for providing a market for digital goods
US11184436B2 (en) Automated storage selection with blockchain and NLP
US11917088B2 (en) Integrating device identity into a permissioning framework of a blockchain
CN112801649B (en) Flow statistical system, method and device based on block chain
US20150058202A1 (en) System and method for tracking and controlling ownership of digital works and rewarding authors, artists and/or their representatives over time
KR102525193B1 (en) Method and apparatus for blockchain-based copyright management
KR20200071834A (en) Apparatus and method for providing visual search service based on blockchain
KR102086000B1 (en) System for determining identity of non-digital work
KR102280584B1 (en) Apparatus and method for decentralized storage based on advertising service using blockchain
WO2020061822A1 (en) Method and system for arbitrating authenticity of data in a blockchain
US11991286B2 (en) Systems and methods for using a non-fungible digital asset to facilitate accessing an access-restricted resource
CN115099926A (en) Credit data analysis method, credit data sharing device and credit data sharing equipment based on block chain
Demos Returning the Photographer's Autonomy: The Integration of Blockchain Technology into Copyright Registration
US11797954B1 (en) Digital check disbursement using digital chip and distributed ledger methods
US20230325790A1 (en) Digital check disbursement using digital chip and distributed ledger methods
KR102085999B1 (en) System for determining whether non-digital work is digitalization data and type of non-digital work
CN118038500A (en) Data processing method and related device
WO2013141102A1 (en) Information processing device, method, program, and information processing system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application