KR20220011134A - 가시화 방법 및 관련 기기 - Google Patents

가시화 방법 및 관련 기기 Download PDF

Info

Publication number
KR20220011134A
KR20220011134A KR1020217039065A KR20217039065A KR20220011134A KR 20220011134 A KR20220011134 A KR 20220011134A KR 1020217039065 A KR1020217039065 A KR 1020217039065A KR 20217039065 A KR20217039065 A KR 20217039065A KR 20220011134 A KR20220011134 A KR 20220011134A
Authority
KR
South Korea
Prior art keywords
information
visualization
target
training data
data
Prior art date
Application number
KR1020217039065A
Other languages
English (en)
Inventor
얀보 주
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20220011134A publication Critical patent/KR20220011134A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 출원은 가시화 방법 및 관련 기기를 공개한 것으로, 방법은 사용자 기기가 목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 것; 사용자 기기가 상기 목표 훈련 데이터의 가시화 정보가 보유된 가시화 응답을 상기 클라우드 서버로부터 수신하는 것; 사용자 기기가 상기 가시화 정보를 디스플레이하는 것;을 포함한다. 본 출원 실시예를 채택하면 딥러닝 모델의 훈련 데이터의 가시화를 실현할 수 있으므로, 현재 훈련 전략의 실행 가능성을 적시에 판단하는데 도움을 주게 되어, 빠른 중단 결정을 함에 있어서 근거를 제공한다.

Description

가시화 방법 및 관련 기기
본 출원은 2020년 7월 9일 중국특허국에 제출되었고, 출원번호가 202010656553.8이며, 출원명칭은 "가시화 방법 및 관련 기기"인 중국특허출원의 우선권을 요구하며, 그 모든 내용은 인용을 통해 본 출원에 결합된다.
기술 분야
본 출원은 컴퓨터 기술분야에 관한 것으로, 특히 가시화 방법 및 관련 기기에 관한 것이다.
최근 몇년 간, 딥러닝 모델은 이미지 및 영상 처리 분야에서 광범위하게 응용되었다. 일반적으로 딥러닝 모델은 훈련을 통해 얻게 되는데, 딥러닝 모델의 훈련과정은 복잡하고 심오한 연산과 관련되어 다수의 반복(iterations)을 통해 실현되고, 훈련기간이 비교적 길기 때문에, 연구자들은 훈련이 끝난 후에야 비로소 훈련을 통해 얻는 딥러닝 모델에 대하여 성능평가를 진행할 수 밖에 없다.
본 출원 실시예는 딥러닝 모델의 훈련 데이터의 가시화를 실현하는 가시화 방법 및 관련 기기를 제공한다.
첫 번째 방면으로, 본 출원 실시예는 사용자 기기에 응용되는 가시화 방법을 제공하는 것으로, 상기 방법은,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 것;
상기 클라우드 서버가 발송한, 상기 목표 훈련 데이터의 가시화 정보를 보유한 가시화 응답을 수신하는 것;
상기 가시화 정보를 디스플레이하는 것;을 포함한다.
두 번째 방면으로, 본 출원 실시예는 사용자 기기에 응용되는 가시화 디바이스를 제공하는 것으로, 상기 디바이스는,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 발송 유닛;
상기 클라우드 서버가 발송하는, 상기 목표 훈련 데이터의 가시화 정보를 보유한 가시화 응답을 수신하는 수신 유닛;
상기 가시화 정보를 디스플레이하는 디스플레이 유닛;을 포함한다.
세 번째 방면으로, 본 출원 실시예는 클라우드 서버에 응용되는 가시화 방법을 제공하는 것으로, 상기 방법은,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 사용자 기기로부터 수신하는 것;
상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 것;
상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 얻는 것;
상기 가시화 정보가 보유된 가시화 응답을 상기 사용자 기기로 발송하는 것;을 포함한다.
네 번째 방면으로, 본 출원 실시예는 클라우드 서버에 응용되는 가시화 디바이스를 제공하는 것으로, 상기 디바이스는,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 사용자 기기로부터 수신하는 수신 유닛;
상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 획득 유닛;
상기 목표 훈련 데이터에 대하여 전처리를 실행하여, 가시화 정보를 얻는 확정 유닛;
상기 가시화 정보를 보유한 가시화 응답을 상기 사용자 기기로 발송하는 발송 유닛;을 포함한다.
다섯 번째 방면으로, 본 출원은 컴퓨터 기기를 제공하는 것으로, 상기 컴퓨터 기기는 프로세서, 메모리, 통신접속단자 및 하나의 또는 다수의 프로그램을 포함하고, 여기에서, 상기 하나의 또는 다수의 프로그램은 상기 메모리에 저장되어, 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로그램은 본 출원 실시예 첫 번째 방면 또는 세 번째 방면에 따른 방법의 단계를 실행하는 지령을 포함한다.
여섯 번째 방면으로, 본 출원 실시예는 컴퓨터 판독 가능한 기억장치를 제공하는 것으로, 여기에서, 상기 컴퓨터 판독 가능한 기억장치는 전자 데이터 교환용 컴퓨터 프로그램이 저장되고, 여기에서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 본 출원 실시예 첫 번째 방면 또는 세 번째 방면에 따른 방법에서 설명하는 부분 또는 전부의 단계를 실행하도록 한다.
일곱 번째 방면으로, 본 출원 실시예는 컴퓨터 프로그램 제품을 제공하는 것으로, 여기에서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램이 저장된 비휘발성 컴퓨터 판독 가능한 기억장치를 포함하고, 상기 컴퓨터 프로그램은 컴퓨터가 본 출원 실시예의 첫 번째 방면 또는 세 번째 방면에 따른 방법에서 설명되는 부분 또는 전부의 단계를 실행하도록 동작시킬 수 있다. 상기 컴퓨터 프로그램 제품은 하나의 소프트웨어 설치 패키지일 수 있다.
이로부터 알 수 있듯이, 본 출원 실시예에서 사용자 기기가 우선 클라우드 서버에 가시화 요청을 발송하고, 그 다음 클라우드 서버가 발송한 가시화 응답을 수신하고, 가시화 응답에는 목표 훈련 데이터의 가시화 정보가 보유되어, 최종적으로 가시화 정보를 표시하게 되는데, 목표 훈련 데이터의 가시화 정보를 통해 딥러닝 모델의 훈련상태를 직관적으로 알 수 있기 때문에 현재 상태의 훈련 전략에 대한 실행가능성을 적시에 판단하는데 도움을 주게 되어, 빠른 중단 등 결정을 함에 있어서 근거를 제공한다.
본 발명 실시예 또는 종래 기술의 기술방안을 보다 명확하게 설명하기 위하여, 이하 실시예 또는 종래 기술을 설명함에 있어서 필요한 도면에 대하여 간단히 소개하고자 하는 바이며, 이하 설명을 위한 도면은 단지 본 발명의 일부 실시예일 뿐, 당업자에게 있어서 창조적인 노동 없이 이 도면들에 근거하여 기타의 도면을 얻을 수 있다는 것은 자명한 것이다.
도 1은 본 출원 실시예에서 제공하는 가시화 시스템에 대한 블록 설명도이다.
도 2는 본 출원 실시예에서 제공하는 가시화 방법에 대한 흐름 설명도이다.
도 3은 본 출원 실시예에서 제공하는 컴퓨터 기기에 대한 구조 설명도이다.
도 4는 본 출원 실시예에서 제공하는 가시화 디바이스에 대한 구조 설명도이다.
도 5는 본 출원 실시예에서 제공하는 다른 하나의 가시화 디바이스에 대한 구조 설명도이다.
당업자로 하여금 본 발명의 방안을 보다 잘 이해하도록 하기 위하여, 이하 본 발명 실시예의 도면을 결합하여 본 발명 실시예의 기술방안에 대하여 명확하고 완정한 설명을 진행하는 바이며, 설명하는 실시예는 단지 본 발명의 일부분 실시예일 뿐인 것으로 모든 실시예가 아닌 것은 자명한 것이다. 본 발명의 실시예에 기초하여 당업자가 창조적인 노동 없이 획득한 모든 기타 실시예는 모두 본 발명의 보호범위에 속해야 할 것이다.
이하 상세한 설명을 진행한다.
본 발명의 명세서 및 청구범위 및 도면에 사용되는 용어 "제1", "제2", "제3" 및 "제4" 등은 다른 대상을 구별하기 위해 사용되는 것으로, 특정 순서를 가리키기 위해 사용되는 것은 아니다. 이 외, "포함" 및 "갖는다" 및 이들 용어에 대한 임의의 변형은 배타적이지 않는다는 포함을 망라하는 것을 의미하는 것이다. 예컨대, 일련의 단계 또는 모듈을 포함한 과정, 방법, 시스템, 제품 또는 기기는 이미 나열된 단계 또는 모듈에 한정되는 것이 아니라, 나열되지 않은 단계 또는 모듈도 선택적으로 포함할 수 있으며, 또는 이와 같은 과정, 방법, 제품 또는 기기에 대한 고유의 기타 단계 또는 모듈도 선택적으로 포함할 수 있다.
본 문에서 언급되는 "실시예"란, 실시예에서 설명되는 특정의 특징, 구조 또는 특성을 결합하여 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 설명서의 각 부분에서 나타나는 해당 문구는 반드시 동일한 실시예를 의미하는 것은 아니며, 기타 실시예와 서로 배척되는 독립의 또는 대안용 실시예를 의미하는 것도 아니다.당업자가 명시적으로 및 묵시적으로 이해할 것은, 본 문에서 설명되는 실시예는 기타 실시예와 서로 결합할 수 있다는 것이다.
도 1을 참조하면, 도 1은 본 출원 실시예가 제공하는 가시화 시스템에 대한 블록 설명도인 것으로, 상기 가시화 시스템은 슈퍼 컴퓨팅 클러스터, 클라우드 서버, 클라우드 스토리지 및 사용자 기기를 포함한다. 설명해야 할 것은, 도 1에서 도시하는 슈퍼 컴퓨팅 클러스터, 클라우드 서버, 클라우드 스토리지 및 사용자 기기에 대한 형태 및 수량은 단지 예시적인 것으로 본 출원 실시예에 대한 한정을 구성하는 것은 아니다. 여기에서, 상기 가시화 시스템은 javascript 및 svg 기술에 기반하여 다차원 및 다종류의 중간 훈련 데이터의 가시화를 실현할 수 있고, 대량의 중간 훈련 데이터에 대한 신속하고 고효율적인 가시화 렌더링을 지지할 수 있다.
여기에서, 상기 가시화 시스템은 쿠버네티스(kubernetes) 컨테이너 관리시스템에 기반하여 생산등급이 안정적인 가시화 시스템 배치를 제공하고, 동적이고 통제 가능한 서비스 능력을 제공하는 것으로, 쿠버네티스 컨테이너는 클라우드 서버에서 다수의 메인 기기의 컨테이너화 응용을 관리한다.
여기에서, 클라우드 서버는 가시화 서비스를 제공하고, 가시화 서비스는 획득된 중간 훈련 데이터에 대하여 전처리 등 데이터 작업을 실행하여, 데이터 작업을 실행한 후의 중간 훈련 데이터에 대하여 가시화 렌더링을 실행함으로써 가시화 정보를 얻는다.
바람직하게는, 클라우드 서버는 서비스 게이트웨이, 훈련관리 서비스, 데이터저장 서비스 및 권한 서비스 중 적어도 하나를 제공할 수 있다.
여기에서, 서비스 게이트웨이는 훈련관리 서비스, 데이터저장 서비스, 데이터 가시화 서비스 및 권한 서비스 중 적어도 하나의 입구로 사용될 수 있다.
바람직하게는, 서비스 게이트웨이는 응용 프로그램일 수 있다.
바람직하게는, 서비스 게이트웨이는 리미트 기능을 구비할 수 있다.
여기에서, 훈련관리 서비스는 딥러닝 모델의 훈련임무 완성 여부에 대한 모니터링 서비스; 이상이 발생한 훈련임무에 대한 기록, 색인 및 검색 서비스; 동일한 딥러닝의 다수의 훈련임무에 대한 훈련과정 비교 서비스; 및 딥러닝 모델의 훈련결과에 대한 공유 서비스; 중 적어도 하나를 제공할 수 있다.
여기에서, 데이터저장 서비스는 데이터 지속성 서비스; 데이터 스레드를 채택하여 딥러닝 모델 훈련에서 발생한 중간 훈련 데이터를 저장하는 서비스; 및 버퍼링 방식을 채택하여 딥러닝 모델 훈련에서 발생한 중간 훈련 데이터를 저장하는 서비스; 중 적어도 하나를 제공할 수 있다.
여기에서, 권한관리 서비스는 가시화 시스템의 안정성을 보장하는 것으로, 권한관리 서비스를 통과 후 가시화 시스템을 사용할 수 있으며, 이 외, 공유 훈련 역시 권한관리 서비스를 통해 인증을 실행하며, 권한관리 서비스는 통합인증번호 로그인 및/또는 일반 등록 두 가지 유형의 로그인 방식을 지원한다.
여기에서, 클라우드 서버는 하이퍼텍스트 전송 프로토콜(HyperText Transfer Protocol, HTTP), 구글 원격 프로시저 호출(Google Remote Procedure Call, GRPC) 프로토콜 또는 기타 프로토콜을 통해 소스트웨어 개발키트와 교감할 수 있다.
여기에서, 클라우드 서버는 훈련 데이터를 클라우드 스토리지에 직접 저장할 수 있다.
여기에서, 슈퍼 컴퓨팅 클러스터는 소프트웨어 개발키트를 운행하는 것을 통해 python 등 프로그래밍 언어의 툴키트 등의 개발키트를 제공하여, 사용자가 tensorflow, pytorch, caffe 프레임 등과 함께 사용하도록 하고, 및/또는 새로운 스레드를 실행하여 데이터 업로드 전용 스레드로 사용하도록 하며, 및 HTTP 통신 프로토콜 및 GRPC 프로토콜을 통해 데이터 업로드 전용 스레드에서 클라우드 서버로 딥러닝 모델 훈련에서 생성된 중간 훈련 데이터를 업로드하며, 업로드된 중간 훈련 데이터 유형은 벡터, 스칼라, 픽쳐, 동영상, 오디오 등을 포함할 수 있으며, 업로드된 중간 훈련 데이터는 소프트웨어 개발키트의 데이터 버퍼에 저장된다.
여기에서, 새로운 스레드를 실행하여 데이터 업로드 전용 스레드로 사용하는 것은 딥러닝 모델의 연산 속도를 보장할 수 있다.
여기에서, 클라우드 스토리지는 분산 메모리인 것이 바람직한 것으로, 딥러닝 모델에서 생성된 중간 훈련 데이터를 일괄 관리하고 중간 훈련 데이터에 대용량의 메모리 기능을 제공할 수 있으며, 또한 중간 훈련 데이터의 데이터량의 증가에 따른 중간 훈련 데이터의 메모리 수요를 동적으로 확충할 수 있으므로, 가시화 업무의 증가에 후속 보장을 제공할 수 있다.
바람직하게는, 클라우드 스토리지는 데이터블록 등급의 클라우드 스토리지, 문서 등급의 클라우드 스토리지, 객체 등급의 클라우드 스토리지 및/또는 기타 형식의 클라우드 스토리지일 수도 있다.
여기에서, 사용자 기기는 미리 설정된 응용 소프트웨어를 통해 클라우드 서버와 통신할 수 있고, 또한 미리 설정된 네트워크 주소를 통해 클라우드 서버와 통신할 수도 있다.
바람직하게는, 사용자기기는 통신기능을 갖는 각종 핸드헬드 기기, 차량탑재 기기, 웨어러블 기기, 컴퓨터 기기 또는 무선 모뎀에 연결되는 기타의 처리 기기 및 각종 형식의 사용자 기기(User Equipment, UE), 이동국(Mobile Station, MS), 단말장치(terminal device) 등등을 포함할 수 있다.
도 2를 참조하면, 도 2는 본 출원 실시예에서 제공하는 가시화 방법에 대한 흐름 설명도인 것으로, 상기 사용자 기기 및 클라우드 서버에 응용되며, 구체적으로 다음 단계를 포함한다.
단계 201: 사용자 기기가 클라우드 서버에 가시화 요청을 발송하는 것으로, 상기 가시화 요청은 목표 딥러닝 모델의 목표 훈련 데이터에 대하여 가시화할 것을 요청하는 것이다.
단계 202: 클라우드 서버가 사용자 기기로부터 가시화 요청을 수신하는 것으로, 상기 가시화 요청은 목표 딥러닝 모델의 목표 훈련 데이터에 대하여 가시화할 것을 요청하는 것이다.
실현 가능한 하나의 실현 방식에서, 가시화 요청은 목표 딥러닝 모델의 훈련임무 식별자를 보유하고, 클라우드 서버는 상기 가시화 요청을 수신한 후 목표 딥러닝 모델의 훈련임무 식별자에 기반하여 상기 훈련임무의 관련 훈련 데이터를 획득할 수 있다. 일 예시로, 저장된 각 딥러닝 모델의 훈련임무의 관련 훈련 데이터와 딥러닝 모델의 훈련임무 식별자를 연관시킬 수 있다. 예컨대, 훈련임무에 따라 훈련 데이터의 저장을 실행할 수 있고, 서로 다른 훈련임무의 관련 훈련 데이터를 서로 다른 위치에 저장할 수 있다. 또한 예컨대, 딥러닝 모델 또는 데이터 유형에 따라 훈련 데이터의 저장을 실행할 수도 있다.
여기에서, 데이터 유형은 2차원 열지도, 3차원 그래프, 특징 맵, 호출 시퀀스 다이어그램, 스칼라 꺾은선 그래프, 방향성 비순환 그래프 등등일 수 있다.
여기에서, 서로 다른 데이터 유형은 서로 다른 가시화 아이콘에 대응된다.
여기에서, 훈련임무는 모두 슈퍼 컴퓨팅 클러스터에 위치되어, 슈퍼 컴퓨팅 클러스터의 중앙처리기를 이용하여 딥러닝 모델을 가속하여 훈련할 수 있다.
이때, 바람직하게는, 훈련 데이터와 훈련 데이터에 속하는 훈련임무의 임무 식별자를 연관시켜 저장할 수 있는 등, 본 공개의 실시예는 이에 대하여 한정하지 않는다.
실현 가능한 하나의 실현 방식에서, 가시화 요청은 목표 딥러닝 모델의 훈련임무 식별자와 목표 훈련 데이터의 색인 정보를 보유하고, 상기 색인 정보는 상기 목표 훈련 데이터를 검색하는데 사용됨으로써, 상기 목표 훈련 데이터의 저장 위치를 확정한다. 상기 색인 정보는 여러 가지 실현 방식을 가질 수 있는 것으로, 예컨대, 색인 정보는 데이터 생성시간, 데이터 유형, 데이터 라벨 등 어느 하나 이상을 포함할 수 있으며, 또한 예컨대, 색인 정보는 데이터 유형과 데이터 라벨을 포함한다.
여기에서, 동일한 데이터 유형은 다수의 데이터 라벨을 가질 수 있으며, 데이터 라벨은 자체 정의할 수 있다.
예를 들면, 데이터 유형이 스칼라 꺾은선 그래프인 경우, 데이터 라벨은 정확한 값일 수도 있고 손실값일 수도 있는 등등이다.
여기에서, 가시화 요청은 훈련임무 식별자와 색인 정보에 근거하여, 색인 정보에 대응되는 중간 데이터 집합에서 상기 중간 데이터 집합의 모든 데이터를 샘플링하거나 또는 중간 데이터 집합의 데이터를 무작위로 샘플링하는 것을 요청하는 것일 수 있다.
여기에서, 목표 딥러닝 모델은 적어도 하나의 딥 뉴럴 네트워크를 포함하는 것으로, 목표 훈련 데이터는 목표 딥러닝 모델 중 하나의 딥 뉴럴 네트워크가 생성한 중간 데이터일 수 있고, 또한 목표 딥러닝 모델 중 다수의 딥 뉴럴 네트워크가 생성한 중간 데이터일 수도 있다.
바람직하게는, 가시화 요청은 가시화 제1 시간대에 목표 딥러닝 모델이 생성한 중간 데이터를 요청하는 것일 수 있는 것으로, 여기에서 제1 시간대의 시간은 3 min, 5 min, 9 min 및 15 min 등의 기타 값일 수 있으며, 제1 시점의 종료시점은 현재 시점일 수 있고 현재 시점보다 앞선 시점일 수도 있으며, 현재 시점보다 늦은 시점일 수도 있다.
여기에서, 목표 훈련 데이터는 클라우드 스토리지에 저장된다.
실현 가능한 하나의 실현 방식에서, 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실 추이 정보, 모델 파라미터 분포 정보, 모델 처리 중간 결과, 모델 구조 정보, 모델 훈련의 현재 진도 정보, 동일 모델에 대한 서로 다른 훈련에 대한 비교 정보, 여러 가지 프로세스의 배치 타임 정보 시퀀스 중 적어도 하나를 포함한다.
실현 가능한 하나의 실현 방식에서, 목표 훈련 데이터가 모델 성능변화 추이정보, 모델 손실 추이 정보, 모델 훈련의 현재 진도 정보 및 동일 모델에 대한 서로 다른 훈련에 대한 비교 정보 중 적어도 하나의 상황에 해당하는 경우, 가시화 정보의 유형은 스칼라 꺾은선 그래프이다.
여기에서, 목표 훈련 데이터가 모델 성능변화 추이 정보인 상황인 경우, 스칼라 꺾은선 그래프에 기초하여 성능변화 추이가 제1 미리 설정된 조건에 만족하는지 여부를 확정할 수 있고, 제1 미리 설정된 조건에 만족하는 상황인 경우에는 모델 훈련을 중단하고, 제1 미리 설정된 조건에 만족하지 않는 상황인 경우에는 모델 훈련을 계속한다.
여기에서, 목표 훈련 데이터가 모델 손실 추이 정보인 경우, 스칼라 꺾은선 그래프에 기초하여 손실 추이가 제2 미리 설정된 조건에 만족하는지 여부를 확정할 수 있고, 제2 미리 설정된 조건에 만족하는 경우에는 모델 훈련을 중단하고, 미리 설정된 조건에 만족하지 않는 경우에는 모델 훈련을 계속한다.
여기에서, 목표 훈련 데이터가 모델 훈련의 현재 진도 정보인 경우, 스칼라 꺾은선 그래프에 기초하여 훈련 진도가 미리 설정된 조건에 만족하는지 여부를 확정할 수 있고, 미리 설정된 조건에 만족하는 경우에는 모델 훈련을 계속하고, 미리 설정된 조건에 만족하지 않는 경우에는 모델 훈련을 중단한다.
여기에서, 목표 훈련 데이터가 동일 모듈의 서로 다른 훈련에 대한 비교 정보인 경우, 스칼라 꺾은선 그래프에 기초하여 서로 다른 훈련에서 취출한 특징이 동일한지 여부를 확정할 수 있고, 특징이 동일한 경우에는 모델 훈련을 계속하고, 특징이 동일하지 않는 경우에는 모델 훈련을 중단한다.
여기에서, 목표 훈련 데이터가 모델 파라미터 분포 정보인 경우, 가시화 정보의 유형은 3차원 그래프이고, 3차원 그래프를 통해 모델 파라미터의 분포가 이상한지 여부를 확정할 수 있고, 모델 파라미터의 분포가 이상한 경우에는 모델 훈련을 중단한다.
여기에서, 목표 훈련 데이터가 모델 처리 중간 결과인 경우, 가시화 정보의 유형은 특징 맵이고, 특징 맵을 통해 모델에서 취출한 특징이 정확한지 여부를 확정할 수 있고, 취출한 특징이 착오인 경우에는 모델을 재다시 구축한다.
여기에서, 목표 훈련 데이터가 모델 구조 정보인 경우, 가시화 정보의 유형은 방향성 비순환 그래프이고, 방향성 비순환 그래프를 통해 모델의 구조가 정확한지 여부를 확정할 수 있고, 모델의 구조가 착오인 경우에는 모델의 구조를 재다시 구축한다.
여기에서, 방향성 비순환 그래프가 지원하는 딥러닝 모델의 구조는 ONNX(Open Neural Network Exchange, ONNX) 등과 같은 표준 구조일 수도 있고, 기타 유형의 구조일 수도 있는 것으로, 여기에서 ONNX는 중간 훈련 데이터에 대하여 데이터 처리 없이 방향성 비순환 그래프를 얻을 수 있으나, 일부 구조는 중간 훈련 데이터에 대하여 전처리를 실행해야만 방향성 비순환 그래프를 얻을 수 있다.
여기에서, 목표 훈련 데이터가 여러 가지 프로세스의 배치 타임 정보인 경우, 가시화 정보의 유형은 여러 가지 프로세스의 호출 시퀀스 다이어그램이고, 호출 시퀀스 다이어그램을 통해 각 연산자의 TTFB(time to first byte) 시간을 확정할 수 있고, 연산자의 TTFB 시간이 미리 설정된 시간보다 긴 경우에는 TTFB 시간이 미리 설정된 시간보다 긴 연산자에 대하여 최적화를 실행한다.
여기에서, 목표 훈련 데이터가 모델 처리에 대한 중간 결과인 경우, 가시화 정보의 유형은 2차원 열지도이고, 열지도를 통해 모델에서 취출한 특징이 정확한지 여부를 확정할 수 있고, 취출한 특징이 착오인 경우에는 모델을 재다시 구축한다.
여기에서, 특징 맵과 열지도는 목표 훈련 데이터가 모델 처리 중간 결과인 것에 대한 서로 다른 표현 형식이다.
여기에서, 목표 훈련 데이터의 유형은 벡터, 스칼라, 픽쳐, 영상, 오디오 중 적어도 하나를 포함한다.
단계 203: 클라우드 서버가 상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득한다.
실현 가능한 하나의 실현 방식에서, 상기 가시화 요청에 대응되게 획득된 상기 목표 훈련 데이터는,
상기 가시화 요청에 보유된 훈련임무 식별자와 색인 정보에 기초하여 색인 데이터베이스를 검색함으로써 획득되는 상기 목표 훈련 데이터의 저장위치 정보;
상기 목표 훈련 데이터의 저장위치 정보에 기초함으로써 획득되는 클라우드 스토리지에 저장된 상기 목표 훈련 데이터;를 포함한다.
여기에서, 훈련임무 식별자와 색인 정보에 기초하여 중간 훈련 데이터의 목록을 얻고, 중간 훈련 데이터의 목록에 기초하여 클라우드 스토리지로부터 중간 훈련 데이터를 획득한다.
바람직하게는, 가시화 요청은 목표 딥러닝 모델의 목표 훈련 데이터의 식별자 정보를 보유하고, 상기 식별자 정보는 클라우드 서버가 클라우드 스토리지로부터 목표 훈련 데이터를 획득하는데 사용되며; 여기에서, 상기 식별자 정보는 미리 설정되는 것이고, 상기 식별자 정보는 상기 클라우드 스토리지에서 유일성을 갖는다.
예를 들면, 목표 딥러닝 모델의 훈련임무가 훈련임무(A) 및 훈련임무(B)를 포함하고, 훈련임무(A)에서 생성된 훈련 데이터가 훈련데이터(A1) 및 훈련데이터(A2)를 포함하고, 훈련임무(B)에서 생성된 훈련데이터가 훈련데이터(B1) 및 훈련데이터(B2)를 포함하며, 훈련데이터(A1), 훈련데이터(A2), 훈련데이터(B1) 및 훈련데이터(B2)가 모두 클라우드 플랫폼에 저장되고, 훈련데이터(A1)의 식별자 정보가 1이고, 훈련데이터(A2)의 식별자 정보가 2이고, 훈련데이터(B1)의 식별자 정보가 3이고, 훈련데이터(B2)의 식별자 정보가 4인 경우, 만약 식별자 정보가 1이면, 클라우드 서버가 클라우드 스토리지로부터 획득한 목표 훈련 데이터는 훈련 데이터(A1)이고; 만약 식별자 정보가 2이면, 클라우드 서버가 클라우드 스토리지로부터 획득한 목표 훈련 데이터는 훈련 데이터(A2)이고; 만약 식별자 정보가 3이면, 클라우드 서버가 클라우드 스토리지로부터 획득한 목표 훈련 데이터는 훈련 데이터(B1)이고; 만약 식별자 정보가 4이면, 클라우드 서버가 클라우드 스토리지로부터 획득한 목표 훈련 데이터는 훈련 데이터(B2)이다.
단계 204: 클라우드 서버가 상기 목표 훈련 데이터에 대하여 전처리를 실행함으로써, 가시화 정보를 얻는다.
단계 205: 클라우드 서버가 사용자 기기로 가시화 응답을 발송하고, 상기 가시화 응답은 상기 가시화 정보를 보유한다.
단계 206: 사용자 기기가 클라우드 서버로부터 발송되는 가시화 응답을 수신하고, 상기 가시화 응답은 상기 목표 훈련 데이터의 가시화 정보를 보유한다.
단계207: 사용자 기기가 상기 가시화 정보를 디스플레이한다.
실현 가능한 하나의 실현 방식에서, 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러가지 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형의 정보를 포함한다.
바람직하게는, 가시화 정보의 유형이 방향성 비순환 그래프인 경우, 가시화 정보는 목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보; 상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보;를 포함하는 것으로, 여기에서 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함한다.
바람직하게는, 다수의 모듈의 토폴로지 정보는 상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자의 정보 중 적어도 하나를 포함한다.
여기에서, 모듈의 식별자 정보는 유일성을 가지는 것으로, 미리 설정 가능하다.
바람직하게는, 연산자의 정보는 연산자의 식별자 정보, 연산자 간의 의존관계, 연산자의 데이터량의 크기 중 적어도 하나를 포함한다.
여기에서, 의존관계는 선후관계일 수도 있고 병행관계일 수도 있다.
바람직하게는, 공간사용 정보는 클라우드 서버가 연산자의 데이터 유형, 연산자의 입력데이터 정보, 연산자의 출력데이터 정보 중 적어도 하나에 기초하여 확정한다.
여기에서, 연산자의 입력은 픽쳐, 영상, 오디오, 스칼라, 벡터 등등일 수 있는 것으로, 서로 다른 입력에 대응되는 차원은 다른 것으로, 예컨대 픽쳐는 하나의 2차원 행렬에 해당하고, 오디오는 하나의 1차원 행렬에 해당한다.
여기에서, 연산자의 연산을 거친 후, 연산자의 입력정보의 차원은 변화가 발생하게 된다.
여기에서, 연산자의 데이터 유형은 double 실수형식일 수도 있고, float 실수형식일 수도 있다.
여기에서, 연산자는 합성곱, 배치 정규화(BatchNorm, BN), 완전 연결, 풀링, 행렬곱셈, 손실비트(Drop Out), 활성화 등 중에서 적어도 하나일 수 있다.
여기에서, 데이터입력 정보는 입력 데이터량의 크기일 수 있고, 출력데이터 정보는 출력 데이터량의 크기일 수 있다.
바람직하게는, 가시화 정보의 유형이 스칼라 꺾은선 그래프인 경우, 가시화 정보는 목표 딥러닝 모델 성능변화 추이 정보, 목표 딥러닝 모델 손실 추이 정보, 목표 딥러닝 모델의 훈련 진도 정보 및 목표 딥러닝 모델 중 서로 다른 훈련에 대한 비교정보 중 적어도 하나를 포함한다.
바람직하게는, 가시화 정보의 유형이 특징 맵 또는 2차원 열지도인 경우, 가시화 정보는 목표 딥러닝 모델에서 취출된 특징을 포함한다.
바람직하게는, 가시화 정보의 유형이 3차원 그래프인 경우, 가시화 정보는 다수의 연산자 중 각 연산자의 파라미터 분포를 포함한다.
바람직하게는, 가시화 정보의 유형이 여러 종류의 프로세스의 호출 시퀀스 다이어그램인 경우, 가시화 정보는 다수의 연산자 중 각 연산자의 적어도 하나의 프로세스 중 각 프로세스의 운행시간을 포함한다.
바람직하게는, 프로세스는 해석언어 프로세스, 로컬 프로세스, AI 칩 프로세스 중 적어도 하나일 수 있다.
여기에서, 해석언어 프로세스, 로컬 프로세스, AI 칩 프로세스는 시간에 따라 호출 시퀀스 다이어그램을 교체하여 실행한다.
이로부터 알 수 있듯이, 본 출원 실시예에서, 사용자 기기는 우선 클라우드 서버로 가시화 요청을 발송한 다음, 클라우드 서버로부터 발송되는 가시화 응답을 수신하고, 가시화 응답은 목표 훈련 데이터의 가시화 정보를 보유하며, 마지막으로 가시화 정보를 디스플레이하는 것으로, 목표 훈련 데이터의 가시화 정보를 통해 딥러닝 모델의 훈련 상태를 직관적으로 알 수 있게 되므로, 현재 훈련 전략의 실행 가능성을 적시에 판단하는 것을 향상시키는데 도움을 주게 되어, 빠른 중단 등의 결정을 함에 있어서 근거를 제공한다.
본 출원의 일 실시방식에서, 상기 디스플레이되는 상기 가시화 정보는,
폴딩 디스플레이 모드 또는 전시(展示) 디스플레이 모드로 상기 가시화 정보를 디스플레이하는 것을 포함하는 것으로, 여기에서,
상기 폴딩 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 모듈을 최소 디스플레이 유닛으로 하며, 그중에서 상기 모듈은 적어도 하나의 연산자를 포함하고; 및/또는,
상기 전개 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 연산자를 최소 디스플레이 유닛으로 한다.
여기에서, 가시화 정보의 유형이 방향성 비순환 그래프인 경우에는, 폴딩 디스플레이 모드를 통해 가시화 정보를 디스플레이할 수도 있고, 전개 디스플레이 모드를 통해 가시화 정보를 디스플레이할 수도 있으며, 가시화 정보의 유형이 비방향성 비순환 그래프인 경우에는, 전개 디스플레이 모드를 통해 가시화 정보를 디스플레이한다.
여기에서, 전개 디스플레이 모드는, 모듈이 조작 지령을 수신 한 후 디스플레이 모듈 중의 연산자를 전개하는 것일 수 있다.
여기에서, 가시화 정보의 유형이 3차원 그래프인 경우, 전개 디스플레이 모드는 각 모듈의 각 연산자의 파라미터 분포 상황을 직접 디스플레이하는 것일 수 있다.
여기에서, 가시화 정보의 유형이 호출 시퀀스 다이어그램인 경우, 전개 디스플레이 모듈은 각 모듈의 각 연산자가 적어도 하나의 프로세스에서의 운행 시간을 직접 디스플레이하는 것일 수 있다.
예를 들면, 가시화 정보의 유형이 방향성 비순환 그래프이고, 목표 딥러닝 모델은 두 개의 모듈(모듈(A) 및 모듈(B))을 포함하고, 모듈(A)는 세 개의 연산자(A1, A2 및 A3)를 포함하고, 모듈(B)는 두 개의 연산자(B1 및 B2)를 포함한다고 가정한다. 만약 폴딩 디스플레이 모드로 가시화 정보를 디스플레이하는 경우, 모듈(A) 및 모듈(B)를 디스플레이하고; 만약 전개 디스플레이 모드로 가시화 정보를 디스플레이하는 경우, 모듈(A)는 작업지령을 수신한 후 모듈(A)의 연산자(A1, A2 및 A3)를 디스플레이하고, 모듈(B)는 작업지령을 수신한 후 모듈(B)의 연산자(B1 및 B2)를 디스플레이한다.
예를 들면, 가시화 정보의 유형이 3차원 그래프이고, 목표 딥러닝 모델은 두 개의 모듈(모듈(A) 및 모듈(B))을 포함하고, 모듈(A)는 세 개의 연산자(A1, A2 및 A3)를 포함하고, 모듈(B)는 두 개의 연산자(B1 및 B2)를 포함하고, 모듈(A)는 3차원 그래프(1)에 대응되고, 모듈(B)는 3차원 그래프(B)에 대응된다고 가정하면, 3차원 그래프(1)에는 (A1)의 파라미터 분포상황, (A2)의 파라미터 분포상황 및 (A3)의 파라미터 분포상황이 포함되고, 3차원 그래프(2)에는 (B1)의 파라미터 분포상황 및 (B2)의 파라미터 분포상황이 포함된다.
예를 들면, 가시화 정보의 유형이 호출 시퀀스 다이어그램이고, 목표 딥러닝 모델은 두 개의 모듈(모듈(A) 및 모듈(B)) 및 두 개의 프로세스(프로세스(C1 및 C2))를 포함하고, 모듈(A)는 두 개의 연산자(A1 및 A2)를 포함하고, 모듈(B)는 두 개의 연산자(B1 및 B2)를 포함하고, 모듈(A)는 호출 시퀀스 다이어그램(1)에 대응되고, 모듈(B)는 호출 시퀀스 다이어그램(B)에 대응된다고 가정하면, 호출 시퀀스 다이어그램(1)에는 (A1)의 프로세스(C1)에서의 운행시간, (A1)의 프로세스(C2)에서의 운행시간, (A2)의 프로세스(C1)에서의 운행시간, (A2)의 프로세스(C2)에서의 운행시간을 포함하고, 호출 시퀀스 다이어그램(2)에는 (B1)의 프로세스(C1)에서의 운행시간, (B1)의 프로세스(C2)에서의 운행시간, (B2)의 프로세스(C1)에서의 운행시간, (B2)의 프로세스(C2)에서의 운행시간을 포함한다.
바람직하게는, 가시화 정보의 전시 모드를 미리 설정할 수 있는 것으로, 우선 폴딩 디스플레이 모드를 사용하여 가시화 정보를 디스플레이하고, 제1 시간 후에 다시 전개 디스플레이 모드를 사용하여 가시화 정보를 디스플레이할 수 있는 것으로, 제1 시간은 미리 설정할 수 있다.
바람직하게는, 가시화 정보의 유형이 스칼라 꺾은선 그래프인 경우, 꺾은선 그래프는 여러 갈래일 수 있는 것으로, 작업지령을 수신받은 후 축소 또는 평행이동할 수 있고, 스칼라 꺾은선 그래프의 전개 디스플레이 모드는 목표 딥러닝 모델 성능 변화 추이, 목표 딥러닝 모델 손실 추이, 목표 딥러닝 모델의 훈련 진도 및 목표 딥러닝 모델의 서로 다른 훈련에서 취출한 특징 중 적어도 하나를 직접 디스플레이하는 것일 수 있다.
바람직하게는, 가시화 정보의 유형이 특징 맵 또는 2차원 열지도인 경우, 목표 딥러닝 모델에서 취출한 특징을 직접 디스플레이할 수 있는 전개 디스플레이 모드일 수 있다.
여기에서, 2차원 열지도에서 열이 높을수록 특징의 확률이 더 크다는 것을 의미한다.
이로부터 알 수 있듯이, 본 출원 실시예에서 사용자기기는 서로 다른 방식으로 가시화 정보를 전시할 수 있으므로, 사용자기기의 응용범위를 향상시키는데 유리하다.
본 출원 일 실시방식에서, 상기의 상기 클라우드 서버로 가시화 요청을 발송하기 전, 상기 방법은,
데이터 업로드 스레드를 통해 상기 클라우드 서버로 상기 목표 딥러닝 모델의 중간 훈련 데이터를 발송하고, 상기 중간 훈련 데이터는 상기 클라우드 서버가 상기 목표 훈련 데이터의 색인 정보와 훈련임무 식별자를 얻는데 사용되며, 및 상기 훈련임무 식별자에 기초하여 상기 색인 정보를 데이터베이스에 저장하고, 상기 색인 정보에 기초하여 상기 목표 훈련 데이터를 클라우드 스토리지에 저장하는 것;을 더 포함한다.
여기에서, 데이터 업로드 스레드는 새로이 실행된 스레드이다.
여기에서, 훈련임무 식별자는 유일성을 갖는 것으로, 훈련임무 식별자는 중간 훈련 데이터 생성된 후 확정되는 것일 수도 있고, 훈련 시작 시에 확정되는 것일 수도 있다.
여기에서, 중간 훈련 데이터는 목표 훈련 데이터, 훈련임무 식별자 및 색인 정보를 포함한다.
바람직하게는, 데이터 업로드 스레드를 통해 클라우드 서버로 상기 목표 딥러닝 모델의 중간 훈련 데이터를 발송하고, 상기 중간 데이터는 상기 클라우드 서버가 상기 목표 훈련 데이터의 식별자 정보를 얻는데 사용되며, 및 식별자 정보를 데이터베이스에 저장하여, 상기 식별자 정보에 기초하여 목표 훈련 데이터를 클라우드 스토리지에 저장한다.
여기에서, 식별자 정보는 유일성을 갖는다.
바람직하게는, 데이터 업로드 스레드를 통해 클라우드 서버로 상기 목표 딥러닝 모델의 중간 훈련 데이터를 발송하기 전, 상기 방법은,
상기 중간 훈련 데이터 중 목표 훈련 데이터의 데이터량을 확정하는 것;
상기 데이터량이 미리 설정된 데이터량보다 큰 경우, 훈련임무 식별자와 상기 목표 훈련 데이터의 색인정보를 확정하고, 및 상기 훈련임무 정보와 상기 목표 훈련 데이터의 색인정보를 상기 중간 훈련 데이터에 적재하는 것;
상기 데이터량이 미리 설정된 데이터량보다 작은 경우, 상기 목표 훈련 데이터의 식별자 정보를 확정하고, 상기 식별자 정보는 상기 중간 훈련 데이터에 적재되는 것;을 더 포함한다.
바람직하게는, 클라우드 서버가 식별자 정보를 수신한 상황 하에서, 식별자 정보를 데이터베이스의 제1 버퍼구역에 저장할 수 있고, 및 식별자 정보에 기초하여 목표 훈련 데이터를 상기 데이터베이스의 제2 버퍼구역에 저장할 수 있다.
이로부터 알 수 있듯이, 본 출원 실시예에서는 클라우드 서버를 통해 목표 데이터를 클라우드 스토리지에 저장함으로써, 클라우드 서버가 가시화 요청을 수신한 후 목표 훈련 데이터를 신속하게 획득하는데 유리하다.
본 출원의 일 실시방식에서, 상기의 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 얻는 것은,
상기 목표 훈련 데이터에 대하여 적어도 하나의 항목의 전처리를 실행하여 전처리 데이터를 얻는 것;
상기 전처리 데이터에 대하여 렌더링 처리를 실행하여 상기 가시화 정보를 얻는 것;을 포함한다.
여기에서, 목표 훈련 데이터의 데이터 유형이 픽쳐 또는 동영상인 경우, 픽쳐 또는 동영상에 대한 전처리는 비민감영역 제거처리, 이미지 정밀도 강화처리, 이미지 잡음 제거처리 및 이미지 이진화처리 중 하나 이상을 포함한다.
여기에서, 목표 훈련 데이터의 데이터 유형이 문서인 경우, 문서에 대한 전처리는 파일 자르기 처리, 문서 어휘자르기 처리, 불용어 제거(문장부호, 숫자, 단어 및 기타 무의미한 단어 포함)처리, 문서 특징 취출, 워드 카운터 처리 및 문서 벡터화 처리 중 하나 이상을 포함한다.
여기에서, 가시화 렌더링은 전처리한 데이터를 하이퍼텍스트 마크업 언어(Hypertext Markup Language, HTML)로 만드는 것이다.
여기에서, 전처리를 통해 얻은 가시화 정보의 유형은 비방향성 비순환 그래프이다.
이로부터 알 수 있듯이, 본 출원 실시예에서는 목표 훈련 데이터에 대하여 전처리 실행하여 전처리 데이터를 얻은 다음, 전처리 데이터에 대하여 렌더링 실행 후 가시화 정보를 얻는 것으로, 이는 가시화 정보에 기초하여 목표 딥러닝 모델 및 분석 진행에 유리하다.
본 출원의 일 실시방식에서, 상기의 상기 목표 훈련 데이터에 대하여 전처리 실행하여 가시화 정보를 얻는 것은,
상기 목표 딥러닝 모델의 훈련임무가 목표 프레임 하에서 실행되는 경우, 이진 트리를 통해 상기 목표 훈련 데이터에 대하여 해석처리를 실행하여 상기 가시화 정보를 얻는 것;을 포함한다.
여기에서, 이진 트리를 통해 목표 훈련 데이터를 처리하는 목표 딥러닝 모델의 유형은 parrots이다.
여기에서, 이진 트리를 통해 목표 훈련 데이터에 대하여 해석처리를 실행하여 얻는 가시화 정보의 유형은 방향성 비순환 그래프이다.
이로부터 알 수 있듯이, 본 출원 실시예에서는 목표 훈련 데이터에 대하여 해석처리를 실행하여 가시화 정보를 얻는 것으로, 이는 가시화 정보에 기초하여 목표 딥러닝 모델 및 분석 진행에 유리하다.
도 3을 참조하면, 도 3은 본 출원 실시예에서 제공하는 컴퓨터 기기에 대한 구조 설명도인 것으로, 도면에서 도시하는 바와 같이, 상기 컴퓨터 기기는 프로세서, 메모리, 통신접속단자 및 하나의 또는 다수의 프로그램을 포함하고, 여기에서 상기 하나의 또는 다수의 프로그램은 상기 메모리에 저장되어 상기 프로세서에 의해 실행되도록 구성된다.
일 실시방식에서, 컴퓨터 기기는 사용자 기기인 것으로, 상기 프로그램은,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 단계;
상기 목표 훈련 데이터의 가시화 정보를 보유한 가시화 응답을 상기 클라우드 서버로부터 수신하는 단계;
상기 가시화 정보를 디스플레이하는 단계;를 실행하는 지령을 포함한다.
바람직하게는, 상기 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러 종류의 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형을 포함하고; 및/또는
상기 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실추이 정보, 모델 파라미터 분포정보, 모델 처리 중간결과, 모델 구조정보, 모델 훈련의 현재 진도 정보, 동일 모델의 서로 다른 훈련에 대한 비교정보, 여러가지 프로세스의 배치타임 정보 중 적어도 하나를 포함한다.
바람직하게는, 상기 가시화 정보는,
상기 목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보;
상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보;를 포함하는 것으로,
여기에서 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함한다.
바람직하게는, 다수의 모듈의 토폴로지 정보는,
상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자 중 적어도 하나를 포함한다.
바람직하게는, 상기 공간사용 정보는 상기 클라우드 서버가 상기 연산자의 데이터 유형, 상기 연산자의 입력데이터 정보, 상기 연산자의 출력데이터 정보 중 적어도 하나에 기초하여 확정되는 것이다.
바람직하게는, 상기 가시화 요청은 상기 목표 딥러닝 모델의 훈련임무 식별자와 상기 목표 훈련 데이터의 색인 정보를 보유하고, 여기에서 상기 색인 정보는 데이터 유형과 데이터 라벨을 포함한다.
바람직하게는, 상기 가시화 정보를 디스플레이하는 방면에서, 상기 프로그램은 구체적으로 다음 단계의 지령을 실행하는데 사용된다.
본 공개의 실시예는 서로 다른 모드로 가시화 데이터의 디스플레이를 실행하는 것을 지원하는 것으로, 여기에서 일부 실시예에서는 폴딩 디스플레이 모드 또는 전시 디스플레이 모드로 상기 가시화 정보를 디스플레이할 수 있고, 또는 기타 디스플레이 모드를 정의할 수 있는 것으로, 본 공개 실시예는 이에 한정되지 않는다.
일부 실시예에서, 상기 폴딩 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 모듈을 최소 디스플레이 유닛으로 하며, 그중에서 상기 모듈은 적어도 하나의 연산자를 포함한다. 여기에서의 모듈은 묵인된 구분방식으로 구분할 수 있고, 또는 사용자가 설정할 수도 있는 것으로, 본 공개 실시예는 이에 대하여 한정하지 않는다.
일부 실시예에서, 상기 전개 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 연산자를 최소 디스플레이 유닛으로 한다. 이때 모델의 모든 연산자의 정보를 디스플레이할 수 있다.
일부 실시예에서, 디스플레이 모드를 혼합하여 디스플레이할 수도 있다. 즉, 일부 모듈에 대하여는 폴딩 디스플레이하고, 다른 일부의 모듈에 대하여는 전개 디스플레이할 수 있는 것으로, 이는 사용자 설정에 따라 디스플레이할 수 있는 것이 바람직하며, 본 공개는 이에 대하여 한정하지 않는다.
바람직하게는, 클라우드 서버로 가시화 요청 발송하기 전, 상기 프로그램은,
데이터 업로드 스레드를 통해 상기 클라우드 서버로 상기 목표 딥러닝 모델의 중간 훈련 데이터를 발송하는 단계;를 실행하기 위한 지령도 포함하는 것으로, 상기 중간 훈련 데이터는 상기 클라우드 서버가 상기 목표 훈련 데이터의 색인 정보와 훈련임무 식별자를 얻도록 하는데 사용되고, 및 상기 훈련임무 식별자에 기초하여 상기 색인 정보를 데이터베이스에 저장하고, 상기 색인 정보에 기초하여 상기 목표 훈련 데이터를 클라우드 스토리지에 저장하는데 사용된다.
다른 하나의 실시방식에서는, 컴퓨터 기기가 클라우드 서버인 것으로, 상기 프로그램은,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 사용자 기기로부터 수신하는 단계;
상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 단계;
상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 획득하는 단계;
상기 가시화 정보가 보유된 가시화 응답을 상기 사용자 기기로 발송하는 단계;를 실행하기 위한 지령을 포함한다.
바람직하게는, 상기 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러가지 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형의 정보를 포함하고; 및/또는
상기 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실 추이 정보, 모델 파라미터 분포 정보, 모델 처리 중간 결과, 모델 구조 정보, 모델 훈련의 현재 진도 정보, 동일 모델의 서로 다른 훈련에 대한 비교 정보, 여러 가지 프로세스의 배치 타임 정보 중 적어도 하나를 포함한다.
바람직하게는, 상기 가시화 정보는,
목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보;
상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보; 중 적어도 하나의 정보를 포함하는 것으로,
여기에서 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함한다.
바람직하게는, 상기 다수의 모듈의 토폴로지 정보는,
상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자의 정보 중 적어도 하나를 포함한다.
바람직하게는, 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 획득하는 방면에서, 상기 프로그램은 구체적으로,
상기 목표 딥러닝 모델 중 적어도 하나의 연산자의 데이터 유형, 상기 연산자의 입력데이터 정보, 상기 연산자의 출력데이터 정보 중 적어도 하나에 기초하여, 상기 적어도 하나의 연산자 중 각 연산자의 공간사용 정보를 확정하는 단계;를 실행하기 위한 지령을 포함한다.
바람직하게는, 상기 가시화 요청은 상기 목표 딥러닝 모델의 훈련임무 식별자, 상기 목표 훈련 데이터의 색인 정보를 보유하고, 상기 색인 정보는 데이터 유형 및 데이터 라벨을 포함하고;
상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 방면에서, 상기 프로그램은 구체적으로, 상기 가시화 요청에 보유된 훈련임무 식별자 및 색인 정보에 기초하여 색인 데이터베이스를 검색함으로써, 상기 목표 훈련 데이터의 저장위치 정보를 획득하는 단계; 상기 목표 훈련 데이터의 저장위치 정보에 기초하여, 클라우드 스토리지에 저장된 상기 목표 훈련 데이터를 획득하는 단계;를 실행하기 위한 지령을 포함한다.
바람직하게는, 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 획득하는 방면에서, 상기 프로그램은 구체적으로,
상기 목표 훈련 데이터에 대하여 적어도 한 항목의 전처리를 실행하여, 전처리 데이터를 획득하는 단계;
상기 전처리 데이터에 대하여 렌더링 처리를 실행하여, 상기 가시화 정보를 획득하는 단계;를 실행하기 위한 지령을 포함한다.
바람직하게는, 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 획득하는 방면에서, 상기 프로그램은 구체적으로,
상기 목표 딥러닝 모델의 훈련임무가 목표 프레임 하에서 실행되는 상황하에서, 이진 트리를 통해 상기 목표 훈련 데이터에 대하여 해석 처리를 실행하여, 상기 가시화 정보를 획득하는 단계;를 실행하기 위한 지령을 포함한다.
여기에서 설명해야 할 것은, 본 실시예의 구체적인 실현과정은 상기 방법에 대한 실시예의 구체적인 실현과정을 참조하면 되므로, 여기에서는 더이상 중복하여 설명하지 않는다.
도 4를 참조하면, 도 4는 본 출원 실시예에서 제공하는 사용자 기기에 응용되는 가시화 디바이스인 것으로, 상기 디바이스는,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 발송 유닛(401);
상기 목표 훈련 데이터의 가시화 정보를 보유한 가시화 응답을 상기 클라우드 서버로부터 수신하는 수신 유닛(402);
상기 가시화 정보를 디스플레이하는 디스플레이 유닛(403);을 포함한다.
본 출원의 일 실현방식에서, 상기 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러가지 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형의 정보를 포함하고; 및/또는
상기 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실 추이 정보, 모델 파라미터 분포 정보, 모델 처리 중간 결과, 모델 구조 정보, 모델 훈련의 현재 진도 정보, 동일 모델의 서로 다른 훈련에 대한 비교 정보, 여러 가지 프로세스의 배치 타임 정보 중 적어도 하나를 포함한다.
본 출원의 일 실현방식에서, 상기 가시화 정보는,
상기 목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보;
상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보; 중 적어도 하나의 정보를 포함하는 것으로,
여기에서 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함한다.
본 출원의 일 실현방식에서, 상기 다수의 모듈의 토폴로지 정보는,
상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자의 정보 중 적어도 하나를 포함한다.
본 출원의 일 실현방식에서, 상기 공간사용 정보는 상기 클라우드 서버가 상기 연산자의 데이터 유형, 상기 연산자의 입력데이터 정보, 상기 연산자의 출력데이터 정보 중 적어도 하나에 기초하여 확정한다.
본 출원의 일 실현방식에서, 상기 가시화 요청은 상기 목표 딥러닝 모델의 훈련임무 식별자 및 상기 목표 훈련 데이터의 색인 정보를 포함하고, 여기에서 상기 색인 정보는 데이터 유형과 데이터 라벨을 포함한다.
본 출원의 일 실현방식에서, 상기 가시화 정보를 디스플레이하는 방면에서, 상기 디스플레이 유닛(403)은 구체적으로,
폴딩 디스플레이 모드 또는 전시 디스플레이 모드로 상기 가시화 정보를 디스플레이하는 것으로, 여기에서,
상기 폴딩 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 모듈을 최소 디스플레이 유닛으로 하고; 및/또는
상기 전개 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 연산자를 최소 디스플레이 유닛으로 하며,
여기에서, 상기 모듈은 적어도 하나의 연산자를 포함한다.
본 출원의 일 실현방식에서, 상기 발송 유닛(401)은 구체적으로, 또한 클라우드 서버로 가시화 요청을 발송하기 전, 데이터 업로드 스레드를 통해 상기 클라우드 서버로 상기 목표 딥러닝 모델의 중간 훈련 데이터를 발송하는데 사용되고, 상기 중간 훈련 데이터는 상기 클라우드 서버가 상기 목표 훈련 데이터의 색인 정보와 훈련임무 식별자를 얻도록 하는데 사용되며;
상기 디바이스는 데이터 저장 유닛(404)을 더 포함하는 것으로, 상기 데이터 저장 유닛(404)은 상기 훈련임무 식별자에 기초하여 상기 색인 정보를 데이터베이스에 저장하고, 상기 색인 정보에 기초하여 상기 목표 훈련 데이터를 클라우드 스토리지에 저장하도록 한다.
설명해야 할 것은, 발송 유닛(401), 수신 유닛(402)은 통신접속단자를 통해 실현할 수 있고, 디스플레이 유닛(403)은 디스플레이 스크린을 통해 실현할 수 있고, 데이터 저장 유닛(404)은 프로세서 스크린을 통해 실현할 수 있다.
도 5를 참조하면, 도 5는 본 출원 실시예에서 제공하는 클라우드 서버에 응용되는 가시화 디바이스인 것으로, 상기 디바이스는,
목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 사용자 기기로부터 수신하는 수신 유닛(501);
상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 획득 유닛(502);
상기 목표 훈련 데이터에 대하여 전처리를 실행하여, 가시화 정보를 얻는 확정 유닛(503);
상기 가시화 정보를 보유한 가시화 응답을 상기 사용자 기기로 발송하는 발송 유닛(504);을 포함한다.
본 출원의 일 실현방식에서, 상기 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러가지 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형의 정보를 포함하고; 및/또는
상기 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실 추이 정보, 모델 파라미터 분포 정보, 모델 처리 중간 결과, 모델 구조 정보, 모델 훈련의 현재 진도 정보, 동일 모델의 서로 다른 훈련에 대한 비교 정보, 여러 가지 프로세스의 배치 타임 정보 중 적어도 하나를 포함한다.
본 출원의 일 실현방식에서, 상기 가시화 정보는,
상기 목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보;
상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보; 중 적어도 하나의 정보를 포함하는 것으로,
여기에서, 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함한다.
본 출원의 일 실현방식에서, 상기 다수의 모듈의 토폴로지 정보는,
상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자의 정보 중 적어도 하나를 포함한다.
본 출원의 일 실현방식에서, 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 얻는 방면에서, 상기 프로그램은 구체적으로,
상기 목표 딥러닝 모델 중 적어도 하나의 연산자의 데이터 유형, 상기 연산자의 입력데이터 정보, 상기 연산자의 출력데이터 정보 중 적어도 하나에 기초하여, 상기 적어도 하나의 연산자 중 각 연산자의 공간사용 정보를 확정하는 단계;를 실행하기 위한 지령을 포함한다.
본 출원의 일 실현방식에서, 상기 가시화 요청은 상기 목표 딥러닝 모델의 훈련임무 식별자, 상기 목표 훈련 데이터의 색인 정보를 보유하고, 상기 색인 정보는 데이터 유형 및 데이터 라벨을 포함하고;
상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 방면에서, 상기 획득 유닛(502)은 프로그램은 구체적으로,
상기 가시화 요청에 보유된 훈련임무 식별자 및 색인 정보에 기초하여 색인 데이터베이스를 검색함으로써, 상기 목표 훈련 데이터의 저장위치 정보를 획득하는 것;
상기 목표 훈련 데이터의 저장위치 정보에 기초하여, 클라우드 스토리지에 저장된 상기 목표 훈련 데이터를 획득하는 것;에 사용된다.
본 출원의 일 실현방식에서, 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 얻는 방면에서, 상기 확정 유닛(503)은 구체적으로,
상기 목표 훈련 데이터에 대하여 적어도 한 항목의 전처리를 실행하여, 전처리 데이터를 얻는 것;
상기 전처리 데이터에 대하여 렌더링 처리를 실행하여, 상기 가시화 정보를 얻는 것;에 사용된다.
본 출원의 일 실현방식에서, 상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 얻는 방면에서, 상기 확정 유닛(503)은 구체적으로,
상기 목표 딥러닝 모델의 훈련임무가 목표 프레임 하에서 실행되는 상황 하에서, 이진 트리를 통해 상기 목표 훈련 데이터에 대하여 해석 처리를 실행하여, 상기 가시화 정보를 얻는 것;에 사용된다.
설명해야 할 것은, 수신 유닛(501)과 발송 유닛(504)은 통신접속단자를 통해 실현될 수 있고, 획득 유닛(502)과 확정 유닛(503)은 프로세서를 통해 실현될 수 있다.
본 출원은 컴퓨터 판독가능 기억장치를 더 제공하는 것으로, 여기에서, 상기 컴퓨터 판독가능 기억장치는 전자 데이터 교환용 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 전술한 바의 방법의 실시예와 같이 전자 기기 또는 클라우드 서버에서 설명되는 부분 또는 전부의 단계를 실행하도록 한다.
본 출원은 컴퓨터 프로그램 제품을 더 제공하는 것으로, 여기에서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램이 저장된 비휘발성 컴퓨터 판독가능 기억장치를 포함하고, 상기 컴퓨터 프로그램은 컴퓨터가 전술한 바의 방법에서의 전자기기 또는 클라우드 서버에서 설명되는 부분 또는 전부의 단계를 실행하도록 동작시킬 수 있다. 상기 컴퓨터 프로그램 제품은 하나의 소프트웨어 설치 패키지일 수 있다.
본 출원 실시예에서 설명하는 방법 또는 알고리즘의 단계는 하드웨어의 방식으로도 실현 가능하고, 프로세서가 소프트웨어 지령을 실행하는 방식으로도 실현 가능하다. 소프트웨어 지령은 대응되는 소프트웨어 모듈로 구성될 수 있고, 소프트웨어 모듈은 임의 추출 기억장치(Random Access Memory, RAM), 플래시 메모리, 판독전용 기억장치(Read Only Memory, ROM), 소거 가능 판독전용 기억장치(Erasable Programmable ROM, EPROM), 전기적 소거 가능 판독전용 기억장치(Electrically EPROM, EEPROM), 레지스터, 하드디스크, 이동식 하드디스크, 읽기전용 광디스크(CD-ROM) 또는 본 분야에서 잘 알고 있는 임의의 기타 형식의 기억장치에 저장될 수 있다. 예시적인 기억장치가 프로세서에 결합됨으로써, 프로세서로 하여금 해당 기억장치로부터 정보를 판독할 수 있고, 또한 해당 기억장치에 정보를 기입할 수 있다. 물론, 기억장치 역시 프로세서의 구성부분일 수 있다. 프로세서와 기억장치는 ASIC에 위치될 수 있다. 이 외, 상기 ASIC는 접속망 기기, 목표망 기기 또는 핵심망 기기에 위치될 수 있다. 물론, 프로세서와 기억장치는 개별 어셈블리로서 접속망 기기, 목표망 기기 또는 핵심망 기기에 존재할 수도 있다.
당업자는 상기 하나의 또는 다수의 예시에서, 본 출원 실시예가 설명하는 기능은 소프트웨어, 하드웨어, 펌웨어 또는 기타 임의의 조합을 통해 전부 또는 부분적으로 실현 가능한 것을 알 수 있을 것이다. 소프트웨어를 사용하여 실현하는 경우, 컴퓨터 제품의 형식으로 전부 또는 부분적으로 실현할 수 있다. 상기 컴퓨터 프로그램 제품은 하나의 또는 다수의 컴퓨터 지령을 포함한다. 컴퓨터에서 상기 컴퓨터 프로그램 지령을 로딩 및 실행하는 경우, 본 출원 실시예에 따른 과정 또는 기능이 전부 또는 부분적으로 생성된다. 상기 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 기타의 프로그래밍 가능한 디바이스일 수 있다. 상기 컴퓨터 지령은 컴퓨터 판독가능 기억장치에 저장될 수 있고, 또는 하나의 컴퓨터 판독가능 기억장치에서 다른 하나의 컴퓨터 판독가능 기억장치로 전송될 수 있는 것으로, 예컨대, 상기 컴퓨터 지령은 하나의 네트워크 웹사이트, 컴퓨터, 서버 또는 데이터 센터에서 유선(동축케이블, 광섬유케이블, 디지털가입자회선(Digital Subscriber Line, DSL)) 또는 무선(예컨대, 적외선, 무선, 마이크로웨이브 등) 방식으로 다른 하나의 네트워크 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터 판독가능 기억장치는 컴퓨터가 액세스 가능한 임의의 가용 매체이거나, 또는 하나의 또는 다수의 가용 매체를 포함하는 집성된 서버, 데이터센터 등 데이터 저장 장치일 수도 있다. 상기 가용 매체는 자성 매개체(플로피 디스크, 하드 디스크, 테이프), 광학 매개체(예컨대, 디지털비디오디스크(Digital Video Disc, DVD)) 또는 반도체 매개체(예컨대, 솔리드 스테이트 디스크(Solid State Disk, SSD)) 등 일 수 있다.
상술한 바의 구체적인 실시방식은 본 출원 실시예의 목적, 기술방안 및 유익한 효과에 대하여 한층 더 구체적으로 상세히 설명한 것으로, 상기한 바의 설명은 단지 본 출원 실시예의 구체적인 실시방식일 뿐, 본 출원 실시예의 보호범위를 한정하기 위한 것은 아닌 것으로 이해해야 할 것이며, 본 출원 실시예의 기술방안의 기초 하에 진행한 모든 수정, 동등한 치환, 개진 등은 모두 본 출원 실시예의 보호범위에 포함되어야 한다.

Claims (20)

  1. 사용자 기기에 응용되는 가시화 방법에 있어서,
    상기 방법은,
    목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 것;
    상기 클라우드 서버가 발송한, 상기 목표 훈련 데이터의 가시화 정보를 보유한 가시화 응답을 수신하는 것;
    상기 가시화 정보를 디스플레이하는 것;을 포함하는 것을 특징으로 하는 가시화 방법.
  2. 제1항에 있어서,
    상기 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러가지 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형의 정보를 포함하고; 및/또는
    상기 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실추이 정보, 모델 파라미터 분포정보, 모델 처리 중간결과, 모델 구조정보, 모델 훈련의 현재 진도 정보, 동일 모델의 서로 다른 훈련에 대한 비교정보, 여러가지 프로세스의 배치타임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 가시화 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 가시화 정보는,
    상기 목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보;
    상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보;를 포함하는 것으로,
    여기에서 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함하는 것을 특징으로 하는 가시화 방법.
  4. 제3항에 있어서,
    상기 다수의 모듈의 토폴로지 정보는,
    상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자의 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 가시화 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 공간사용 정보는 상기 클라우드 서버가 상기 연산자의 데이터 유형, 상기 연산자의 입력데이터 정보, 상기 연산자의 출력데이터 정보 중 적어도 하나에 기초하여 확정되는 것을 특징으로 하는 가시화 방법.
  6. 제1항 내지 제5항의 어느 한 항에 있어서,
    상기 가시화 요청은, 상기 목표 딥러닝 모델의 훈련임무 식별자와 상기 목표 훈련 데이터의 색인 정보를 보유하고, 여기에서, 상기 색인 정보는 데이터 유형과 데이터 라벨을 포함하는 것을 특징으로 하는 가시화 방법.
  7. 제1항 내지 제6항의 어느 한 항에 있어서,
    상기의 상기 가시화 정보를 디스플레이하는 것은,
    폴딩 디스플레이 모드 또는 전시 디스플레이 모드로 상기 가시화 정보를 디스플레이하는 것;을 포함하고, 여기에서,
    상기 폴딩 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 모듈을 최소 디스플레이 유닛으로 하고, 여기에서 상기 모듈은 적어도 하나의 연산자를 포함하고; 및/또는
    상기 전개 디스플레이 모드에서는, 상기 목표 딥러닝 모델의 연산자를 최소 디스플레이 유닛으로 하는 것을 특징으로 하는 가시화 방법.
  8. 제1항 내지 제7항의 어느 한 항에 있어서,
    상기 클라우드 서버로 가시화 요청을 발송하기 전, 상기 방법은,
    데이터 업로드 스레드를 통해 상기 클라우드 서버로 상기 목표 딥러닝 모델의 중간 훈련 데이터를 발송하고, 상기 중간 훈련 데이터는 상기 클라우드 서버가 상기 목표 훈련 데이터의 색인 정보와 훈련임무 식별자를 얻는데 사용되며, 및 상기 훈련임무 식별자에 기초하여 상기 색인 정보를 색인 데이터베이스에 저장하고, 상기 색인 정보에 기초하여 상기 목표 훈련 데이터를 클라우드 스토리지에 저장하는 것;을 더 포함하는 것을 특징으로 하는 가시화 방법.
  9. 클라우드 서버에 응용되는 가시화 방법에 있어서,
    상기 방법은,
    목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 사용자 기기로부터 수신하는 것;
    상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 것;
    상기 목표 훈련 데이터에 대하여 전처리를 실행하여 가시화 정보를 얻는 것;
    상기 가시화 정보가 보유된 가시화 응답을 상기 사용자 기기로 발송하는 것;을 포함하는 것을 특징으로 하는 가시화 방법.
  10. 제9항에 있어서,
    상기 가시화 정보는 방향성 비순환 그래프, 3차원 그래프, 여러가지 프로세스의 호출 시퀀스 다이어그램, 특징 맵, 2차원 열지도 및 스칼라 꺾은선 그래프 중 적어도 하나의 유형의 정보를 포함하고; 및/또는
    상기 목표 훈련 데이터는 모델 성능변화 추이 정보, 모델 손실추이 정보, 모델 파라미터 분포정보, 모델 처리 중간결과, 모델 구조정보, 모델 훈련의 현재 진도 정보, 동일 모델의 서로 다른 훈련에 대한 비교정보, 여러가지 프로세스의 배치타임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 가시화 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 가시화 정보는,
    상기 목표 딥러닝 모델의 적어도 일부분의 토폴로지 정보;
    상기 목표 딥러닝 모델에 포함되는 적어도 하나의 연산자 중 각 연산자의 공간사용 정보;를 포함하는 것으로,
    여기에서 상기 목표 딥러닝 모델의 적어도 일부분은, 상기 목표 딥러닝 모델의 다수의 모듈 및/또는 다수의 연산자를 포함하는 것을 특징으로 하는 가시화 방법.
  12. 제11항에 있어서,
    상기 다수의 모듈의 토폴로지 정보는,
    상기 다수의 모듈의 식별자 정보, 상기 다수의 모듈 간의 의존관계, 상기 다수의 모듈 중 각 모듈의 데이터량의 크기, 상기 모듈 각각이 포함하는 적어도 하나의 연산자의 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 가시화 방법.
  13. 제9항 내지 제12항의 어느 한 항에 있어서,
    상기의 상기 목표 훈련 데이터에 대하여 전처리를 실행하여, 가시화 정보를 얻는 것은,
    상기 목표 딥러닝 모델의 적어도 하나의 연산자의 데이터 유형, 상기 연산자의 입력데이터 정보, 상기 연산자의 출력데이터 정보 중 적어도 하나에 기초하여, 상기 적어도 하나의 연산자 중 각 연산자의 공간사용 정보를 확정하는 것;을 포함하는 것을 특징으로 하는 가시화 방법.
  14. 제9항 내지 제13항의 어느 한 항에 있어서,
    상기 가시화 요청은, 상기 목표 딥러닝 모델의 훈련임무 식별자, 상기 목표 훈련 데이터의 색인 정보를 보유하고, 상기 색인 정보는 데이터 유형과 데이터 라벨을 포함하고;
    상기의 상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 것은,
    상기 가시화 요청에 보유된 훈련임무 식별자와 색인 정보에 기초하여 색인 데이터베이스를 검색함으로써, 상기 목표 훈련 데이터의 저장위치 정보를 얻는 것;
    상기 목표 훈련 데이터의 저장위치 정보에 기초하여, 클라우드 스토리지에 저장된 상기 목표 훈련 데이터를 획득하는 것;을 포함하는 것을 특징으로 하는 가시화 방법.
  15. 제9항 내지 제14항의 어느 한 항에 있어서,
    상기의 상기 목표 훈련 데이터에 대하여 전처리를 실행하여, 가시화 정보를 얻는 것은,
    상기 목표 훈련 데이터에 대하여 적어도 한 항목의 전처리를 실행하여, 전처리 데이터를 얻는 것;
    상기 전처리 데이터에 대하여 렌더링 처리를 실행하여, 상기 가시화 정보를 얻는 것;을 포함하는 것을 특징으로 하는 가시화 방법.
  16. 제9항 내지 제15항의 어느 한 항에 있어서,
    상기의 상기 목표 훈련 데이터에 대하여 전처리를 실행하여, 가시화 정보를 얻는 것은,
    상기 목표 딥러닝 모델의 훈련임무가 목표 프레임 하에서 실행되는 상황 하에서, 이진 트리를 통해 상기 목표 훈련 데이터에 대하여 해석처리를 실행하여, 상기 가시화 정보를 얻는 것;을 포함하는 것을 특징으로 하는 가시화 방법.
  17. 사용자 기기에 응용되는 가시화 디바이스에 있어서,
    상기 디바이스는,
    목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 클라우드 서버로 발송하는 발송 유닛;
    상기 클라우드 서버가 발송하는, 상기 목표 훈련 데이터의 가시화 정보를 보유한 가시화 응답을 수신하는 수신 유닛;
    상기 가시화 정보를 디스플레이하는 디스플레이 유닛;을 포함하는 것을 특징으로 하는 가시화 디바이스.
  18. 클라우드 서버에 응용되는 가시화 디바이스에 있어서,
    상기 디바이스는,
    목표 딥러닝 모델의 목표 훈련 데이터에 대한 가시화를 요청하는 가시화 요청을 사용자 기기로부터 수신하는 수신 유닛;
    상기 가시화 요청에 대응되는 목표 훈련 데이터를 획득하는 획득 유닛;
    상기 목표 훈련 데이터에 대하여 전처리를 실행하여, 가시화 정보를 얻는 확정 유닛;
    상기 가시화 정보를 보유한 가시화 응답을 상기 사용자 기기로 발송하는 발송 유닛;을 포함하는 것을 특징으로 하는 가시화 디바이스.
  19. 컴퓨터 기기에 있어서,
    상기 사용자 기기는 프로세서, 메모리, 통신접속단자, 및 하나의 또는 다수의 프로그램을 포함하고, 상기 하나의 또는 다수의 프로그램은 상기 메모리에 저장되어, 상기 프로세서에 의해 실행되도록 구성되며, 상기 프로그램은 제1항 내지 제8항 또는 제9항 내지 제16항의 어느 한 항에 따른 방법의 단계를 실행하는 지령을 포함하는 것을 특징으로 하는 컴퓨터 기기.
  20. 컴퓨터 판독 가능한 기억장치에 있어서,
    상기 컴퓨터 판독 가능한 기억장치에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 제1항 내지 제8항 또는 제9항 내지 제16항의 어느 한 항에 따른 방법을 실행하도록 처리되는 것을 특징으로 하는 컴퓨터 판독 가능한 기억장치.
KR1020217039065A 2020-07-09 2021-03-23 가시화 방법 및 관련 기기 KR20220011134A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010656553.8 2020-07-09
CN202010656553.8A CN111797294A (zh) 2020-07-09 2020-07-09 可视化方法及相关设备
PCT/CN2021/082348 WO2022007434A1 (zh) 2020-07-09 2021-03-23 可视化方法及相关设备

Publications (1)

Publication Number Publication Date
KR20220011134A true KR20220011134A (ko) 2022-01-27

Family

ID=72810505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217039065A KR20220011134A (ko) 2020-07-09 2021-03-23 가시화 방법 및 관련 기기

Country Status (4)

Country Link
JP (1) JP2022543180A (ko)
KR (1) KR20220011134A (ko)
CN (1) CN111797294A (ko)
WO (1) WO2022007434A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112075A1 (ko) * 2022-11-23 2024-05-30 삼성전자주식회사 하나 이상의 메신저 데이터 세트들에 대응하는 프로세스의 기능을 제어하기 위한 전자 장치 및 그 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797294A (zh) * 2020-07-09 2020-10-20 上海商汤智能科技有限公司 可视化方法及相关设备
CN112199345A (zh) * 2020-10-28 2021-01-08 上海大学 深度学习训练实时可视化方法及装置
CN112733892B (zh) * 2020-12-28 2024-06-21 北京聚云科技有限公司 一种用于模型训练的数据交互方法及装置
CN113326113B (zh) * 2021-05-25 2022-11-22 北京市商汤科技开发有限公司 任务处理方法及装置、电子设备和存储介质
CN113658289A (zh) * 2021-07-30 2021-11-16 国网天津市电力公司 一种二次设备编辑方法
CN114357253A (zh) * 2021-12-27 2022-04-15 上海商汤科技开发有限公司 数据可视化方法、装置、电子设备和存储介质
CN114707654B (zh) * 2022-06-06 2022-08-23 浙江大学 基于人工智能框架的算法训练推理性能可视化方法及装置
CN116360759A (zh) * 2023-03-10 2023-06-30 青软创新科技集团股份有限公司 一种人工智能算法的可视化系统和方法
CN117592517A (zh) * 2023-11-02 2024-02-23 新疆新华水电投资股份有限公司 一种模型的训练方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825649B2 (en) * 2010-07-21 2014-09-02 Microsoft Corporation Smart defaults for data visualizations
CN104615735B (zh) * 2015-02-11 2019-03-15 中科星图股份有限公司 一种基于地理信息空间系统的时空信息可视化方法
KR101719278B1 (ko) * 2015-04-14 2017-04-04 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법
CN109241141B (zh) * 2018-09-04 2022-04-29 北京百度网讯科技有限公司 深度学习的训练数据处理方法和装置
CN111079892A (zh) * 2019-10-30 2020-04-28 华为技术有限公司 深度学习模型的训练方法、装置及系统
CN111190805A (zh) * 2019-12-29 2020-05-22 广东浪潮大数据研究有限公司 深度学习训练平台的训练日志可视化系统、方法及设备
CN111797294A (zh) * 2020-07-09 2020-10-20 上海商汤智能科技有限公司 可视化方法及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112075A1 (ko) * 2022-11-23 2024-05-30 삼성전자주식회사 하나 이상의 메신저 데이터 세트들에 대응하는 프로세스의 기능을 제어하기 위한 전자 장치 및 그 방법

Also Published As

Publication number Publication date
CN111797294A (zh) 2020-10-20
WO2022007434A1 (zh) 2022-01-13
JP2022543180A (ja) 2022-10-11

Similar Documents

Publication Publication Date Title
KR20220011134A (ko) 가시화 방법 및 관련 기기
US20110078182A1 (en) Systems and methods for generating a list of vehicles and for providing instructions for loading storage space
US20170300214A1 (en) Three Dimensional Model Launch Tools And Methods Of Use
CN106873952B (zh) 移动端网页开发的数据处理系统和方法、及应用装置
CN111414391A (zh) 一种访问多数据源的方法及系统
CN114785685B (zh) 软件差分升级方法、装置、电子设备及可读存储介质
CN111324577A (zh) 一种Yml文件读写的方法及装置
CN113791765A (zh) 云服务的资源编排方法、装置、设备及存储介质
CN110532056A (zh) 一种应用于用户界面中的控件识别方法及装置
CN114594927A (zh) 低代码开发方法、装置、系统、服务器及存储介质
CN107193565B (zh) 跨移动端开发原生app的方法
CN111666100A (zh) 软件框架生成方法、装置、电子设备及存储介质
US20060085492A1 (en) System and method for modifying process navigation
CN107766228B (zh) 一种基于多语种的自动化测试方法和装置
US20140324918A1 (en) Database Generation System, Method For Generating A Database, Product Line Management System And Non-Transitory Data Carrier
CN114461960B (zh) 页面生成方法、页面展示方法及装置
CN103942239A (zh) 信息处理装置和信息处理方法
CN114757157B (zh) 用于生成航空器工包的方法、装置、设备和介质
CN115878860A (zh) 一种菜单的生成方法、装置、服务器设备及介质
CN111367500A (zh) 数据的处理方法和装置
US20160012179A1 (en) Method for managing data relative to motor vehicles with a view to the subsequent graphic generation of electrical diagrams of electrical systems
US9779387B2 (en) Business-to-business document user interface and integration design
US20160019196A1 (en) Data mapping service
Siewert et al. Implementation of the Asset Administration Shell Concept to Industrial Augmented Reality Applications
CN117112654B (zh) 城市数据展示方法、装置、计算机设备和存储介质