WO2023240584A1 - 一种跨媒体知识语义表达方法和装置 - Google Patents

一种跨媒体知识语义表达方法和装置 Download PDF

Info

Publication number
WO2023240584A1
WO2023240584A1 PCT/CN2022/099377 CN2022099377W WO2023240584A1 WO 2023240584 A1 WO2023240584 A1 WO 2023240584A1 CN 2022099377 W CN2022099377 W CN 2022099377W WO 2023240584 A1 WO2023240584 A1 WO 2023240584A1
Authority
WO
WIPO (PCT)
Prior art keywords
semantic
automaton
stack
media
cross
Prior art date
Application number
PCT/CN2022/099377
Other languages
English (en)
French (fr)
Inventor
林峰
潘云鹤
Original Assignee
之江实验室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江实验室 filed Critical 之江实验室
Priority to PCT/CN2022/099377 priority Critical patent/WO2023240584A1/zh
Priority to US18/491,818 priority patent/US20240046675A1/en
Publication of WO2023240584A1 publication Critical patent/WO2023240584A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the invention belongs to the field of artificial intelligence, and in particular relates to a method and device for semantic expression of cross-media knowledge.
  • Cross-media knowledge alignment is to identify the correspondence between sub-branches/elements of different media.
  • Cross-media knowledge alignment is responsible for finding the correspondence between sub-branches/elements of different media information from the same target object. This correspondence can be in the time dimension. , it can also be spatially dimensional.
  • Cross-media knowledge mapping is to map information in a specific media data to another media;
  • cross-media knowledge alignment is to identify the correspondence between components and elements between different media;
  • cross-media fusion is to combine information from multiple media to perform Target prediction (classification or regression);
  • cross-media collaborative learning is to transfer knowledge learned from information-rich media to information-poor media, so that the learning of each media assists each other.
  • the present invention provides a cross-media knowledge semantic expression method and device.
  • a first aspect of the embodiments of the present invention provides a method for semantic expression of cross-media knowledge.
  • the method includes:
  • Data collection is performed according to the preset semantic description, wherein the semantic description includes a limited semantic production set, and the limited semantic production set includes a plurality of semantic sentences, each semantic sentence is used to indicate that the data collection is to be The topological structure of the collected target object, the topological structure includes the substructure of the target object and the branches included in the substructure, and the semantic sentence is the first media expression;
  • the data information of the topological structure obtained by the data collection is input into a preset stack of automata corresponding to the semantic description, wherein the automaton is used for cross-media knowledge mapping, and the automaton includes a finite state set, an input vocabulary, and a stack, the finite state set is used to indicate the states included in the automaton, and the input vocabulary is used to indicate the vocabulary included in the automaton;
  • the data information is mapped by the automaton to obtain the substructure of the target object collected by the data collection and/or the key frames corresponding to the branches;
  • a visual semantic expression of the topological structure is generated based on the substructure of the target object collected by the data collection and/or the key frames corresponding to the branches, and the visual semantic expression is a second media expression method.
  • G (V,T,P,S 0 );
  • V is a finite semantic production set
  • T is a finite vocabulary set, and V and T do not intersect;
  • S 0 is the starting variable of the semantic description G, S 0 ⁇ V;
  • P is a finite semantic production set.
  • the limited semantic production set includes multiple productions. Each production is expressed as A ⁇ , where A is a semantic variable, A ⁇ V, and ⁇ is the set (V ⁇ A string of semantic variables and vocabulary in T) * .
  • the expression of the automaton M is:
  • M (Q, ⁇ , ⁇ , ⁇ ,q 0 ,Z 0 ,F);
  • Q is a finite state set
  • ⁇ is an input vocabulary
  • ⁇ is a stack alphabet
  • ⁇ is a mapping from Q ⁇ ( ⁇ ) ⁇ to the finite subset Q ⁇ * , where ⁇ represents a lexical gap and ⁇ * is any combination of the stack alphabet;
  • q 0 is the initial state, q 0 ⁇ Q;
  • Z 0 ⁇ is the initial letter of the stack table
  • mapping the data information through the automaton to obtain key frames corresponding to the substructure of the target object collected by the data collection and/or the branches respectively includes:
  • the key frames corresponding to the branches respectively are used, and the stack letter Z is replaced by the string ⁇ , and the automaton enters a new state until the new state is within the state included in the terminal state set F or the stack is empty, ⁇ * , Z ⁇ , where the stack letter Z refers to all the data information that generates the visual semantic expression corresponding to the previous topological structure.
  • the method also includes:
  • the automaton will not process the data information in the stack, and the automaton will enter a new state until the new state is in the terminal state set.
  • the state contained by F or the stack is empty.
  • the cross-media knowledge semantic expression method is applied to ultrasound scanning
  • the topological structure of the target object refers to the anatomical structure of the medical tissue
  • the data information is the tomographic image of each part of the anatomical structure
  • the The first media expression is a semantic description of scanned tomography
  • the second media expression is a three-dimensional medical image corresponding to the anatomical structure of the medical tissue.
  • the data collection is performed according to the preset semantic description, including:
  • an ultrasonic scanner is used for data collection.
  • a second aspect of an embodiment of the present invention provides a cross-media knowledge semantic expression device, including a memory and one or more processors.
  • the memory stores executable code
  • the one or more processors execute the executable code.
  • the code is executed, it is used to implement the cross-media knowledge semantic expression method described in any of the above embodiments.
  • a third aspect of the embodiments of the present invention provides a computer-readable storage medium on which a program is stored.
  • the program is executed by a processor, the cross-media knowledge semantic expression method described in any of the above embodiments is implemented.
  • the beneficial effects of the present invention include: through the combination of semantic description and automaton, automatic mapping of knowledge of the first media expression to knowledge of the second media expression can be achieved, so that cross-media knowledge alignment can be achieved and identification of differences between different media can be achieved.
  • the corresponding relationship of multi-level components (topological structure) has high processing efficiency and high accuracy.
  • Figure 1 is a schematic flow chart of a cross-media knowledge semantic expression method provided by an embodiment of the present invention
  • Figure 2 is a schematic diagram of an application scenario of a cross-media knowledge semantic expression method provided by an embodiment of the present invention
  • Figure 3 is a structural block diagram of a cross-media knowledge semantic expression device provided by an embodiment of the present invention.
  • the embodiment of the present invention realizes the automatic mapping of the knowledge of the first media expression to the knowledge of the second media expression through the combination of semantic description and automata. In this way, cross-media knowledge alignment can be achieved and multi-level identification between different media can be achieved. Correspondence between components (topological structures), with high processing efficiency and high accuracy.
  • the cross-media knowledge semantic expression method of the embodiment of the present invention can be applied to ultrasound scanning, and the anatomical knowledge semantics corresponding to the medical tomography image (picture or video stream) describing the anatomical structure of the medical tissue is used to realize data collection.
  • the automaton maps the collected medical tomography image of the anatomical structure of the medical tissue to the three-dimensional medical image of the medical tissue, and aligns the non-visualized medical tomography image into the visualized three-dimensional medical image of the medical tissue.
  • the cross-media knowledge semantic expression method of the embodiment of the present invention can also be applied in other fields, such as the evaluation of the internal structure of parts during machine processing.
  • Embodiments of the present invention provide a cross-media knowledge semantic expression method.
  • the execution subject of the cross-media knowledge semantic expression method of the embodiment of the present invention can be any device with data processing capabilities, such as a computer or a mobile phone or other terminal device.
  • the cross-media knowledge semantic expression method in the embodiment of the present invention may include steps S101 to S104.
  • step S101 data collection is performed according to a preset semantic description, where the semantic description includes a limited semantic production set, and the limited semantic production set includes a plurality of semantic sentences, each semantic sentence is used to instruct data collection.
  • the topological structure of the target object to be collected the topological structure includes the substructure of the target object and the branches included in the substructure, and the semantic sentence is the first media expression method.
  • the cross-media knowledge semantic expression method is applied to ultrasound scanning.
  • the target object is the user to be scanned, and the topological structure is the anatomical structure of the user's medical tissue.
  • the medical tissue can be such as the heart, biliary tract, etc. system, liver or kidney, etc.
  • the anatomical structure of the heart can include: heart -> left atrium -> cavity, intima, and myocardium; heart -> right atrium -> cavity, intima, and myocardium.
  • step S101 specifically uses an ultrasound scanner to collect data according to the preset semantic description (see Figure 2).
  • the embodiment of the present invention does not specifically limit the type of the ultrasonic scanner.
  • the ultrasonic scanner may be a B-ultrasound scanning probe or other types of ultrasonic scanners.
  • the topological data information collected by the ultrasound scanner may include tomographic images of various parts of the anatomical structure (a topological structure may include multiple parts, each part being a substructure or branch).
  • the first media expression is the semantics of scanning tomography. Description: The semantic description of scanning tomography may not be understandable to non-ultrasound scanning medical workers. Therefore, it is necessary to use an automaton to align non-visualized medical tomography images into corresponding anatomical structures of medical tissues that can be understood by non-ultrasound scanning medical workers. 3D medical images.
  • the execution subject of the cross-media knowledge semantic expression method is a mobile phone 200.
  • Ultrasound scanning medical workers can obtain the topology of the target anatomical structure through a B-ultrasound scanning probe 100 according to the preset semantic description.
  • the medical tomography image, the medical tomography image of the topology of a certain anatomical structure obtained by scanning with the B-ultrasound scanning probe 100 can be transmitted to the APP installed on the mobile phone 200 through WiFi or other transmission methods (the three-dimensional medical image on the mobile phone 200 in Figure 2 schematically), a semantic description of anatomy defines the anatomical structure of the medical tissue (semantic description of anatomical knowledge in Figure 2, one line represents a semantic sentence) is input into the APP, and a semantic sentence is equivalent to an instruction to instruct the B-ultrasound scanning probe 100 Perform data collection to obtain medical tomography images of corresponding topological structures.
  • the semantic sentences in the embodiment of the present invention define the topological structure of the target anatomical structure.
  • the semantic symbols of each semantic sentence can instruct the ultrasound scanning medical worker to use the B-ultrasound scanning probe to obtain the tomographic image of the corresponding part and extract the segmentation boundary points through the APP.
  • the semantic sentence is displayed directly on the display interface of the APP, instructing the ultrasound scanning medical worker to use the B-ultrasound scanning probe to obtain the tomographic image of the corresponding part and extract the segmentation boundary points.
  • the segmentation boundary points are used to indicate the boundaries of each part in the anatomical structure.
  • the semantic description can be predefined by the user.
  • the expression of the semantic description G is:
  • V is a set of finite semantic productions
  • T is a finite vocabulary set, and V and T do not intersect;
  • S 0 is the starting variable of semantic description G, S 0 ⁇ V;
  • P is a finite semantic production set.
  • the finite semantic production set includes multiple productions. Each production is expressed as A ⁇ , where A is a semantic variable, A ⁇ V, and ⁇ is the set (V ⁇ T) * A string of semantic variables and vocabulary.
  • G pd (V, T, P, S 0 ) is implemented.
  • G pd is a semantic knowledge representation of anatomical structures based on a set of tomographic images:
  • V ⁇ S 0 ,S,F,M,L ⁇ ;
  • P includes:
  • the semantic symbol on the left side of " ⁇ " can be replaced by any semantic string on both sides of "
  • V correspond to organizational structures or substructures with one of the following semantics:
  • T corresponds to a segment of the organizational structure or substructure.
  • t represents the termination of the description of the organizational structure or substructure.
  • the semantics of other semantic symbols are as follows:
  • G pd describes the development of branches and mergers in the anatomy of medical tissue, which determines the kinds of topological structures that can be described (the kinds of topological structures that can be interpreted by automata). Every semantic sentence derived from G pd is an anatomical structure. describe. Although the geometry of the anatomy can change, the topology of the anatomy remains constant, so G pd uses recursive definitions of substructures and branches of the anatomy, so that G pd is able to describe very complex topologies (e.g., gallbladder and bile duct).
  • step S102 the data information of the topological structure obtained through data collection is input into a preset stack of automata corresponding to the semantic description.
  • the automaton is used for cross-media knowledge mapping.
  • the automaton includes a finite state set, An input vocabulary and a stack, the finite set of states is used to indicate the states included in the automaton, and the input vocabulary is used to indicate the vocabulary included in the automaton.
  • the expression of the automaton M is:
  • Q is a finite state set
  • ⁇ is an input vocabulary
  • ⁇ is a stack alphabet
  • ⁇ is a mapping from Q ⁇ ( ⁇ ) ⁇ to the finite subset Q ⁇ * , where ⁇ represents a lexical gap and ⁇ * is any combination of the stack alphabet;
  • q 0 is the initial state, q 0 ⁇ Q;
  • Z 0 ⁇ is the initial letter of the stack table
  • the automaton M corresponds to the semantic description G in step S101.
  • step S103 the data information is mapped through the automaton to obtain key frames corresponding to the substructures and/or branches of the target object collected by data collection.
  • mapping data information through an automaton to obtain key frames corresponding to substructures and/or branches of the target object collected by data collection the following steps may be included but are not limited to:
  • the automaton enters a new state until the new state is within the state contained in the terminal state set F or the stack is empty, where the stack letter Z refers to the generation of the previous topology structure All data information expressed by corresponding visual semantics.
  • the cross-media knowledge semantic expression method may also include the following steps: when the current state is within the state included in the finite state set Q, obtain the data information in the stack of the current input automaton. If the current state The data in the stack input to the automaton is a vocabulary gap ⁇ , the automaton does not need to process the data in the stack, and the automaton enters a new state until the new state is within the state included in the terminal state set F or the stack is empty .
  • the corresponding automaton M tg can be used to interpret the semantic sentences derived from G pd :
  • ⁇ is a mapping from Q ⁇ ( ⁇ ) ⁇ to the finite subset Q ⁇ * :
  • the automaton M tg sequentially reads the terminal string representing the tomography image (the string ⁇ includes the terminal string), and performs the operation according to the current state, the current input character (that is, the data information in the stack of the current input automaton) and the current For the letter on the top of the stack, a mapping operation ⁇ is taken from the above mapping set Q ⁇ ( ⁇ ) ⁇ to the finite subset Q ⁇ * to generate a key frame.
  • a stack letter Z ⁇ Z 0 , Z s , Z f , Z m , Z l ⁇ refers to all the information in the previous tomography image that can be used to generate the current tomography image.
  • the automaton corresponding to the semantic description is also input into the APP.
  • the automaton is used to interpret and generate scanning tomography.
  • the scanning tomography is matched with the three-dimensional medical image (the cross-media expression of knowledge semantics in Figure 2) to generate the anatomy of the medical tissue.
  • the keyframe i.e. the key image of the structure.
  • step S104 a visual semantic expression of the topological structure is generated based on the key frames corresponding to the substructures and/or branches of the target object collected by data collection, and the visual semantic expression is the second media expression method.
  • the cross-media knowledge semantic expression method is applied to ultrasound scanning.
  • the topological structure of the target object refers to the anatomical structure of the medical tissue.
  • the data information is the tomographic image of each part of the anatomical structure.
  • the first media expression method is the tomographic scan.
  • Semantic description the second media expression is the three-dimensional medical image corresponding to the anatomical structure of the medical tissue.
  • the cross-media knowledge semantic expression method of the embodiment of the present invention is used to align non-visualized medical tomography images into three-dimensional medical images corresponding to the anatomical structures of medical tissues that can be understood by non-ultrasound scanning medical workers.
  • the present invention also provides an embodiment of a cross-media knowledge semantic expression device.
  • an embodiment of the present invention provides a cross-media knowledge semantic expression device, including a memory and one or more processors.
  • the memory stores executable code.
  • processors execute the executable code, use To implement the cross-media knowledge semantic expression method in the above embodiment.
  • the embodiments of the cross-media knowledge semantic expression device provided by the embodiments of the present invention can be applied to any device with data processing capabilities, and any device with data processing capabilities can be a device or device such as a computer.
  • the device embodiments may be implemented by software, or may be implemented by hardware or a combination of software and hardware. Taking software implementation as an example, as a logical device, it is formed by reading the corresponding computer program instructions in the non-volatile memory into the memory and running them through the processor of any device with data processing capabilities. From the hardware level, as shown in Figure 3, it is a hardware structure diagram of any device with data processing capabilities where the cross-media knowledge semantic expression device provided by the embodiment of the present invention is located.
  • any device with data processing capabilities where the device in the embodiment is located may also include other hardware based on the actual functions of any device with data processing capabilities. This will not be discussed here. Repeat.
  • the device embodiment since it basically corresponds to the method embodiment, please refer to the partial description of the method embodiment for relevant details.
  • the device embodiments described above are only illustrative.
  • the units described as separate components may or may not be physically separated.
  • the components shown as units may or may not be physical units, that is, they may be located in One location, or it can be distributed across multiple network units. Some or all of the modules can be selected according to actual needs to achieve the purpose of the solution of the present invention. Persons of ordinary skill in the art can understand and implement the method without any creative effort.
  • Embodiments of the present invention also provide a computer-readable storage medium on which a program is stored.
  • the program is executed by a processor, the cross-media knowledge semantic expression method in the above embodiments is implemented.
  • the computer-readable storage medium may be an internal storage unit of any device with data processing capabilities as described in any of the foregoing embodiments, such as a hard disk or a memory.
  • the computer-readable storage medium can also be an external storage device of any device with data processing capabilities, such as a plug-in hard disk, smart memory card (Smart Media Card, SMC), SD card, flash memory card equipped on the device (Flash Card) etc.
  • the computer-readable storage medium may also include both an internal storage unit and an external storage device of any device with data processing capabilities.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by any device with data processing capabilities, and can also be used to temporarily store data that has been output or is to be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种跨媒体知识语义表达方法和装置，所述方法包括：根据预设的语义描述，进行数据采集，语义描述包括一有限语义产生式集合；将数据采集获得的拓扑结构的数据信息输入预设的与语义描述对应的自动机的堆栈中，自动机用于进行跨媒体知识映射，自动机包括一有限状态集、一输入词汇表和一堆栈，有限状态集用于指示自动机所包括的状态，输入词汇表用于指示自动机所包括的词汇；通过自动机将数据信息进行映射，获得数据采集所采集的目标对象的子结构和/或分支分别对应的关键帧；根据数据采集所采集的目标对象的子结构和/或分支分别对应的关键帧，生成拓扑结构的可视化语义表达，可视化语义表达为第二种媒体表达方式。实现跨媒体知识对齐。

Description

一种跨媒体知识语义表达方法和装置 技术领域
本发明属于人工智能领域，尤其涉及一种跨媒体知识语义表达方法和装置。
背景技术
跨媒体知识对齐是识别不同媒体之间的子分支/元素的对应关系，跨媒体知识对齐负责对来自同一个目标对象的不同媒体信息的子分支/元素寻找对应关系，这个对应关系可以是时间维度的，也可以是空间维度的。跨媒体知识映射是将某一特定媒体数据中的信息映射至另一媒体；跨媒体知识对齐是识别不同媒体之间的部件、元素的对应关系；跨媒体融合是联合多个媒体的信息，进行目标预测(分类或者回归)；跨媒体协同学习是将信息富集的媒体上学习的知识迁移到信息匮乏的媒体，使各个媒体的学习互相辅助。
目前，对于跨媒体之间的知识表达是通过模型训练方式来实现的，这种模型训练方式需要大量的训练样本，处理效率低且准确度有限。
发明内容
本发明提供一种跨媒体知识语义表达方法和装置。
本发明实施例的第一方面提供一种跨媒体知识语义表达方法，所述方法包括：
根据预设的语义描述，进行数据采集，其中，所述语义描述包括一有限语义产生式集合，所述有限语义产生式集合包括多个语义句，每一语义句用于指示所述数据采集待采集的目标对象的拓扑结构，所述拓扑结构包括所述目标对象的子结构及所述子结构包括的分支，且所述语义句为第一种媒体表达方式；
将所述数据采集获得的所述拓扑结构的数据信息输入预设的与所述语义描述对应的自动机的堆栈中，其中，所述自动机用于进行跨媒体知识映射，所述自动机包括一有限状态集、一输入词汇表和一堆栈，所述有限状态集用于指示所述自动机所包括的状态，所述输入词汇表用于指示所述自动机所包括的词汇；
通过所述自动机将所述数据信息进行映射，获得所述数据采集所采集的所述目标对象的子结构和/或所述分支分别对应的关键帧；
根据所述数据采集所采集的所述目标对象的子结构和/或所述分支分别对应的关键帧，生成所述拓扑结构的可视化语义表达，所述可视化语义表达为第二种媒体表达方式。
可选地，所述语义描述G的表达式为：
G＝(V,T,P,S 0)；
其中，V是一有限语义产生式集合；
T是一有限词汇集，V与T不相交；
S 0是所述语义描述G的起始变量，S 0∈V；
P是一有限语义产生式集合，所述有限语义产生式集合包括多个产生式，每个产生式表示为A→α,其中，A是一语义变量，A∈V，α是集合(V∪T) *中的一串语义变量和词汇。
可选地，所述自动机M的表达式为：
M＝(Q,Σ,Γ,δ,q 0,Z 0,F)；
其中，Q是一有限状态集；
Σ是一个输入词汇表；
Γ是一堆栈字母表；
δ是从Q×(Σ∪{ε})×Γ到有限子集Q×Γ *的映射，其中ε代表词汇空缺，Γ *是堆栈字母表的任意组合；
q 0是初始状态，q 0∈Q；
Z 0∈Γ是堆栈表初始字母；
F是一个终止状态集，
Figure PCTCN2022099377-appb-000001
可选地，所述通过所述自动机将所述数据信息进行映射，获得所述数据采集所采集的所述目标对象的子结构和/或所述分支分别对应的关键帧，包括：
获取所述自动机的当前状态；
当所述当前状态在所述有限状态集Q所包含的状态内时，获取当前输入所述自动机的堆栈中的数据信息，若所述当前输入所述自动机的堆栈中的数据信息属于所述输入词汇表Σ中的词汇且堆栈字母Z在栈顶，则根据所述堆栈中的数据信息生成字符串γ，所述字符串γ能够用于生成所述目标对象的子结构和/或所述分支分别对应的关键帧，并且以字符串γ替代堆栈字母Z，所述自动机进入新状态，直至所述新状态在所述终止状态集F所包含的状态内或所述堆栈为空，γ∈Γ *，Z∈Γ，其中所述堆栈字母Z是指生成上一个拓扑结构对应的可视化语义表达的所有数据信息。
可选地，所述方法还包括：
若当前输入自动机的堆栈中的数据信息为词汇空缺，所述自动机则不处理所述堆栈中的数据信息，并且所述自动机进入新状态，直至所述新状态在所述终止状态集F所包含的状态内或所述堆栈为空。
可选地，所述跨媒体知识语义表达方法应用于超声扫描，所述目标对象的拓扑结构是指医学组织的解剖结构，所述数据信息为所述解剖结构各部位的断层扫描图像，所述第一种媒体表达方式为扫描断层的语义描述，所述第二种媒体表达方式为所述医学组织的解剖结构对应的三维医学图像。
可选地，所述根据预设的语义描述，进行数据采集，包括：
根据预设的语义描述，采用超声扫描器进行数据采集。
本发明实施例的第二方面提供一种跨媒体知识语义表达装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中任一项所述的跨媒体知识语义表达方法。
本发明实施例的第三方面提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中任一项所述的跨媒体知识语义表达方法。
本发明的有益效果包括：通过语义描述和自动机结合，实现第一种媒体表达方式的知识到第二种媒体表达方式的知识的自动映射，如此可实现跨媒体知识对齐，识别不同媒体之间的多层次成分(拓扑结构)的对应关系，处理效率高且准确度高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种跨媒体知识语义表达方法的流程示意图；
图2是本发明实施例提供的一种跨媒体知识语义表达方法的应用场景示意图；
图3是本发明实施例提供的一种跨媒体知识语义表达装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明实施例通过语义描述和自动机结合，实现第一种媒体表达方式的知识到第二种媒 体表达方式的知识的自动映射，如此可实现跨媒体知识对齐，识别不同媒体之间的多层次成分(拓扑结构)的对应关系，处理效率高且准确度高。
本发明实施例的跨媒体知识语义表达方法可应用于超声扫描，通过语义描述来描述医学组织的解剖结构的医学断层扫描图像(图片或视频流)对应的解剖学知识语义，实现数据采集，通过自动机将采集的医学组织的解剖结构的医学断层扫描图像映射到医学组织的三维医学图像，将非可视化的医学断层扫描图像对齐成可视化的医学组织的三维医学图像。应当理解地，本发明实施例的跨媒体知识语义表达方法也可应用在其他领域，如机器加工过程中零件内部结构评估。
本发明实施例提供一种跨媒体知识语义表达方法，本发明实施例的跨媒体知识语义表达方法的执行主体可以为任意具备数据处理能力的设备，如计算机或者手机等终端设备。
参见图1，本发明实施例中的跨媒体知识语义表达方法可包括步骤S101～S104。
其中，在步骤S101中，根据预设的语义描述，进行数据采集，其中，语义描述包括一有限语义产生式集合，有限语义产生式集合包括多个语义句，每一语义句用于指示数据采集待采集的目标对象的拓扑结构，拓扑结构包括目标对象的子结构及子结构包括的分支，且语义句为第一种媒体表达方式。
例如，参见图2，将跨媒体知识语义表达方法应用于超声扫描，目标对象则为待进行超声扫描的用户，拓扑结构则为用户的医学组织的解剖结构，该医学组织可以为诸如心脏、胆道系统、肝脏或者肾脏等。比如，以医学组织为心脏为例，心脏的解剖结构可以包括：心脏->左心房->腔、内膜、心肌；心脏->右心房->腔、内膜、心肌。
沿用将跨媒体知识语义表达方法应用于超声扫描的实施例，该步骤S101具体是根据预设的语义描述，采用超声扫描器进行数据采集(参见图2)。本发明实施例对超声扫描器的类型不做具体限定，例如，超声扫描器可以为B超扫描探头，也可以为其他类型的超声扫描器。
超声扫描器采集的拓扑结构的数据信息可包括解剖结构各部位(一个拓扑结构可包括多个部位，各部位为子结构或分支)的断层扫描图像，第一种媒体表达方式为扫描断层的语义描述，扫描断层的语义描述对于非超声扫描医学工作者可能无法理解，因此，需要通过自动机将非可视化的医学断层扫描图像对齐成非超声扫描医学工作者能够理解的医学组织的解剖结构对应的三维医学图像。
示例性地，参见图2，跨媒体知识语义表达方法的执行主体为手机200，超声扫描医学工作者可根据预设的语义描述，通过一个B超扫描探头100扫描获得目标解剖结构的拓扑结构的医学断层扫描图像，B超扫描探头100扫描获得的某个解剖结构的拓扑结构的医学断层扫描图像可通过WiFi或其他传输方式传入手机200安装的APP(图2中手机200上的三维医学 图像示意)，一个解剖学的语义描述定义了该医学组织的解剖结构(图2中解剖学知识语义描述，一行表示一个语义句)输入APP，一个语义句相当于一条指令，指示B超扫描探头100进行数据采集，获得对应的拓扑结构的医学断层扫描图像。
本发明实施例中的语义句定义了目标解剖结构的拓扑结构，每个语义句的语义符可以通过APP指示超声扫描医学工作者用B超扫描探头获取相应部位的断层扫描图像并提取分割边界点。例如，直接在APP的显示界面显示该语义句，指示超声扫描医学工作者用B超扫描探头获取相应部位的断层扫描图像并提取分割边界点。本发明实施例中，分割边界点用于指示解剖结构中各部位的边界。
语义描述可由用户预先定义，具体地，在一些实施例中，语义描述G的表达式为：
G＝(V,T,P,S 0)     (1)；
公式(1)中，V是一有限语义产生式集合；
T是一有限词汇集，V与T不相交；
S 0是语义描述G的起始变量，S 0∈V；
P是一有限语义产生式集合，有限语义产生式集合包括多个产生式，每个产生式表示为A→α,其中，A是一语义变量，A∈V，α是集合(V∪T) *中的一串语义变量和词汇。
示例性地，实施一个解剖学知识语义描述文法G pd＝(V,T,P,S 0)，G pd是基于一组断层扫描图像的解剖结构的语义知识表示：
V＝{S 0,S,F,M,L}；
T＝{c,f,m,l,e,t}；
其中，P包括：
S 0→S t|S S 0；
S→c|c S|F L|F M L；
F→f e|f S e；
M→m e|m S e|M M；
L→l e|l S e；
其中，“→”左边的语义符号可被“|”两边任一语义串替代。
V中的变量对应于具有以下语义之一的组织结构或子结构：
S 0、一个断层扫描；
S、一个包含单个分支或多个分支的组织结构或子结构；
F、多个分支的第一个分支；
L、多个分支的最后一个分支；
M、多个分支的其他分支(第一个分支和最后一个分支除外)。
除t外，T中的语义符对应于组织结构或子结构的一段，t表示组织结构或子结构描述的终止，其他语义符的语义如下：
c、主干组织或分支上的连续断层扫描图像段；
f、第一个分支上的第一个段；
l、第一个分支上的最后一个段；
m、多个分支的其他分支上的第一个段(第一个分支和最后一个分支除外)；
e、分支上的最后一个段(实际段的可用性可选)。
G pd描述医学组织解剖结构中分支和合并的发展，其决定了可以描述的拓扑结构的种类(拓扑结构的种类可以被自动机解释)，从G pd导出的每个语义句都是一个解剖结构描述。虽然解剖结构的几何形状可变化，但解剖结构的拓扑结构是保持不变的，因此G pd使用解剖结构的子结构和分支的递归定义，这样G pd就能够描述非常复杂的拓扑结构(如，胆囊及胆管)。
解剖结构的拓扑结构的一个例子如下：
Figure PCTCN2022099377-appb-000002
在步骤S102中，将数据采集获得的拓扑结构的数据信息输入预设的与语义描述对应的自动机的堆栈中，其中，自动机用于进行跨媒体知识映射，自动机包括一有限状态集、一输入词汇表和一堆栈，有限状态集用于指示自动机所包括的状态，输入词汇表用于指示自动机所包括的词汇。
在一些实施例中，自动机M的表达式为：
M＝(Q,Σ,Γ,δ,q 0,Z 0,F)     (2)；
公式(2)中，Q是一有限状态集；
Σ是一个输入词汇表；
Γ是一堆栈字母表；
δ是从Q×(Σ∪{ε})×Γ到有限子集Q×Γ *的映射，其中ε代表词汇空缺，Γ *是堆栈字母表的任意组合；
q 0是初始状态，q 0∈Q；
Z 0∈Γ是堆栈表初始字母；
F是一个终止状态集，
Figure PCTCN2022099377-appb-000003
该步骤中，自动机M与步骤S101中的语义描述G相对应。
在步骤S103中，通过自动机将数据信息进行映射，获得数据采集所采集的目标对象的子结构和/或分支分别对应的关键帧。
具体地，在通过自动机将数据信息进行映射，获得数据采集所采集的目标对象的子结构和/或分支分别对应的关键帧时，可包括但不限于如下步骤：
S1031、自初始状态q 0∈Q，执行Q×(Σ∪{ε})×Γ到有限子集Q×Γ *的映射，获取自动机的当前状态q；
S1032、当当前状态q在有限状态集Q所包含的状态内(即q∈Q)时，获取当前输入自动机的堆栈中的数据信息Z∈Γ，若当前输入自动机的堆栈中的数据信息属于输入词汇表Σ中的词汇且堆栈字母Z在栈顶，则根据堆栈中的数据信息生成字符串γ，γ∈Γ *，字符串γ能够用于生成目标对象的子结构和/或分支分别对应的关键帧，并且以字符串γ替代堆栈字母Z，自动机进入新状态，直至新状态在终止状态集F所包含的状态内或堆栈为空，其中堆栈字母Z是指生成上一个拓扑结构对应的可视化语义表达的所有数据信息。
进一步地，在一些实施例中，跨媒体知识语义表达方法还可包括如下步骤：当当前状态在有限状态集Q所包含的状态内时，获取当前输入自动机的堆栈中的数据信息，若当前输入自动机的堆栈中的数据信息为词汇空缺ε，自动机则不需处理堆栈中的数据信息，并且自动机进入新状态，直至新状态在终止状态集F所包含的状态内或堆栈为空。
在一可行的实现方式中，自动机映射数据信息的过程如下：
(1)置自动机M的初始状态为q 0；
(2)当条件(自动机M的当前状态q∈Q)满足时，循环执行{
(3)当条件(当前输入自动机的堆栈中的数据信息a∈Σ，并且堆栈字母Z∈Γ在栈顶)满足时，执行{
(4)自动机M进入新状态q∈Q；
(5)以字符串γ∈Γ *替代堆栈字母Z}；
(6)否则，若(当前输入自动机的堆栈中的数据信息a＝ε)执行{
(7)自动机M忽略输入词汇，进入新状态q∈Q；
(8)以字符串γ∈Γ *替代堆栈字母Z}；
(9)若(新状态q∈F或堆栈变空)；
(10)停机。
(11)否则，
(12)继续执行循环}。
对应于上述实施例中的G pd，相应的自动机M tg可以用来解释G pd导出的语义句：
Figure PCTCN2022099377-appb-000004
Q＝{q 0,q s,q b,q f,q m,q l,q e}；
Σ＝{c,f,m,l,e,t},Γ＝{Z 0,Z s,Z f,Z m,Z l}；
Figure PCTCN2022099377-appb-000005
δ是从Q×(Σ∪{ε})×Γ到有限子集Q×Γ *的映射：
δ(q 0,t,Z 0)＝{(q 0,ε)}、δ(q s,c,Z s)＝{(q s,Z s)}；
δ(q 0,c,Z 0)＝{(q s,Z s)}、δ(q s,f,Z s)＝{(q f,Z fZ s)}；
δ(q 0,f,Z 0)＝{(q f,Z fZ 0)}；
δ(q f,c,Z f)＝{(q f,Z f)}；
δ(q f,f,Z f)＝{(q f,Z fZ f)}；
δ(q f,e,Z f)＝{(q b,ε)}；
δ(q b,m,Z 0)＝{(q m,Z mZ 0)}、δ(q b,l,Z 0)＝{(q l,Z lZ 0)}；
δ(q b,m,Z s)＝{(q m,Z mZ s)}、δ(q b,l,Z s)＝{(q l,Z lZ s)}；
δ(q b,m,Z f)＝{(q m,Z mZ f)}、δ(q b,l,Z f)＝{(q l,Z lZ f)}；
δ(q b,m,Z m)＝{(q m,Z mZ m)}、δ(q b,l,Z m)＝{(q l,Z lZ m)}；
δ(q b,m,Z l)＝{(q m,Z mZ l)}、δ(q b,l,Z l)＝{(q l,Z lZ l)}；
δ(q m,c,Z m)＝{(q m,Z m)}、δ(q l,c,Z l)＝{(q l,Z l)}；
δ(q m,f,Z m)＝{(q f,Z fZ m)}、δ(q l,f,Z l)＝{(q f,Z fZ l)}；
δ(q m,e,Z m)＝{(q b,ε)}、δ(q l,e,Z l)＝{(q e,ε)}；
δ(q e,ε,Z 0)＝{(q 0,Z 0)}；
δ(q e,ε,Z s)＝{(q s,Z s)}；
δ(q e,ε,Z f)＝{(q f,Z f)}；
δ(q e,ε,Z m)＝{(q m,Z m)}；
δ(q e,ε,Z l)＝{(q l,Z l)}。
自动机M tg按顺序读取表示断层扫描图像的终端字符串(字符串γ包括该终端字符串)，并根据当前状态、当前输入字符(即当前输入自动机的堆栈中的数据信息)和当前栈顶字母，从上述Q×(Σ∪{ε})×Γ到有限子集Q×Γ *的映射集中采取一个映射操作δ来生成关键帧。使用空堆栈作为成功解释拓扑结构的语义描述的信号，因此没有明确定义最终状态
Figure PCTCN2022099377-appb-000006
一个堆栈字母Z∈{Z 0,Z s,Z f,Z m,Z l}是指前一个断层扫描图像中可用于生成当前断层扫描图像的所有信息。
参见图2，与语义描述对应的自动机也输入APP，自动机用于解释产生扫描断层，该扫描断层与三维医学图像匹配(图2中的知识语义跨媒体表达)，生成该医学组织的解剖结构的关键帧(即关键图像)。
在步骤S104中，根据数据采集所采集的目标对象的子结构和/或分支分别对应的关键帧，生成拓扑结构的可视化语义表达，可视化语义表达为第二种媒体表达方式。
示例性地，跨媒体知识语义表达方法应用于超声扫描，目标对象的拓扑结构是指医学组织的解剖结构，数据信息为解剖结构各部位的断层扫描图像，第一种媒体表达方式为扫描断层的语义描述，第二种媒体表达方式为医学组织的解剖结构对应的三维医学图像。利用本发明实施例的跨媒体知识语义表达方法，将非可视化的医学断层扫描图像对齐成非超声扫描医学工作者能够理解的医学组织的解剖结构对应的三维医学图像。
与前述跨媒体知识语义表达方法的实施例相对应，本发明还提供了一种跨媒体知识语义 表达装置的实施例。
参见图3，本发明实施例提供的一种跨媒体知识语义表达装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，一个或多个处理器执行可执行代码时，用于实现上述实施例中的跨媒体知识语义表达方法。
本发明实施例提供的跨媒体知识语义表达装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明实施例提供的跨媒体知识语义表达装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的跨媒体知识语义表达方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来 说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

  1. 一种跨媒体知识语义表达方法，其特征在于，所述方法包括：
    根据预设的语义描述，进行数据采集，其中，所述语义描述包括一有限语义产生式集合，所述有限语义产生式集合包括多个语义句，每一语义句用于指示所述数据采集待采集的目标对象的拓扑结构，所述拓扑结构包括所述目标对象的子结构及所述子结构包括的分支，且所述语义句为第一种媒体表达方式；
    将所述数据采集获得的所述拓扑结构的数据信息输入预设的与所述语义描述对应的自动机的堆栈中，其中，所述自动机用于进行跨媒体知识映射，所述自动机包括一有限状态集、一输入词汇表和一堆栈，所述有限状态集用于指示所述自动机所包括的状态，所述输入词汇表用于指示所述自动机所包括的词汇；
    通过所述自动机将所述数据信息进行映射，获得所述数据采集所采集的所述目标对象的子结构和/或所述分支分别对应的关键帧；
    根据所述数据采集所采集的所述目标对象的子结构和/或所述分支分别对应的关键帧，生成所述拓扑结构的可视化语义表达，所述可视化语义表达为第二种媒体表达方式。
  2. 根据权利要求1所述的跨媒体知识语义表达方法，其特征在于，所述语义描述G的表达式为：
    G＝(V,T,P,S 0)；
    其中，V是一有限语义产生式集合；
    T是一有限词汇集，V与T不相交；
    S 0是所述语义描述G的起始变量，S 0∈V；
    P是一有限语义产生式集合，所述有限语义产生式集合包括多个产生式，每个产生式表示为A→α,其中，A是一语义变量，A∈V，α是集合(V∪T) *中的一串语义变量和词汇。
  3. 根据权利要求1或2所述的跨媒体知识语义表达方法，其特征在于，所述自动机M的表达式为：
    M＝(Q,Σ,Γ,δ,q 0,Z 0,F)；
    其中，Q是一有限状态集；
    Σ是一个输入词汇表；
    Γ是一堆栈字母表；
    δ是从Q×(Σ∪{ε})×Γ到有限子集Q×Γ *的映射，其中ε代表词汇空缺，Γ *是堆栈字母表的任意组合；
    q 0是初始状态，q 0∈Q；
    Z 0∈Γ是堆栈表初始字母；
    F是一个终止状态集，
    Figure PCTCN2022099377-appb-100001
  4. 根据权利要求3所述的跨媒体知识语义表达方法，其特征在于，所述通过所述自动机将所述数据信息进行映射，获得所述数据采集所采集的所述目标对象的子结构和/或所述分支分别对应的关键帧，包括：
    获取所述自动机的当前状态；
    当所述当前状态在所述有限状态集Q所包含的状态内时，获取当前输入所述自动机的堆栈中的数据信息，若所述当前输入所述自动机的堆栈中的数据信息属于所述输入词汇表Σ中的词汇且堆栈字母Z在栈顶，则根据所述堆栈中的数据信息生成字符串γ，所述字符串γ能够用于生成所述目标对象的子结构和/或所述分支分别对应的关键帧，并且以字符串γ替代堆栈字母Z，所述自动机进入新状态，直至所述新状态在所述终止状态集F所包含的状态内或所述堆栈为空，γ∈Γ *，Z∈Γ，其中所述堆栈字母Z是指生成上一个拓扑结构对应的可视化语义表达的所有数据信息。
  5. 根据权利要求4所述的跨媒体知识语义表达方法，其特征在于，所述方法还包括：
    若当前输入自动机的堆栈中的数据信息为词汇空缺，所述自动机则不处理所述堆栈中的数据信息，并且所述自动机进入新状态，直至所述新状态在所述终止状态集F所包含的状态内或所述堆栈为空。
  6. 根据权利要求1所述的跨媒体知识语义表达方法，其特征在于，所述跨媒体知识语义表达方法应用于超声扫描，所述目标对象的拓扑结构是指医学组织的解剖结构，所述数据信息为所述解剖结构各部位的断层扫描图像，所述第一种媒体表达方式为扫描断层的语义描述，所述第二种媒体表达方式为所述医学组织的解剖结构对应的三维医学图像。
  7. 根据权利要求6所述的跨媒体知识语义表达方法，其特征在于，所述根据预设的语义描述，进行数据采集，包括：
    根据预设的语义描述，采用超声扫描器进行数据采集。
  8. 一种跨媒体知识语义表达装置，其特征在于，包括存储器和一个或多个处理器，所述存储 器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的跨媒体知识语义表达方法。
  9. 一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的跨媒体知识语义表达方法。
PCT/CN2022/099377 2022-06-17 2022-06-17 一种跨媒体知识语义表达方法和装置 WO2023240584A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/099377 WO2023240584A1 (zh) 2022-06-17 2022-06-17 一种跨媒体知识语义表达方法和装置
US18/491,818 US20240046675A1 (en) 2022-06-17 2023-10-23 Cross-media knowledge semantic representation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/099377 WO2023240584A1 (zh) 2022-06-17 2022-06-17 一种跨媒体知识语义表达方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/491,818 Continuation US20240046675A1 (en) 2022-06-17 2023-10-23 Cross-media knowledge semantic representation method and apparatus

Publications (1)

Publication Number Publication Date
WO2023240584A1 true WO2023240584A1 (zh) 2023-12-21

Family

ID=89192851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/099377 WO2023240584A1 (zh) 2022-06-17 2022-06-17 一种跨媒体知识语义表达方法和装置

Country Status (2)

Country Link
US (1) US20240046675A1 (zh)
WO (1) WO2023240584A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574507A (zh) * 2015-01-14 2015-04-29 清华大学 基于多幅断层扫描图像的三维实体构建方法
CN112991479A (zh) * 2021-03-05 2021-06-18 深圳英美达医疗技术有限公司 一种超声三维扫描图像重建方法及重建系统
US20210216545A1 (en) * 2020-01-15 2021-07-15 International Business Machines Corporation Automated management of data transformation flows based on semantics
CN113192069A (zh) * 2021-06-03 2021-07-30 清华大学 三维断层扫描图像中树状结构的语义分割方法和装置
CN114300097A (zh) * 2021-12-30 2022-04-08 深圳开立生物医疗科技股份有限公司 一种超声检查报告生成方法、装置及电子设备和存储介质
CN114533111A (zh) * 2022-01-12 2022-05-27 电子科技大学 一种基于惯性导航系统的三维超声重建系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574507A (zh) * 2015-01-14 2015-04-29 清华大学 基于多幅断层扫描图像的三维实体构建方法
US20210216545A1 (en) * 2020-01-15 2021-07-15 International Business Machines Corporation Automated management of data transformation flows based on semantics
CN112991479A (zh) * 2021-03-05 2021-06-18 深圳英美达医疗技术有限公司 一种超声三维扫描图像重建方法及重建系统
CN113192069A (zh) * 2021-06-03 2021-07-30 清华大学 三维断层扫描图像中树状结构的语义分割方法和装置
CN114300097A (zh) * 2021-12-30 2022-04-08 深圳开立生物医疗科技股份有限公司 一种超声检查报告生成方法、装置及电子设备和存储介质
CN114533111A (zh) * 2022-01-12 2022-05-27 电子科技大学 一种基于惯性导航系统的三维超声重建系统

Also Published As

Publication number Publication date
US20240046675A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
US11861829B2 (en) Deep learning based medical image detection method and related device
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
CA3061432A1 (en) Identifying entities in electronic medical records
WO2021208601A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
TW202042181A (zh) 深度模型訓練方法及裝置、電子設備及儲存介質
JP2009087038A (ja) 画像処理装置および画像処理方法
CN110767292A (zh) 病理编号识别方法、信息识别方法、装置及信息识别系统
US10650923B2 (en) Automatic creation of imaging story boards from medical imaging studies
CN113888541B (zh) 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
JP2021514773A (ja) 医用画像データの表示
JP2022166215A (ja) 文字位置決めモデルのトレーニング方法及び文字位置決め方法
CN110162757B (zh) 一种表格结构提取方法及系统
WO2023240584A1 (zh) 一种跨媒体知识语义表达方法和装置
US20220012434A1 (en) Contextual diagram-text alignment through machine learning
WO2024093099A1 (zh) 甲状腺超声图像处理方法、装置、介质及电子设备
CN117079291A (zh) 图像轨迹确定方法、装置、计算机设备和存储介质
CN110147791A (zh) 文字识别方法、装置、设备及存储介质
CN114781400B (zh) 一种跨媒体知识语义表达方法和装置
CN115661037A (zh) 一种胶囊内镜辅助检测方法、装置、系统、设备及介质
WO2022127318A1 (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN112700862B (zh) 目标科室的确定方法、装置、电子设备及存储介质
CN111968111A (zh) 一种ct图像的脏器或伪影辨别方法及装置
CN111863206A (zh) 一种图像预处理方法、装置、设备及存储介质
US11810396B2 (en) Image annotation using prior model sourcing
Clanuwat et al. [B23] KuroNet: End-to-end Kuzushiji Transcription System for Understanding Historical Documents

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946273

Country of ref document: EP

Kind code of ref document: A1