TWI825633B - 影像處理方法、影像處理裝置及影像處理系統 - Google Patents

影像處理方法、影像處理裝置及影像處理系統 Download PDF

Info

Publication number
TWI825633B
TWI825633B TW111111079A TW111111079A TWI825633B TW I825633 B TWI825633 B TW I825633B TW 111111079 A TW111111079 A TW 111111079A TW 111111079 A TW111111079 A TW 111111079A TW I825633 B TWI825633 B TW I825633B
Authority
TW
Taiwan
Prior art keywords
image
target
original image
processor
target object
Prior art date
Application number
TW111111079A
Other languages
English (en)
Other versions
TW202338733A (zh
Inventor
陳尹宗
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW111111079A priority Critical patent/TWI825633B/zh
Priority to CN202210433612.4A priority patent/CN116844700A/zh
Priority to US17/840,635 priority patent/US20230306763A1/en
Publication of TW202338733A publication Critical patent/TW202338733A/zh
Application granted granted Critical
Publication of TWI825633B publication Critical patent/TWI825633B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明實施例提供一種影像處理方法、影像處理裝置及影像處理系統。在方法中，決定原始影像中的目標物，以產生標註結果。標註結果包括目標物在原始影像中的位置。依據標註結果產生目標物的多個目標影像。那些目標影像是自原始影像提取出目標物的影像並改變目標物的影像的影像尺寸所產生的。依據縮放操作結合對應的目標影像及原始影像。這縮放操作用以改變顯示原始影像的影像尺寸。藉此，可提升檢視及標記的效率。

Description

影像處理方法、影像處理裝置及影像處理系統
本發明是有關於一種影像處理技術，且特別是有關於一種影像處理方法、影像處理裝置及影像處理系統。
高解析度的多階層細胞影像(Whole Slide Image，WSI)不受限於傳統玻璃切片解析病理的方式觀看，使用上更加方便有效率，從而輔助專業人士的判定。由於這類影像是模仿人透過顯微鏡觀看的景象，因此完整的高解析度多階層細胞影像檔案是相當龐大。此外，需要透過影像處理函式庫(例如，OpenSlide Library)讀取多階層細胞影像檔案(例如，附檔名為svs、tiff、ndpi)，從而可供使用者觀看各個階層影像之細節。
值得注意的是，對如此龐大的影像進行病灶相關的人工判讀需要逐一檢視各區塊以得出結果。雖然目前市售的病理系統有提供標註功能，但須顧及資料的完整性而無法儲存標註後的影像。因此，病理系統每次開啟影像檔案都需要重新判讀每個細節， 進而降低判讀的效率。
有鑑於此，本發明實施例提供一種影像處理方法、影像處理裝置及影像處理系統，可在瀏覽影像的過程中快速提供病灶標記結果。
本發明實施例的影像處理方法包括(但不僅限於)下列步驟：決定原始影像中的目標物，以產生標註結果。標註結果包括目標物在原始影像中的位置。依據標註結果產生目標物的多個目標影像。那些目標影像是自原始影像提取出目標物的影像並改變目標物的影像的影像尺寸所產生的。依據縮放操作結合對應的目標影像及原始影像。這縮放操作用以改變顯示原始影像的影像尺寸。
本發明實施例的影像處理裝置包括(但不僅限於)儲存器及處理器。儲存器用以儲存程式碼。處理器耦接儲存器。處理器經配置用以載入且執行程式碼以決定原始影像中的目標物以產生標註結果，依據標註結果產生目標物的多個目標影像，並依據縮放操作結合對應的目標影像及原始影像。標註結果包括目標物在原始影像中的位置。那些目標影像是自原始影像提取出目標物的影像並改變目標物的影像的影像尺寸所產生的。這縮放操作用以改變顯示原始影像的影像尺寸。
本發明實施例的影像處理系統包括(但不僅限於)檢視器 伺服器及推論伺服器。推論伺服器決定原始影像中的目標物，以產生標註結果。標註結果包括目標物在原始影像中的位置。推論伺服器依據標註結果產生目標物的多個目標影像。那些目標影像是自原始影像提取出目標物的影像並改變目標物的影像的影像尺寸所產生的。檢視器伺服器依據縮放操作結合對應的目標影像及原始影像。縮放操作用以改變顯示原始影像的影像尺寸。
基於上述，依據本發明實施例的影像處理方法、影像處理裝置及影像處理系統，產生不同影像尺寸的目標影像，並反應於縮放操作而結合對應影像尺寸的目標影像及原始影像。藉此，可對高解析度影像提供高效率的標註功能。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:影像處理裝置
110:儲存器
120:輸入裝置
130:顯示器
150:處理器
S210~S250、S71~S77、S1001~S1012:步驟
SO:操作選項
TH1:縮圖區
SCI:比例指示
MI1、IM、MI2、MI3:原始影像
T1:感興趣區域
L0~L3:階層
TM2、TM3、MK:目標影像
CI2、CI3:結合影像
9:影像處理系統
910:檢視器伺服器
920:影像伺服器
930:推論伺服器
940:網頁瀏覽器
950:本地資料夾
911:檢視器使用者介面
912:多層圖片處理函式庫
913:網頁應用架構
914:影像處理函式庫
SF:靜態路徑
IF:檔案位置/路徑
圖1是依據本發明一實施例的影像處理裝置的元件方塊圖。
圖2是依據本發明一實施例的影像處理方法的流程圖。
圖3是依據本發明一實施例說明檢視器顯示原始影像的示意圖。
圖4是依據本發明一實施例說明標註結果的示意圖。
圖5是依據本發明一實施例說明多層映射的示意圖。
圖6A是一範例說明某一階層的原始影像。
圖6B是一範例說明某一階層的目標影像。
圖7A是一範例說明另一階層的原始影像。
圖7B是一範例說明另一階層的目標影像。
圖8A是一範例說明某一階層的結合影像。
圖8B是一範例說明另一階層的結合影像。
圖9是依據本發明一實施例的影像處理系統的示意圖及其處理影像的流程圖。
圖10是依據本發明一實施例影像結合的流程圖。
圖1是依據本發明一實施例的影像處理裝置100的元件方塊圖。請參照圖1，影像處理裝置100包括儲存器110及處理器150。影像處理裝置100可以是桌上型電腦、筆記型電腦、智慧型手機、平板電腦、伺服器、醫療檢測儀器或其他運算裝置。
儲存器110可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，儲存器110用以記錄程式碼、軟體模組、組態配置、資料或檔案(例如，原始影像、目標影像、結合影像及標註結果)。
處理器150耦接儲存器110。處理器150可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器150用以執行影像處理裝置100的所有或部份作業，且可載入並執行儲存器110所記錄的各程式碼、軟體模組、檔案及資料。
在一些實施例中，影像處理裝置100更包括輸入裝置120。輸入裝置120可以是觸控面板、滑鼠、鍵盤、軌跡球、開關或按鍵。在一實施例中，輸入裝置120用以接收使用者操作。例如，滑動、觸碰、按壓、或點擊操作。
在一些實施例中，影像處理裝置100更包括顯示器130。顯示器130可以是液晶顯示器(Liquid-Crystal Display，LCD)、(Light-Emitting Diode，LED)顯示器、有機發光二極體(Organic Light-Emitting Diode，OLED)、量子點顯示器(Quantum dot display)或其他類型顯示器。在一實施例中，顯示器130用以顯示影像。
下文中，將搭配影像處理裝置100中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖2是依據本發明一實施例的影像處理方法的流程圖。請參照圖2，處理器150決定原始影像中的目標物，以產生標註結 果(步驟S210)。具體而言，原始影像可以是醫療影像、監控影像、產品影像或人物影像，但本發明實施例不加以限制其類型。例如，原始影像是多階層細胞影像(Whole Slide Image，WSI)、供產線使用的瑕疵檢測影像、或路口監視影像。另須說明的是，為了方便說明，下文的內容僅以醫療影像作為範例，但本發明實施例仍可適用於其他類型的影像。
在一實施例中，處理器150提供檢視器以顯示原始影像。檢視器例如是網頁瀏覽器或圖片瀏覽器。在一些實施例中，處理器150可透過顯示器130顯示檢視器，進而呈現原始影像。
舉例而言，圖3是依據本發明一實施例說明檢視器顯示原始影像的示意圖。請參照圖3，檢視器的介面提供操作選項SO、縮圖區TH1及比例指示SCI，並可呈現原始影像MI1。操作選項SO例如是放大、縮小、向左及向右的虛擬按鈕，並可透過輸入裝置120接收使用者的點擊操作而放大、縮小、向左移動或向右移動原始影像MI1。縮圖區TH1呈現縮圖化的原始影像MI1。比例指示SCI用於指示檢視器所呈現的原始影像MI1的縮放比例。
標註結果包括目標物在原始影像中的位置。處理器150可對原始影像進行物件偵測以得出目標物及其位置。物件偵測例如是確定原始影像中對應於目標物(例如，人、病灶、非生物體或其部位的物件)的感興趣區域(Region of Interest，ROI)。這感興趣區域可涵蓋目標物的整體或部分。例如，圖4是依據本發明一實施例說明標註結果的示意圖。請參照圖4，感興趣區域T1是以定 界框(bounding box)圈選原始影像MI1中的病灶(即，目標物)。
在一實施例中，感興趣區域的形狀大致或完成符合目標物在原始影像中的輪廓，從而確定目標物在原始影像中的所有或部分的占用像素。
在一實施例中，處理器150可進一步辨識目標物的類型(例如，腫塊、病變、男性或女性、狗或貓、桌或椅等)。
在一實施例中，處理器150例如可應用基於神經網路的演算法(例如，YOLO(You only look once)、基於區域的卷積神經網路(Region Based Convolutional Neural Networks，R-CNN)、或快速R-CNN(Fast CNN))或是基於特徵匹配的演算法(例如，方向梯度直方圖(Histogram of Oriented Gradient，HOG)、Harr、或加速穩健特徵(Speeded Up Robust Features，SURF)的特徵比對)實現物件偵測。
須說明的是，本發明實施例不加以限制物件偵測所用的演算法。在一實施例中，前述物件偵測也可能是由外部裝置執行並提供標註結果給影像處理裝置100。在另一實施例中，標註結果也可能是透過輸入裝置120接收使用者在檢視器上針對目標物的標記操作所得出。
請參照圖2，處理器150依據標註結果產生目標物的多個目標影像(步驟S230)。具體而言，自原始影像提取出目標物的影像後，改變目標影像的影像尺寸可產生多個目標影像。在一實施例中，任一目標影像可能僅包括目標物。即，原始影像中不為目 標物的區域將被去除。例如，影像去背。
在一實施例中，標註結果包括遮罩陣列(mask array)。遮罩陣列的大小完全或大致相同於原始影像的影像尺寸。例如，遮罩陣列中的元素(element)與原始影像中的像素是一對一。或者，元素與像素是一對多或多對一。遮罩陣列記錄目標物在原始影像中的位置。遮罩陣列包括第一值及第二值。例如，第一值是0或1中的一者，且第二值是0或1的另一者。這遮罩陣列中具有第一值的元素代表其在原始影像中的對應區域(包括一個或更多個像素)有目標物，且這遮罩陣列中具有第二值的另一元素代表其在原始影像中的對應區域(包括一個或更多個像素)未有目標物。
舉例而言，表(1)是一範例說明遮罩陣列：
Figure 111111079-A0305-02-0010-1
 “1”(即，第一值)代表原始影像的對應區域有目標物，且“0”(即， 第二值)代表原始影像的對應區域未有目標物。基於表(1)，可得知目標物成三角形。
在一實施例中，處理器150可提取遮罩陣列中具有第一值的元素在原始影像中的對應區域(即，有目標物的影像區域)。例如，處理器150可提取這區域上的各像素的色彩值、灰階值或感測強度值。此外，處理器150依據提取的區域產生目標影像。例如，將提取的區域覆蓋在空白或指定背景的影像(其影像尺寸相同或大致相同於原始影像)或是將提取的區域轉換成特定顏色、網底、半透明圖層或其他視覺強調標記。此外，所提取的區域在目標影像中的位置相同於其在原始影像中的位置。
在一實施例中，處理器150可去除遮罩陣列中具有第二值的元素在原始影像中的對應區域。例如，處理器150可比對遮罩陣列及原始影像，並將原始影像中具有第二值的影像區域轉換成特定顏色或套用特定背景，例如套用透明背景。
前述是針對一張目標影像的產生，以下說明針對單一原始影像的多張目標影像。在一實施例中，處理器150可自初始影像尺寸的原始影像提取出目標物的影像，以作為那些目標影像中的第一影像。此外，處理器150可將第一影像自初始影像尺寸改變成變化影像尺寸，以產生那些目標影像中的第二影像。換句而言，處理器150透過改變目標影像的影像尺寸來產生其他目標影像。在一實施例中，初始影像尺寸為變化影像尺寸的倍數，且處理器150可維持長寬比例並縮小或放大目標影像來產生另一張目 標影像。例如，處理器150對第一影像以像素除以二、三或五的方式等比例的方式縮小。在另一實施例中，處理器150可直接指定變化影像尺寸的值，而不一定繼續維持長寬比例。
在一實施例中，目標影像的數量等於原始影像的階層數。不同階層數對應於以不同比例縮放的原始影像。舉例而言，圖5是依據本發明一實施例說明多層映射的示意圖。請參照圖5，階層L0是原始比例的原始影像IM，階層L1是畫素縮小2倍的原始影像IM，階層L2是畫素縮小4倍的原始影像IM，且階層L3是畫素縮小8倍的原始影像IM。而各階層L0~L3的原始影像IM對應有相同影像尺寸的目標影像TM。假設階層L0對應於1024×1024的目標影像，處理器150可依序產生各階層的目標影像為1024/(2^x)×1024/(2^x)，中x為0~3。因此，階層L3的影像為128×128。須說明的是，階層的縮放倍數不以2為限，也並非固定。此外，階層數也可能是6、7、10或其他值。
在另一實施例中，處理器150也可能是縮小或放大原始影像，並針對改變影像尺寸的原始影像進行物件偵測，以得出各影像尺寸的目標影像。
舉例而言，圖6A是一範例說明某一階層的原始影像MI2。而圖6B是一範例說明某一階層的目標影像TM2。請參照圖6A及圖6B，目標影像TM2僅保留目標物。
圖7A是一範例說明另一階層的原始影像MI2。而圖7B是一範例說明另一階層的目標影像TM3。請參照圖7A及圖7B， 目標影像TM3僅保留目標物。
在一實施例中，處理器150可依據那些目標影像的影像尺寸決定那些目標影像的檔案位置/路徑。在檔案系統中，檔案位置/路徑相關於檔案名稱及/或目錄/資料夾。在一實施例中，目標影像的檔案名稱相關於影像尺寸對應的階層或影像尺寸。處理器150可依據目標影像的影像尺寸決定那些目標影像的檔案名稱。例如，六張目標影像的檔案名稱分別為Mask0、Mask1、Mask2、Mask3、Mask4及Mask5。處理器150可將這些目標影像儲存在相同或不同的資料夾。在另一實施例中，目標影像的目錄/資料夾相關於影像尺寸對應的階層。例如，三張目標影像分別儲存在資料夾F0、F1及F2。須說明的是，處理器150也可依據特定編碼或公式轉換對應階層成檔案位置。
在一實施例中，目標影像所儲存的檔案位置/路徑為靜態路徑。即，以固定的檔案路徑可找到對應的目標影像。在其他實施例中，目標影像的檔案位置/路徑可能是依據特定公式或對照表並基於特定因素而成為動態路徑。
請參照圖2，處理器150依據縮放操作結合對應的目標影像及原始影像(步驟S250)。具體而言，縮放操作用以改變顯示原始影像的影像尺寸。這縮放操作可透過輸入裝置120接收。例如，使用者操作是放大、縮小影像或直接改變成特定影像尺寸。縮放操作也可能是透過指令、訊息或訊號傳送，並用以驅動處理器150改變所呈現的影像尺寸。
在一實施例中，處理器150透過接收對檢視器所顯示的原始影像的縮放操作。以圖3為例，操作選項SO中的放大及縮小的虛擬按鈕可透過輸入裝置120接收使用者的點擊操作而放大或縮小。
在一實施例中，所提供縮放的階層數相同於目標影像的階層數。例如，檢視器可提供放大2倍、4倍、8倍及16倍，且提供四張目標影像。
在一實施例中，處理器150可依據縮放操作對應的影像尺寸選擇對應的目標影像，並結合選擇的目標影像與原始影像。即，先讀取目標影像再結合原始影像。在另一實施例中，處理器150可先結合相同影像尺寸的目標影像與原始影像，並依據縮放操作直接提供結合影像(即，結合目標影像及原始影像所產生的影像)。及，先結合再讀取結合影像。而結合影像的檔案位置可參酌前述針對目標影像的說明，且不再贅述。
圖8A是一範例說明某一階層的結合影像CI2。請參照圖6A、圖6B及圖8A，結合影像CI2是將目標影像TM2(如圖斜線網底部分)覆蓋於原始影像MI2上。
圖8B是一範例說明另一階層的結合影像CI3。請參照圖7A、圖7B及圖8B，結合影像CI3是將目標影像TM3(如圖斜線網底部分)覆蓋於原始影像MI2上。
在一實施例中，處理器150可將縮放操作對應的比例轉換成識別碼。例如，放大2倍的縮放操作轉換成“1”的識別碼。這 轉換可依據數學公式或對照表。處理器150可依據識別碼取得對應目標影像或結合影像的檔案位置。例如，“1”的識別碼對應於檔案名稱為“mask1”的目標影像。處理器150可依據所取得的檔案位置取得一張相符的目標影像。或者，處理器150可依據所取得的檔案位置取得相符的結合影像。
在一實施例中，處理器150可透過顯示器130顯示原始影像、目標影像及/或結合影像。
此外，本發明更提供一種影像處理系統。而影像處理裝置100的全部或部分功能可分別在系統中的不同獨立裝置上實現。圖9是依據本發明一實施例的影像處理系統9的示意圖及其處理影像的流程圖。請參照圖9，影像處理系統9包括(但不僅限於)檢視器伺服器910、影像伺服器920及推論伺服器930。
檢視器伺服器910例如是網頁伺服器，並用以供網頁瀏覽器940(即，檢視器)檢視、找尋、儲存或存取。檢視器伺服器910包括(但不僅限於)檢視器使用者介面(User Interface，UI)911、多層圖片處理函式庫912(例如，OpenSeaDragon)、網頁應用架構913(例如，Python Flask)及影像處理函式庫914(例如，OpenSlide)。
例如，前端所採用OpenSeaDragon是一套基於網頁服務架構的開放原始碼軟體(Open Source Software，OSS)，透過網頁瀏覽器940即可觀看可縮放的影像，更利於使用者檢視高解析度的多階層影像。而後端所採用的Openslide的優點是可解析諸如副檔名為svs、tiff、ndpi的大型檔案，並可透過Python Flask框架來實 現後端系統。
影像伺服器920包括儲存器921，並用以供目標影像MK、原始影像IM及/或結合影像儲存或讀取(即，檔案管理所用)。
推論伺服器930包括推論模型931(例如，基於神經網路)，並用以偵測原始影像IM中的目標物。
影像伺服器920可接收來自本地資料夾945的原始影像IM，且儲存在預設設定的靜態或動態資料夾(步驟S71)。影像伺服器920可將原始影像IM提供給推論伺服器(步驟S72)。接著，推論伺服器930可輸入原始影像IM至推論模型931(步驟S73)，並據以偵測原始影像IM中的目標物，以產生標註結果(步驟S74)。這標註結果包括目標物在原始影像IM中的位置。推論伺服器930可依據標註結果產生目標物的多個目標影像MK(步驟S75)。這些目標影像MK是自原始影像IM提取出目標物的影像並改變目標物的影像的影像尺寸所產生的。例如，檔案名稱分別是Mask0.png、Mask1.png、Mask2.png、Mask3.png、Mask4.png及Mask5.png。推論伺服器930可將多張目標影像MK儲存在影像伺服器920(步驟S76)。而檢視器伺服器910可依據縮放操作結合對應的目標影像IM及原始影像MK(步驟S77)。這縮放操作用以改變顯示原始影像IM的影像尺寸。須說明的是，步驟S71~S77的詳細說明可參酌圖1至圖8B的說明，於此不再贅述。
在一實施例中，推論伺服器930可依據那些目標影像的影像尺寸決定目標影像在影像伺服器920的檔案位置。而檢視器 伺服器910可將縮放操作對應的比例轉換成識別碼。檢視器伺服器910可依據識別碼取得對應目標影像的檔案位置，並依據所取得的檔案位置取得目標影像。例如，縮放操作的識別碼為3，則檢視器伺服器910讀取檔案名稱為Mask3.png的目標影像MK。
在一實施例中，影像伺服器920可回傳目標影像MK的檔案位置/路徑IF，並將這些檔案位置/路徑設定在靜態路徑SF上，讓檢視器伺服器910(即，前端)能夠直接讀取相對應的目標影像MK，從而降低讀取延遲。而檢視器接收到顯示目標物的操作之後，檢視器伺服器910可直接讀取靜態路徑上的檔案(即，目標影像MK)並覆蓋在原始影像IM上，如此一來就可以解決在高解析度影像之標註功能。
圖10是依據本發明一實施例影像結合的流程圖。請參照圖10，網頁瀏覽器940接收到縮放操作(例如，Zoom In/Zoom out)時(步驟S1001)，可透過多層圖片處理函式庫912取得當前呈現的原始/目標/結合影像的縮放資訊(例如，縮放操作對應的比例)(步驟S1002)。接著，判斷縮放資訊所對應的階層。例如，輸入縮放資訊，並初始化變數x為1。這縮放資訊可轉換成縮放值(步驟S1003)。判斷縮放值是否為此階層(步驟S1004)。只要縮放值仍大於2^x，則改變階層(例如，x+1)(步驟S1005)，直到縮放值小於或等於2^x。若縮放值對應的階層已得出，即可供檢視器UI 911需要呼叫對應階層的目標影像MK(步驟S1006)。檢視器UI 911可宣告前端所需呈現的影像區域(即，用於呈現目標影像MK)的區域，並將取得的 目標影像並且置放於所宣告的區域(例如，Canvas-Div畫框)(步驟S1007)。
所呈現的影像可預先由影像處理函式庫914切換並由多層圖片處理函式庫912轉換成相對檢視器的座標大小，以進行顯示。因此，若欲完成後影像結合的功能，可透過影像處理函式庫914讀取當前縮放操作所調整到影像尺寸之長(Height)及寬(Width)(步驟S1008)。這影像尺寸可帶入多層圖片處理函式庫912的函數，以取得影像顯示的位置(例如，轉換成座標)及大小(x,y,width,height)結果(即，供顯示影像尺寸的區域)(步驟S1009)。例如，多層圖片處理函式庫912產生這影像尺寸的矩形，並將矩形的左上角座標作為(0,0)。多層圖片處理函式庫912可依據這矩形及對應座標轉換成相對於檢視器的像素大小與座標(步驟S1010)。接著，檢視器UI 911可依據所轉換的座標套用至先前宣告的區域(例如，Canvas-Div畫框)(步驟S1011)，進而將目標影像MK覆蓋原始影像IM(步驟S1012)。
須說明的是，前述伺服器的全部或部分功能也可能整合或分散到不同裝置。此外，伺服器的數量也不限於三個。
綜上所述，在本發明實施例的影像處理方法、影像處理裝置及影像處理系統中，取得自原始影像所決定的目標物的影像，並產生對應於不同階層的多張目標影像。只要接收到縮放操作，即可快速存取目標影像，並提供與原始影像結合的結合影像。藉此，可提升檢視影像及提供標註結果的效率。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S250:步驟

Claims (20)

  1. 一種影像處理方法，包括：透過一處理器決定一原始影像中的一目標物，以產生一標註結果，其中該標註結果包括該目標物在該原始影像中的位置；透過該處理器依據該標註結果產生該目標物的多個目標影像，其中該些目標影像是自該原始影像提取出該目標物的影像並改變該目標物的影像的影像尺寸所產生的；以及透過該處理器依據一縮放操作結合對應的一該目標影像及該原始影像，其中該縮放操作用以改變顯示該原始影像的影像尺寸，且依據該縮放操作結合對應的一該目標影像及該原始影像的步驟包括：將該縮放操作對應的比例轉換成一識別碼；以及依據該識別碼顯示結合對應於該識別碼的該些目標影像中的一者及該原始影像的影像。
  2. 如請求項1所述的影像處理方法，更包括：透過該處理器提供一檢視器(viewer)以顯示一原始影像；以及透過該處理器接收對該檢視器所顯示的該原始影像的該縮放操作。
  3. 如請求項1所述的影像處理方法，其中該標註結果包括一遮罩陣列，該遮罩陣列記錄該目標物在該原始影像中的位置，該遮罩陣列包括一第一值及一第二值，該遮罩陣列中具有該第一值的一元素代表其在該原始影像中的對應區域有該目標物， 且該遮罩陣列中具有該第二值的另一元素代表其在該原始影像中的對應區域未有該目標物，且依據該標註結果產生該目標物的該些目標影像的步驟包括：透過該處理器提取該遮罩陣列中具有該第一值的元素在原始影像中的對應區域；以及透過該處理器依據提取的區域產生該目標影像。
  4. 如請求項3所述的影像處理方法，其中依據該遮罩陣列產生該目標影像的步驟包括：透過該處理器去除該遮罩陣列中具有該第二值的元素在原始影像中的對應區域。
  5. 如請求項1所述的影像處理方法，其中依據該標註結果產生該目標物的該些目標影像的步驟包括：透過該處理器自一初始影像尺寸的該原始影像提取出該目標物的影像，以作為該些目標影像中的一第一影像；以及透過該處理器將該第一影像自該初始影像尺寸改變成一變化影像尺寸，以產生該些目標影像中的一第二影像。
  6. 如請求項5所述的影像處理方法，其中該初始影像尺寸為該變化影像尺寸的倍數。
  7. 如請求項1所述的影像處理方法，其中依據該標註結果產生該目標物的該些目標影像的步驟包括：透過該處理器依據該些目標影像的影像尺寸決定該些目標影像的檔案位置。
  8. 如請求項7所述的影像處理方法，其中依據該縮放操作結合對應的一該目標影像及該原始影像的步驟包括：透過該處理器依據該識別碼取得對應一該目標影像的檔案位置；以及透過該處理器依據所取得的檔案位置取得一該目標影像。
  9. 如請求項7所述的影像處理方法，其中依據該些目標影像的影像尺寸決定該些目標影像的檔案位置的步驟包括：透過該處理器依據該些目標影像的影像尺寸決定該些目標影像的檔案名稱；以及透過該處理器將該些目標影像儲存至一資料夾。
  10. 一種影像處理裝置，包括：一儲存器，用以儲存一程式碼；以及一處理器，耦接該儲存器，並經配置用以載入且執行該程式碼以：決定一原始影像中的一目標物，以產生一標註結果，其中該標註結果包括該目標物在該原始影像中的位置；依據該標註結果產生該目標物的多個目標影像，其中該些目標影像是自該原始影像提取出該目標物的影像並改變該目標物的影像的影像尺寸所產生的；以及依據一縮放操作結合對應的一該目標影像及該原始影像，其中該縮放操作用以改變顯示該原始影像的影像尺寸，將該縮放操作對應的比例轉換成一識別碼；以及 依據該識別碼顯示結合對應於該識別碼的該些目標影像中的一者及該原始影像的影像。
  11. 如請求項10所述的影像處理裝置，其中該處理器更經配置用以：提供一檢視器以顯示該原始影像；以及接收對該檢視器所顯示的該原始影像的該縮放操作。
  12. 如請求項10所述的影像處理裝置，其中該標註結果包括一遮罩陣列，該遮罩陣列記錄該目標物在該原始影像中的位置，該遮罩陣列包括一第一值及一第二值，該遮罩陣列中具有該第一值的一元素代表其在該原始影像中的對應區域有該目標物，且該遮罩陣列中具有該第二值的另一元素代表其在該原始影像中的對應區域未有該目標物，且該處理器更經配置用以：提取該遮罩陣列中具有該第一值的元素在原始影像中的對應區域；以及依據提取的區域產生該目標影像。
  13. 如請求項12所述的影像處理裝置，其中該處理器更經配置用以：去除該遮罩陣列中具有該第二值的元素在原始影像中的對應區域。
  14. 如請求項10所述的影像處理裝置，其中該處理器更經配置用以：自一初始影像尺寸的該原始影像提取出該目標物的影像，以 作為該些目標影像中的一第一影像；以及將該第一影像自該初始影像尺寸改變成一變化影像尺寸，以產生該些目標影像中的一第二影像。
  15. 如請求項14所述的影像處理裝置，其中該初始影像尺寸為該變化影像尺寸的倍數。
  16. 如請求項10所述的影像處理裝置，其中該處理器更經配置用以：依據該些目標影像的影像尺寸決定該些目標影像的檔案位置。
  17. 如請求項16所述的影像處理裝置，其中該處理器更經配置用以：依據該識別碼取得對應一該目標影像的檔案位置；以及依據所取得的檔案位置取得一該目標影像。
  18. 如請求項16所述的影像處理裝置，其中該處理器更經配置用以：依據該些目標影像的影像尺寸決定該些目標影像的檔案名稱；以及將該些目標影像儲存至一資料夾。
  19. 一種影像處理系統，包括：一檢視器伺服器；以及一推論伺服器，其中該推論伺服器決定一原始影像中的一目標物，以產生一 標註結果，其中該標註結果包括該目標物在該原始影像中的位置；該推論伺服器依據該標註結果產生該目標物的多個目標影像，其中該些目標影像是自該原始影像提取出該目標物的影像並改變該目標物的影像的影像尺寸所產生的；該檢視器伺服器依據一縮放操作結合對應的一該目標影像及該原始影像，其中該縮放操作用以改變顯示該原始影像的影像尺寸；該檢視器伺服器將該縮放操作對應的比例轉換成一識別碼；以及該檢視器伺服器依據該識別碼顯示結合對應於該識別碼的該些目標影像中的一者及該原始影像的影像。
  20. 如請求項19所述的影像處理系統，更包括：一影像伺服器，儲存該推論伺服器所產生的該些目標影像，其中該推論伺服器依據該些目標影像的影像尺寸決定該些目標影像在該影像伺服器的檔案位置；該檢視器伺服器依據該識別碼取得對應一該目標影像的檔案位置；以及該檢視器伺服器依據所取得的檔案位置取得一該目標影像。
TW111111079A 2022-03-24 2022-03-24 影像處理方法、影像處理裝置及影像處理系統 TWI825633B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111111079A TWI825633B (zh) 2022-03-24 2022-03-24 影像處理方法、影像處理裝置及影像處理系統
CN202210433612.4A CN116844700A (zh) 2022-03-24 2022-04-24 影像处理方法、影像处理装置及影像处理系统
US17/840,635 US20230306763A1 (en) 2022-03-24 2022-06-15 Image processing method, image processing apparatus, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111111079A TWI825633B (zh) 2022-03-24 2022-03-24 影像處理方法、影像處理裝置及影像處理系統

Publications (2)

Publication Number Publication Date
TW202338733A TW202338733A (zh) 2023-10-01
TWI825633B true TWI825633B (zh) 2023-12-11

Family

ID=88096250

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111111079A TWI825633B (zh) 2022-03-24 2022-03-24 影像處理方法、影像處理裝置及影像處理系統

Country Status (3)

Country Link
US (1) US20230306763A1 (zh)
CN (1) CN116844700A (zh)
TW (1) TWI825633B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202133190A (zh) * 2020-02-28 2021-09-01 大陸商上海商湯智能科技有限公司 病理切片圖像的展示方法、電子設備和儲存介質
CN113570619A (zh) * 2021-07-13 2021-10-29 清影医疗科技（深圳）有限公司 基于人工智能的计算机辅助胰腺病理图像诊断系统
US20220051047A1 (en) * 2020-08-13 2022-02-17 PAIGE.AI, Inc. Systems and methods to process electronic images for continuous biomarker prediction
CN114171167A (zh) * 2022-02-11 2022-03-11 广州安必平医药科技股份有限公司 图像显示方法、装置、终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
JP2017146840A (ja) * 2016-02-18 2017-08-24 富士ゼロックス株式会社 画像処理装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202133190A (zh) * 2020-02-28 2021-09-01 大陸商上海商湯智能科技有限公司 病理切片圖像的展示方法、電子設備和儲存介質
US20220051047A1 (en) * 2020-08-13 2022-02-17 PAIGE.AI, Inc. Systems and methods to process electronic images for continuous biomarker prediction
CN113570619A (zh) * 2021-07-13 2021-10-29 清影医疗科技（深圳）有限公司 基于人工智能的计算机辅助胰腺病理图像诊断系统
CN114171167A (zh) * 2022-02-11 2022-03-11 广州安必平医药科技股份有限公司 图像显示方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN116844700A (zh) 2023-10-03
US20230306763A1 (en) 2023-09-28
TW202338733A (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
Hegde et al. Similar image search for histopathology: SMILY
US9620085B2 (en) Representation of overlapping visual entities
US20110265023A1 (en) Interactive Representation of Clustered Entities
EP2074499B1 (en) 3d connected shadow mouse pointer
US10031928B2 (en) Display, visualization, and management of images based on content analytics
US20200226174A1 (en) Cloud-based large-scale pathological image collaborative annotation method and system
JP2012510672A (ja) 画像表示にアクセスし、それを操作するためのアクティブ・オーバーレイ・システムおよび方法
Crissaff et al. ARIES: enabling visual exploration and organization of art image collections
Waldner et al. Importance-driven compositing window management
CN111414124A (zh) 一种图像测量方法、装置、设备及存储介质
Toth et al. Histostitcher™: An informatics software platform for reconstructing whole-mount prostate histology using the extensible imaging platform framework
US10430458B2 (en) Automated data extraction from a chart from user screen selections
Borgbjerg Web‐based imaging viewer for real‐color volumetric reconstruction of human visible project and DICOM datasets
TWI825633B (zh) 影像處理方法、影像處理裝置及影像處理系統
WO2021159778A1 (zh) 图像处理方法、装置、智能显微镜、可读存储介质和设备
CN115274099B (zh) 一种人与智能交互的计算机辅助诊断系统与方法
CN116522027A (zh) web表格数据拖拽复制方法、设备及存储介质
US20220309610A1 (en) Image processing method and apparatus, smart microscope, readable storage medium and device
JP4949996B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JPH10261038A (ja) 画像表示装置
CN112084364A (zh) 对象分析方法、局部图像搜索方法、设备及存储介质
US20230281749A1 (en) Efficient multi-dimensional storage of very large dense, sparse and semi-sparse image datasets with machine learning
US11900513B2 (en) Medical image display apparatus
WO2024045819A1 (zh) 病变区域确定方法、模型训练方法及装置
Thomaz et al. Training system for digital mammographic diagnoses of breast cancer