TWI793390B - 資訊顯示方法及其處理裝置與顯示系統 - Google Patents

資訊顯示方法及其處理裝置與顯示系統 Download PDF

Info

Publication number
TWI793390B
TWI793390B TW108147615A TW108147615A TWI793390B TW I793390 B TWI793390 B TW I793390B TW 108147615 A TW108147615 A TW 108147615A TW 108147615 A TW108147615 A TW 108147615A TW I793390 B TWI793390 B TW I793390B
Authority
TW
Taiwan
Prior art keywords
display
user
information
initial position
processing device
Prior art date
Application number
TW108147615A
Other languages
English (en)
Other versions
TW202125401A (zh
Inventor
王理弘
蔡宇翔
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108147615A priority Critical patent/TWI793390B/zh
Priority to CN202010142211.4A priority patent/CN113031892A/zh
Priority to US16/820,694 priority patent/US11301198B2/en
Publication of TW202125401A publication Critical patent/TW202125401A/zh
Application granted granted Critical
Publication of TWI793390B publication Critical patent/TWI793390B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種資訊顯示方法及其處理裝置與顯示系統，此系統包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置，其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取使用者的位置資訊。第二資訊擷取裝置用以擷取目標物的位置資訊。處理裝置用以建立固定的參考座標系統，定位使用者的初始位置、目標物的初始位置以及顯示器的初始位置，據以顯示融合影像於顯示器，以及根據顯示器的變動量以及使用者的變動量至少之一者，更新顯示於顯示器上的融合影像。

Description

資訊顯示方法及其處理裝置與顯示系統
本發明是有關於一種資訊顯示技術。
隨著影像處理技術與空間定位技術的發展，透明顯示器的應用已逐漸受到重視。此類的技術可讓顯示器搭配實體物件，再輔以虛擬相關資訊，並且依照使用者的需求來產生互動式的體驗，可使資訊以更為直觀的方式呈現。
然而，為了達到影像融合，目前的顯示系統需要將使用者、實體物件以及顯示器轉換至同一座標系統，再根據使用者的位置計算虛擬物件投影於螢幕上的大小以及位置，進而產生融合影像。若顯示器的姿態發生變化，則需要重新偵測顯示器的系統參數(例如高度、傾角等等)以建立新的座標系統，再將使用者、實體物件以及顯示器轉換至新的座標位置後，重新計算虛擬物件投影於顯示器上的大小以及位置，因而耗費較長的運算時間。
本揭露提供一種資訊顯示方法及其處理裝置與顯示系統。
在本揭露的一範例實施例中，上述的顯示系統包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置，其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取使用者的位置資訊。第二資訊擷取裝置用以擷取目標物的位置資訊。處理裝置用以建立固定的參考座標系統，並且定位使用者的初始位置、目標物的初始位置以及顯示器的初始位置，根據使用者的初始位置、目標物的初始位置以及顯示器的初始位置，顯示融合影像於顯示器，以及根據顯示器的變動量以及使用者的變動量至少之一者，更新顯示於顯示器上的融合影像。
在本揭露的一範例實施例中，上述的資訊顯示方法適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統，其中第一資訊擷取裝置用以擷取使用者的位置資訊，第二資訊擷取裝置用以擷取目標物的位置資訊。資訊顯示方法包括建立固定的參考座標系統，並且定位使用者的初始位置、目標物的初始位置以及顯示器的初始位置，根據使用者的初始位置、目標物的初始位置以及顯示器的初始位置，顯示融合影像於顯示器，以及根據顯示器的變動量以及使用者的變動量至少之一者，更新顯示於顯示器上的融合影像。
在本揭露的一範例實施例中，上述的處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置，其中第一資訊擷取裝置用以擷取使用者的位置資訊，第二資訊擷取裝置用以擷取目標物的位置資訊。處理裝置包括記憶體以及處理器。記憶體用以儲存資料。處理器用以建立固定的參考座標系統，並且定位使用者的初始位置、目標物的初始位置以及顯示器的初始位置，根據使用者的初始位置、目標物的初始位置以及顯示器的初始位置，顯示融合影像於顯示器，以及根據顯示器的變動量以及使用者的變動量至少之一者，更新顯示於顯示器上的融合影像。
為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:顯示系統
110:顯示器
120:第一資訊擷取裝置
130:第二資訊擷取裝置
140:處理裝置
141:記憶體
142:處理器
S202~S208、S302~S328、S402~S428、S502~S528、S602~S628:步驟
C1、C2:影像感測器
U3、U4、U5、U6:使用者
T3、T4、T51、T52、T6:目標物
F3、F3’、F4、F51、F52、F6:融合影像
P31、P31’、P32、P32’、P41、P42、P43、P51、P51’、P52、P52’、P61:位置
K:操作器具
N:網路
L:定位器
圖1為根據本揭露一範例實施例所繪示的顯示系統的示意圖。
圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
圖3A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖3B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
圖4A是根據本揭露之一範例實施例所繪示的顯示系統的應 用情境的示意圖。
圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
圖5A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖5B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
圖6A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法、裝置以及系統的範例。
圖1為根據本揭露一範例實施例所繪示的顯示系統的示意圖。首先圖1先介紹顯示系統中的所有構件以及配置關係，詳 細功能將配合後續範例實施例的流程圖一併揭露。
請參照圖1，本範例實施例中的顯示系統100包括顯示器110、至少一個第一資訊擷取裝置120、至少一個第二資訊擷取裝置130以及處理裝置140，其中處理裝置140可以是以無線、有線、或電性連接於顯示器110、第一資訊擷取裝置120以及第二資訊擷取裝置130。
顯示器110用以顯示資訊，其包括例如是液晶顯示器(Liquid crystal display，LCD)、場色序(Field sequential color)LCD顯示器、發光二極體(Light emitting diode，LED)顯示器、電濕潤顯示器等穿透式可透光顯示器，或者是投影式可透光顯示器。使用者透過顯示器110所觀看到的內容可以是疊加融合影像的實體場景。第一資訊擷取裝置120用以擷取使用者的位置資訊，而第二資訊擷取裝置130用以擷取實體場景中的目標物的位置資訊。第一資訊擷取裝置120可以例如是至少一個影像感測器或者是至少一個影像感測器搭配至少一個深度感測器，其中影像感測器可為可見光感測器或非可見光感測器如紅外線感測器等，深度感測器可為光場雷達或超音波感測器等，也就是可以定位出使用者所在位置資訊的裝置或其組合，皆屬於第一資訊擷取裝置120的範疇。類似地，第二資訊擷取裝置120則可以例如是至少一個影像感測器、或者是至少一個影像感測器搭配至少一個深度感測器，也就是可以定位出目標物所在的位置資訊以及辨識出目標物影像資訊的裝置或其組合，皆屬於第二資訊擷取裝置130的範疇。本 領域具通常知識者應明瞭，上述的影像感測器可用以擷取影像並且包括具有透鏡以及感光元件的攝像鏡頭。上述的深度感測器可用以偵測深度資訊，其可以分為主動式深度感測技術以及被動式深度感測技術來實現。主動式深度感測技術可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術來計算深度資訊。被動式深度感測技術可以藉由兩個影像感測器以不同視角同時擷取其前方的兩張影像，以利用兩張影像的視差來計算深度資訊。
處理裝置140用以控制顯示系統100的作動，其包括記憶體141以及處理器142。記憶體141可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。處理器142可以例如是中央處理單元(central processing unit，CPU)、應用處理器(application processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、圖形處理器(graphics processing unit，GPU)或其他類似裝置、積體電路及其組合。
在本範例實施例中，處理裝置140可以是內建於顯示器110。第一資訊擷取裝置120以及第二資訊擷取裝置130可以是分別設置於顯示器110上的相對兩側、顯示系統100所屬場域的上 方相對於顯示器110的相對兩側等可以針對使用者以及目標物的位置進行定位，並且透過各自的通訊介面以有線或是無線的方式傳輸資訊至處理裝置140。在另一範例實施例中，顯示系統100可為單一整合系統，其可以實作成頭戴式顯示裝置、智慧型手機、平板電腦等，本揭露不在此設限。以下範例實施例中將搭配顯示系統100的各元件來說明資訊顯示方法的實施細節。
圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖，而圖2的方法流程可由圖1的顯示系統100來實現。在此，使用者可透過顯示系統100的顯示器110來觀看目標物及其相關的融合影像。
請同時參照圖1以及圖2，首先，顯示系統100啟動時，處理裝置140的處理器142將建立固定的參考座標系統(步驟S202)。在此的參考座標系統可以例如是基於顯示系統100所在的實體場景所建立的世界座標系統(world coordinate system)或者是基於第一資訊擷取裝置120以及第二資訊擷取裝置130所建立的相機座標系統(camera coordinate system)，而此參考座標系統將會儲存於記憶體141中做為後續計算的參考依據。
接著，處理器142將會定位使用者、目標物以及顯示器的初始位置(步驟S204)。在此，處理器142可利用第一資訊擷取裝置120擷取使用者的位置資訊，並且利用第二資訊擷取裝置130擷取目標物的位置資訊。接著，處理器142可針對第一資訊擷取裝置120以及第二資訊擷取裝置130所擷取到的位置資訊進行校 正，以轉換至相同的參考座標系統來表示。具體來說，使用者的位置資訊具有使用者相對於第一資訊擷取裝置120的使用者座標，目標物的位置資訊具有目標物相對於第二資訊擷取裝置的目標物座標，而處理裝置140可將使用者座標以及目標物座標轉換至相同的座標系統，例如是前述的世界座標系統或相機座標系統，進而取得使用者以及目標物分別在三維空間中的位置。
附帶說明的是，在一範例實施例中，由於顯示器110與第一資訊擷取裝置120以及第二資訊擷取裝置130的相對位置為已知，處理器142可以利用第一資訊擷取裝置120以及/或是第二資訊擷取裝置130所擷取到的資訊來推估顯示器110在參考座標系統中的初始位置。在另一範例實施例中，顯示器110更可以額外設有定位器，其可以例如是以Wifi、RFID、藍芽、Zigbee等用於室內定位或是室內外融合定位的通訊技術來對顯示器110進行定位以及座標轉換，以取得顯示器110在參考座標系統中的初始位置。
接著，處理器142將根據使用者的初始位置、目標物的初始位置以及顯示器110的初始位置，將融合影像顯示於顯示器(步驟S206)。在此，處理器142將根據使用者的初始位置、目標物的初始位置以及顯示器110的初始位置，產生使用者與目標物之間的融合資訊於顯示器110上。處理器142可藉由使用者的初始位置以及目標物的初始位置，以任何眼球追蹤演算法來估算出使用者的人眼視線資訊，以計算出使用者於顯示器110上的關注 點(例如，使用者的凝視範圍)，並且根據第二資訊擷取裝置130所擷取到的影像進行目標物的影像辨識，以產生影像辨識結果。之後，處理裝置140可根據關注點以及影像辨識結果來產生融合資訊，以做為產生融合影像的依據。在此可合理地假設目標物是位於使用者視線上，而處理器142可根據人眼視線資訊來利用目標物的影像進行目標物的影像辨識，以取得使用者所觀看到的實體場景的內容。在此的融合影像可以是目標物的導覽訊息、目標物的虛擬互動物件等，本揭露不以此為限。
之後，處理裝置140的處理器142將根據顯示器110的變動量以及使用者的變動量至少之一者，更新顯示於顯示器110的融合影像(步驟S208)。詳細來說，在本範例實施例中，處理器142可以是透過第一資訊擷取裝置120以及/或是第二資訊擷取裝置130來判斷顯示器110是否有位移、旋轉，而處理器142可以是透過第一資訊擷取裝置120來判斷使用者是否有移動、轉向或者是本身視線有改變。若有至少一者為是，即代表原本的融合影像將無法與使用者的視線達到良好的匹配，因此必須要針對顯示器110上的融合影像進行更新。
在此的顯示器110的變動量為顯示器110於參考座標系統的位移量及/或旋轉角度。在一範例實施例中，在目標物的位置資訊恆定的前提下，處理器142可以是依據第二資訊擷取裝置130所擷取到的目標物的位置資訊來判斷顯示器110的變動量。在一範例實施例中，處理器142可以是依據第一資訊擷取裝置120以 及/或是第二資訊擷取裝置130所擷取到的固定參考物的位置資訊來判斷顯示器110的變動量。在另一範例實施例中，顯示器110亦可以額外設有動作感測器，其可以例如是加速度計、陀螺儀或任何可偵測顯示器110的線性移動量、線性移動方向、旋轉角度的感測器，以偵測顯示器110的變動量。另一方面，在此使用者的變動量為使用者相對於顯示器110的視線位移量。處理器142將根據此變動量來計算融合資訊，以更新原本顯示於顯示器110上的融合影像。換句話說，當顯示器110或者/以及使用者的位置資訊改變時，處理器142僅需要基於固定的參考座標系統以及此變動量來更新融合資訊，而無需重新計算整個座標系統，可大幅縮短運算量以及運算時間。
為了方便明瞭，以下範例實施例將搭配顯示系統100的不同應用情境來具體地說明圖2流程的細節。在以下的範例實施例中，第一資訊擷取裝置120以及第二資訊擷取裝置130將分別實作為一組影像感測器C1、C2，然而本揭露並不在此設限。此外，在以下的範例實施例中，顯示系統100將會視為單一整合系統來進行說明，因此顯示系統100的位置即代表顯示器110的位置，然而本揭露不受限於此。
圖3A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖3B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
請先參照圖1以及圖3A，在本範例實施例中，使用者例 如為醫師U3，而目標物例如為病患T3。本範例實施例的應用情境為手術前，醫師U3將顯示系統100移動至不同位置，以不同角度來透過顯示器110觀看病患T3，進而對其進行手術前的評估。
請再同時參照圖1、圖3A以及圖3B，在本範例實施例中，當顯示系統100啟動後，處理裝置140將會開始進行系統的初始化(步驟S302)，以開始進行系統參數的偵測(步驟S304)，進而進行參考座標系統的建立(步驟S306)。在此的系統參數可由兩組影像感測器C1、C2於顯示系統100所在場景所擷取到的相關資訊，用以建立固定的參考座標系統。在此，處理裝置140亦可得到顯示系統100(即，顯示器110)的初始位置。另一方面，處理裝置140將會針對影像感測器C1、C2所擷取到的醫師U3的影像以及病患T3的影像進行相機影像的校正(步驟S308)，以將不同的影像感測器於實際空間中的偏差量進行對齊並且合併至相同的座標系統。在此，處理裝置140可以是針對醫師U3的影像以及病患T3的影像進行使用者眼睛以及目標物的辨識(步驟S310)，以對使用者眼睛以及目標物進行座標轉換(步驟S312)，從而得到醫師U3以及病患T3於相同的參考座標系統下的空間定位(步驟S314)。也就是說，處理裝置140在此已得到醫師U3、病患T3以及顯示器110的初始位置。
具體來說，處理裝置140可以例如是根據本領域技術人員所熟知的方程式(1)來針對使用者眼睛以及目標物進行個別的座標轉換：
Figure 108147615-A0305-02-0014-1
 其中
Figure 108147615-A0305-02-0014-2
為影像平面座標，
Figure 108147615-A0305-02-0014-3
為相機內部參數矩陣，
Figure 108147615-A0305-02-0014-4
為相機外部參數矩陣，
Figure 108147615-A0305-02-0014-5
為世界座標。
接著，處理裝置140可先進行融合物件的特徵擷取(步驟S316)以及融合物件的模型匹配(步驟S318)。在此的融合物件即為稍後欲顯示在顯示器110上的相關資訊，其可以是儲存於記憶體141或者是透過通訊介面(未繪示)自其它資料庫所取得。處理裝置140可先將融合物件與使用者視線、包括目標物的實際場景進行模型匹配，以計算融合影像要呈現於顯示器110的方式。換句話說，處理裝置140將會進行轉換矩陣的計算(步驟S320)，以做為融合資訊。處理裝置140再根據融合資訊，將融合影像顯示於顯示器110上(步驟S322)。
在本範例實施例中，處理裝置140可進行系統變動量的偵測(步驟S324)以及使用者眼睛的定位(步驟S326)，並且根據系統變動量以及視線變動量至少之一者來進行轉換參數的更新(步驟S328)，以重新回到步驟S320來重新進行轉換矩陣的計算，從而更新融合影像。也就是說，本範例實施例中無需再重新建立座標系統，僅需要根據所偵測到的任何系統變動量以及視線變動量來更新轉換矩陣即可。舉例來說，當處理裝置140僅偵測到視線 變動量時(即，顯示器110的位置不變，而使用者視線改變)，則處理裝置140僅會根據視線變動量來進行轉換參數的更新。
舉例來說，假設處理裝置140僅偵測到視線變動量(即，相對於X、Y、Z軸的位移量x、y、z)，則處理裝置140將僅針對使用者眼睛來進行座標轉換的更新。前述方程式(1)的外部參數矩陣中的
Figure 108147615-A0305-02-0015-7
將成為
Figure 108147615-A0305-02-0015-9
，而X、Y、Z軸的旋轉量可以方程式(2.1)~(2.3)來表示：
Figure 108147615-A0305-02-0015-10
Figure 108147615-A0305-02-0015-11
Figure 108147615-A0305-02-0015-12
以圖3A來說，假設醫師U3先在位置P31透過位於位置P32的顯示器110觀看患者T3的心臟區域，而處理裝置140可以先自資料庫取得患者T3的立體心臟影像或是立體轉換後的多角度平面心臟影像來做為融合物件，而醫師U3可透過顯示器110觀看到疊加於患者T3的融合影像F3，以在位置P31進行評估，之後，當醫師U3移動至位置P31’並且顯示器110對應地移動至位置P32’後，處理裝置140將會計算系統變動量以及視線變動量，其中系統變動量為顯示器110自位置P32移動至位置P32’的位移 量以及旋轉角度，而視線變動量為醫師U3自位置P31移動至位置P31’的視線位移量。當醫師U3在位置P31’觀看患者T3的心臟區域時，即可觀看到疊加於患者T3的融合影像F3’，以在位置P31’進行評估。此外，醫師U3無論是在位置P31或者是P31’，顯示器110更可以對應地顯示手術導引以及評估資訊，以供醫師U3參考。
圖4A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。相較於圖3A~圖3B，本範例實施例的使用者手中更持有用於操作目標物的操作物件，而圖4B中的標號末尾二碼與圖3B相同者為類似步驟，其細節可由本領域具通常知識者參照圖3B推導，於此不再贅述。
請先參照圖1以及圖4A，在本範例實施例中，使用者例如為醫師U4，目標物例如為病患T4，而操作物件例如為手術器具K。本範例實施例的應用情境為手術前，醫師U4透過顯示系統100的顯示器110以不同角度觀看手術器具K與器官的相對位置資訊以及導引資訊。
請再同時參照圖4B，在本範例實施例中，當顯示系統100啟動後，處理裝置140將會開始進行系統的初始化(步驟S402)，以開始進行系統參數的偵測(步驟S404)，進而進行參考座標系統的建立(步驟S406)。在此的系統參數可由兩組影像感測器C1、C2於顯示系統100所在場景所擷取到的相關資訊，用以建立固定的參考座標系統。在此，處理裝置140亦可得到顯示系統100(即， 顯示器110)的初始位置。另一方面，處理裝置140將會針對影像感測器C1所擷取到的醫師U4的影像以及病患T4的影像進行相機影像的校正(步驟S408)。在此，處理裝置140可以是針對醫師U4的影像以及病患T4的影像進行使用者眼睛以及目標物的辨識(步驟S410)，以對使用者眼睛以及目標物進行座標轉換(步驟S412)。另一方面，處理裝置140將針對操作物件的座標偵測(步驟S413)，從而得到醫師U4、病患T4以及手術器具K於相同的參考座標系統下的空間定位(步驟S414)。也就是說，處理裝置140在此已得到醫師U4、病患T4、手術器具K以及顯示器110的初始位置。
接著，處理裝置140可先進行融合物件的特徵擷取(步驟S416)以及融合物件的模型匹配(步驟S418)。之後，處理裝置140將進行轉換矩陣的計算(步驟S420)，以計算出融合資訊。處理裝置140再將融合影像顯示於顯示器110上(步驟S422)。在本範例實施例中，處理裝置140將會進行系統變動量的偵測(步驟S424)以及使用者眼睛與操作物件的定位(步驟S426)，並且根據系統變動量、視線變動量至少之一者以及物件變動量來進行轉換參數的更新(步驟S428)，以重新回到步驟S420來進行轉換矩陣的計算，從而更新融合影像。也就是說，本範例實施例中無需再重新建立座標系統，僅需要根據所偵測到的任何系統變動量、視線變動量至少之一者以及物件變動量來更新轉換矩陣即可。
以圖4A來說，假設醫師U4於位置P41透過位於位置 P42的顯示器110來觀看患者T4的心臟區域，而此時醫師U4所手持的手術器具K正位於位置P43。處理裝置140可以先自資料庫取得立體心臟影像或是立體轉換後的多角度平面心臟影像來做為融合物件，而醫師U4可觀看到疊加於患者T4的融合影像F4。此融合影像F4可以更包括導引資訊I4，以提示醫師U4可以根據例如提示線來進行後續手術程序。之後，處理裝置140可以根據顯示器110的位移量以及旋轉角度、醫師U4的視線位移量以及/或手術器具K的位移量以及旋轉角度來對應地更新融合影像F4及其所包含的導引資訊I4。
圖5A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖5B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。相較於圖3A~圖3B，本範例實施例的使用場域為自由空間，顯示器110後方的目標物可能會有所變動。此外，圖5B中的標號末尾二碼與圖3B以及圖4B相同者為類似步驟，其細節可由本領域具通常知識者參照圖3B以及圖4B推導，於此不再贅述。
請先參照圖1以及圖5A，本範例實施例的應用情境為零售場域，使用者例如為顧客U5，而目標物例如為多個商品。顧客U5可將顯示系統100移動至不同位置，而顯示器110後方的目標物則會有所變動，在本範例實施例中是可額外增設辨識新目標物的步驟。
請再同時參照圖5B，在本範例實施例中，當顯示系統100 啟動後，處理裝置140將會開始進行系統的初始化(步驟S502)，以開始進行系統參數的偵測(步驟S504)，進而進行參考座標系統的建立(步驟S506)。在此的系統參數可由兩組影像感測器C1、C2於顯示系統100所在場景所擷取到的相關資訊，用以建立固定的參考座標系統。在此，處理裝置140亦可得到顯示系統100(即，顯示器110)的初始位置。另一方面，處理裝置140將會針對影像感測器C1所擷取到的顧客U5的影像以及商品T51的影像進行相機影像的校正(步驟S508)。在此，處理裝置140可以是針對顧客U5的影像以及商品T51的影像進行使用者眼睛以及目標物的辨識(步驟S510)，以判斷是否有新目標物(步驟S511)。在此為系統的初始化階段，處理裝置140將會視所有的目標物為新目標物，而對使用者眼睛以及目標物進行座標轉換(步驟S512)，從而得到顧客U5以及商品T51於相同的參考座標系統下的空間定位(步驟S514)。也就是說，處理裝置140在此已得到顧客U5、商品T51以及顯示器110的初始位置。
接著，處理裝置140可先進行融合物件的特徵擷取(步驟S516)以及融合物件的模型匹配(步驟S518)。之後，處理裝置140將進行轉換矩陣的計算(步驟S520)，以計算出融合資訊。處理裝置140再將融合影像顯示於顯示器110上(步驟S522)。在本範例實施例中，處理裝置140將會進行系統變動量的偵測(步驟S524)，並且再回到步驟S510重新進行目標物的辨識，以在步驟S511判斷是否有新目標物。若有新目標物(例如新商品T52)， 則處理裝置140將會重新針對顧客U5以及新商品T52進行座標轉換，並且再回到步驟S514，以重新進行顧客U5以及新商品T52空間定位，並且取得新的融合物件及其相關步驟。另一方面，若沒有新目標物，則處理裝置140僅需根據系統變動量以及視線變動量來進行轉換參數的更新(步驟S528)，以重新回到步驟S520來進行轉換矩陣的計算，從而更新融合影像。
以圖5A來說，假設顧客U5先在位置P51透過位於位置P51’的顯示器110觀看到商品T51，而處理裝置140可以先自資料庫取得商品T51的相關資訊來做為融合物件，而顧客U5可觀看到疊加於商品T51的融合影像F51，以獲得商品T51的相關資訊。之後，當顧客U5移動至位置P51’並且顯示器110對應地移動至位置P52’後，顧客U5會觀看到新商品T52，而處理裝置140可以先自資料庫取得新商品T52的相關資訊來做為融合物件。在此商品T51、T52的相關資訊可以是其簡介、價錢、使用方式、評價等等，本揭露不在此設限。
圖6A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。相較於圖3A~圖3B以及圖4A~圖4B，本範例實施例的使用場域為自由空間，因此顯示器110後方的目標物可能會有所變動。相較於圖5A~圖5B，本範例實施例的顯示系統100在進入到使用場域後，將會與使用場域的座標系統進行匹配。此外，圖6B中的標號末尾二碼與圖3B、圖4B以及圖5B 相同者為類似步驟，其細節可由本領域具通常知識者參照圖3B、圖4B以及圖5B推導，於此不再贅述。
請先參照圖1以及圖6A，本範例實施例的應用情境為展覽館，使用者例如為參觀訪客U6，而目標物例如為展示品T6。展覽館本身可提供本身的場域座標系統，而顯示系統100在進入到展覽館的場域後，可以與展覽館的場域座標系統進行匹配，以減少顯示系統100本身儲存的資訊。
請再同時參照圖6B，在本範例實施例中，當顯示系統100啟動後，處理裝置140將會開始進行系統的初始化(步驟S602)，以開始進行系統參數的偵測(步驟S604)，進而進行參考座標系統的建立(步驟S606)。在此的系統參數可由兩組影像感測器C1、C2於顯示系統100所在場景所擷取到的相關資訊，用以建立固定的參考座標系統。接著，顯示系統100可以透過通訊介面(未繪示)來自網路N取得展覽館的場域座標系統，以進行場館座標匹配(步驟S607)。附帶說明的是，在本範例實施例中，顯示系統100更可以額外設有定位器L，隨時定位到顯示系統100的所在位置。
另一方面，處理裝置140可針對影像感測器C1所擷取到的參觀訪客U6的影像以及展示品T6的影像進行相機影像的校正(步驟S608)。在此，處理裝置140可以是針對參觀訪客U6的影像以及展示品T6的影像進行使用者眼睛以及目標物的辨識(步驟S610)，以判斷是否有新目標物(步驟S611)。在此為系統的初始化階段，處理裝置140將會視所有的目標物為新目標物，而對使 用者眼睛以及目標物進行座標轉換(步驟S612)，從而得到參觀訪客U6以及展示品T6於相同的參考座標系統下的空間定位(步驟S614)。也就是說，處理裝置140在此已得到參觀訪客U6、展示品T6以及顯示器110的初始位置。
接著，處理裝置140可先進行融合物件的特徵擷取(步驟S616)以及融合物件的模型匹配(步驟S618)。之後，處理裝置140將進行轉換矩陣的計算(步驟S620)，以計算出融合資訊。處理裝置140再將融合影像顯示於顯示器110上(步驟S622)。在本範例實施例中，處理裝置140將會進行系統變動量的偵測(步驟S624)，並且再回到步驟S610重新進行目標物的辨識，以在步驟S611判斷是否有新目標物。若有新目標物，則處理裝置140將會重新針對參觀訪客U6以及新的展示品進行座標轉換，並且再回到步驟S614，以重新進行參觀訪客U6以及新的展示品空間定位，並且取得新的融合物件及其相關步驟。另一方面，若沒有新目標物，則處理裝置140僅需根據所偵測到的任何系統變動量以及視線變動量來進行轉換參數的更新(步驟S628)，以重新回到步驟S620來進行轉換矩陣的計算，從而更新融合影像。
以圖6A來說，假設參觀訪客U6在位置P61觀看到展示品T6，而處理裝置140可以先透過網路N自資料庫取得展示品T6的相關資訊來做為融合物件，而顧客U6可觀看到疊加於展示品T6的融合影像F6，以獲得展示品T6的相關資訊例如簡介。之後，處理裝置140可以根據顯示器110的位移量以及旋轉角度、顧客 U6的視線位移量來對應地更新融合影像F6。
本發明的範例實施例所提出的資訊顯示方法及其處理裝置與顯示系統，其於系統啟動時建立固定的參考座標系統，並且定位使用者、目標物以及顯示器的初始位置後，即可根據所偵測到的使用者以及/或是顯示器的變動量來更新融合影像，可大幅縮短運算量以及運算時間。
雖然本揭露已以範例實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
S202~S208:步驟

Claims (18)

  1. 一種顯示系統，包括：可透光的顯示器；至少一第一資訊擷取裝置，用以擷取使用者的位置資訊；至少一第二資訊擷取裝置，用以擷取目標物的位置資訊；以及處理裝置，連接於該顯示器、所述第一資訊擷取裝置以及所述第二資訊擷取裝置，用以：建立固定的參考座標系統，並且定位該使用者的初始位置、該目標物的初始位置以及該顯示器的初始位置；根據該使用者的該初始位置、該目標物的初始位置以及該顯示器的初始位置，顯示融合影像於該顯示器；以及根據該顯示器的變動量以及該使用者的變動量至少之一者，更新該融合影像，其中該顯示器的該變動量為該顯示器的位移量或旋轉角度，該使用者的該變動量包括該使用者的視線位移量、該使用者的移動位移量及轉向位移量的至少其中之一。
  2. 如申請專利範圍第1項所述的顯示系統，其中該處理裝置透過所述第一資訊擷取裝置以及所述第二資訊擷取裝置至少之一者，判斷該顯示器於該參考座標系統的該變動量。
  3. 如申請專利範圍第1項所述的顯示系統，其中該處理裝置透過所述第一資訊擷取裝置，判斷該使用者於該參考座標系統的該變動量。
  4. 如申請專利範圍第1項所述的顯示系統，其中： 所述第一資訊擷取裝置包括影像感測器，所述第二資訊擷取裝置包括影像感測器，其中所述第一資訊擷取裝置以及所述第二資訊擷取裝置分別設置於該顯示器的相對兩側。
  5. 如申請專利範圍第4項所述的顯示系統，其中：所述第一資訊擷取裝置以及所述第二資訊擷取裝置更包括深度感測器。
  6. 如申請專利範圍第4項所述的顯示系統，更包括：動作感測器，設置於該顯示器上，用以感測該顯示器的該變動量。
  7. 如申請專利範圍第4項所述的顯示系統，更包括：定位器，設置於該顯示器上，用以取得該顯示器的位置資訊。
  8. 如申請專利範圍第1項所述的顯示系統，其中該融合影像關聯於轉換矩陣，而該處理裝置根據該顯示器的該變動量以該使用者的該變動量至少之一者，更新該轉換矩陣的轉換參數，據以更新該融合影像。
  9. 如申請專利範圍第8項所述的顯示系統，其中該處理裝置根據該顯示器的該變動量以及該使用者的該變動量，更新該轉換矩陣的該轉換參數，據以更新該融合影像。
  10. 如申請專利範圍第8項所述的顯示系統，其中：該處理裝置根據該使用者的該變動量，更新該轉換矩陣的該轉換參數，據以更新該融合影像。
  11. 如申請專利範圍第10項所述的顯示系統，其中該融合影像包括關聯於該目標物的導引資訊。
  12. 如申請專利範圍第8項所述的顯示系統，其中：該使用者手持用於操作該目標物的操作物件，所述第二資訊擷取裝置更用以擷取該操作物件的位置資訊；該處理裝置根據該使用者的該初始位置、該目標物的該初始位置、該顯示器的該初始位置以及該操作物件的初始位置，顯示該融合影像於該顯示器；以及該處理裝置根據該顯示器的該變動量以及該使用者的該變動量至少之一者以及該操作物件的變動量，更新該轉換矩陣的該轉換參數，據以更新該融合影像。
  13. 如申請專利範圍第12項所述的顯示系統，其中該操作物件的該變動量為該操作物件的位移量以及旋轉角度。
  14. 如申請專利範圍第8項所述的顯示系統，其中：該處理裝置更利用所述第二資訊擷取裝置判斷是否存在新目標物；以及當該處理裝置判定存在該新目標物時，該處理裝置根據該顯示器的該變動量以及該使用者的變動量至少之一者以及該新目標物的位置資訊，顯示新融合影像於該顯示器。
  15. 如申請專利範圍第8項所述的顯示系統，其中：該處理裝置更利用所述第二資訊擷取裝置判斷是否存在新目標物；以及 當該處理裝置判定不存在該新目標物時，該處理裝置根據該顯示器的該變動量以及該使用者的變動量至少之一者，更新該轉換矩陣的該轉換參數，據以更新該融合影像。
  16. 如申請專利範圍第8項所述的顯示系統，其中：該處理裝置更取得該顯示系統的使用場域的場域座標系統，以將該參考座標系統與該場域座標系統進行匹配，以定位該使用者的該初始位置、該目標物的該初始位置以及該顯示器的該初始位置。
  17. 一種資訊顯示方法，適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統，其中所述第一資訊擷取裝置用以擷取使用者的位置資訊，所述第二資訊擷取裝置用以擷取目標物的位置資訊，其中該方法包括：建立固定的參考座標系統，並且定位該使用者的初始位置、該目標物的初始位置以及該顯示器的初始位置；根據該使用者的該初始位置、該目標物的初始位置以及該顯示器的初始位置，顯示融合影像於該顯示器；以及根據該顯示器的變動量以及該使用者的變動量至少之一者，更新該融合影像，其中該顯示器的該變動量為該顯示器的位移量或旋轉角度，該使用者的該變動量包括該使用者的視線位移量、該使用者的移動位移量及轉向位移量的至少其中之一。
  18. 一種處理裝置，連接於可透光的顯示器、至少一第一資訊擷取裝置以及至少一第二資訊擷取裝置，其中所述第一資訊擷取裝置用以擷取使用者的位置資訊，所述第二資訊擷取裝置用以擷取目標物的位置資訊，該處理裝置包括：記憶體，用以儲存資料；以及處理器，用以：建立固定的參考座標系統，並且定位該使用者的初始位置、該目標物的初始位置以及該顯示器的初始位置；根據該使用者的該初始位置、該目標物的初始位置以及該顯示器的初始位置，顯示融合影像於該顯示器；以及根據該顯示器的變動量以及該使用者的變動量至少之一者，更新該融合影像，其中該顯示器的該變動量為該顯示器的位移量或旋轉角度，該使用者的該變動量包括該使用者的視線位移量、該使用者的移動位移量及轉向位移量的至少其中之一。
TW108147615A 2019-12-25 2019-12-25 資訊顯示方法及其處理裝置與顯示系統 TWI793390B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108147615A TWI793390B (zh) 2019-12-25 2019-12-25 資訊顯示方法及其處理裝置與顯示系統
CN202010142211.4A CN113031892A (zh) 2019-12-25 2020-03-04 信息显示方法及其处理装置与显示系统
US16/820,694 US11301198B2 (en) 2019-12-25 2020-03-16 Method for information display, processing device, and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108147615A TWI793390B (zh) 2019-12-25 2019-12-25 資訊顯示方法及其處理裝置與顯示系統

Publications (2)

Publication Number Publication Date
TW202125401A TW202125401A (zh) 2021-07-01
TWI793390B true TWI793390B (zh) 2023-02-21

Family

ID=76458581

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147615A TWI793390B (zh) 2019-12-25 2019-12-25 資訊顯示方法及其處理裝置與顯示系統

Country Status (3)

Country Link
US (1) US11301198B2 (zh)
CN (1) CN113031892A (zh)
TW (1) TWI793390B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116107534A (zh) 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统
TWI818665B (zh) * 2021-11-10 2023-10-11 財團法人工業技術研究院 資訊顯示方法及其資訊顯示系統與處理裝置
CN115314690B (zh) * 2022-08-09 2023-09-26 北京淳中科技股份有限公司 一种图像融合带处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149712A1 (ja) * 2007-06-01 2008-12-11 University Of Miyazaki 歪検査装置、及び歪検査方法
US8090429B2 (en) * 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
TW201728963A (zh) * 2016-02-01 2017-08-16 群睿股份有限公司 立體顯示裝置
TW201919393A (zh) * 2017-11-09 2019-05-16 英屬開曼群島商麥迪創科技股份有限公司 立體成像顯示系統及顯示立體影像的顯示方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2314794A1 (en) * 2000-08-01 2002-02-01 Dimitre Hristov Apparatus for lesion or organ localization
EP1460938A4 (en) * 2001-11-05 2006-07-26 Computerized Med Syst Inc DEVICE AND METHOD FOR DISPLAYING, LEADING AND OBJECTING AN EXTERNAL RADIOTHERAPY
US7168813B2 (en) * 2004-06-17 2007-01-30 Microsoft Corporation Mediacube
JP5063023B2 (ja) * 2006-03-31 2012-10-31 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9489925B2 (en) * 2013-01-04 2016-11-08 Texas Instruments Incorporated Using natural movements of a hand-held device to manipulate digital content
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
WO2017137527A1 (en) * 2016-02-10 2017-08-17 Brainlab Ag Sorting the sequential arrangement of radiation treatment beams regarding well-distributed unobstructed lines of sight
US10551826B2 (en) * 2016-03-24 2020-02-04 Andrei Popa-Simil Method and system to increase operator awareness
CN106296805B (zh) * 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
WO2018032083A1 (en) * 2016-08-17 2018-02-22 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
TWI651657B (zh) 2016-10-21 2019-02-21 財團法人資訊工業策進會 擴增實境系統與方法
CN106384365B (zh) 2016-11-22 2024-03-08 经易文化科技集团有限公司 一种包含深度信息获取的扩增实境系统及其方法
TWI633336B (zh) 2017-02-24 2018-08-21 宏碁股份有限公司 頭戴式顯示器、其視野校正方法以及混合實境顯示系統
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置
CN109842790B (zh) * 2017-11-29 2021-02-26 财团法人工业技术研究院 影像信息显示方法与显示器
FR3075986B1 (fr) * 2017-12-21 2022-07-15 Thales Sa Procede d'harmonisation duale d'un sous-systeme de detection de posture ddp integre dans un systeme de visualisation tete haute porte
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090429B2 (en) * 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
WO2008149712A1 (ja) * 2007-06-01 2008-12-11 University Of Miyazaki 歪検査装置、及び歪検査方法
TW201728963A (zh) * 2016-02-01 2017-08-16 群睿股份有限公司 立體顯示裝置
TW201919393A (zh) * 2017-11-09 2019-05-16 英屬開曼群島商麥迪創科技股份有限公司 立體成像顯示系統及顯示立體影像的顯示方法

Also Published As

Publication number Publication date
CN113031892A (zh) 2021-06-25
TW202125401A (zh) 2021-07-01
US20210200498A1 (en) 2021-07-01
US11301198B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
TWI722280B (zh) 用於多個自由度之控制器追蹤
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
US10330931B2 (en) Space carving based on human physical data
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
WO2015200406A1 (en) Digital action in response to object interaction
JP6619871B2 (ja) 媒介現実コンテンツの共有
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
KR20170100641A (ko) 실세계 객체들의 가상 표현들
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN115768537A (zh) 使用定位追踪的交互式增强现实体验
CN111742281B (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
US11057606B2 (en) Method and display system for information display based on positions of human gaze and object
US20210405363A1 (en) Augmented reality experiences using social distancing
CN115735178A (zh) 具有对话气泡和翻译的增强现实眼戴器
US10299982B2 (en) Systems and methods for blind and visually impaired person environment navigation assistance
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN115735179A (zh) 增强现实眼戴器与情绪共享
US11688101B2 (en) Intrinsic parameters estimation in visual tracking systems
TWI792106B (zh) 資訊顯示方法及其處理裝置與顯示系統
CN117321634A (zh) 立体深度弯曲校正
CN115861412A (zh) 基于检测到的空间特征的定位
TW202311817A (zh) 資訊顯示方法及其處理裝置與資訊顯示系統