TWI792106B - 資訊顯示方法及其處理裝置與顯示系統 - Google Patents

資訊顯示方法及其處理裝置與顯示系統 Download PDF

Info

Publication number
TWI792106B
TWI792106B TW109141973A TW109141973A TWI792106B TW I792106 B TWI792106 B TW I792106B TW 109141973 A TW109141973 A TW 109141973A TW 109141973 A TW109141973 A TW 109141973A TW I792106 B TWI792106 B TW I792106B
Authority
TW
Taiwan
Prior art keywords
information
display
user
target
processing device
Prior art date
Application number
TW109141973A
Other languages
English (en)
Other versions
TW202203645A (zh
Inventor
蘇育萱
余姿儀
蔡宇翔
陳冠廷
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Publication of TW202203645A publication Critical patent/TW202203645A/zh
Application granted granted Critical
Publication of TWI792106B publication Critical patent/TWI792106B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Alarm Systems (AREA)

Abstract

一種資訊顯示方法及其處理裝置與顯示系統，此系統包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置，其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取使用者的位置資訊以及姿態資訊。第二資訊擷取裝置用以擷取目標物的位置資訊以及姿態資訊。處理裝置用以根據使用者的位置資訊以及姿態資訊、目標物的位置資訊以及姿態資訊，進行座標轉換，以產生使用者與目標物之間的疊合資訊，以及根據疊合資訊，將目標物的立體相關資訊顯示於顯示器上。

Description

資訊顯示方法及其處理裝置與顯示系統
本發明是有關於一種資訊顯示技術。
隨著影像處理技術與空間定位技術的發展，透明顯示器的應用已逐漸受到重視。此類的技術可讓顯示器搭配實體物件，再輔以虛擬相關資訊，並且依照使用者的需求來產生互動式的體驗，可使資訊以更為直觀的方式呈現。
然而，目前的顯示系統僅是利用影像辨識進行使用者以及實體物件的定位，再透過透明顯示器將平面圖資隨著使用者視線與實體物件的相對位置進行移動。在使用者以及實體物件的姿態未被考量的前提下，在顯示器上所呈現的平面圖資或是立體圖資，皆難以與實體物件精準地疊合，而造成使用者觀看上的不適。
本揭露提供一種資訊顯示方法及其處理裝置與顯示系統。
在本揭露的一範例實施例中，上述的顯示系統包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置，其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取使用者的位置資訊以及姿態資訊。第二資訊擷取裝置用以擷取目標物的位置資訊以及姿態資訊。處理裝置用以根據使用者的位置資訊以及姿態資訊、目標物的位置資訊以及姿態資訊，進行座標轉換，以產生使用者與目標物之間的疊合資訊，以及根據疊合資訊，將目標物的立體相關資訊顯示於顯示器上。
在本揭露的一範例實施例中，上述的資訊顯示方法適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統。資訊顯示方法包括利用第一資訊擷取裝置擷取使用者的位置資訊以及姿態資訊，利用第二資訊擷取裝置擷取目標物的位置資訊以及姿態資訊，根據使用者的位置資訊以及姿態資訊、目標物的位置資訊以及姿態資訊，進行座標轉換，以產生使用者與目標物之間的疊合資訊，以及根據疊合資訊，將目標物的立體相關資訊顯示於顯示器上。
在本揭露的一範例實施例中，上述的處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置，其中第一資訊擷取裝置用以擷取使用者的位置資訊以及姿態資訊，第二資訊擷取裝置用以擷取目標物的位置資訊以及姿態資訊。處理裝置包括記憶體以及處理器。記憶體用以儲存資料。處理器用以取得第一資訊擷取裝置所擷取的使用者的位置資訊以及姿態資訊，取得第二資訊擷取裝置所擷取的目標物的位置資訊以及姿態資訊，根據使用者的位置資訊以及姿態資訊、目標物的位置資訊以及姿態資訊，進行座標轉換，以產生使用者與目標物之間的疊合資訊，以及根據疊合資訊，將目標物的立體相關資訊顯示於顯示器上。
為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法、裝置以及系統的範例。
圖1是根據本揭露一範例實施例所繪示的顯示系統的示意圖。首先圖1先介紹系統中的各個構件以及配置關係，詳細功能將配合後續範例實施例的流程圖一併揭露。
請參照圖1，本範例實施例中的顯示系統100包括顯示器110、至少一個第一資訊擷取裝置120、至少一個第二資訊擷取裝置130以及處理裝置140，其中處理裝置140可以是以無線、有線或電性連接於顯示器110、第一資訊擷取裝置120以及第二資訊擷取裝置130。
顯示器110用以顯示資訊，其包括例如是液晶顯示器（Liquid crystal display，LCD）、場色序（Field sequential color）LCD顯示器、發光二極體（Light emitting diode，LED）顯示器、電濕潤顯示器等穿透式可透光顯示器，或者是投影式可透光顯示器。使用者透過顯示器110所觀看到的內容可以是疊加虛擬影像的實體場景。
第一資訊擷取裝置120用以擷取使用者的位置資訊以及姿態資訊，而第二資訊擷取裝置130用以擷取實體場景中的目標物的位置資訊以及姿態資訊。第一資訊擷取裝置120可以例如是至少一個影像感測器或者是至少一個影像感測器搭配至少一個深度感測器來對目標物進行影像辨識定位，其中影像感測器可為可見光感測器或非可見光感測器如紅外線感測器等，深度感測器可為光場雷達或超音波感測器等。此外，第一資訊擷取裝置120更可以例如是光學定位器來對使用者進行光學空間定位。在此，光學定位器可包括定位器裝置以及定位光球。一般而言，定位器裝置可以是主動式裝置，而定位光球可以是被動式裝置，然後本揭露不在此設限，具體應用將在後續進行說明。也就是說，只要是可以定位出使用者所在位置資訊以及姿態資訊的裝置或其組合，皆屬於第一資訊擷取裝置120的範疇。
第二資訊擷取裝置120則可以例如是至少一個影像感測器或者是至少一個影像感測器搭配至少一個深度感測器來對目標物進行影像辨識定位、光學定位器來對目標物進行光學空間定位、或者是磁性定位器來對目標物進行磁導空間定位。此外，因應特殊情境需求，第二資訊擷取裝置130亦可以是GPS定位器來定位顯示器110外部的目標物（例如建築物、車輛、行人等），或是GPS定位器、相機、雷達等可提供測距裝置的組合，以擷取目標物的位置資訊以及姿態資訊。也就是說，只要是可以定位出目標物所在位置資訊以及姿態資訊的裝置或其組合，皆屬於第二資訊擷取裝置130的範疇。
本領域具通常知識者應明瞭，上述的影像感測器可用以擷取影像並且包括具有透鏡以及感光元件的攝像鏡頭。上述的深度感測器可用以偵測深度資訊，其可以分為主動式深度感測技術以及被動式深度感測技術來實現。主動式深度感測技術可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術來計算深度資訊。被動式深度感測技術可以藉由兩個影像感測器以不同視角擷取其前方的兩張影像，以利用兩張影像的視差來計算深度資訊。上述的光學定位器可配置於使用者以及/或目標物上的發光體（例如追蹤光球），再搭配攝像鏡頭或是其它光學偵測器，得以提供使用者以及/或目標物的空間座標，而此空間座標可具有三自由度（three degrees of freedom，3-DOF）、六自由度（6-DOF）的資訊。上述的磁性定位器（例如磁導探針）則可深入到目標物中，來根據所量測到的物理量（例如電壓、電流）得到目標物的空間座標。
處理裝置140用以控制顯示系統100的作動，其包括記憶體141以及處理器142。記憶體141可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。處理器142可以例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。
在本範例實施例中，處理裝置140可以是內建於顯示器110。第一資訊擷取裝置120以及第二資訊擷取裝置130可以是分別設置於顯示器110上的相對兩側、顯示系統100所屬場域相對於顯示器110的相對兩側等，用以對使用者以及目標物進行定位，並且透過各自的通訊介面以有線或是無線的方式傳輸資訊至處理裝置140。在另一範例實施例中，顯示系統100可為單一整合系統，其可以實作成頭戴式顯示裝置、智慧型手機、平板電腦等，本揭露不在此設限。以下範例實施例中將搭配顯示系統100的各元件來說明資訊顯示方法的實施細節。
圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖，而圖2的方法流程可由圖1的顯示系統100來實現。在此，使用者可透過顯示系統100的顯示器110來觀看目標物及其相關的立體相關資訊。
請同時參照圖1以及圖2，首先，顯示系統100的處理裝置140可利用第一資訊擷取裝置120擷取使用者的位置資訊以及姿態資訊（步驟S202），並且利用第二資訊擷取裝置130擷取目標物的位置資訊以及姿態資訊（步驟S204）。如同前述，第一資訊擷取裝置120以及第二資訊擷取裝置130例如是可針對使用者以及目標物的所在位置以及姿態進行定位的影像感測器、深度感測器、光學定位器、磁性定位器及其組合，而具體設置方式將於後續範例實施例中分敘說明。
接著，處理裝置140將根據使用者的位置資訊以及姿態資訊、目標物的位置資訊以及姿態資訊，進行座標轉換，以產生使用者與目標物之間的疊合資訊（步驟S206）。在此，使用者的位置資訊以及姿態資訊可以是具有使用者相對於第一資訊擷取裝置120的使用者位置座標以及使用者朝向角度，而目標物的位置資訊以及姿態資訊可以是具有目標物相對於第二資訊擷取裝置130的目標物位置座標以及目標物朝向角度。處理裝置140可將使用者位置座標、使用者朝向角度、目標物位置座標以及目標物朝向角度轉換至相同的座標系統（例如是世界座標系統或相機座標系統）。接著，處理裝置140再根據轉換後的使用者位置座標、轉換後的使用者朝向角度、轉換後的目標物位置座標以及轉換後的目標物朝向角度，計算出使用者與目標物兩者相對於顯示器110的位置以及角度，進而計算出適於使用者觀看目標物時的疊合資訊。
在一範例實施例中，疊合資訊為使用者觀看目標物時，立體相關資訊顯示於顯示器110的顯示位置、顯示角度以及顯示尺寸。在此，立體相關資訊可以是儲存於記憶體141或者是透過通訊介面（未繪示）自其它資料庫所取得，而立體相關資訊呈現於顯示器110的顯示位置以及顯示角度皆關聯於使用者相對於顯示器110的深度距離、目標物相對於顯示器110的深度距離、使用者相對於顯示器110的深度軸的偏移角度以及目標物相對於顯示器110的深度軸的偏移角度。立體相關資訊於顯示器110的顯示大小關聯於使用者相對於顯示器110的深度距離以及目標物相對於顯示器110的深度距離。
具體來說，圖3A以及圖3B是根據本揭露一範例實施例所繪示的疊合資訊的計算方法的示意圖。為了方便說明，在此第一資訊擷取裝置120以及第二資訊擷取裝置130將合稱為定位系統325。
請先同時參照圖3A以及圖1，在本實施例中，目標物T3與使用者U3皆位於定位系統325的同側。假設第一資訊擷取裝置120以及第二資訊擷取裝置130實作為具有一或多個影像感測器的相機模組，則目標物T3與使用者U3皆是位於相機中心點連線CL的同側。假設目標物T3以及使用者U3相對於顯示器110的深度距離分別為
Figure 02_image001
以及
Figure 02_image003
，目標物T3以及使用者U3相對於顯示器110的深度軸的偏移角度分別為
Figure 02_image005
以及
Figure 02_image007
。因此，處理裝置140可以是根據方程式(1.1)～(1.3)所計算出的疊合資訊來顯示目標物T3的立體相關資訊S3的位置座標
Figure 02_image009
於顯示器110的平面
Figure 02_image011
軸以及垂直
Figure 02_image013
軸的偏移量：
Figure 02_image015
(1.1)
Figure 02_image017
(1.2)
Figure 02_image019
(1.3) 其中
Figure 02_image021
為立體相關資訊S3於顯示器110的平面
Figure 02_image011
軸的偏移量，
Figure 02_image023
為立體相關資訊S3於顯示器110的平面
Figure 02_image011
軸的朝向角度，
Figure 02_image025
為立體相關資訊S3的縮放比例。此外，立體相關資訊S3於顯示器110的垂直
Figure 02_image013
軸的偏移量
Figure 02_image027
以及朝向角度
Figure 02_image029
亦可以類似的方式計算出。在此的縮放比例可以是相對於立體相關資訊的原始大小的縮放比例，並且是根據使用者U3與目標物T3的相對距離關係來調整。
請再同時參照圖3B以及圖1，在本實施例中，目標物T3與使用者U3位於定位系統325的不同側。假設第一資訊擷取裝置120以及第二資訊擷取裝置130實作為具有一或多個影像感測器的相機模組，則目標物T3與使用者U3是位於相機中心點連線CL的相異兩側。因此，處理裝置140可以是根據方程式(2.1)～(2.3)所計算出的疊合資訊來顯示目標物T3的立體相關資訊S3的位置座標
Figure 02_image009
於顯示器110的平面
Figure 02_image011
軸以及垂直
Figure 02_image013
軸的偏移量：
Figure 02_image031
(2.1)
Figure 02_image033
(2.2)
Figure 02_image019
(2.3) 其中
Figure 02_image021
為立體相關資訊S3於顯示器110的平面
Figure 02_image011
軸的偏移量，
Figure 02_image023
為立體相關資訊S3於顯示器110的平面
Figure 02_image011
軸的朝向角度，
Figure 02_image025
為立體相關資訊S3的縮放比例。此外，立體相關資訊S3於顯示器110的垂直
Figure 02_image013
軸的偏移量
Figure 02_image027
以及朝向角度
Figure 02_image029
亦可以類似的方式計算出。
請再回到圖2，處理裝置140會根據所產生的疊合資訊，將目標物的立體相關資訊於顯示於顯示器110（步驟S208）。如此一來，無論是使用者以任何位置、方位、姿態觀看顯示器110，處理裝置140可自動地適應性調整立體相關資訊於顯示器110上的顯示位置、顯示角度以及顯示尺寸，以實現多角度立體相關資訊的顯示。
為了方便明瞭，以下實施例將搭配顯示系統100的不同配置方式來具體地說明圖2流程的使用情境和細節。
圖4A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，第一資訊擷取裝置120將實作為具有一或多個影像感測器的相機模組以及光學定位器，而第二資訊擷取裝置130將實作為光學定位器。
請先參照圖1以及圖4A以及圖4B，在本範例實施例中，顯示系統100的處理裝置140將利用光學定位器430以及置於目標物T4上的定位光球430B針對目標物T4進行光學空間定位（步驟S402），而取得目標物T4的位置資訊
Figure 02_image035
以及姿態資訊
Figure 02_image037
。此外，處理裝置140將利用相機模組420A針對使用者U4進行影像辨識定位（步驟S404A）以及利用光學定位器430以及置於使用者U4身上的定位光球430A針對使用者U4進行光學空間定位（步驟S404B），以分別產生使用者U4的平面位置資訊
Figure 02_image039
以及深度位置資訊
Figure 02_image041
。
接著，處理裝置140將目標物T4的位置資訊
Figure 02_image035
、姿態資訊
Figure 02_image037
以及使用者U4的位置資訊
Figure 02_image043
分別進行空間座標轉換（步驟S406A、步驟S406B），以將此些資訊轉換至相同座標系統後，再進行目標物T4與使用者U4之間的疊合運算（步驟S408），以產生疊合資訊（即，位置資訊
Figure 02_image009
、朝向角度
Figure 02_image045
以及縮放比例
Figure 02_image025
）。接著，處理裝置140將會進行資料庫存取（步驟S410），以自資料庫取得目標物T4的立體相關資訊，並且根據疊合資訊來進行多角度立體相關資訊S4的顯示（步驟S412）。此外，當使用者U4移動到其它位置時，流程將會回到步驟S404A、S404B，以重新計算不同的疊合資訊，而使用者U4將會觀看到位於顯示器110上不同位置、不同朝向角度以及不同大小的立體相關資訊。
圖5A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖5B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，第一資訊擷取裝置120將實作為相機模組，而第二資訊擷取裝置130將實作為光學定位器。
請先參照圖1以及圖5A以及圖5B，在本範例實施例中，顯示系統100的處理裝置140將利用光學定位器530以及置於目標物T5上的定位光球530B針對目標物T5進行光學空間定位（步驟S502），而取得目標物T5的位置資訊
Figure 02_image035
以及姿態資訊
Figure 02_image037
。此外，處理裝置140將利用相機模組520針對使用者U5進行影像辨識定位（步驟S504），以產生使用者U5的位置資訊
Figure 02_image043
以及姿態資訊
Figure 02_image047
。此外，本領域具通常知識者應明瞭，處理裝置140可根據使用者U5的影像來根據使用者眼睛位置以及面部旋轉幅度來判斷使用者觀看的視角方向，以做為使用者U5的姿態資訊的計算依據。
接著，處理裝置140將目標物T5的位置資訊
Figure 02_image035
、姿態資訊
Figure 02_image037
以及使用者U5的位置資訊
Figure 02_image043
以及姿態資訊
Figure 02_image047
分別進行空間座標轉換（步驟S506A、步驟S506B），以將此些資訊轉換至相同座標系統後，再進行目標物T5與使用者U5之間的疊合運算（步驟S508），以產生疊合資訊（即，位置資訊
Figure 02_image009
、朝向角度
Figure 02_image045
以及縮放比例
Figure 02_image025
）。接著，處理裝置140將會進行資料庫存取（步驟S510），以自資料庫取得目標物T5的立體相關資訊，並且根據疊合資訊來進行多角度立體相關資訊S5的顯示（步驟S512）。
圖6A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，第一資訊擷取裝置120將實作為相機模組，而第二資訊擷取裝置130將實作為磁導空間定位系統。
請先參照圖1以及圖6A以及圖6B，在本範例實施例中，顯示系統100的處理裝置140將利用磁導空間定位系統630以及磁導探針630A針對目標物T6進行電磁空間定位（步驟S602），而取得目標物T6的位置資訊
Figure 02_image035
以及姿態資訊
Figure 02_image037
。在本範例實施例中，磁導探針630A可進入目標物T6內，例如做為手術輔助用途。此外，處理裝置140將利用相機模組620針對使用者U6進行影像辨識定位（步驟S604），以產生使用者U6的位置資訊
Figure 02_image043
以及姿態資訊
Figure 02_image047
。
接著，處理裝置140將目標物T6的位置資訊
Figure 02_image035
、姿態資訊
Figure 02_image037
以及使用者U6的位置資訊
Figure 02_image043
以及姿態資訊
Figure 02_image047
分別進行空間座標轉換（步驟S606A、步驟S606B），以將此些資訊轉換至相同座標系統後，再進行目標物T6與使用者U6之間的疊合運算（步驟S608），以產生疊合資訊（即，位置資訊
Figure 02_image009
、朝向角度
Figure 02_image045
以及縮放比例
Figure 02_image025
）。接著，處理裝置140將會進行資料庫存取（步驟S610），以自資料庫取得目標物T6的立體相關資訊，並且根據疊合資訊來進行多角度立體相關資訊S6的顯示（步驟S612）。
圖7A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖，圖7B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，第一資訊擷取裝置120以及第二資訊擷取裝置130皆實作為相機模組。
請先參照圖1以及圖7A以及圖7B，在本範例實施例中，顯示系統100的處理裝置140將利用相機模組730針對目標物T7進行影像辨識定位（步驟S702），而取得目標物T7的位置資訊
Figure 02_image035
以及姿態資訊
Figure 02_image037
。為了加速運算，在此可以是將預設圖案P（例如二維條碼）置於目標物T7上，而處理裝置140可利用相機模組730擷取到預設圖案的不同分布、形變等等來推估出目標物T7的位置以及姿態。此外，處理裝置140將利用相機模組720針對使用者U7進行影像辨識定位（步驟S704），以產生使用者U7的位置資訊
Figure 02_image043
以及姿態資訊
Figure 02_image047
。
接著，處理裝置140將目標物T7的位置資訊
Figure 02_image035
、姿態資訊
Figure 02_image037
以及使用者U7的位置資訊
Figure 02_image043
以及姿態資訊
Figure 02_image047
分別進行空間座標轉換（步驟S706A、步驟S706B），以將此些資訊轉換至相同座標系統後，再進行目標物T7與使用者U7之間的疊合運算（步驟S708），以產生疊合資訊（即，位置資訊
Figure 02_image009
、朝向角度
Figure 02_image045
以及縮放比例
Figure 02_image025
）。接著，處理裝置140將會進行資料庫存取（步驟S710），以自資料庫取得目標物T7的立體相關資訊，並且根據疊合資訊來進行多角度立體相關資訊S7的顯示（步驟S712）。
本揭露的範例實施例所提出的資訊顯示方法及其處理裝置與顯示系統，其利用目標物以及使用者的位置資訊以及姿態資訊進行座標轉換，以計算出目標物與使用者之間的疊合資訊，來實現多角度的疊合影像顯示，進而提升虛擬資訊疊合至真實物件的精準度，可應用於例如醫療手術、育樂、移動載具、教育場域等各個需要影像或圖資疊合的視覺需求技術中。
雖然本揭露已以範例實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
100:顯示系統 110:顯示器 120:第一資訊擷取裝置 130:第二資訊擷取裝置 140:處理裝置 141:記憶體 142:處理器 S202～S208、S402～S412、S502～S512、S602～S612、 S702～S712:步驟 T3、T4、T5、T6、T7:目標物 U3、U4、U5、U6、U7:使用者 S3、S4、S5、S6、S7:立體相關資訊 325:定位系統 CL:相機中心點的連線 420A、520、620、720、730:相機模組 430、530:光學定位器 430A、430B、530B:定位光球 630:磁導空間定位系統 630A:磁導探針 P:預設圖案
圖1是根據本揭露一範例實施例所繪示的顯示系統的示意圖。 圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。 圖3A以及圖3B是根據本揭露一範例實施例所繪示的疊合資訊的計算方法的示意圖。 圖4A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。 圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。 圖5A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。 圖5B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。 圖6A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。 圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。 圖7A是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。 圖7B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
S202~S208:步驟

Claims (19)

  1. 一種顯示系統，包括：可透光的顯示器；至少一第一資訊擷取裝置，用以擷取使用者的位置資訊以及姿態資訊；至少一第二資訊擷取裝置，用以擷取目標物的位置資訊以及姿態資訊；以及處理裝置，連接於該顯示器、所述第一資訊擷取裝置以及所述第二資訊擷取裝置，用以：根據該使用者的該位置資訊以及該姿態資訊、該目標物的該位置資訊以及該姿態資訊，進行座標轉換，以產生該使用者與該目標物之間的疊合資訊；以及根據該疊合資訊，顯示該目標物的立體相關資訊於該顯示器上，其中該疊合資訊包括該立體相關資訊於該顯示器的顯示角度，其中該立體相關資訊於該顯示器的該顯示角度關聯於該使用者相對於該顯示器的深度距離、該目標物相對於該顯示器的深度距離、該使用者相對於該顯示器的深度軸的偏移角度以及該目標物相對於該顯示器的該深度軸的偏移角度。
  2. 如請求項1所述的顯示系統，其中：該使用者的該位置資訊以及該姿態資訊具有該使用者相對於所述第一資訊擷取裝置的使用者位置座標以及使用者朝向角度， 該目標物的該位置資訊以及該姿態資訊具有該目標物相對於所述第二資訊擷取裝置的目標物位置座標以及目標物朝向角度；以及該處理裝置轉換該使用者位置座標、該使用者朝向角度、該目標物位置座標以及該目標物朝向角度至相同的座標系統。
  3. 如請求項2所述的顯示系統，其中：該處理裝置根據轉換後的使用者位置座標、轉換後的使用者朝向角度、轉換後的目標物位置座標以及轉換後的目標物朝向角度，計算該使用者與該目標物之間相對於該顯示器的位置以及角度，以產生該疊合資訊。
  4. 如請求項1所述的顯示系統，其中：該疊合資訊更包括該使用者觀看該目標物時，該立體相關資訊於該顯示器的顯示位置以及顯示尺寸。
  5. 如請求項4所述的顯示系統，其中：該立體相關資訊於該顯示器的該顯示位置關聯於該使用者相對於該顯示器的深度距離、該目標物相對於該顯示器的深度距離、該使用者相對於該顯示器的深度軸的偏移角度以及該目標物相對於該顯示器的該深度軸的偏移角度。
  6. 如請求項4所述的顯示系統，其中：該立體相關資訊於該顯示器的該顯示大小關聯於該使用者與該目標物的相對距離。
  7. 如請求項1所述的顯示系統，其中： 所述第一資訊擷取裝置為至少一影像感測器以及第一光學定位器，所述第二資訊擷取裝置為第二光學定位器；該處理裝置利用所述影像感測器取得該使用者的平面位置資訊，並且利用該第一光學定位器取得該使用者的深度位置資訊；該處理裝置利用該第二光學定位器取得該目標物的位置資訊以及該姿態資訊；以及該處理裝置根據該使用者的該平面位置資訊、該深度位置資訊以及該目標物的位置資訊、該姿態資訊，進行座標轉換，以產生該疊合資訊。
  8. 如請求項7所述的顯示系統，其中：該使用者身上以及該目標物上分別具有第一定位光球以及第二定位光球，其中該處理裝置透過該第一光學定位器，利用該第一定位光球取得該使用者的該深度位置資訊，該第二光學定位器根據該第二定位光球取得該目標物的位置資訊以及該姿態資訊。
  9. 如請求項1所述的顯示系統，其中：所述第一資訊擷取裝置為至少一影像感測器，所述第二資訊擷取裝置為光學定位器；該處理裝置利用所述影像感測器取得該使用者的該位置資訊以及該姿態資訊；該處理裝置利用該光學定位器取得該目標物的位置資訊以及該姿態資訊；以及 該處理裝置根據該使用者的該位置資訊以及該姿態資訊、該目標物的該位置資訊以及該姿態資訊，進行座標轉換，以產生該疊合資訊。
  10. 如請求項9所述的顯示系統，其中：該目標物上具有定位光球，其中該處理裝置透過該光學定位器，利用該定位光球取得該目標物的位置資訊以及該姿態資訊。
  11. 如請求項1所述的顯示系統，其中：所述第一資訊擷取裝置為至少一影像感測器，所述第二資訊擷取裝置為磁性定位器；該處理裝置利用所述影像感測器取得該使用者的該位置資訊以及該姿態資訊；該處理裝置利用該磁性定位器取得該目標物的該位置資訊以及該姿態資訊；以及該處理裝置根據該使用者的該位置資訊以及該姿態資訊、該目標物的該位置資訊以及該姿態資訊，進行座標轉換，以產生該疊合資訊。
  12. 如請求項11所述的顯示系統，其中：該磁性定位器包括磁導探針以及磁導空間定位系統，其中該處理裝置透過該磁導空間定位系統，利用該磁導探針取得該目標物的位置資訊以及該姿態資訊。
  13. 如請求項12所述的顯示系統，其中：該磁導探針可進入於該目標物內。
  14. 如請求項1所述的顯示系統，其中：所述第一資訊擷取裝置為至少一第一影像感測器，所述第二資訊擷取裝置為至少一第二影像感測器；該處理裝置利用所述第一影像感測器取得該使用者的該位置資訊以及該姿態資訊；該處理裝置利用所述第二影像感測器取得該目標物的位置資訊以及該姿態資訊；以及該處理裝置根據該使用者的該位置資訊以及該姿態資訊、該目標物的該位置資訊以及該姿態資訊，進行座標轉換，以產生該疊合資訊。
  15. 如請求項14所述的顯示系統，其中：該目標物上更包括預設圖案；以及該處理裝置根據所述第二影像感測器所擷取到的該預設圖案，計算該目標物的位置資訊以及該姿態資訊。
  16. 如請求項1所述的顯示系統，其中：所述第二資訊擷取裝置包括GPS定位器，用以定位該目標物；以及該處理裝置利用該GPS定位器取得該目標物的該位置資訊以及該姿態資訊。
  17. 如請求項1所述的顯示系統，其中：所述第二資訊擷取裝置包括雷達測距裝置，用以定位該目標物；以及 該處理裝置利用該雷達測距裝置取得該目標物的該位置資訊以及該姿態資訊。
  18. 一種資訊顯示方法，適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統，其中該方法包括：利用所述第一資訊擷取裝置擷取使用者的位置資訊以及姿態資訊；利用所述第二資訊擷取裝置擷取目標物的位置資訊以及姿態資訊；根據該使用者的該位置資訊以及該姿態資訊、該目標物的該位置資訊以及該姿態資訊，進行座標轉換，以產生該使用者與該目標物之間的疊合資訊；以及根據該疊合資訊，顯示該目標物的立體相關資訊於該顯示器上，其中該疊合資訊包括該立體相關資訊於該顯示器的顯示角度，其中該立體相關資訊於該顯示器的該顯示角度關聯於該使用者相對於該顯示器的深度距離、該目標物相對於該顯示器的深度距離、該使用者相對於該顯示器的深度軸的偏移角度以及該目標物相對於該顯示器的該深度軸的偏移角度。
  19. 一種處理裝置，連接於可透光的顯示器、至少一第一資訊擷取裝置以及至少一第二資訊擷取裝置，其中所述第一資訊擷取裝置用以擷取使用者的位置資訊以及姿態資訊，所述 第二資訊擷取裝置用以擷取目標物的位置資訊以及姿態資訊，該處理裝置包括：記憶體，用以儲存資料；以及處理器，用以：取得所述第一資訊擷取裝置所擷取的該使用者的該位置資訊以及該姿態資訊；取得所述第二資訊擷取裝置所擷取的該目標物的該位置資訊以及該姿態資訊；根據該使用者的該位置資訊以及該姿態資訊、該目標物的該位置資訊以及該姿態資訊，進行座標轉換，以產生該使用者與該目標物之間的疊合資訊；以及根據該疊合資訊，顯示該目標物的立體相關資訊於該顯示器上，其中該疊合資訊包括該立體相關資訊於該顯示器的顯示角度，其中該立體相關資訊於該顯示器的該顯示角度關聯於該使用者相對於該顯示器的深度距離、該目標物相對於該顯示器的深度距離、該使用者相對於該顯示器的深度軸的偏移角度以及該目標物相對於該顯示器的該深度軸的偏移角度。
TW109141973A 2020-07-09 2020-11-30 資訊顯示方法及其處理裝置與顯示系統 TWI792106B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050072P 2020-07-09 2020-07-09
US63/050,072 2020-07-09

Publications (2)

Publication Number Publication Date
TW202203645A TW202203645A (zh) 2022-01-16
TWI792106B true TWI792106B (zh) 2023-02-11

Family

ID=79173819

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109141973A TWI792106B (zh) 2020-07-09 2020-11-30 資訊顯示方法及其處理裝置與顯示系統

Country Status (3)

Country Link
US (1) US11393434B2 (zh)
CN (1) CN113923437B (zh)
TW (1) TWI792106B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190919B2 (ja) * 2019-01-25 2022-12-16 株式会社ソニー・インタラクティブエンタテインメント 画像解析システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置
TW202009877A (zh) * 2018-08-28 2020-03-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP5830987B2 (ja) * 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR20140045801A (ko) * 2012-10-09 2014-04-17 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
WO2015039302A1 (en) * 2013-09-18 2015-03-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Method and system for guided ultrasound image acquisition
KR102170749B1 (ko) * 2013-11-29 2020-10-28 삼성전자주식회사 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
EP4250738A3 (en) * 2014-04-22 2023-10-11 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
KR102284841B1 (ko) * 2014-12-26 2021-08-03 엘지디스플레이 주식회사 무안경 입체영상표시장치
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
IL241033B (en) 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
US10231793B2 (en) * 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
CN109388233B (zh) * 2017-08-14 2022-07-29 财团法人工业技术研究院 透明显示装置及其控制方法
EP4245250A3 (en) 2017-08-15 2023-09-27 Holo Surgical Inc. Surgical navigation system for providing an augmented reality image during operation
US11477510B2 (en) * 2018-02-15 2022-10-18 Magic Leap, Inc. Mixed reality virtual reverberation
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11337023B2 (en) * 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506032A (zh) * 2017-08-17 2017-12-22 深圳市华星光电半导体显示技术有限公司 基于透明显示器的增强现实显示方法和装置
TW202009877A (zh) * 2018-08-28 2020-03-01 財團法人工業技術研究院 資訊顯示方法及其顯示系統

Also Published As

Publication number Publication date
US20220013090A1 (en) 2022-01-13
CN113923437B (zh) 2024-03-22
US11393434B2 (en) 2022-07-19
CN113923437A (zh) 2022-01-11
TW202203645A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
US9401050B2 (en) Recalibration of a flexible mixed reality device
TWI722280B (zh) 用於多個自由度之控制器追蹤
US9728010B2 (en) Virtual representations of real-world objects
KR102222974B1 (ko) 홀로그램 스냅 그리드
US11127380B2 (en) Content stabilization for head-mounted displays
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
JP2020077363A (ja) モバイルデバイスの位置特定
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
US20130176337A1 (en) Device and Method For Information Processing
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
TWI793390B (zh) 資訊顯示方法及其處理裝置與顯示系統
TWI792106B (zh) 資訊顯示方法及其處理裝置與顯示系統
US10559131B2 (en) Mediated reality
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
ES2812851T3 (es) Dispositivo de previsualización
US20130155211A1 (en) Interactive system and interactive device thereof
TW201910877A (zh) 透明顯示裝置及使用其之控制方法
TW202311817A (zh) 資訊顯示方法及其處理裝置與資訊顯示系統