TWI753960B - 顯示裝置及其控制方法 - Google Patents

顯示裝置及其控制方法 Download PDF

Info

Publication number
TWI753960B
TWI753960B TW106135816A TW106135816A TWI753960B TW I753960 B TWI753960 B TW I753960B TW 106135816 A TW106135816 A TW 106135816A TW 106135816 A TW106135816 A TW 106135816A TW I753960 B TWI753960 B TW I753960B
Authority
TW
Taiwan
Prior art keywords
display
display device
image
mode
unit
Prior art date
Application number
TW106135816A
Other languages
English (en)
Other versions
TW201830205A (zh
Inventor
山田正彦
Original Assignee
日商和冠股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商和冠股份有限公司 filed Critical 日商和冠股份有限公司
Publication of TW201830205A publication Critical patent/TW201830205A/zh
Application granted granted Critical
Publication of TWI753960B publication Critical patent/TWI753960B/zh

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[課題]對於代表擴增實境之顯示部上的假想畫像之顯示形態容易地作變更。   [解決手段]由本發明所致之顯示裝置(1),其特徵為,係具備有:透明性之顯示部(2);和將在顯示部(2)上之指示體的指示位置檢測出來之第1檢測部(5);和將顯示部(2)之位置資訊以及朝向檢測出來之第2檢測部(6);和在顯示部(2)上顯示與藉由第2檢測部(6)所檢測出的位置資訊以及朝向相對應之假想畫像,並因應於藉由第1檢測部(5)所檢測出的指示位置而變更其顯示形態之控制部(9)。

Description

顯示裝置及其控制方法
[0001] 本發明,係有關於用以藉由在顯示部上顯示假想畫像而提供擴增實境的技術。
[0002] 係開發有藉由對於現實世界附加資訊來將現實世界作擴充的擴增實境(AR: Augmented Reality)。例如,係存在有在透明的顯示部上顯示假想畫像之技術(例如,參考專利文獻1、2)。 [先前技術文獻] [專利文獻]   [0003]   [專利文獻1]美國專利第8941683號說明書   [專利文獻2]日本專利第5649842號公報
[發明所欲解決之課題]   [0004] 然而,在先前的技術中,係有著難以對於假想畫像的顯示形態作變更之技術性課題。   [0005] 本發明,係為有鑑於此種事態而進行者,其目的,係在於提供一種用以將假想畫像之顯示形態有效地作變更的技術。    [用以解決課題之手段]   [0006] 本發明之其中一個實施形態的顯示裝置,其特徵為,係具備有:透明性之顯示部;和將在前述顯示部上之指示體的指示位置檢測出來之第1檢測部;和將前述顯示部之位置資訊以及朝向檢測出來之第2檢測部;和在前述顯示部上顯示與前述位置資訊以及前述朝向相對應之假想畫像,並因應於前述指示位置而變更前述假想畫像的顯示形態之顯示控制部。   [0007] 本發明之另外一個實施形態的顯示裝置之控制方法,係為具備有透明性的顯示部之顯示裝置之控制方法,其特徵為,係包含有:將在前述顯示部上之指示體的指示位置檢測出來之第1檢測工程;和將前述顯示部之位置資訊以及朝向檢測出來之第2檢測工程;和在前述顯示部上顯示與前述位置資訊以及前述朝向相對應之假想畫像之顯示工程;和因應於前述指示位置而變更前述假想畫像的顯示形態之控制工程。    [發明之效果]   [0008] 若依據本發明,則係可發揮能夠將假想畫像之顯示形態有效地作變更的效果。
[0010] 以下,參考圖面,對於本發明之實施形態的顯示裝置作說明。   [0011] 圖1,係為對於本發明之第1實施形態之顯示裝置1的外觀作展示之圖,圖1(a)係對於從表面側來作了觀察的顯示裝置1作展示,圖1(b)係對於從背面側來作了觀察的顯示裝置1作展示。如同該圖中所示一般,顯示裝置1,係為圓形之裝置,並於其之中央處具備有圓形之顯示部2,而構成之。在顯示部2之周圍,係被設置有於背面具有攝像部4(內藏攝像機)的甜甜圈型之框體3。另外,詳細內容雖係於後再述,但是,係亦可將身為與顯示裝置1相獨立之個體的外部攝像機(包含被連接有望遠鏡頭或望遠鏡等的攝像機)作為攝像部4來使用,並在顯示裝置1與此外部攝像機之間進行通訊。當使用者使用此顯示裝置1的情況時,係以手來拿持框體3,並在對於顯示部2作眺望的狀態下來使用。   [0012] 又,圖2,係為對於顯示裝置1的功能區塊作展示之略區塊圖。如同該圖中所示一般,顯示裝置1,功能性而言,係除了在圖1中亦有所展示的顯示部2以及攝像部4之外,更進而具備有第1檢測部5、第2檢測部6、通訊部7、記憶部8以及控制部9,而構成之。又,顯示裝置1,係構成為能夠與作為指示體之電子筆10一同作使用。   [0013] 顯示部2,係身為透明性之液晶顯示器(LCD: Liquid Crystal Display)面板,並構成為能夠藉由從控制部9所施加的電壓之值來對透射率作變更。此透射率之變更,例如,係藉由在透明之LCD面板的背面貼附會因應於從控制部9所施加的電壓之值而使配向方向改變的液晶薄膜(電子快門),而實現之。當顯示部2之透射率成為較0%而更大之值的情況時,位於顯示裝置1之相反側的現實世界之物體的影像係會通過顯示部2而進入使用者的眼中。故而,當在顯示部2處被顯示有假想畫像的情況時,對於使用者而言,看起來係成為如同使現實世界之物體和被顯示在顯示部2上之假想畫像相重疊一般,藉由此,擴增實境(AR: Augmented Reality)係被實現(後述之AR1模式)。   [0014] 攝像部4,係為被內藏於顯示裝置1中之攝像機,並構成為能夠將所攝像了的影像即時地輸出至控制部9處。控制部9,係將從攝像部4所輸入了的影像即時地輸出至顯示部2處。當攝像部4之輸出影像正被顯示在顯示部2上的情況時,藉由攝像部4所攝影了的現實世界之物體的影像係會進入使用者的眼中。故而,當重疊於攝像部4之輸出影像上而顯示了假想畫像的情況時,對於使用者而言,看起來係成為如同使現實世界之物體和被顯示在顯示部2上之假想畫像相重疊一般,藉由此,擴增實境(AR: Augmented Reality)亦係被實現(後述之AR2模式)。   [0015] 第1檢測部5,係為被配置在顯示部2之背面處的透明感測器,並發揮將在顯示部2上之指示體的指示位置檢測出來之功能。作為由第1檢測部5所致之指示位置之具體性的檢測方式,係可使用主動靜電耦合方式、靜電電容方式、電磁感應方式、感壓方式等之各種的方式,但是,在顯示裝置1處,較理想,係使用能夠對應於由電子筆10所致之觸碰和由手指所指之觸碰的雙方之主動靜電耦合方式。以下,以使用主動靜電耦合方式一事作為前提,來繼續進行說明。   [0016] 第1檢測部5,例如,係具備有分別在X方向上而延伸存在的複數之第1線狀導體(未圖示)、和分別在於面板面內而與X方向相正交之Y方向上而延伸存在的複數之第2線狀導體(未圖示),並構成為使用此些來檢測出由電子筆10或手指所致之指示位置。   [0017] 首先,若是針對將由電子筆10所致之指示位置檢測出來的情況作說明,則首先,由主動靜電耦合方式所致之電子筆10,一般而言,係具備有朝向顯示裝置1而送訊位置檢測用訊號之功能地來構成之。第1檢測部5,係在各複數之第1以及第2線狀導體之各者處,進行此位置檢測用訊號之檢測,並對於在各者處之位置檢測用訊號的受訊強度作判定。由於若是線狀導體與電子筆10之距離越近,則此受訊強度會變得越強,因此,第1檢測部5,係能夠根據此受訊強度來檢測出由電子筆10所致之指示位置。第1檢測部5,係將所檢測出的指示位置,作為由2維之XY座標值所成的座標資料來輸出至控制部9處。   [0018] 接著,若是針對檢測出由手指所致之指示位置的情況作說明,則第1檢測部5,係構成為對於複數之第1線狀導體的各者而依序供給訊號,並在複數之第2線狀導體的各者處而依序受訊此訊號。又,係構成為針對第1以及第2線狀導體之組合的各者,而判定如此這般所受訊的訊號之受訊強度。若是手指接近某一第1以及第2線狀導體之交叉點,則由於從第1線狀導體所流動至第2線狀導體處之電流的一部分會成為被人體所吸收,因此,在第2線狀導體處之受訊訊號的強度係會變弱。故而,第1檢測部5,係可如同上述一般地藉由對於訊號之受訊強度作判定,來判定出手指所正接近的交叉點、亦即是判定出由手指所致之指示位置。第1檢測部5,係將所檢測出的指示位置,與電子筆10的情況相同地,作為由2維之XY座標值所成的座標資料來輸出至控制部9處。   [0019] 電子筆10,係構成為除了位置檢測用訊號之外,亦能夠送訊代表施加於筆尖處之壓力(筆壓值)的筆壓資訊、代表被設置在側面處的側開關之ON、OFF之側開關資訊、預先所記憶的固有ID等之各種資訊。第1檢測部5,當從電子筆10而受訊了此些之資訊的情況時,係構成為與代表由電子筆10所致之指示位置的座標資料作組合,並作為一對之資訊來送出至控制部9處。   [0020] 第2檢測部6,係身為具備有檢測出顯示裝置1之位置資訊(例如,緯度和經度)以及朝向的功能之功能部。第2檢測部6的功能中之位置資訊之檢測功能,例如係使用GPS受訊機而實現,朝向之檢測功能,例如係使用能夠檢測出加速度、磁性、角速度等之感測器而實現。第2檢測部6,係構成為將所檢測出的位置資訊以及朝向送出至控制部9處。   [0021] 通訊部7,係為具備有在電子筆10以及任意之資訊終端(未圖示)之間進行資料通訊的功能之通訊裝置。另外,通訊部7所進行之通訊,係為與在電子筆10和第1檢測部5之間所進行的通訊相異之通訊。通訊部7,係可藉由無線通訊來與電子筆10或任意之資訊終端進行通訊,亦可藉由有線通訊來與電子筆10或任意之資訊終端進行通訊。在其中一例中,通訊部7與電子筆10之間之通訊,係藉由藍牙(註冊商標)來進行,通訊部7與資訊終端之間之通訊,係藉由無線LAN來進行。   [0022] 記憶部8,係為儲存電腦程式和資料之功能部。記憶部8,例如係藉由DRAM(Dynamic Random Access Memory)、快閃記憶體、硬碟等之記憶裝置或者是此些之組合,而被實現。   [0023] 控制部9,係為藉由將被記憶在記憶部8中之程式讀入並實行而實行在本實施形態中所說明的顯示裝置1之各動作之處理器,並藉由未圖示之匯流排等而被與圖2中所示之各部作連接。   [0024] 在控制部9所進行之動作中,係包含有在顯示部2上顯示與藉由第2檢測部6所檢測出的位置資訊以及朝向相對應之假想畫像並因應於藉由第1檢測部5所檢測出的指示位置而變更此假想畫像之顯示形態的動作。此動作,具體而言,係藉由使控制部9一面將自身之模式在AR1模式、AR2模式以及非AR模式之3個的模式之間作切換一面進行動作,而實現之。   [0025] AR1模式,係為藉由將假想畫像重疊顯示於通過透明之顯示部2所看到的現實世界之物體上,來實現擴增實境之模式。此模式下之控制部9,係構成為在將顯示部2之透射率設為第1值(較0%而更大之值,例如,透射率之最大值(理想係為100%))之後,形成與藉由第2檢測部6所檢測出的位置資訊以及朝向相對應之假想畫像並輸出至顯示部2處。   [0026] 圖3(a),係為對於在AR1模式下的顯示例作展示之圖。在該圖中,係對於在身為現實之物體的富士山R1為位於顯示部2之相反側的狀態下,由使用者來將顯示裝置1作把持的例子作展示。於此情況下,若是控制部9進入至AR1模式中,則由於除了被顯示有身為假想畫像之人物畫像V2的區域以外,顯示部2係成為透明,因此,對於使用者而言,係成為能夠通過顯示部2而看到位於其之相反側處的富士山R1。其結果,由於看起來人物畫像V2係重疊在富士山R1上,因此,使用者係成為能夠體驗到擴增實境。   [0027] AR2模式,係為藉由將假想畫像重疊顯示於攝像部4之輸出影像上,來實現擴增實境之模式。於此情況之控制部9,係將顯示部2之透射率設為較第1值而更小之第3值(例如,透射率之最小值(理想係為0%)),並且使攝像部4開始攝像。之後,係構成為將從攝像部4而被即時性供給之影像逐次輸出至顯示部2處,並且形成與藉由第2檢測部6所檢測出的位置資訊以及朝向相對應之假想畫像並輸出至顯示部2處。通過攝像部4而被作顯示的現實之物體,由於係成為在顯示部2上被與假想畫像作重疊顯示,因此,係進行有與圖3(a)中所示之AR1模式相同的顯示,使用者係成為能夠體驗到擴增實境。   [0028] 非AR模式,係為在顯示部2上僅顯示假想畫像之模式。此模式下之控制部9,係構成為在將顯示部2之透射率設為較第1值而更小之第2值(例如,透射率之最小值(理想係為0%))之後,形成與藉由第2檢測部6所檢測出的位置資訊以及朝向相對應之假想畫像並輸出至顯示部2處。   [0029] 圖3(b),係為對於在非AR模式下的顯示例作展示之圖。於該圖中,係對於在圖3(a)之狀態下而將控制部9切換至非AR模式的情況之例作展示。若是控制部9進入至非AR模式中,則由於顯示部2係成為不透明,因此,使用者,係成為至少在顯示部2上無法看到位於顯示部2之相反側處的富士山R1。其結果,在使用者之眼中,係成為僅看到有身為假想畫像之人物畫像V2的狀態。   [0030] 除此之外,在控制部9所進行之動作中,亦包含有基於藉由第1檢測部5所檢測出之一連串的指示位置來產生筆劃資料並儲存在記憶部8中並且顯示在顯示部2上的處理等。   [0031] 以下,針對由控制部9所致之假想畫像之顯示形態的變更,參照將顯示裝置1利用在天文觀測中的例子來具體性作說明。   [0032] 圖4,係為對於AR1模式、AR2模式以及非AR模式的切換例作展示之圖。圖4(a),係對於在顯示部2上被顯示有星象盤的狀態(非AR模式)作展示,圖4(b),係對於成為能夠通過顯示部2來視覺辨認到實際之星空中的星體之狀態(AR1模式)作展示,圖4(c),係對於在顯示部2上被顯示有藉由攝像部4所攝影了的星體之畫像之狀態(AR2模式)作展示。   [0033] 若是首先對於圖4(a)作注目,則控制部9,係具備有將在天文觀測中被廣泛利用的星象盤(假想畫像)顯示在顯示部2上之功能。在顯示星象盤的情況時之控制部9之模式,係為非AR模式,在顯示部2上係被顯示有假想畫像。   [0034] 於此,若是預先針對星象盤之構成簡單的作說明,則星象盤,係具備有在星座圖上而配置有遮罩之構成。在遮罩處,係被設置有用以顯示在實際之星空中而位於較地平線更上方處的星體作顯示之橢圓形的開口部。   [0035] 在圖4(a)之例中之被顯示在顯示部2上的星象盤之構成,基本上係與上述之星象盤相同,而包含有相當於開口部之星體顯示區域VA、和相當於遮罩(開口部以外之部分)之遮罩區域VM。   [0036] 在顯示星象盤的情況時之控制部9,首先係進入非AR模式。之後,係從未圖示之內藏日曆以及內藏時鐘而取得現在日期時間,並且根據藉由第2檢測部6所檢測出的位置資訊來取得現在的緯度以及經度,再將與所取得了的現在日期時間以及所取得了的現在之緯度以及經度相對應之全天畫像,與赤經以及赤緯等的附加資訊一同地顯示在星體顯示區域VA內。藉由此,使用者,係成為能夠在星體顯示區域VA內,對於在現在位置以及現在日期時間處的全天之星空作確認。在遮罩區域VM內,係被設置有緯度經度顯示部V4以及日期時間顯示部V5,控制部9,係將所取得的現在日期時間顯示在日期時間顯示部V5上,並且將所取得的現在之緯度以及經度顯示在緯度經度顯示部V4上。
又,控制部9,係構成為將代表藉由第2檢測部6所檢測出的朝向之記號V6,顯示在星體顯示區域VA內。記號V6,例如係為雙重圓之畫像,控制部9,係以使雙重圓之中心會與藉由第2檢測部6所檢測出的朝向相互一致的方式,來對於記號V6的顯示位置作調整。藉由記號V6的顯示,使用者係成為能夠對於自己正朝向星空之何處一事作全面性的掌握。
若是使用圖4(a)中所示之星象盤,則使用者係成為能夠在實際的星空中而簡單的找到星座。若是列舉出其中一例,則例如想要對於獵戶座進行觀察的使用者,係以在星體顯示區域VA內而使記號V6接近獵戶座畫像V7的方式,來改變顯示裝置1的朝向(以箭頭A來代表此動作)。如此這般地而使朝向作了改變之後的顯示裝置1,由於係正朝向實際之星空中的獵戶座之方向,因此,只要將顯示裝置1拿開,則在使用者的眼前係成為出現有實際的獵戶座。
若是在使星象盤被顯示於顯示部2上的狀態下,使用者對於星體顯示區域VA內之任意之位置作觸碰,則控制部9,係藉由因應於此觸碰來改變自身之模 式,而變更顯示部2之顯示狀態。在由控制部9所致之此模式變更中,因應於使用者之觸碰操作的內容,係會有切換至AR1模式的情況和切換至AR2模式的情況。以下,針對各者分別作說明。
首先,當觸碰操作之內容例如為所謂的單擊操作的情況時,控制部9,係進入至AR1模式,並藉由對施加於顯示部2處之電壓作控制,來將顯示部2之透射率設定為第1值。又,係將星象盤從顯示部2而消除,並代替此,而將在星體顯示區域VA內之顯示在記號V6近旁處的星體之資訊(星座之形狀或星體之名稱等),作為假想畫像而顯示在顯示部2上。藉由此,使用者,係成為能夠在實際的星空上,例如對於星座的形狀作確認。
在圖4(b)中,係對於當使用者對於圖4(a)之星體顯示區域VA內之任意之位置而作了觸碰的時間點處,於星體顯示區域VA內記號V6為位置在獵戶座畫像V7之近旁的情況(亦即是,顯示裝置1為朝向獵戶座之方向的情況)作展示。於此情況,使用者係成為通過成為了透明的顯示部2而看到現實之獵戶座。又,控制部9,係如同圖4(b)中所示一般,在顯示部2上顯示對於以獵戶座作為中心之特定範圍內之星座作展示的星座畫像V8。藉由此,係成為在顯示部2上作出將星座畫像V8重疊於實際的星空上而作了顯示的狀態。另外,作為如此這般而作顯示的假想畫像,除了圖4(b)中所示之星座畫像V8以外,亦可使用對於星體、星團、星雲、行星、彗星等之名稱(亦包含梅西爾星表、NGC等)、人造衛星、赤道(赤經赤緯等)、黃道等作展示的假想畫像。   [0042] 接著,當觸碰操作之內容例如為所謂的雙擊操作的情況時,控制部9,係進入至AR2模式,並藉由對施加於顯示部2處之電壓作控制,來將顯示部2之透射率設定為第3值。又,係將星象盤從顯示部2消除,並且啟動攝像部4,而將從攝像部4所被即時性供給之影像逐次輸出至顯示部2處。藉由此,攝像部4之輸出影像係被顯示在顯示部2上。此時,係亦可設為同時在顯示部2上,顯示與AR1模式的情況時相同之假想畫像。藉由此,使用者,係與AR1模式的情況相同地,成為能夠在實際的星空上,例如對於星座的形狀作確認。   [0043] 在圖4(c)中,係對於當在星體顯示區域VA內而獵戶座大星雲(位於獵戶座畫像V7之中央附近的星雲)被作了觸碰的情況作展示。控制部9,係將攝像部4之輸出影像顯示在顯示部2上。藉由設為此種構成,使用者係成為亦能夠對於難以藉由肉眼來確認(亦即是,在圖4(b)之顯示狀態下為難以作確認)的星體而在顯示部2上作確認。   [0044] 又,控制部9,不論是在進行圖4(b)之顯示的情況時或者是在進行圖4(c)之顯示的情況時之何者之情況中,均係構成為作為假想畫像之其中一者,而顯示代表回到星象盤處之返回鍵V9。當使用者對於此返回鍵V9作了觸碰的情況時,控制部9係將自身之模式回復到非AR模式,並將圖4(a)中所示之星象盤再度顯示在顯示部2上。藉由此,使用者,係成為能夠再度對於星象盤作確認。   [0045] 進而,控制部9,當正在進行圖4(b)之顯示中而使用者對於返回鍵V9以外之部分作了觸碰的情況時,係將自身之模式設為AR2模式,並進行圖4(c)之顯示。於此情況,顯示在顯示部2之全體中的區域,較理想,係設為與使用者之觸碰位置相對應的區域。藉由此,使用者,係成為能夠對於位在觸碰位置處之星體的影像作確認。又,控制部9,當正在進行圖4(c)之顯示中而使用者對於返回鍵V9以外之部分作了觸碰的情況時,係將自身之模式設為AR1模式,並進行圖4(b)之顯示。藉由此,使用者,係成為能夠以更廣的範圍來對於星體作確認。   [0046] 另外,控制部9,係亦可構成為藉由觸碰以外的契機,來變更顯示部2之顯示狀態。例如,係亦可構成為因應於在星象盤之顯示中而記號V6接近了特定之星座(例如,獵戶座畫像V7)一事,來切換至圖4(b)中所示之顯示。又,係亦可構成為因應於當正在顯示圖4(b)中所例示之畫像的期間中而顯示部2之朝向從顯示中之星座(例如,獵戶座畫像V7)而遠離一事,來切換至星象盤之顯示。   [0047] 接著,一面參考控制部9之處理流程,一面針對控制部9之動作更進一步作詳細說明。在此說明中,亦同樣的,係針對將顯示裝置1利用在天文觀測中的情況(參考圖4)為例來作說明。   [0048] 圖5~圖8,係為對於控制部9的動作作展示之處理流程圖。如同圖5中所示一般,控制部9,首先係以非AR模式來開始動作(步驟S1)。   [0049] 在圖6中,係針對非AR模式下的控制部9之動作作展示。如同該圖中所示一般,身為非AR模式之控制部9,首先係將顯示部2之透射率設定為第2值(步驟S10)。另外,將步驟S10以虛線來描繪的原因,係由於當顯示部之透射率已經成為第2值的情況時,係並不需要進行步驟S10之故。   [0050] 接著,控制部9,係在將圖4(a)中所示之星象盤顯示在顯示部2上之後(步驟S11),從未圖示之內藏時鐘來取得現在日期時間,並顯示在圖4(a)中所示之日期時間顯示部V5處(步驟S12),並且從第2檢測部6而取得顯示裝置1之位置資訊,並顯示在圖4(a)中所示之緯度經度顯示部V4處(步驟S13)。進而,控制部9,係取得與所取得了的現在時刻以及位置資訊相對應之全天畫像(假想畫像),並顯示在圖4(a)中所示之星體顯示區域VA內(步驟S14)。又,控制部9,係從第2檢測部6而取得顯示裝置1之朝向,並在與所取得了的朝向相對應之星體顯示區域VA內的位置處,顯示圖4(a)中所示之記號V6(步驟S15)。   [0051] 回到圖5。實行了步驟S1之後的控制部9,係藉由參照第1檢測部5之輸出資料,來判定星體顯示區域VA內是否被作了觸碰(步驟S2)。於此,當判定係並未被作觸碰的情況時,係反覆進行步驟S1之動作。另一方面,當判定係被作了觸碰的情況時,係藉由更進而參照第1檢測部5之輸出資料,來判定觸碰操作之內容(步驟S3)。之後,當判定觸碰操作之內容係身為第1操作(例如單擊)的情況時,控制部9,係開始在AR1模式下之動作(步驟S4)。另一方面,當判定觸碰操作之內容係身為第2操作(例如雙擊)的情況時,控制部9,係開始在AR2模式下之動作(步驟S7)。   [0052] 在圖7中,係針對AR1模式(步驟S4)下的控制部9之動作作展示。如同該圖中所示一般,進入了AR1模式之控制部9,首先係將顯示部2之透射率設定為第1值(步驟S20)。於此時間點處,在非AR模式中而被作了顯示的星象盤係被消除。另外,將步驟S20以虛線來描繪的原因,係由於當顯示部2之透射率已經成為第1值的情況時,係並不需要進行步驟S20之故。   [0053] 接著,控制部9,係與非AR模式的情況時相同地,取得現在日期時間、位置資訊以及朝向(步驟S21),並將與所取得了的現在日期時間、位置資訊以及朝向相對應之假想畫像,顯示在顯示部2上(步驟S22)。   [0054] 在圖8中,係針對AR2模式(步驟S7)下的控制部9之動作作展示。如同該圖中所示一般,進入了AR2模式之控制部9,首先係將顯示部2之透射率設定為第3值(步驟S30)。另外,將步驟S30以虛線來描繪的原因,係由於當顯示部2之透射率已經成為第3值的情況時,係並不需要進行步驟S30之故。   [0055] 接著,控制部9,係基於被作了觸碰的位置,而將攝像部4之輸出影像顯示在顯示部2上(步驟S31)。於此時間點處,在非AR模式中而被作了顯示的星象盤係被消除。   [0056] 接著,控制部9,係與非AR模式的情況時相同地,取得現在日期時間、位置資訊以及朝向(步驟S32),並根據所取得了的現在日期時間、位置資訊以及朝向,來推測出在顯示部2上所映照的現實世界之位置範圍(步驟S33)。之後,將與所推測出之位置範圍相對應的假想畫像顯示在顯示部2上(步驟S34)。藉由設為此種構成,係成為能夠顯示與實際映照在顯示部2上的星體相對應之假想畫像。   [0057] 回到圖5。實行了步驟S4之後的控制部9,係藉由參照第1檢測部5之輸出資料,來判定顯示部2是否由使用者而作了觸碰(步驟S6)。於此,當判定係並未被作觸碰的情況時,係反覆進行步驟S6之動作。另一方面,當判定係被作了觸碰的情況時,係藉由更進而參照第1檢測部5之輸出資料,來判定被作了觸碰之區域(步驟S6)。之後,當判定被作了觸碰的區域係位於特定區域(例如,圖4(b)中所示之返回鍵V9)內的情況時,控制部9,係開始在非AR模式下之動作(步驟S1)。另一方面,當判定被作了觸碰的區域係身為其他之區域的情況時,控制部9,係開始在AR2模式下之動作(步驟S7)。   [0058] 又,實行了步驟S7之後的控制部9,係藉由參照第1檢測部5之輸出資料,來判定顯示部2是否由使用者而作了觸碰(步驟S8)。於此,當判定係並未被作觸碰的情況時,係反覆進行步驟S7之動作。另一方面,當判定係被作了觸碰的情況時,係藉由更進而參照第1檢測部5之輸出資料,來判定被作了觸碰之區域(步驟S9)。之後,當判定被作了觸碰的區域係位於特定區域(例如,圖4(c)中所示之返回鍵V9)內的情況時,控制部9,係開始在非AR模式下之動作(步驟S1)。另一方面,當判定被作了觸碰的區域係身為其他之區域的情況時,控制部9,係開始在AR1模式下之動作(步驟S6)。   [0059] 如同以上所作了說明一般,若依據由本實施形態所致之顯示裝置1,則係成為能夠因應於使用者之觸碰操作來將代表擴增實境之顯示部2上的假想畫像之顯示形態有效地作變更。   [0060] 另外,係亦可在赤道儀處附加具備有攝像部4,並作為此赤道儀之控制器而使用顯示裝置1。以下,參考圖面來作詳細說明。   [0061] 圖9,係為對於顯示裝置1和附加具備有作為攝像部4之攝像機20的赤道儀21作展示之圖。攝像機20以及赤道儀21,係分別構成為能夠藉由透過通訊部7所進行之無線通訊來與控制部9進行通訊。在攝像機20處,較理想,係被安裝有望遠鏡頭,藉由設為此,在以如同圖4(c)一般之倍率來對星體進行觀測時,係為便利。又,係可將藉由攝像機20所攝像了的星體之畫像即時性地顯示在顯示裝置1上,亦可顯示預先所攝像並作了記憶的畫像,亦可從此時起以特定之曝光時間來進行攝影並將其結果作顯示。   [0062] 使用者,首先,作為準備動作,係進行赤道儀之極軸對位。接著,控制部9,係在顯示裝置1之顯示部2上,顯示圖4(a)中所示之星象盤。之後,若是使用者對於星體顯示區域VA內之任意之位置進行觸碰,則控制部9,係以會使攝像機20成為恆常朝向與該位置相對應之星體(以下,稱作「追蹤對象星體」)之方向的方式,來設定赤道儀21之自動追蹤功能,並且將自身之模式設為AR2模式。在此AR2模式中而被顯示在顯示部2上者,係為藉由攝像機20所攝影了的影像。藉由此,由於就算是時間繼續經過,也能夠維持在顯示部2內而導入了追蹤對象星體的狀態,因此,使用者,係成為能夠在顯示部2處而恆常對於追蹤對象星體以及被重疊在該追蹤對象星體上的假想畫像作確認。   [0063] 接下來,針對本發明之第2實施形態作說明。由本實施形態所致之顯示裝置1,係構成為除了在第1實施形態中所說明了的功能之外,更進而藉由與其他之顯示裝置1進行協同動作,來成為能夠在顯示部2上而觀看藉由其他人的攝像機所攝影了的影像。   [0064] 圖10,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。該圖中所示之顯示裝置1a、1b,係分別為由本實施形態所致之顯示裝置1。顯示裝置1a,係對於在東京而對星空作觀察的情況作展示,顯示裝置1b,係對於在北京而對星空作觀察的情況作展示。由該圖之例所致之顯示裝置1a、1b,係分別藉由AR2模式而顯示有從外部之攝像機20a、20b而來之影像(參考圖4(c))。又,記號Va係代表顯示裝置1a之朝向,記號Vb係代表顯示裝置1b之朝向。   [0065] 顯示裝置1a、1b,係構成為能夠經由網路30來相互通訊。此通訊,具體而言,係使用圖2中所示之通訊部7來實行。於此,對於由本實施形態所致之顯示裝置1,係預先分配有對於各者作特定之辨識編號,此辨識編號係被預先儲存在記憶部8中。顯示裝置1b之控制部9,在開始與顯示裝置1a之間之通訊時,首先係送訊被儲存在記憶部8中之辨識編號。顯示裝置1a之控制部9,係藉由進行由此辨識編號所致之認證,來判定是否能夠開始與顯示裝置1b之間之通訊,並僅當判定為能夠開始的情況時,開始與顯示裝置1b之間之通訊。   [0066] 在開始了與顯示裝置1b之間之通訊之後,顯示裝置1a之控制部9,係在顯示裝置1a之顯示部2上,並不僅是顯示代表顯示裝置1a之朝向的記號Va,而亦顯示代表顯示裝置1b之朝向的記號Vb。記號Va與記號Vb,係在形狀、顏色等的外觀上為有所相異。同樣的,顯示裝置1b之控制部9,係在顯示裝置1b之顯示部2上,並不僅是顯示代表顯示裝置1b之朝向的記號Vb,而亦顯示代表顯示裝置1a之朝向的記號Va。若是在顯示裝置1a處而星體顯示區域VA內之記號Vb被作觸碰,則顯示裝置1b之控制部9,係對於顯示裝置1a,而進行正從外部之攝像機20b所取得的影像之發送(例如,串流發送)。藉由此,在顯示裝置1a處,係成為能夠顯示藉由顯示裝置1b所看到的攝像機20b之影像。同樣的,若是在顯示裝置1b處而星體顯示區域VA內之記號Va被作觸碰,則顯示裝置1a之控制部9,係對於顯示裝置1b,而進行正從外部之攝像機20a所取得的影像之發送。藉由此,在顯示裝置1b處,係成為能夠顯示藉由顯示裝置1a所看到的攝像機20a之影像。   [0067] 另外,在本實施形態中,由於發送側之顯示裝置1係只要能夠進行從攝像機20而來之影像的取得和對於其他之顯示裝置1之發送即可,因此,係亦可為其他種類之裝置。例如,係亦可代替顯示裝置1,而設置將藉由攝像機20所攝影了的影像對於世界中之顯示裝置1而進行串流發送的發送伺服器。此例,在將藉由附屬在例如哈伯望遠鏡或者是設置在各地之天文台處的星體望遠鏡等之會有多數之使用者希望觀看其之影像的大型望遠鏡處之攝像機所攝像的影像作發送的情況等時,係為特別有效。   [0068] 接下來,針對本發明之第3實施形態作說明。由本實施形態所致之顯示裝置1,係除了在第1實施形態中所說明了的功能以外,更進而具備有利用從外部之光源而來之光而將假想畫像擴大顯示於螢幕等處的功能(以下,稱作「天象儀功能」)。   [0069] 圖11,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。由本實施形態所致之控制部9,在實行天象儀功能的情況時,係進入AR1模式,並且將成為投影對象之假想星體畫像V10顯示在顯示部2上。此假想星體畫像V10,係為代表星空之畫像,更具體而言,係為將存在有星體之部分設為不透明並且將其他部分設為透明的負片畫像。   [0070] 若是在正使控制部9如同上述一般地將假想星體畫像V10顯示於顯示部2上的狀態下,將從外部之光源31而來之光照射至顯示裝置1之其中一方之表面上,則在包夾著顯示裝置1地而位置於光源31之相反側處的螢幕32上,係被投影有假想星體畫像V10。藉由此,使用者,係成為能夠享受被擴大顯示在螢幕上的假想星體畫像V10。另外,作為螢幕32,具體而言,例如,較理想,係使用房間的牆壁。   [0071] 接下來,針對本發明之第4實施形態作說明。由本實施形態所致之顯示裝置1,係構成為除了在第1實施形態中所說明了的功能之外,更進而能夠作為描圖紙來作利用。   [0072] 圖12,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。在將顯示裝置1如同描圖紙一般地來作使用的情況時,如同圖12(a)中所示一般,控制部9係將自身之模式設為AR1模式,而將顯示部2之透射率設定為第1值,並且在顯示部2上顯示切換鍵V11(第1畫像)。   [0073] 由於顯示部2之透射率係成為第1值,因此,在顯示部2內,係被導入有位於顯示裝置1之相反側的現實世界之物體(在圖13中係為富士山)。使用者,係藉由以沿著此現實世界之物體作描繪的方式來進行由電子筆10所致之線畫像V12之輸入,來使線畫像V12被顯示在顯示部2上,而能夠對於現實世界之物體作描畫。   [0074] 在使用者對於切換鍵V11作了觸碰的情況時(當藉由第1檢測部5所檢測出來的指示位置係身為切換鍵V11上之位置的情況時),控制部9係將自身之模式變更為非AR模式,而將顯示部2之透射率設定為第2值。藉由此,使用者,係如同圖12(b)中所示一般,成為能夠在顯示部2上對於線畫像V12作確認。   [0075] 另外,代替切換鍵V11,係亦可使用滑塊。在圖13中,係對於代替切換鍵V11而在顯示部2上顯示有滑塊V13(第2畫像)的例子作展示。控制部9,係構成為基於藉由第1檢測部5所檢測出的指示位置之在滑塊V13上的位置,來對於顯示部2之透射率作控制。若是列舉出具體例,則控制部9,當滑塊V13為位置在其中一端處的情況時,係將顯示部2之透射率設為第1值,當位置在另外一端處的情況時,係將顯示部2之透射率設為第2值或第3值。又,當滑塊V13為位置在中間的情況時,係將顯示部2之透射率設為第1值與第2值間之中間值或第1值與第3值間之中間值。若依據此例,則由於係能夠設定中間之透射率,因此,如同圖13(b)中所示一般,係成為能夠將透射率設為一半的程度並相對性地使線畫像V12變得顯眼。   [0076] 接下來,針對本發明之第5實施形態作說明。由本實施形態所致之顯示裝置1,係構成為除了在第4實施形態中所說明了的功能之外,更進而能夠在顯示裝置1內構成3D畫像。   [0077] 圖14,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。依據該圖之例之使用者,係使用在第4實施形態中所說明了的功能,來從方向D1~D3之3個方向而進行建築物33之描畫,並將針對各方向所產生的假想畫像記憶在記憶部8中。此時,控制部9,係將正在進行描畫的途中之藉由第2檢測部6所檢測出的顯示裝置1之朝向、和由使用者所產生的假想畫像,此兩者相互附加對應並作記憶。之後,控制部9,在結束了所有的假想畫像之記憶之後,係將被記憶在記憶部8中之複數之假想畫像,基於被個別相互附加了對應的顯示裝置1之朝向來作組合,藉由此,而產生3D畫像。藉由此,使用者係成為能夠藉由從複數之方向來進行建築物33之描畫的簡單之操作,而得到建築物33之3D畫像。   [0078] 接下來,針對本發明之第6實施形態作說明。由本實施形態所致之顯示裝置1,係構成為除了在第1實施形態中所說明了的功能之外,更進而具備有遊戲功能。此遊戲,係為在現實世界中尋找出藉由假想畫像所構成的怪物之遊戲。   [0079] 圖15,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。由本實施形態所致之控制部9,在圖15(a)中所示之初期狀態下,係身為AR1模式,顯示裝置1之相反側的現實世界之風景係通過顯示部2而進入至使用者之眼中。由本實施形態所致之控制部9,係構成為在此狀態下而於顯示部2上顯示身為假想畫像之怪物畫像V14。為了進行此顯示,由本實施形態所致之記憶部8,係預先將複數之怪物畫像分別與位置資訊相互附加對應地而作記憶。   [0080] 圖16,係為對於本實施形態之顯示裝置1的控制部9之動作作展示之處理流程圖。以下,依循此流程圖,對於由本實施形態所致之控制部9之動作作說明。   [0081] 控制部9,首先係進入至AR1模式(步驟S40),並將顯示部2之透射率設定為第1值。之後,係根據藉由第2檢測部6所檢測出的位置資訊以及朝向,來推測出進入至顯示部2內之現實世界的位置範圍(步驟S41),並當記憶部8針對被包含於該推測出之位置範圍內的位置而記憶有怪物畫像的情況時,係將該怪物畫像,如同圖15(a)中所示一般地而與現實世界之風景相重疊並顯示在顯示部2上(步驟S42)。   [0082] 在步驟S42中,控制部9,係針對各怪物畫像之每一者,而基於被相互對應地記憶在記憶部8中之位置資訊與顯示裝置1之現在位置之間的距離,來對於其之擴大率作控制。藉由此,係成為能夠提供如同位在越遠方之怪物看起來會變得越小一般之使用者體驗。但是,若是實施此種擴大率之控制,則會成為發生像是雖然在遠方似乎存在有怪物但是卻看不清楚一般的事態。於此種情況,對於使用者而言係會希望將其作擴大顯示。步驟S43之後的動作,係為為了滿足此希望所實行者。   [0083] 控制部9,係判定顯示中之怪物畫像是否被作了觸碰(步驟S43)。於此,當判定係並未被作觸碰的情況時,係回到步驟S41並繼續進行處理。另一方面,當判定為係被作了觸碰的情況時,控制部9,係進入至AR2模式(步驟S44),並且基於被作了觸碰的怪物畫像之位置,來決定攝像部4之輸出影像的切取範圍(位置、大小)(步驟S45)。切取範圍之位置,係以會使怪物畫像被包含在切取範圍內的方式來作決定。又,切取範圍之大小,較理想,係若是與怪物之間的距離(被相互對應地記憶在記憶部8中之位置資訊與顯示裝置1之現在位置之間的距離)越遠則設為越小,但是,係亦可由使用者來預先作設定。   [0084] 又,控制部9,係因應於在步驟S45中所決定了的切取範圍之大小,來變更怪物畫像之擴大率(步驟S46)。例如,當切取範圍之大小為相當於攝像部4之輸出影像的面積之1/4的情況時,係將怪物畫像之擴大率以面積比而設定為4倍。   [0085] 接著,控制部9,係依據在步驟S45中所決定了的切取範圍來進行攝像部4之輸出影像的切取,並如同圖15(b)中所示一般地,而擴大顯示於顯示部2之全體(步驟S47)。之後,係根據藉由第2檢測部6所檢測出的位置資訊以及朝向,來推測出在顯示部2上所正映照的現實世界之位置範圍(步驟S48),並判定與被作了觸碰的怪物畫像相對應之位置是否被包含在該位置範圍中(步驟S49)。於此,當判定為係並未包含的情況時,係回到步驟S40之AR1模式下的處理。另一方面,當判定係被包含的情況時,係如同圖15(b)中所示一般,將被作了觸碰的怪物畫像以在步驟S46中所決定了的擴大率來作顯示(步驟S50)。之後,回到步驟S47,並繼續進行在AR2模式下之處理。   [0086] 於此,進行步驟S49之判定的原因,係因為會有起因於使用者移動顯示裝置1一事而導致怪物跑到被顯示在顯示部2上之現實世界的範圍之外的情況之故。藉由構成為當步驟S49之判定結果係為否定的情況時會回到AR1模式,當怪物畫像成為不會被映照在顯示部2內的情況時,係成為能夠使控制部9迅速地回到AR1模式。   [0087] 若依據本實施形態,則使用者,係成為能夠藉由對於怪物畫像進行觸碰,而對於位在遠方之怪物作擴大確認。並且,由於周圍之現實世界的影像亦係同時被作擴大,因此,使用者係成為能夠不會產生異常感覺地來對於怪物畫像之擴大畫像作確認。   [0088] 圖17,係為對於本實施形態之變形例之顯示裝置1的使用狀態作展示之圖。由本變形例所致之顯示裝置1,係將攝像部4之輸出影像並非作擴大顯示而是作縮小顯示,在此點上,係與由本實施形態所致之顯示裝置1相異。   [0089] 在圖17(a)中所示之初期狀態下,控制部9係身為AR1模式,在此點上,係與圖15(a)相同。但是,由本變形例所致之顯示裝置1之控制部9,係在顯示部2上顯示切換鍵V15。在使用者對於此切換鍵V15作了觸碰的情況時,控制部9,係將自身之模式切換為AR2模式,而將攝像部4之倍率設定為較1而更小之特定值,並且將顯示部2之顯示切換為身為攝像機之攝像部4的輸出影像(之全體)。又,針對怪物畫像,亦係以與攝像部4之倍率相等的擴大率(縮小率)來顯示在顯示部2上。藉由設為此種構成,在顯示部2上,係如同圖17(b)中所示一般,成為將更廣之範圍的影像與怪物畫像一同作映照。   [0090] 由於使用者原本係並不知道怪物之存在位置(作為怪物畫像之位置而被記憶在記憶部8中之位置資訊),因此,如同圖17(a)中所示一般,係會有無法順利在顯示部2內而捕捉到怪物畫像的情況。由於就算是在此種情況,亦能夠藉由按下切換鍵V15來對於更廣的範圍作確認,因此,使用者係成為能夠更方便地進行怪物之探索。   [0091] 接下來,針對本發明之第7實施形態作說明。由本實施形態所致之顯示裝置1,係構成為除了在第1實施形態中所說明了的功能之外,更進而具備有醫療用畫像之顯示功能。具體而言,係構成為在AR1模式下顯示X光畫像等之透視畫像,並在非AR模式下顯示根據CT、MRI等之體積資料所產生的任意剖面之剖面畫像。   [0092] 圖18,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。由本實施形態所致之記憶部8,係將上述之透視畫像和體積資料,基於病患資訊(ID)來附加關連性並作記憶。   [0093] 圖19,係為對於本實施形態之顯示裝置1的控制部9之動作作展示之處理流程圖。以下,依循此流程圖,對於由本實施形態所致之控制部9之動作作說明。   [0094] 控制部9,首先係為了決定初期位置,而對於使用者下達例如在使用者之頭上而以使顯示裝置1之顯示部2朝上的狀態來作乘載的指示(例如,在顯示部2上顯示此指示資訊)。若是初期位置之設定結束,則係將從該位置起所進行之移動藉由第2檢測部6之各種感測器而偵測出來。控制部9,係進入至AR1模式(步驟S60),並將顯示部2之透射率設定為第1值。之後,如同圖18(a)中所示一般,根據藉由第2檢測部6所檢測出之資訊,來將與從正面所觀察的病患之位置相對應之透視畫像V16顯示在顯示部2上(步驟S61)。此時,控制部9,係亦將切換鍵V17顯示在顯示部2上。在顯示透視畫像V16時,控制部9,係將相當於人體之外側的部份加工為透明。其結果,在透視畫像V16之周圍,係如同圖18(a)中所示一般,被設置有能夠透視並看到顯示裝置1之相反側的區域A1。   [0095] 於此,在圖18(a)中,係將正在顯示身為腹部之透視畫像的透視畫像V16之顯示裝置1,舉起至病患的腹部之前。藉由設為此種構成,顯示裝置1之使用者,係能夠以如同透視到病患之腹部內一般的感覺來使用透視畫像。   [0096] 在步驟S61中而顯示了透視畫像V16之控制部9,係判定是否由使用者而對於切換鍵V17作了觸碰(步驟S62)。當判定係並未被作觸碰的情況時,係繼續進行透視畫像V16之顯示。另一方面,當判定為係作了觸碰的情況時,控制部9,首先係從第2檢測部6而取得代表現在的顯示裝置1之朝向之向量,並記憶在記憶部8中(步驟S63)。之後,進入至非AR模式(步驟S64),並將顯示部2之透射率設為最小值。之後,將被與和在步驟S61中所顯示了的透視畫像V16相同之角度附加有對應地而記憶在記憶部8中之剖面畫像,顯示在顯示部2上(步驟S65)。在圖18之例中,由於透視畫像V16係成為從正面來作了攝影者,因此,在步驟S65中,係成為被顯示有圖18(b)中所示之冠狀面畫像V20。藉由此,係能夠實現對於使用者而言為自然的畫像切換。   [0097] 接著,控制部9,係再度從第2檢測部6而取得代表現在的顯示裝置1之朝向之向量,並算出其與在步驟S63中所記憶了的向量之間所成之角度(旋轉矩陣)(步驟S66)。之後,藉由與所算出的角度相對應之剖面畫像,來對於顯示部2之顯示作更新(步驟S67)。例如,若是所算出的角度為代表90°之朝向上方的旋轉,則係藉由圖18(c)中所示之軸狀面畫像V21來對於顯示部2之顯示作更新,若是所算出的角度為代表90°之朝向右方的旋轉,則係藉由圖18(d)中所示之矢狀面畫像V22來對於顯示部2之顯示作更新。   [0098] 在步驟S67之後,控制部9,係再度判定是否由使用者而對於切換鍵V17作了觸碰(步驟S68)。當判定係並未被作觸碰的情況時,係回到步驟S66,並繼續進行在非AR模式下之剖面畫像顯示處理。另一方面,當判定係被作了觸碰的情況時,控制部9,係回到步驟S60,並移行至在AR1模式下之透視畫像顯示處理。另外,在該圖中雖並未作圖示,但是,於其後之步驟S61中,係亦可構成為顯示與最後所算出的角度相對應之透視畫像。   [0099] 如同以上所作了說明一般,若依據本實施形態,則係成為能夠以AR1模式來顯示透視畫像,並且以非AR模式來顯示剖面畫像。並且,當從AR1模式來切換為非AR模式時,由於係能夠顯示藉由與正被作顯示之畫像的攝影平面相同之平面所攝影了的剖面畫像,因此係成為能夠實現對於使用者而言為自然之畫像切換。又,當正在以非AR模式來顯示剖面畫像的期間中,由於係能夠因應於顯示裝置1之傾斜度來根據體積資料而產生剖面畫像,因此,針對剖面畫像之間之切換,係亦成為能夠實現對於使用者而言為自然的切換。   [0100] 另外,在本實施形態中,當正在顯示透視畫像或剖面畫像時而使用者藉由電子筆10來在顯示部2處進行了輸入的情況時,係亦可設為將作為其之結果所得到的筆劃資料對於顯示中之畫像而相互附加對應地來記憶在記憶部8中。藉由此,係成為能夠於後而對於寫入之內容再度作確認。   [0101] 接下來,針對本發明之第8實施形態作說明。由本實施形態所致之顯示裝置1,係構成為除了在第1實施形態中所說明了的功能之外,更進而具備有對於考試問題而追加顯示答案等之附加資訊的功能。   [0102] 圖20,係為對於本實施形態之顯示裝置1的使用狀態作展示之圖。由本實施形態所致之控制部9,在啟動附加資訊追加顯示功能的情況時,例如係進行由ID/密碼所致之使用者認證。藉由此,係成為僅有知道ID/密碼者(例如監考官)能夠啟動附加資訊追加功能。   [0103] 又,由本實施形態所致之記憶部8,係預先記憶有成為附加資訊追加顯示功能之對象的考試問題用紙之構成(包含1以上的答題欄之各別之位置)、和各答題欄之答案。圖20(a)中所示之考試問題用紙34,係為其之一例,並具有1以上的答題欄34a。   [0104] 啟動了附加資訊追加顯示功能之控制部9,係在進入了AR1模式或AR2模式之後,開始由攝像部4所致之攝像。之後,持續進行攝像,直到在從攝像部4所輸出的影像之中出現藉由記憶部8而被作記憶之考試問題用紙為止,當出現了藉由記憶部8而被作記憶之考試問題用紙的情況時,基於影像之中之考試問題用紙之位置,來決定在其之中所包含的1以上之答題欄之位置。由於顯示裝置1之位置通常係並不會被固定在單一場所處,因此,此位置決定,係以特定之週期而繼續性地被實行。   [0105] 控制部9,係在每次被進行各答題欄之位置決定時,判定所決定了的位置是否被包含在顯示部2內,並針對被判定為係被包含在顯示部2內之答題欄,而於顯示部2之所對應的位置處顯示其之答案。於此,成為顯示對象之答案,係為與各答題欄相互附加對應地而被記憶在記憶部8中者。藉由此,使用者,係成為能夠在顯示部2上對於各答題欄之答案作確認。   [0106] 另外,成為本實施形態之對象的用紙,係並不被限定於考試問題,針對教科書、參考書、考題集等,亦同樣的,顯示裝置1係能夠與上述相同的來在被設置於各者處之答題欄中顯示答案。   [0107] 又,當使用者對於與答題欄相對應之顯示部2之區域作了觸碰的情況時,控制部9,係亦可構成為將關連於該答題欄之更進一步的附加資訊(例如,解說等)作顯示。於此情況,此附加資訊,係與各答題欄相互附加對應地而被預先記憶在記憶部8中。在顯示附加資訊時,控制部9,係亦可進入至非AR模式,並利用顯示部2之全體來顯示附加資訊。又,係亦可構成為在顯示附加資訊時亦同時顯示切換鍵,並當使用者對於該切換鍵作了觸碰的情況時,回復到在答題欄處顯示答案之狀態。   [0108] 以上,雖係針對本發明之理想實施形態作了說明,但是,本發明係並不被此些之實施形態作任何的限定,當然的,本發明,係可在不脫離其之要旨的範圍內,而以各種的形態來實施。   [0109] 例如,在上述各實施形態中,雖係以顯示裝置1為對應於非AR模式、AR1模式、AR2模式之3個模式者一事作為前提來進行了說明,但是,本發明之至少一部分,係亦可藉由僅對應於AR1模式以及AR2模式之其中一者的顯示裝置1來實現之。例如,若是以圖4之例來作說明,則假設就算是顯示裝置1並未對應於AR2模式,亦能夠在圖4(a)之非AR模式和圖4(b)之AR1模式之間來變更假想畫像的顯示形態。又,假設就算是顯示裝置1並未對應於AR1模式,亦能夠在圖4(a)之非AR模式和圖4(c)之AR2模式之間來變更假想畫像的顯示形態。   [0110] 又,在上述之各實施形態中,雖係將顯示裝置1之形狀設為圓形,但是,當然的,係亦可將顯示裝置1之形狀設為四角形等之其他的形狀。
[0111]1、1a、1b‧‧‧顯示裝置2‧‧‧顯示部3‧‧‧框體4‧‧‧攝像部5‧‧‧第1檢測部6‧‧‧第2檢測部7‧‧‧通訊部8‧‧‧記憶部9‧‧‧控制部10‧‧‧電子筆20‧‧‧攝像機21‧‧‧赤道儀30‧‧‧網路31‧‧‧光源32‧‧‧螢幕33‧‧‧建築物34‧‧‧考試問題用紙34a‧‧‧答題欄V2‧‧‧人物畫像V4‧‧‧緯度經度顯示部V5‧‧‧日期時間顯示部V6‧‧‧記號V7‧‧‧獵戶座畫像V8‧‧‧星座畫像V9‧‧‧返回鍵V10‧‧‧假想星體畫像V11、V15、V17‧‧‧切換鍵V12‧‧‧線畫像V13‧‧‧滑塊V14‧‧‧怪物畫像V16‧‧‧透視畫像V20‧‧‧冠狀面畫像V21‧‧‧軸狀面畫像V22‧‧‧矢狀面畫像V23‧‧‧斜位(Oblique)畫像VA‧‧‧星體顯示區域VM‧‧‧遮罩區域
[0009]   [圖1]係為對於本發明之第1實施形態之顯示裝置1的外觀作展示之圖。   [圖2]係為對於圖1中所示之顯示裝置1的功能區塊作展示之略區塊圖。   [圖3](a)係為對於在AR1模式下的顯示例作展示之圖,(b)係為對於在非AR模式下的顯示例作展示之圖。   [圖4]係為對於AR1模式、AR2模式以及非AR模式的切換例作展示之圖。   [圖5]係為對於圖2中所示之控制部9的動作之全體作展示之處理流程圖。   [圖6]係為對於圖2中所示之控制部9的在非AR模式下之動作作展示之處理流程圖。   [圖7]係為對於圖2中所示之控制部9的在AR1模式下之動作作展示之處理流程圖。   [圖8]係為對於圖2中所示之控制部9的在AR2模式下之動作作展示之處理流程圖。   [圖9]係為對於顯示裝置1和附加具備有攝像機20之赤道儀21作展示之圖。   [圖10]係為對於本發明之第2實施形態之顯示裝置1的使用狀態作展示之圖。   [圖11]係為對於本發明之第3實施形態之顯示裝置1的使用狀態作展示之圖。   [圖12]係為對於本發明之第4實施形態之顯示裝置1的使用狀態作展示之圖。   [圖13]係為對於本發明之第4實施形態的變形例之顯示裝置1的使用狀態作展示之圖。   [圖14]係為對於本發明之第5實施形態之顯示裝置1的使用狀態作展示之圖。   [圖15]係為對於本發明之第6實施形態之顯示裝置1的使用狀態作展示之圖。   [圖16]係為對於本發明之第6實施形態之顯示裝置1的控制部9之動作作展示之處理流程圖。   [圖17]係為對於本發明之第6實施形態的變形例之顯示裝置1的使用狀態作展示之圖。   [圖18]係為對於本發明之第7實施形態之顯示裝置1的使用狀態作展示之圖。   [圖19]係為對於本發明之第7實施形態之顯示裝置1的控制部9之動作作展示之處理流程圖。   [圖20]係為對於本發明之第8實施形態之顯示裝置1的使用狀態作展示之圖。
1‧‧‧顯示裝置
2‧‧‧顯示部
4‧‧‧攝像部
5‧‧‧第1檢測部
6‧‧‧第2檢測部
7‧‧‧通訊部
8‧‧‧記憶部
9‧‧‧控制部
10‧‧‧電子筆

Claims (12)

  1. 一種顯示裝置,其特徵為,係具備有:透明性之顯示部;和將在前述顯示部上之指示體的指示位置檢測出來之第1檢測部;和將前述顯示部之位置資訊以及朝向檢測出來之第2檢測部;和在前述顯示部上顯示與前述位置資訊以及前述朝向相對應之假想畫像,並因應於前述指示位置而變更前述假想畫像的顯示形態之控制部,前述控制部,係變更前述顯示部之透射率。
  2. 如申請專利範圍第1項所記載之顯示裝置,其中,前述顯示部,係構成為可對透射率作變更,前述控制部,係構成為能夠以至少包含有將前述顯示部之透射率設為第1值之AR1模式和藉由將前述顯示部之透射率設為較前述第1值而更小的第2值來在前述顯示部上顯示前述假想畫像之非AR模式的複數之模式之其中一者來動作,前述控制部,係更進而構成為:在以前述AR1模式來動作的期間中,在前述顯示部上顯示第1畫像,當前述指示位置係身為前述第1畫像上之位置的情況時,藉由將自身之模式切換為前述非AR模式,來變更前述假想畫像之 顯示形態。
  3. 如申請專利範圍第2項所記載之顯示裝置,其中,前述複數之模式,係包含藉由將前述顯示部之透射率設為較前述第1值而更小的第3值並且將前述假想畫像重疊於攝像部之輸出影像上而顯示在前述顯示部上,來將前述假想畫像顯示在前述顯示部上之AR2模式。
  4. 如申請專利範圍第1項所記載之顯示裝置,其中,前述顯示部,係構成為可對透射率作變更,前述控制部,係更進而構成為將第2畫像顯示在前述顯示部上,並基於前述指示位置之在前述第2畫像上之位置,來對於前述顯示部之透射率作控制。
  5. 如申請專利範圍第1項或第4項所記載之顯示裝置,其中,前述控制部,係基於前述指示位置而產生筆劃資料,並顯示在前述顯示部上。
  6. 如申請專利範圍第1項或第4項所記載之顯示裝置,其中,前述控制部,係變更前述假想畫像之擴大率。
  7. 一種顯示裝置之控制方法,係為具備有透明性的顯示 部之顯示裝置之控制方法,其特徵為,係包含有:將在前述顯示部上之指示體的指示位置檢測出來之第1檢測工程;和將前述顯示部之位置資訊以及朝向檢測出來之第2檢測工程;和在前述顯示部上顯示與前述位置資訊以及前述朝向相對應之假想畫像之顯示工程;和因應於前述指示位置而變更前述假想畫像的顯示形態之控制工程,前述控制工程,係變更前述顯示部之透射率。
  8. 如申請專利範圍第7項所記載之顯示裝置之控制方法,其中,前述顯示部,係構成為可對透射率作變更,前述顯示裝置,係構成為能夠以至少包含有將前述顯示部之透射率設為第1值之AR1模式和藉由將前述顯示部之透射率設為較前述第1值而更小的第2值來在前述顯示部上顯示前述假想畫像之非AR模式的複數之模式之其中一者來動作,前述顯示工程,係更進而在前述顯示裝置以前述AR1模式來動作的期間中,在前述顯示部上顯示第1畫像,前述控制工程,係更進而當前述指示位置係身為前述第1畫像上之位置的情況時,藉由將前述顯示裝置之模式切換為前述非AR模式,來變更前述假想畫像之顯示形 態。
  9. 如申請專利範圍第8項所記載之顯示裝置之控制方法,其中,前述複數之模式,係包含藉由將前述顯示部之透射率設為較前述第1值而更小的第3值並且將前述假想畫像重疊於攝像部之輸出影像上而作顯示,來將前述假想畫像顯示在前述顯示部上之AR2模式。
  10. 如申請專利範圍第7項所記載之顯示裝置之控制方法,其中,前述顯示部,係構成為可對透射率作變更,前述顯示工程,係更進而將第2畫像顯示在前述顯示部上,前述控制工程,係基於前述指示位置之在前述第2畫像上之位置,來對於前述顯示部之透射率作控制。
  11. 如申請專利範圍第7項或第10項所記載之顯示裝置之控制方法,其中,前述控制工程,係基於前述指示位置而產生筆劃資料,並顯示在前述顯示部上。
  12. 如申請專利範圍第7項或第10項所記載之顯示裝置之控制方法,其中, 前述控制工程,係變更前述假想畫像之擴大率。
TW106135816A 2017-01-31 2017-10-19 顯示裝置及其控制方法 TWI753960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017014995 2017-01-31
JP2017-014995 2017-01-31

Publications (2)

Publication Number Publication Date
TW201830205A TW201830205A (zh) 2018-08-16
TWI753960B true TWI753960B (zh) 2022-02-01

Family

ID=63039494

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135816A TWI753960B (zh) 2017-01-31 2017-10-19 顯示裝置及其控制方法

Country Status (4)

Country Link
US (1) US11183141B2 (zh)
CN (1) CN110199324B (zh)
TW (1) TWI753960B (zh)
WO (1) WO2018142679A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015904A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200211295A1 (en) * 2018-11-09 2020-07-02 Edx Technologies, Inc. Methods and devices for transitioning among realities mediated by augmented and/or virtual reality devices
CN110047115B (zh) * 2019-03-26 2021-11-16 珠海格力电器股份有限公司 星辰图像拍摄方法、装置、计算机设备和存储介质
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
CN112882220A (zh) * 2021-02-10 2021-06-01 光速视觉(北京)科技有限公司 信息化天文望远镜系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201333753A (zh) * 2012-02-15 2013-08-16 Top Victory Invest Ltd 具有實景導覽功能之透明顯示器
US20140016825A1 (en) * 2011-04-08 2014-01-16 Sony Corporation Image processing apparatus, display control method and program
TW201407419A (zh) * 2012-04-26 2014-02-16 Intel Corp 擴增實境計算裝置、設備及系統
US20150070386A1 (en) * 2013-09-12 2015-03-12 Ron Ferens Techniques for providing an augmented reality view

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP4537403B2 (ja) 2004-08-04 2010-09-01 株式会社日立製作所 画像処理装置
JP2006308674A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp 画像表示装置
MY183362A (en) * 2010-03-30 2021-02-18 Ns Solutions Corp Information processing apparatus, information processing method, and program
JP5649842B2 (ja) 2010-03-30 2015-01-07 新日鉄住金ソリューションズ株式会社 情報提供装置、情報提供方法、及びプログラム
US8941683B2 (en) 2010-11-01 2015-01-27 Microsoft Corporation Transparent display interaction
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
JP5783629B2 (ja) * 2011-07-08 2015-09-24 株式会社ドワンゴ 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
US11068049B2 (en) * 2012-03-23 2021-07-20 Microsoft Technology Licensing, Llc Light guide display and field of view
JP5284524B1 (ja) * 2012-09-07 2013-09-11 株式会社東芝 電子機器および手書き文書処理方法
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP2014203131A (ja) * 2013-04-01 2014-10-27 キヤノン株式会社 入力装置、入力処理方法及びプログラム
JP5900468B2 (ja) * 2013-11-21 2016-04-06 コニカミノルタ株式会社 Ar表示装置、処理内容設定装置、処理内容設定方法およびプログラム
US9746739B2 (en) * 2014-06-05 2017-08-29 Microsoft Technology Licensing, Llc See-through dimming panel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016825A1 (en) * 2011-04-08 2014-01-16 Sony Corporation Image processing apparatus, display control method and program
TW201333753A (zh) * 2012-02-15 2013-08-16 Top Victory Invest Ltd 具有實景導覽功能之透明顯示器
TW201407419A (zh) * 2012-04-26 2014-02-16 Intel Corp 擴增實境計算裝置、設備及系統
US20150070386A1 (en) * 2013-09-12 2015-03-12 Ron Ferens Techniques for providing an augmented reality view

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015904A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls

Also Published As

Publication number Publication date
WO2018142679A1 (ja) 2018-08-09
CN110199324A (zh) 2019-09-03
US11183141B2 (en) 2021-11-23
US20190295495A1 (en) 2019-09-26
TW201830205A (zh) 2018-08-16
CN110199324B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
TWI753960B (zh) 顯示裝置及其控制方法
Gruenefeld et al. Eyesee360: Designing a visualization technique for out-of-view objects in head-mounted augmented reality
US11829526B2 (en) Gaze based interface for augmented reality environment
US9747722B2 (en) Methods for teaching and instructing in a virtual world including multiple views
Suma et al. Leveraging change blindness for redirection in virtual environments
US20200272227A1 (en) Mixed reality intelligent tether for dynamic attention direction
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
KR20130108643A (ko) 응시 및 제스처 인터페이스를 위한 시스템들 및 방법들
WO2000017848A1 (en) Intuitive control of portable data displays
US20200110560A1 (en) Systems and methods for interfacing with a non-human entity based on user interaction with an augmented reality environment
Sicaru et al. A SURVEY ON AUGMENTED REALITY.
US20230360336A1 (en) Collaborative mixed-reality system for immersive surgical telementoring
JPWO2018025825A1 (ja) 撮像システム
McDonnell Immersive Technology and Medical Visualisation: A Users Guide
US11972037B2 (en) Head mounted information processing apparatus and head mounted display system
Jadeja et al. New era of teaching learning: 3D marker based augmented reality
Kot et al. Virtual operator station for teleoperated mobile robots
Huang et al. 8.2: Anatomy Education Method using Autostereoscopic 3D Image Overlay and Mid‐Air Augmented Reality Interaction
Kunii et al. System to check organs, malignant tumors, blood vessel groups, and scalpel paths in DICOM with a 3D stereo immersive sensory HMD
JP2016224809A (ja) 情報処理装置、情報処理方法
US12106678B2 (en) Procedure guidance and training apparatus, methods and systems
Dewitz et al. Virtuality between my Fingers–Investigation of Zoom Mechanisms for Visual Exploration of Virtual Environments
EP3122430A1 (en) Systems and methods for teaching and instructing in a virtual world including multiple views
Sawant et al. Enhancing Medical Education Through Augmented Reality Check for updates
Malinchi et al. ENHANCED INTERACTIVITY IN VIRTUAL TOURS