TW202338572A - 控制器及電腦 - Google Patents
控制器及電腦 Download PDFInfo
- Publication number
- TW202338572A TW202338572A TW112100342A TW112100342A TW202338572A TW 202338572 A TW202338572 A TW 202338572A TW 112100342 A TW112100342 A TW 112100342A TW 112100342 A TW112100342 A TW 112100342A TW 202338572 A TW202338572 A TW 202338572A
- Authority
- TW
- Taiwan
- Prior art keywords
- controller
- frame
- aforementioned
- mark
- image
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 12
- 239000003550 marker Substances 0.000 abstract 4
- 239000011295 pitch Substances 0.000 description 18
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 102100034184 Macrophage scavenger receptor types I and II Human genes 0.000 description 1
- 101710134306 Macrophage scavenger receptor types I and II Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Abstract
[課題]提供一種能夠對於由標記所致的姿勢之檢測作利用之筆型之控制器、以及藉由標記來檢測出筆型控制器之姿勢之電腦。
[解決手段]由本發明所致之筆型之控制器，係具備有：框體；和位置指示部，係被設置在前述框體之前端處，並對於在空間中之位置作指示，前述框體，係包含有標記，該標記，係在前述框體之側面處沿著圍繞方向被作設置，並包含有用以檢測出前述框體之框體軸周圍之旋轉角的碼。
Description
本發明，係有關於控制器以及電腦，特別是有關於在藉由VR(虛擬實境，Virtual Reality)、AR(擴增實境，Augmented Reality)、MR(混合實境，Mixed Reality)、SR(替代實境，Substitutional Reality)等之XR技術所構成的空間(以下，稱作「XR空間」)內而被作使用之筆型之控制器、和能夠與此種控制器進行通訊之電腦。
使用者為了指示XR空間內之位置，係會有使用筆型之控制器的情況。在專利文獻1中，係揭示有此種控制器之例。
[先前技術文獻]
[專利文獻]
[專利文獻1]國際公開第2019/220803號明細書
[發明所欲解決之課題]
另外，作為檢測出在XR空間內之控制器之姿勢的方法，係考慮有「在控制器之表面上配置標記，並藉由攝像機等之光學機器來對於此標記進行攝像而辨識出上述特徵，藉由此，來檢測出控制器之姿勢」的方法。然而，在先前技術之筆型之控制器中，係難以對於此種由標記所致之姿勢之檢測作利用。
故而，本發明之其中一個目的，係在於提供一種能夠對於由標記所致的姿勢之檢測作利用之筆型之控制器、以及藉由標記來檢測出筆型控制器之姿勢之電腦。
[用以解決課題之手段]
由本發明所致之筆型之控制器，係具備有：框體；和位置指示部，係被設置在前述框體之前端處，並對於在空間中之位置作指示，前述框體，係包含有標記，該標記，係在前述框體之側面處沿著圍繞方向被作設置，並包含有用以檢測出前述框體之框體軸周圍之旋轉角的碼。
由本發明所致之電腦，係為用以檢測出控制器之姿勢的電腦，該控制器，係具備有：框體；和位置指示部，係被設置在前述框體之前端處，並對於在空間中之位置作指示，前述控制器，係具備有標記，該標記，係在前述框體之側面處沿著圍繞方向被作設置，並包含有用以檢測出身為前述框體之框體軸周圍之旋轉角的翻滾角之碼，前述電腦，係經由攝像手段而取得前述控制器之影像，並將在前述影像中所包含之前述標記作解碼，並且基於該解碼之結果來檢測出前述翻滾角。
[發明的效果]
若依據本發明，則係可提供一種能夠對於由標記所致的姿勢之檢測作利用之筆型之控制器、以及藉由標記來檢測出筆型控制器之姿勢之電腦。
以下，參考所添附之圖面，針對本發明之實施形態作詳細說明。
圖1，係為對於由本實施形態所致之筆型之控制器P與進行XR空間之產生的XR系統1作展示之圖。如同該圖中所示一般，XR系統1，係包含有畫像處理裝置2、和攝像機3、以及頭戴式顯示器4，而構成之。其中，頭戴式顯示器4，係為裝著在使用者之頭部的形態之顯示裝置。使用者，係裝著此頭戴式顯示器4，並一面觀看被顯示於頭戴式顯示器4之顯示面上的XR空間，一面進行控制器P之操作。
攝像機3，係為被配置在能夠對於控制器P進行攝影的位置處之攝像手段，並以會使光軸OX成為水平的方式而被作配置。在圖1中所示之x方向，係為光軸OX之方向，y方向，係為在水平面內而與x方向相正交之方向。z方向，係為垂直方向，並對應於攝像機3所攝影的影像之上下方向。
畫像處理裝置2，係為構成為能夠實行產生XR空間之XR應用程式的電腦，並被與攝像機3以及頭戴式顯示器4作連接。在XR應用程式中，係安裝有基於藉由攝像機3所攝影的控制器P之影像來檢測出控制器P之位置以及姿勢的功能。正在實行XR應用程式之畫像處理裝置2，係基於攝像機3之影像來檢測出控制器P之位置以及姿勢，並基於檢測結果，來產生代表控制器P之3D物件。之後，在將此3D物件配置在所產生了的XR空間中之後，對於XR空間進行渲染，並將渲染之結果對於頭戴式顯示器4作輸出。藉由此，使用者係成為能夠一面觀看控制器P之3D物件，一面在XR空間內而對於控制器P進行操作。
圖2，係為對於畫像處理裝置2之硬體構成的其中一例作展示之圖。如同該圖中所示一般，畫像處理裝置2，係構成為具備有CPU(Central Processing Unit)101、記憶裝置102、輸入裝置103、輸出裝置104以及通訊裝置105。另外，畫像處理裝置2之具體性的種類，係並未特別作限定，而可藉由像是筆記型之個人電腦、桌上型之個人電腦、平板型之個人電腦、智慧型手機、伺服器電腦等的各種形態之電腦，來構成畫像處理裝置2。
CPU101，係為對於畫像處理裝置2之各部進行控制並將被記憶在記憶裝置102中之各種程式讀出而實行的處理器。後述之畫像處理裝置2所實行之處理，係藉由讓CPU101實行被記憶在記憶裝置102中之程式來實現。
記憶裝置102，係為包含有DRAM(Dynamic Random Access Memory)等之主記憶裝置和硬碟等之輔助記憶裝置的裝置，並發揮記憶用以實行畫像處理裝置2之作業系統和各種的應用程式之各種程式以及被此些之程式所利用的資料之功用。在被記憶於記憶裝置102處之應用程式中，係包含有上述之XR應用程式。
輸入裝置103，係為受理使用者之輸入操作並供給至CPU101處之裝置，並例如被構成為包含有滑鼠、鍵盤、觸控面板。攝像機3以及控制器P，係分別身為輸入裝置103之其中一者。攝像機3，係發揮將藉由攝影所得到的影像輸入至畫像處理裝置2處之功用。控制器P，係發揮「藉由使畫像處理裝置2檢測出其之位置(在XR空間內之位置)以及姿勢，來將此些輸入至畫像處理裝置2中」之功用。畫像處理裝置2，係基於所檢測出的控制器P之位置以及姿勢，來產生上述之控制器P之3D物件，除此之外，亦進行像是游標之移動、筆劃資料之產生之類的處理。另外，控制器P，係亦可身為針對作為畫像處理裝置2之輸入裝置103的觸控面板之位置指示器。於此情況中之觸控面板，係發揮「檢測出在觸碰面上的控制器P之位置，並將所檢測出的位置供給至畫像處理裝置2處」之功用。
輸出裝置104，係為將CPU101之處理結果對於使用者作輸出的裝置，例如係構成為包含有顯示器、揚聲器。頭戴式顯示器4，係身為輸出裝置104之其中一者。通訊裝置105，係為用以與包含有攝像機3、控制器P、頭戴式顯示器4之外部之裝置進行通訊的裝置，並依循於CPU101之控制而在自身與此些之裝置之間進行資料之送收訊。
圖3，係為控制器P之擴大立體圖。如同在該圖中所示一般，控制器P，例如係構成為具備有被形成為圓筒形狀之框體10、和被設置在框體10之前端處並對於在空間中之位置作指示的位置指示部11。使用者，係藉由以單手來把持此框體10，而進行控制器P之操作，並藉由此來使位置指示部11移動，以藉此來進行在空間中之位置之指示。在控制器P之表面上，係被配置有藉由從控制器P之電池所供給而來之電力來進行發光之複數之發光二極體12、和藉由特定之圖形所構成之標記13。
複數之發光二極體12，係為為了使畫像處理裝置2檢測出控制器P之位置所被設置者，並以預先所制定之配置形態來配置在控制器P之表面上。畫像處理裝置2，係構成為「在從攝像機3所供給而來之影像之中，而檢測出與發光二極體12之配置形態相互一致的光之形態，並基於其之外觀的大小來算出攝像機3與控制器P之間之距離，藉由此來檢測出在XR空間內之控制器P之位置」。關於被貼附在控制器P之表面上的發光二極體12之數量或者是各發光二極體12之具體性的貼附場所，係以在就算是「起因於像是被使用者之手所遮蓋等的因素而導致僅有複數之發光二極體12之一部分會出現在影像之中」的情況時也能夠使畫像處理裝置2檢測出控制器P之位置的方式，來作決定。
標記13，係為為了使畫像處理裝置2檢測出控制器P之姿勢所被設置者，並在框體10之靠向後端之側面處以包圍全周的方式而被作配置。將標記13配置在框體10之靠向後端處的原因，乃是為了防止標記13被把持控制器P之使用者之手所遮蓋的情形之故。使用有標記13之控制器P之姿勢的檢測，具體性而言，係藉由檢測出圖示之翻滾角θ、偏擺角φ、俯仰角ψ，而被實行。翻滾角θ，係為框體10之框體軸CX(圓筒軸)周圍之旋轉角。偏擺角φ，係為攝像機3之光軸OX周圍之旋轉角。俯仰角ψ，係為「與光軸OX以及框體軸CX相正交」之旋轉軸RX周圍之旋轉角。針對將此些檢測出來之方法的詳細內容，係於後再述。
圖4，係為用以對於標記13作說明之圖。圖4(a)，係為在以與框體軸CX相正交之平面來作了切斷的情況時之框體10之剖面圖，圖4(b)，係為控制器P之側面的示意性之展開圖，圖4(c)，係為控制器P之側面之示意圖。以下，除了此圖4以外，亦一面參照後述之圖5以及圖6，來針對標記13之構成以及翻滾角θ之檢測方法進行詳細說明。
首先，若是參照圖4(a)、(b)，則標記13，係包含有在框體10之側面處而沿著圍繞方向(圓周方向)來以等節距所作了配置的複數之區域A1~A8地，來構成之。以下，在並不需要對於區域A1~A8作區別的情況時，係會有將此些總稱為區域A的情形。又，以下，雖係以標記13為包含有8個的區域A一事作為前提，來繼續進行說明，但是，在標記13中所包含之區域A之個數，係亦可並非為8個。亦即是，區域A之個數，係為決定翻滾角θ之檢測解析度的參數，當標記13為包含有n個的區域A的情況時，翻滾角θ之檢測解析度係成為360°/n。故而，區域A之個數，係只要基於所必須的翻滾角θ之檢測解析度來決定即可。
各區域A，係為彼此為相同大小之長方形的區域。若是將框體10之半徑設為r，則區域A之配置節距係成為πr/4。區域A之圍繞方向之寬幅，係亦可為πr/4，於此情況，相鄰接之2個的區域A係成為彼此相互密著地而被作配置。但是，係亦可將區域A之圍繞方向之寬幅設為較πr/4而更小之值，並構成為將相鄰接之2個的區域A彼此分離地作配置。
在各區域A處，係被配置有第1圖形F1以及第2圖形F2之其中一者。在圖4(b)中，係對於「區域A1、A3~A5為包含有第1圖形F1，區域A2、A6~A8為包含有第2圖形F2」之例作展示。
第1圖形F1，係如同在圖4(b)中所示一般，為具有凸起或者是凹陷之非點對稱性之圖形。將第1圖形F1如此這般地來構成的原因，乃是為了當在攝像機3之影像內而對於控制器P作了觀察時，成為能夠使用第1圖形F1來判別控制器P之前端側與後端側之故。在圖4(b)中，作為其中一例，係對於藉由身為「以與區域A相同之寬幅πr/4所形成的四角形」之第1部分與身為「從第1部分之上邊(控制器P之後端側之邊)之中央所突出的寬幅πr/12之四角形」之第2部分(突起部)，來構成第1圖形F1之例作展示。圖示之長度L
0，係為第1圖形F1之框體軸CX方向之寬幅，並作為基準長度L
0，而預先被記憶在圖2中所示之記憶裝置102內。詳細內容雖係於後再述，但是，如此這般地而被記憶在記憶裝置102內之基準長度L
0，係為了使控制器P算出俯仰角ψ而被作使用。
圖5，係為對於第1圖形F1之其他例作展示之圖。圖5(a)，係針對藉由「以具備有與框體軸CX相平行之長邊並且短邊之長度為較區域A之圍繞方向之寬幅而更小的長方形作為基礎，並對於此基礎，而以全體而言會成為非點對稱的方式來加上相較於該長方形而區域A之圍繞方向之寬幅為更大的各種之圖形(圓、三角形、長方形、正方形等)」，來構成第1圖形F1之例作展示。圖5(b)，係針對藉由「以具備有與框體軸CX相平行之長徑並且短徑之長度為較區域A之圍繞方向之寬幅而更小的橢圓形作為基礎，並對於此基礎，而以全體而言會成為非點對稱的方式來加上相較於該橢圓形而區域A之圍繞方向之寬幅為更大的圖形(圓、三角形、長方形等)」，來構成第1圖形F1之例作展示。圖5(c)，係針對藉由「對於圓、三角形、長方形、正方形等之各種之圖形，來從控制器P之後端側之邊的中央或者是角部來施加矩形或者是橢圓形之切入」，來構成第1圖形F1之例作展示。如此這般，作為第1圖形F1之具體性的形狀，係可考慮有各種之形狀，但是，並非以在圖5中所示之形狀作為所有的可能性，第1圖形F1，係只要為具有凸起或者是凹陷之非點對稱性之圖形即可。
回到圖4。第2圖形F2，係藉由具備有特定之顏色的圖形(更具體而言，在所對應之區域A中將背景色作塗滿所成的圖形)所構成。由於區域A係為長方形，因此第2圖形F2亦為長方形。另外，標記13之背景色，係可為與框體10之側面相同之顏色，亦可為相異之顏色。當標記13之背景色為與框體10之側面相同之顏色的情況時，對於使用者而言，看起來會成為似乎在第2圖形F2之部分處並未被配置有任何之圖形。又，雖然亦可藉由與第1圖形F1相同之具有凸起或者是凹陷的非點對稱之圖形來構成第2圖形F2，但是，於此情況，係成為需要藉由彼此相異之形狀來構成第1圖形F1以及第2圖形F2之各者。
第1圖形F1以及第2圖形F2，係分別如同在圖4(b)中所例示一般地而彼此代表相異之位元，藉由此，標記13，係包含有用以使畫像處理裝置2檢測出控制器P之翻滾角θ的碼(code)。在圖4(b)中，雖係針對將第1圖形F1與位元「1」相互附加對應並且將第2圖形F2與位元「0」相互附加對應的例子作展示，但是，當然的，係亦可為相反。
在畫像處理裝置2從攝像機3所取得的影像之中所包含之控制器P之畫像中，係如同圖4(c)一般地而包含有至少3個的區域A。在各區域A處所配置的圖形之種類(第1圖形F1或者是第2圖形F2)，係以「藉由在影像中所包含之3個的區域A所展示的圖形，係身為區域A之組合，此圖形，係會因應於區域A之組合方式而成為彼此相異(換言之，相對於框體軸CX周圍之旋轉而成為不會重複)」的方式，而被作選擇。在圖4(b)中所示之圖形之配置，係成為此種選擇之其中一例。
表1，係對於當如同在圖4(b)中所示一般地來將第1圖形F1以及第2圖形F2配置在各區域A處的情況時，藉由在影像中所出現之3個的區域A所被表現之3位元之碼作展示。根據此表1，可以理解到，若是3個的區域A之組合為有所不同，則碼係會有所相異，故而，根據藉由在影像中所出現的圖形所展示的碼，係能夠判別在影像中所出現之3個的區域A。又，可以理解到，若是將在正對面而能夠看到區域A1之狀態設為翻滾角θ＝0°，則如同在表1中所示一般地，係能夠基於碼而取得翻滾角θ。
畫像處理裝置2，係檢測出在從攝像機3所供給而來之影像中所出現的標記13，並取得在其之中所出現的圖形之組合。之後，藉由對於所取得的圖形之組合進行解碼，來取得3位元之碼，並基於所取得之碼，來取得控制器P之翻滾角θ。如此這般，若依據由本實施形態所致之控制器P，則由於在表面上係被配置有標記13，因此，畫像處理裝置2，係成為能夠根據控制器P之影像來取得控制器P之翻滾角θ。
圖6，係為對於畫像處理裝置2為了取得控制器P之翻滾角θ所實行的處理作展示之處理流程圖。如同在該圖中所示一般，畫像處理裝置2，首先係從攝像機3而取得影像(步驟S1)，接著，係檢測出在影像內所包含之標記13(步驟S2)。如此這般地所檢測出之標記13，由於通常係有所歪斜，因此，接著，畫像處理裝置2，係進行對於標記13之歪斜作修正之處理(步驟S3)。
步驟S3之處理，具體而言，係只要使用機械學習或者是仿射轉換(Affine transformation)之逆轉換來實行即可。在使用有機械學習的情況時，係預先在畫像處理裝置2之記憶裝置102(參照圖2)處，將在各種的條件下從各種之角度所攝影了的標記13之影像與從正面所觀察到的標記13之影像相互附加對應地來進行學習。畫像處理裝置2，係在記憶裝置102中，檢索出與在步驟S2處所檢測出的標記13之影像最為類似的影像，並將與所命中(hit)之影像相對應的影像(從正面所觀察到的標記13之影像)，作為被修正後的影像來取得之。
另一方面，在使用有仿射轉換之逆矩陣的情況時，係預先在畫像處理裝置2之記憶裝置102處，針對框體軸CX之各種的角度，而預先記憶從正面所觀察到的標記13之影像。畫像處理裝置2，係針對此些之影像而施加各種的仿射轉換，並決定出其結果為與在步驟S2處所檢測出的標記13之影像最為類似的仿射轉換。之後，藉由將所決定出的仿射轉換之逆轉換對於在步驟S2處所檢測出的標記13之影像作適用，來取得被修正後之影像。
接著，畫像處理裝置2，係在被修正後的影像之中，決定控制器P之朝向(步驟S4)。具體而言，係只要先從影像之中而檢測出第1圖形F1，並基於其之形狀來決定控制器P之朝向即可。若是以在圖4(b)中所示之第1圖形F1作為例子，則畫像處理裝置2，係只要從所檢測出的第1圖形F1之中而檢測出第1部分以及第2部分，並將第1部分所位置之處決定為控制器P之前端側，並且將第2部分所位置之處決定為控制器P之後端側即可。
接著，畫像處理裝置2，係基於在步驟S4處所決定的控制器P之朝向，來對標記13進行解碼(步驟S5)。具體而言，係在被修正後的影像中決定出能夠最清楚看到之3個的區域A，並將在各區域A中所包含之圖形轉換為位元值。之後，藉由將所得到之3個的位元值從在以控制器P之前端側設為下方的情況時之左側起來作並排，而取得3位元之碼。
最後，畫像處理裝置2，係基於在步驟S5處之解碼結果(3位元之碼)，來算出控制器P之翻滾角θ(步驟S6)。具體而言，係只要藉由基於上述之表1來將3位元之碼轉換為翻滾角θ，來取得控制器P之翻滾角θ即可。由畫像處理裝置2所致之翻滾角θ之檢測，係藉由至此為止之處理而完成。
接下來，針對偏擺角φ以及俯仰角ψ之檢測方法作說明。圖7，係為對於畫像處理裝置2為了取得控制器P之偏擺角φ以及俯仰角ψ所實行的處理作展示之處理流程圖。如同在該圖中所示一般，畫像處理裝置2，首先係從攝像機3而取得影像(步驟S10)，接著，係檢測出在影像內所包含之標記13(步驟S11)。至此為止之處理，係與當取得翻滾角θ的情況時之步驟S1、S2相同。
接著，畫像處理裝置2，係從記憶裝置102(參照圖2)而讀出上述之基準長度L
0(參照圖4)(步驟S12)。又，畫像處理裝置2，係基於「已根據在圖3中所示之發光二極體12之光的配置而檢測出的控制器P之位置」，來取得攝像機3與控制器P之間之距離d(步驟S13)，並進而取得從攝像機3所觀察到的第1圖形F1之框體軸CX方向之外觀之長度δ(步驟S14)。其中，δ之單位，係為角度。之後，畫像處理裝置2，係基於所取得的此些之值，來算出控制器P之俯仰角ψ(步驟S15)。具體而言，係只要藉由以下之式(1)來算出俯仰角ψ即可。
另外，畫像處理裝置2，係亦可構成為：藉由控制器P之開始使用前之校正等，來預先取得當俯仰角ψ為0的情況時之從攝像機3所觀察到的第1圖形F1之框體軸CX方向之長度L
1，並使用此長度L
1、和從攝像機3所觀察到的第1圖形F1之框體軸CX方向之外觀之長度L(L之單位係為長度)，來藉由以下之式(2)而算出俯仰角ψ。
係亦可使用此些以外之方法來算出俯仰角ψ。例如，畫像處理裝置2，係亦可構成為使用第1圖形F1之上邊(位置在控制器P之後端側處之邊)與底邊(位置在控制器P之前端側處之邊)之比例之變化以及第1圖形F1之縱橫比之變化，來算出俯仰角ψ。
接著，畫像處理裝置2，係判定在步驟S15處所算出的俯仰角ψ是否為0(步驟S16)。判定之結果，當判定係為0的情況時，畫像處理裝置2，係使處理前進至步驟S18處。另一方面，當判定係並非為0的情況時，畫像處理裝置2，係在進行對於標記13之歪斜作修正的處理之後(步驟S17)，使處理前進至步驟S18處。此對於歪斜進行修正之處理，係能夠為與在圖6之步驟S3處所作了說明的處理相同之處理。
在步驟S18處，畫像處理裝置2，係基於第1圖形F1之延伸存在方向，而決定框體軸CX之方向。若是作具體說明，則畫像處理裝置2，首先係藉由與圖6之步驟S4相同之處理，來決定控制器P之朝向，藉由此，而決定出第1圖形F1之上邊(位置在控制器P之後端側處之邊)以及底邊(位置在控制器P之前端側處之邊)。之後，求取出上邊以及底邊之各者的中點之位置，並將「將所求取出之中點作連結的方向」，決定為框體軸CX之方向。另外，在像是若是僅藉由上邊之中點與底邊之中點則並無法得到充分之精確度之類的情況等時，係亦可構成為：亦求取出第1圖形F1之第1部分之上邊(或者是第2部分之底邊)之中點，並藉由最小平方法來求取出將3個的中點作連結之線段，並且將所求取出的線段之延伸存在方向決定為框體軸CX之方向。
在步驟S18中，係亦可藉由機械學習來決定出框體軸CX之方向。於此情況，係預先在畫像處理裝置2之記憶裝置102(參照圖2)處，將從各種之角度所攝影了的標記13之影像與框體軸CX之方向相互附加對應地來作記憶。畫像處理裝置2，係只要在記憶裝置102中，檢索出與在步驟S11處所檢測出的標記13之影像最為類似的影像，並將被與所命中(hit)之影像相互附加對應地而作了記憶之方向，作為框體軸CX之方向來取得即可。
決定出了框體軸CX之方向後的畫像處理裝置2，係藉由算出「所決定出的框體軸CX之方向」與「垂直方向(影像之上下方向)」所成之角度，來算出控制器P之偏擺角φ(步驟S19)。由畫像處理裝置2所致之偏擺角φ以及俯仰角ψ之檢測，係藉由至此為止之處理而完成。
如同以上所作了說明一般，若依據由本實施形態所致之控制器P，則就算是身為表面積為小之筆型的控制器，亦成為能夠藉由在表面上所配置之標記13，來使畫像處理裝置2檢測出控制器P之姿勢(具體而言，翻滾角θ、偏擺角φ以及俯仰角ψ)。
以上，雖係針對本發明之理想實施形態作了說明，但是，本發明係並不被此些之實施形態作任何的限定，當然的，本發明，係可在不脫離其之要旨的範圍內，而以各種的形態來實施。
例如，在上述實施形態中，雖係針對攝像機3為1台的情況來作了說明，但是，係亦可對於控制器P被障礙物所遮蔽的可能性有所考慮地，而構成為使用複數之攝像機3。於此情況，畫像處理裝置2，係亦可構成為基於藉由各攝像機3所攝影到的影像之中之能夠看到最多的發光二極體12之影像，來檢測出控制器P之位置，並基於能夠最清楚地看到標記13之影像，來檢測出控制器P之姿勢。又，係亦可構成為檢測出從各攝像機3起而至控制器P之角度，並基於所檢測出之角度來藉由三角測量而檢測出控制器P之位置。
又，例如，在上述實施形態中，雖係針對框體10乃身為圓筒形之例來作了說明，但是，係亦可對於人體工學等有所考慮地，而藉由像是具有圓角三角形之剖面的形狀等之圓筒形以外之形狀來構成框體10。
1:XR系統
2:畫像處理裝置
3:攝像機
4:頭戴式顯示器
10:框體
11:位置指示部
12:發光二極體
13:標記
101:CPU
102:記憶裝置
103:輸入裝置
104:輸出裝置
105:通訊裝置
A,A1~A8:區域
CX:框體軸
F1:第1圖形
F2:第2圖形
OX:光軸
P:控制器
RX:旋轉軸
θ:翻滾(roll)角
φ:偏擺(yaw)角
ψ:俯仰(pitch)角
[圖1]係為對於由本發明之實施形態所致之筆型之控制器P與進行XR空間之產生的XR系統1作展示之圖。
[圖2]係為對於畫像處理裝置2之硬體構成的其中一例作展示之圖。
[圖3]係為控制器P之擴大立體圖。
[圖4]係為用以對於標記13作說明之圖。
[圖5]係為對於第1圖形F1之其他例作展示之圖。
[圖6]係為對於畫像處理裝置2為了取得控制器P之翻滾角θ所實行的處理作展示之處理流程圖。
[圖7]係為對於畫像處理裝置2為了取得控制器P之偏擺角φ以及俯仰角ψ所實行的處理作展示之處理流程圖。
10:框體
13:標記
A1~A8:區域
F1:第1圖形
F2:第2圖形
Claims (11)
- 一種控制器，係具備有： 框體；和 位置指示部，係被設置在前述框體之前端處，並對於在空間中之位置作指示， 前述框體，係包含有標記，該標記，係在前述框體之側面處沿著圍繞方向被作設置，並包含有用以檢測出前述框體之框體軸周圍之旋轉角的碼。
- 如請求項1所記載之控制器，其中， 前述標記，係包含有在前述框體之側面處沿著圍繞方向而被作配置之複數之區域， 前述複數之區域，係分別包含有第1圖形以及與該第1圖形相異之第2圖形之中的其中一者。
- 如請求項2所記載之控制器，其中， 前述第1圖形，係為具有凸起或者是凹陷之非點對稱性之圖形。
- 如請求項2所記載之控制器，其中， 前述第2圖形，係為具有特定之顏色之圖形。
- 如請求項2～4中之任一項所記載之控制器，其中， 身為在由攝像機所得到的影像中所包含之標記並且為具有前述第1圖形以及前述第2圖形之標記，係為因應於前述第1圖形以及前述第2圖形之組合方式而彼此相異之標記。
- 如請求項1所記載之控制器，其中， 前述標記，係被配置在當使用者將前述框體作了把持時不會被前述使用者之手所遮蔽之位置處。
- 如請求項1所記載之控制器，其中， 前述標記，係被配置在前述框體之靠向後端處。
- 如請求項1所記載之控制器，其中， 前述框體之形狀，係為圓筒形狀。
- 一種電腦，係為用以檢測出控制器之姿勢的電腦，該控制器，係具備有：框體；和位置指示部，係被設置在前述框體之前端處，並對於在空間中之位置作指示， 前述控制器，係具備有標記，該標記，係在前述框體之側面處沿著圍繞方向被作設置，並包含有用以檢測出身為前述框體之框體軸周圍之旋轉角的翻滾角之碼， 前述電腦，係經由攝像手段而取得前述控制器之影像，並將在前述影像中所包含之前述標記作解碼，並且基於該解碼之結果來檢測出前述翻滾角。
- 如請求項9所記載之電腦，其中， 前述標記，係包含有沿著前述框體軸而延伸存在之圖形， 前述電腦，係取得前述圖形之基準長度，並取得從前述攝像手段起而至前述控制器之距離，並檢測出在前述影像中所包含之前述圖形之外觀上的長度，並且基於所取得了的前述基準長度、前述距離以及前述外觀上的長度，來檢測出俯仰角，該俯仰角，係為和前述攝像手段之光軸與前述框體軸相正交之旋轉軸周圍的旋轉角。
- 如請求項10所記載之電腦，其中， 前述電腦，係基於前述圖形之延伸存在方向，來決定前述框體軸之方向，並基於垂直方向以及前述框體軸之方向，來檢測出偏擺角，該偏擺角，係為前述攝像手段之光軸周圍之旋轉角。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-049337 | 2022-03-25 | ||
| JP2022049337 | 2022-03-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202338572A true TW202338572A (zh) | 2023-10-01 |
Family
ID=88100972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112100342A TW202338572A (zh) | 2022-03-25 | 2023-01-05 | 控制器及電腦 |
Country Status (2)
| Country | Link |
|---|---|
| TW (1) | TW202338572A (zh) |
| WO (1) | WO2023181568A1 (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4056891B2 (ja) * | 2002-01-18 | 2008-03-05 | 日本電信電話株式会社 | ３次元位置・姿勢検出装置、方法、プログラムおよび記録媒体 |
| EP3673462B1 (en) * | 2018-05-02 | 2021-09-22 | SZ DJI Technology Co., Ltd. | Optically supported object navigation |
| JP7312615B2 (ja) * | 2019-02-22 | 2023-07-21 | シャープ株式会社 | 入力装置及び入力システム |
-
2022
- 2022-12-26 WO PCT/JP2022/047895 patent/WO2023181568A1/ja unknown
-
2023
- 2023-01-05 TW TW112100342A patent/TW202338572A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023181568A1 (ja) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10047463B2 (en) | Printer driver systems and methods for automatic generation of embroidery designs | |
| JP6083747B2 (ja) | 位置姿勢検出システム | |
| CN105659295B (zh) | 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 | |
| US8933882B2 (en) | User centric interface for interaction with visual display that recognizes user intentions | |
| JP6089722B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
| US20160313800A1 (en) | Information processing device, information processing method, and program | |
| JP5656514B2 (ja) | 情報処理装置及び方法 | |
| JP2000259856A (ja) | ３次元コンピュータグラフィックス表示方法及び装置 | |
| US11477432B2 (en) | Information processing apparatus, information processing method and storage medium | |
| JP2012048393A (ja) | 情報処理装置およびその動作方法 | |
| TWI434204B (zh) | 應用於三維指向系統之方法 | |
| US10643341B2 (en) | Replicated dot maps for simplified depth computation using machine learning | |
| JPWO2005096130A1 (ja) | 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム | |
| JP5595312B2 (ja) | 表示装置、表示装置の制御方法、及びプログラム | |
| TW202338572A (zh) | 控制器及電腦 | |
| WO2016027527A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6643825B2 (ja) | 装置及び方法 | |
| CN110858095A (zh) | 可由头部操控的电子装置与其操作方法 | |
| JP2023531302A (ja) | 動的な形状スケッチングのためのシステム及び方法 | |
| KR100708875B1 (ko) | 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법 | |
| JP6564259B2 (ja) | 画像処理装置、画像処理方法 | |
| WO2020095400A1 (ja) | 特徴点抽出装置、特徴点抽出方法およびプログラム記憶媒体 | |
| JP6873326B2 (ja) | 眼３次元座標取得装置及びジェスチャ操作装置 | |
| CN104238734A (zh) | 三维交互系统及其交互感测方法 |