TWI469622B - Information processing devices, information processing methods, and program products - Google Patents

Information processing devices, information processing methods, and program products Download PDF

Info

Publication number
TWI469622B
TWI469622B TW99106017A TW99106017A TWI469622B TW I469622 B TWI469622 B TW I469622B TW 99106017 A TW99106017 A TW 99106017A TW 99106017 A TW99106017 A TW 99106017A TW I469622 B TWI469622 B TW I469622B
Authority
TW
Taiwan
Prior art keywords
display
virtual
unit
data
real
Prior art date
Application number
TW99106017A
Other languages
English (en)
Other versions
TW201103312A (en
Inventor
Kouichi Matsuda
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201103312A publication Critical patent/TW201103312A/zh
Application granted granted Critical
Publication of TWI469622B publication Critical patent/TWI469622B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

資訊處理裝置、資訊處理方法、及程式產品
本發明係關於一種資訊處理裝置、資訊處理方法、及程式。更詳細而言，係關於一種利用使現實世界之現實物體與電子性顯示融合之混合實境(MR：Mixed Reality)進行資料處理之資訊處理裝置、資訊處理方法、及程式。
例如使用者利用PC(個人電腦)進行資料處理之情形，使用者進行相對於PC之顯示部(顯示器)之顯示資料之處理。但，例如進行文書製作之情形，適用於該文書製作之用紙之顯示尺寸比PC之顯示部尺寸(例如窗口尺寸)大之情形，用紙整體無法顯示於PC畫面內，則有必要進行只將用紙之一部分顯示於畫面之作業。
即，超出畫面之資訊無法於PC之畫面內顯示。於顯示超出PC畫面區域之情形，雖可進行捲軸處理而顯示，但捲軸之結果將產生之前顯示之區域被隱藏之問題。為顯示整體雖亦可進行例如縮小整體而顯示之處理，或進行將畫面分割為二進行顯示之處理，但若進行如此之處理，將產生例如文字尺寸縮小難以進行作業之問題。
本發明係對此等問題利用例如混合實境(MR：Mixed Reality)進行資料處理予以解決者。又，作為關於混合實境說明之先前技術，有例如專利文獻1(日本特開2008-304268號公報)及專利文獻2(日本特開2008-304269號公報)。於該等文獻，記載有利用藉由照相機拍攝之圖像製作現實世界之三維地圖之處理。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2008-304268號公報
[專利文獻2]日本特開2008-304269號公報
本發明之目的在於提供一種資訊處理裝置、資訊處理方法及程式，藉由利用混合實境(MR：Mixed Reality)之資料處理，於例如PC等之顯示部(顯示器)以外之區域，生成將各種各樣之資料電子性黏貼之合成圖像，藉由觀察該合成圖像，可有效利用作為主要工作區域而利用之顯示部以外之空間區域。
本發明之第1觀點係一種資訊處理裝置，其包括：應用程式執行部，其係於利用第1顯示部之資料處理中將連續於前述第1顯示部之顯示資料之非顯示資料與該非顯示資料之位置資訊儲存於記憶體；三維資訊解析部，其係解析包含照相機拍攝圖像中所含之前述第1顯示部之現實目標物之三維位置；及假想目標物管理部，其係輸入儲存於前述記憶體之非顯示資料與該非顯示資料之位置資訊、及前述三維資訊解析部所解析之前述第1顯示部之三維位置資訊，而生成包含前述照相機拍攝圖像中所含之現實目標物與含有前述非顯示資料之假想目標物而成之合成圖像，並顯示於第2顯示部；且前述假想目標物管理部係將前述第2顯示部中之前述假想目標物之顯示位置，設定於從顯示於前述第2顯示部之前述第1顯示部之顯示資料之邊界向第1顯示部外延長之方向的位置。
此外，於本發明之資訊處理裝置之一實施形態中，前述假想目標物管理部係將儲存於前述記憶體之作為非顯示資料之位置資訊之座標資料，轉換為成為前述第2顯示部之顯示圖像之顯示位置之指標的照相機座標系，並使用該轉換後之座標資料決定前述假想目標物之顯示位置。
此外，於本發明之資訊處理裝置之一實施形態中，前述目標物管理部，判定轉換成照相機座標系之前述假想目標物之顯示位置與照相機拍攝圖像中所含之現實目標物之形成面是否交叉，於交叉之情形下，以使前述轉換後之座標資料位於前述現實目標物之形成面上之方式執行座標再轉換處理，並使用再轉換處理後之座標資料決定前述假想目標物之顯示位置。
此外，於本發明之資訊處理裝置之一實施形態中，前述資訊處理裝置包括：含有前述應用程式執行部之第1裝置，及含有前述三維資訊解析部及前述假想目標物管理部之第2裝置；且，由前述應用程式執行部將儲存於第1裝置內之第1記憶體之資料經由通信部傳送至前述第2裝置，於前述第2裝置中，由前述三維資訊解析部與前述假想目標物管理部利用接收資料進行處理。
此外，本發明之第2觀點係一種資訊處理方法，其係於資訊處理裝置中執行者，其包括：應用程式執行步驟，其係由應用程式執行部於利用第1顯示部之資料處理中將連續於前述第1顯示部之顯示資料之非顯示資料與該非顯示資料之位置資訊儲存於記憶體；三維資訊解析步驟，其係由三維資訊解析部解析包含照相機拍攝圖像中所含之前述第1顯示部之現實目標物之三維位置；假想目標物管理步驟，其係由假想目標物管理部輸入儲存於前述記憶體之非顯示資料與該非顯示資料之位置資訊、及前述三維資訊解析部所解析之前述第1顯示部之三維位置資訊，而生成包含前述照相機拍攝圖像中所含之現實目標物與含有前述非顯示資料之假想目標物而成之合成圖像，並顯示於第2顯示部；且前述假想目標物管理步驟包含以下步驟：進行將前述第2顯示部中之前述假想目標物之顯示位置，設定於從顯示於前述第2顯示部之前述第1顯示部之顯示資料之邊界向第1顯示部外延長之方向的位置之處理。
此外，本發明之第3觀點係一種程式，其係於資訊處理裝置中執行資訊處理者，其包括：應用程式執行步驟，其係使應用程式執行部，於利用第1顯示部之資料處理中，將連續於前述第1顯示部之顯示資料之非顯示資料與該非顯示資料之位置資訊儲存於記憶體；三維資訊解析步驟，其係於三維資訊解析部，解析包含照相機拍攝圖像中所含之前述第1顯示部之現實目標物之三維位置；假想目標物管理步驟，其係於假想目標物管理部，輸入儲存於前述記憶體之非顯示資料與該非顯示資料之位置資訊、及前述三維資訊解析部所解析之前述第1顯示部之三維位置資訊，而生成包含前述照相機拍攝圖像中所含之現實目標物與含有前述非顯示資料構成之假想目標物而成之合成圖像，並顯示於第2顯示部；且前述假想目標物管理步驟包含以下步驟：進行將前述第2顯示部中之前述假想目標物之顯示位置，設定於從顯示於前述第2顯示部之前述第1顯示部之顯示資料之邊界向第1顯示部外延長之方向的位置之處理。
又，本發明之程式，係例如對於可執行各種各樣程式、編碼之圖像處理裝置或電腦、系統，可藉由電腦可讀之形式提供之記憶媒體、通信媒體提供之程式。藉由以電腦可讀之形成提供如此之程式，實現圖像處理裝置或電腦、系統上對應於程式之處理。
本發明之其他目的、特徵及優點，藉由基於後述之本發明之實施例及附加圖式進行更詳細之說明而明瞭。又，本說明書之系統係複數之裝置之邏輯性集合構成，各構成之裝置並非局限於同一框體內。
根據本發明之一實施例之構成，於具有顯示部之PC及行動電話等各種各樣之顯示裝置，實現將超出於顯示部外之區域之非顯示資料作為假想目標物而顯示於連續於顯示部之顯示資料之位置之構成。藉由該構成，使用者不僅可對PC等被限定之顯示區域之顯示資料持續觀察確認，亦可對超出顯示部之外之資料持續觀察確認，可提高資料處理效率。
以下，參照圖式對本發明之資訊處理裝置、資訊處理方法及程式之細節進行說明。
對本發明按照以下項目依次說明。
1.　關於本發明之資訊處理裝置之構成例與處理例(實施例1)
2.　適合於現實世界之目標物形狀之假想目標物之顯示處理(實施例2)
3.　利用其他顯示裝置之處理例
[1.　關於本發明之資訊處理裝置之構成例與處理例]
關於本發明之資訊處理裝置之構成例與處理例參照圖1以下進行說明。圖1係顯示本發明之資訊處理裝置之一構成例之圖。
使用者100操作PC(個人電腦)120進行各種資料處理。PC120如圖所示，具有應用程式執行部121、記憶體122、通信部123。於應用程式執行部121，執行使用者所選擇之應用程式。例如文書製作應用程式及繪圖應用程式等。記憶體122係由RAM、ROM等構成，利用作為應用程式之儲存區域及工作區域。例如，藉由以下說明之捲軸處理等亦可利用作為未顯示於PC之顯示部(顯示器)之非顯示資料及非顯示資料之位置資訊等之儲存區域。通信部123進行與混合實境(MR：Mixed Reality)生成裝置130之通信處理。
使用者100配戴具有顯示假想目標物之顯示器之眼鏡141。於眼鏡141具備拍攝周圍環境之照相機142。眼鏡141與照相機142連接於混合實境(MR：Mixed Reality)生成裝置130。使用者100邊觀察設於眼鏡141之顯示器之顯示圖像邊進行作業。
於眼鏡141之顯示器，顯示照相機142拍攝圖像的現實世界圖像，再將混合實境(MR)130所生成之假想目標物與現實世界圖像一併顯示。
於圖1之例，使用者100操作PC(個人電腦)120，照相機142拍攝使用者100所操作之PC(個人電腦)120。因此，於眼鏡141之顯示器，作為現實世界圖像，顯示例如使用者100所操作之PC(個人電腦)120之顯示器與其周圍之各種各樣之現實目標物之圖像。此外，混合實境(MR)生成裝置130所生成之假想目標物與該現實世界圖像重疊顯示。對應於使用者100之動作，照相機142之朝向亦變更，例如使用者見到自己的手之情形，手之圖像作為現實世界圖像顯示於眼鏡141之顯示器，假想目標物與該現實世界圖像一併顯示。
使用者100朝PC120之畫面進行處理之情形，照相機142拍攝以PC120之畫面之圖像為中心之圖像。其結果，例如圖2所示之顯示器顯示圖像200，顯示於使用者100所配戴之眼鏡141之顯示器。如該圖2所示之顯示器顯示圖像150係現實目標物與假想目標物之合成圖像。
對圖2說明之前，對圖1所示之混合實境(MR)生成裝置130之構成進行說明。混合實境(MR)生成裝置130，如圖1所示，具有三維資訊解析部131、假想目標物管理模組132、記憶體133、通信部134。
三維資訊解析部131係輸入使用者所配戴之照相機142之拍攝圖像，對拍攝圖像中所含之目標物之三維位置進行解析處理。該三維位置解析處理係作為例如應用SLAM(simultaneous localization and mapping，同時定位與建圖)之處理而進行。SLAM係從照相機之拍攝圖像中所含之各種各樣之現實目標物選擇特徵點，而將所選擇之特徵點之位置與照相機之位置姿勢一併檢測之處理。又，關於SLAM，記載於前述專利文獻1(日本特開2008-304268號公報)及專利文獻2(日本特開2008-304269號公報)。又，關於SLAM之基本處理，記載於論文[Andrew J. Davison,「Real-time simultaneous localization and mapping with a single camera」,Proceedings of the 9th International Conference on Computer Vision,Ninth,(2003)]。
三維資訊解析部131係例如應用前述SLAM而算出使用者所配戴之照相機142之拍攝圖像中所含之現實目標物之三維位置。惟三維資訊解析部131並非限於前述SLAM，亦可為藉其他方法求得照相機拍攝圖像中所含之目標物之三維位置之設定。
假想目標物管理模組132係進行顯示於使用者所配戴之照相機141之顯示器之假想目標物之管理。假想目標物係儲存於記憶體133之資料。具體而言，例如於使用者所配戴之眼鏡141之顯示器上，顯示圖2所示之顯示器顯示圖像150。顯示器顯示圖像150中所含之PC圖像151，係由照相機142拍攝之現實圖像(現實目標物)。針對該現實圖像(現實目標物)一併顯示圖2所示之假想目標物161。
圖1所示之使用者100可於眼鏡141之顯示器上觀察例如圖2所示之現實目標物與假想目標物之合成圖像。圖2所示之PC圖像151係由照相機142拍攝之現實目標物。PC圖像151內之PC顯示部152亦為現實圖像。於該PC顯示部152上，顯示使用者製作中之文書之一部分。
另一方面，圖2所示之顯示圖像150中所含之假想目標物161並非現實世界之目標物(現實目標物)。圖2所示之假想目標物161係PC圖像151內之PC顯示部152所示之使用者作為處理對象之用紙之一部分。
使用者雖進行圖1所示之PC120之操作，設定用紙之尺寸，相對於所設定尺寸之用紙輸入文字等，但用紙尺寸過大超出PC120之顯示區域，用紙整體無法顯示於PC之顯示器。圖2所示之假想目標物221係超出PC120之顯示區域之非顯示資料。PC120之應用程式執行部121檢測出非顯示資料之發生時，將非顯示資料與其位置資訊儲存於PC120內之記憶體122。
儲存於記憶體122之資料，藉由PC120之通信部123與混合實境(MR)生成裝置130之通信部134之通信，發送至混合實境(MR)生成裝置130。混合實境(MR)生成裝置130將來自PC120之接收資料儲存於混合實境(MR)生成裝置130內之記憶體133。
混合實境(MR)生成裝置130之假想目標物管理模組132，進行將儲存於記憶體133之資料作為假想目標物顯示於使用者所配戴之眼鏡141之顯示器之處理。具體而言，進行例如決定假想目標物之顯示位置，顯示假想目標物於所決定之顯示位置之處理。
圖2所示之例中，顯示將假想目標物161顯示於作為現實目標物圖像顯示之PC圖像151之PC顯示部152之上部之例。該顯示位置係由PC120之應用程式執行部121同時使用非顯示資料與儲存於記憶體122之位置資訊，由假想目標物管理模組132加以決定。該位置資訊亦藉由通信從PC120發送至混合實境(MR)生成裝置130。
圖2所示之假想目標物161，係藉由使用者100對PC120之操作，超出PC120之顯示部(顯示器)之區域外之非顯示資料。該非顯示資料與其位置資訊一併藉由通信發送至混合實境(MR)生成裝置130，儲存於混合實境(MR)生成裝置130之記憶體133。混合實境(MR)生成裝置130之假想目標物管理模組132，將儲存於記憶體133之資料作為假想目標物，進行決定假想目標物之顯示位置之處理，顯示於使用者所配戴之眼鏡141之顯示器。
又，圖1所示之裝置，雖以PC120與混合實境(MR)生成裝置130這2個裝置作為不同裝置於兩裝置間進行資料通信之構成，但PC120與混合實境(MR)生成裝置130亦可作為1個裝置構成，該情形，可省略圖1所示之各裝置之通信部。例如亦可為於PC120設定混合實境(MR)生成裝置130之三維資訊解析部131、假想目標物管理模組132，於1個PC內進行處理之構成。
即，於圖1雖個別地顯示PC(個人電腦)120與混合實境(MR：Mixed Reality)生成裝置130這2個裝置，但本發明之資訊處理裝置，可作為圖1所示之混合實境(MR：Mixed Reality)生成裝置130之單獨裝置，亦可由混合實境(MR：Mixed Reality)生成裝置130與PC120這2個裝置構成之裝置。或可由一併具有2個裝置之功能之1個裝置構成。
對適用圖1之構成之具體處理例參照圖3以下進行說明。使用者100於PC120之應用程式執行部121執行文書製作應用程式，如圖3(a)所示於PC120之顯示部201顯示作成之文書而製作文書。於PC120之顯示部201，顯示作成對象之文書用紙202a，使用者輸入文字等至該用紙202a。於顯示部201，顯示用紙202a之一半左右，其餘隱藏。
文書製作進展後，使用者將用紙202a向上方向移動(捲軸)，顯示下半部分繼續輸入作業。即，如圖3(b)所示，顯示作成對象之文書用紙202b之下側，使用者可輸入文字等至該文書用紙202b。但，該圖3(b)所示之狀態下，於顯示部201，只顯示用紙202b之下半部分而其餘之上側區域成為顯示部201之區域外，使用者無法確認。
於本發明之裝置，超出顯示部201區域外之資料，即非顯示資料與其位置資訊一起暫時儲存於PC120之記憶體122。之後，該非顯示資料與位置資訊一併經由通信部123發送至混合實境(MR)生成裝置130。混合實境(MR)生成裝置130將來自PC120之接收資料，即非顯示資料與位置資訊儲存於混合實境(MR)生成裝置130內之記憶體133。
混合實境(MR)生成裝置130之三維資訊解析部131，輸入配戴於使用者100之照相機142之拍攝圖像，適用例如前述之SLAM算出拍攝圖像中所含之目標物之三維位置。選擇設定於例如圖3所示之PC之顯示器之4角落之標記321a~d作為特徵點，算出該等特徵點之三維位置。
又，圖3所示之例，雖顯示用於特徵點識別而設定標記321a~d之例，但設定如此之標記並非必須，亦可檢測現實目標物之形狀，例如圖像中所含之現實目標物之角部(角落)，以檢測出之角部(角落)為特徵點加以選擇，判定該特徵點之三維位置。又，角部(角落)之檢測處理，可藉由使用既存之哈里斯角點檢測(Harris Corner Detector)之特徵點抽出處理執行。
又，三維資訊解析部131亦可為具有從拍攝圖像檢測特定目標物之功能之構成。具體而言，例如預先登錄PC之形狀及特徵資訊，若為適用該登錄資訊判別PC之畫面區域之構成，則可從拍攝圖像正確且迅速地判別PC之畫面區域。
假想目標物管理模組132從三維資訊解析部131取得照相機拍攝圖像中所含之現實目標物之三維位置資訊。取得例如PC之顯示部周圍4點之位置資訊。此外，假想目標物管理模組132取得儲存於記憶體133之非顯示資料，即於PC120之操作中取得超出PC畫面之非顯示資料，將所取得之資料作為假想目標物顯示於使用者100之眼鏡141之顯示器。
假想目標物之顯示位置由假想目標物管理模組132決定。適用從PC120接收之非顯示資料之位置資訊與從三維資訊解析部131取得之照相機拍攝圖像中之現實目標物之三維位置資訊而決定。本例中係設定於PC顯示部之周圍。
假想目標物管理模組132將相對於使用者100之眼鏡141之顯示器之假想目標物之顯示位置設定於從顯示於眼鏡141之顯示器之PC之顯示部之顯示資料之邊界延長至PC之顯示部外之方向。即，於如圖2之顯示資料150之位置設定假想目標物161生成合成圖像並顯示。藉由如此之顯示處理，使用者可毫無不協調感地觀察作為處理對象之用紙全體。
參照圖4，對PC120之應用程式執行部121就儲存於記憶體122之非顯示資料之位置資訊進行說明。
PC120之應用程式執行部121，於藉由例如捲軸操作產生未顯示於畫面之非顯示資料之情形，將該非顯示資料儲存於記憶體122。圖4之例中，以點線框表示之非顯示資料330之資料內容儲存於PC120之記憶體122。
此外，PC120之應用程式執行部121以形成PC之顯示部201之平面為xy平面，將特定位置設定為原點。圖示之例中，顯示部201之左上部之點為原點350。
於水平方向為x軸，縱方向為y軸之顯示部201設定平行之平面。使該座標系成為PC顯示部對應座標系。應用程式執行部121求得該PC顯示部對應座標系之非顯示資料330之位置。
圖4所示之非顯示資料330之4角落之座標，如圖所示：
(x10,y10)
(x11,y11)
(x12,y12)
(x13,y13)
係作為該4點之座標。又，圖4所示之例中，雖將非顯示資料之位置資訊作為非顯示資料之4角落之座標，但根據非顯示資料之形狀，必要之位置資訊不同。應用程式執行部121於以非顯示資料作為假想資料顯示之情形取得對應於必要之非顯示資料之形狀之位置資訊並執行儲存於記憶體122之處理。
如圖4所示之矩形形之非顯示資料330之情形，其4角落之座標資料作為非顯示資料之位置資訊取得。對之後之處理參照圖5進行說明。如圖5所示，應用程式執行部121將該4個座標資料作為非顯示資料之位置資訊，與非顯示資料之實體資料一併儲存於記憶體122。
儲存於PC120側之記憶體122之非顯示資料與其位置資訊，經由通信部發送至混合實境(MR)生成裝置130，儲存於混合實境(MR)生成裝置130之記憶體133。
混合實境(MR)生成裝置130之假想目標物管理模組132，如此適用從PC120接收之非顯示資料之位置資訊與從三維資訊解析部131取得之照相機拍攝圖像中之現實目標物之三維資訊，決定假想目標物(非顯示資料)之顯示位置。藉由該處理，生成先前參照圖2說明之顯示資料150，顯示於設定於使用者100之眼鏡141之顯示器。
參照圖6所示之流程圖，對本發明之資訊處理裝置之處理順序進行說明。
圖6所示之流程圖之步驟S101~S103之處理係圖1所示之PC120之處理。
步驟S104~S107之處理係圖1所示之混合實境(MR)生成裝置130之處理。
首先，PC120之應用程式執行部121，於步驟S101檢測出超出PC之顯示部之區域外之非顯示資料之產生後，於步驟S102將非顯示資料之實體資料與其位置資訊儲存於PC120之記憶體122。該處理係參照圖4、圖5說明之處理。非顯示資料之位置資訊係例如PC顯示部平面之非顯示資料之4角落之座標資料。
然後，於步驟S103，儲存於記憶體之非顯示資料與位置資訊，經由通信部傳送至混合實境(MR)生成裝置130。
步驟S104以後，進行混合實境(MR)生成裝置130之處理。
首先，於步驟S104，混合實境(MR)生成裝置130將從PC120傳送之非顯示資料與其位置資訊儲存於混合實境(MR)生成裝置130側之記憶體133。
然後，於步驟S105，混合實境(MR)生成裝置130之假想目標物管理模組132取得儲存於記憶體133之資料，即非顯示資料與其位置資訊。
於步驟S106，假想目標物管理模組132進行將從記憶體133取得之非顯示資料之位置資訊轉換成對應於從三維資訊解析部131取得之照相機拍攝圖像之照相機座標系之處理。
對於該處理，參照圖7進行說明。三維資訊解析部131取得照相機拍攝圖像中所含之PC120之顯示部之4角落之標記321a~321d之三維位置資訊。如圖7所示：
標記321a=(Xa,Ya,Za)
標記321b=(Xb,Yb,Zb)
標記321c=(Xc,Yc,Zc)
標記321d=(Xd,Yd,Zd)
取得該等之位置資訊。
假想目標物管理顯示模組132，基於該三維位置資訊，算出照相機座標系中現實目標物之PC之顯示部之平面，以於該算出平面上，設定從PC120取得之非顯示資料330之方式，執行座標轉換。以於照相機拍攝圖像亦包含PC顯示部內之用紙位置，與從照相機取得之PC顯示部內之用紙位置一併設定從PC120取得之非顯示資料330之方式執行座標轉換。又，若如圖7所示，將照相機座標系設定為以照相機拍攝圖像之PC顯示部平面為XY平面而PC顯示部之垂直方向為Z軸，則因4個標記之Z座標全部為0，故可為不使用Z座標之設定。
由圖7所示之PC之顯示部平面形成之XY平面上，以設定先前從PC120接收之非顯示資料之4角落座標之方式執行座標轉換即可。如圖7所示，PC顯示部對應座標系(x,y)之非顯示資料330之4角落之位置座標，作為照相機座標系(x,y)之座標按以下之方式轉換。
(x10,y10)→(X10,Y10)
(x11,y11)→(X11,Y11)
(x12,y12)→(X12,Y12)
(x13,y13)→(X13,Y13)
假想目標物管理模組132設定該座標為假想目標物之顯示位置。如此，假想目標物管理模組132於圖6所示之流程圖之步驟S106中，進行將從記憶體133取得之非顯示資料之位置資訊轉換成對應於從三維資訊解析部131取得之照相機拍攝圖像之照相機座標系之處理。
於步驟S107，假想目標物管理模組132執行以下處理：將從記憶體133取得之非顯示資料作為假想目標物，顯示於步驟S106算出之假想目標物之顯示位置。
藉由該處理，使圖8所示之顯示資料400顯示於使用者100所配戴之眼鏡141之顯示器。圖8所示之顯示資料400係由作為現實目標物之PC401與假想目標物402一併顯示之合成圖像。假想目標物管理模組132將假想目標物之顯示位置如圖8所示設定為從PC顯示部之顯示資料之邊界向PC之顯示部外延長之方向。藉由如此之顯示處理，使用者可毫無不協調感地觀察作為處理對象之用紙整體。
藉由該處理，使用者100可對顯示於PC顯示部之資料，與超出PC顯示部外之非顯示資料一併作為假想目標物持續確認。
又，參照圖6所示之流程圖說明之處理，係由使用者操作PC120，藉由例如捲軸處理等於進行每次變更非顯示資料之範圍時進行操作。應用程式執行部121每當非顯示資料之區域或內容變更時，執行記憶體122之記憶資料更新，並將更新資料發送至混合實境(MR)生成裝置130，混合實境(MR)生成裝置130基於更新後之資料，將變更假想目標物之顯示態樣之處理作為即時更新處理而予以執行。
[2.　適合於現實世界之目標物形狀之假想目標物之顯示處理]
以下，作為本發明之第2實施例，對適合於現實世界之目標物形狀之假想目標物之顯示處理進行說明。
前述實施例中，係放大顯示對應於PC之畫面之平面而進行假想目標物顯示之構成。但，例如圖9所示，於現實世界中，有PC之顯示部之平面被壁521遮斷之情形。如此之情形，若執行前述假想目標物之顯示處理，則假想目標物穿過壁顯示，使用者將觀察到有不協調感之資料。
以下，生成如圖9所示之顯示資料500向使用者提示。即，假想目標物512與現實世界之現實目標物(例如圖9所示之壁521a,521b)之形狀一併顯示。
本實施例係假想目標物512可沿現實世界之目標物顯示之實施例。例如圖9所示，假想目標物512可沿作為現實目標物之壁521b之表面顯示。又，於本實施例中，裝置構成亦適用參照圖1說明之構成。
參照圖10，於本實施例，對PC120之應用程式執行部121就儲存於記憶體122之非顯示資料之位置資訊進行說明。PC120之應用程式執行部121於藉由例如捲軸操作產生未於畫面顯示之非顯示資料之情形，將該非顯示資料儲存於記憶體122。圖10之例中，點線框所示之非顯示資料530之資料內容係儲存於PC120之記憶體122。
此外，PC120之應用程式執行部121，與先前說明之實施例同樣，設定平行於以顯示部201之左上部之點為原點，水平方向為x軸，縱方向為y軸之顯示部201之平面。該座標系成為PC顯示部對應座標系。應用程式執行部121求得該PC顯示部對應座標系之非顯示資料530之位置。
圖10所示之非顯示資料530之4角落之座標，如圖所示：
(x10,y10)
(x11,y11)
(x12,y12)
(x13,y13)
係作為該4點之座標。
儲存於PC120側之記憶體122之非顯示資料與其位置資訊，經由通信部發送至混合實境(MR)生成裝置130，儲存於混合實境(MR)生成裝置130之記憶體133。
混合實境(MR)生成裝置130之假想目標物管理模組132，適用如此之從PC120接收之非顯示資料之位置資訊與從三維資訊解析部131取得之照相機拍攝圖像中之現實目標物之三維位置資訊，決定假想目標物(非顯示資料)之顯示位置。
本實施例中，參照圖9說明生成顯示資料500。即假想目標物以沿現實目標物之表面顯示之方式決定假想目標物之顯示位置。
參照顯示於圖11之流程圖，對本發明之資訊處理裝置之處理順序進行說明。
圖11所示之流程圖之步驟S201~S203之處理，係圖1所示之PC120之處理。
步驟S204~S209之處理，係圖1所示之混合實境(MR)生成裝置130之處理。
首先，PC120之應用程式執行部121，於步驟S201，檢測出超出PC之顯示部之區域外之非顯示資料之產生時，於步驟S202，將非顯示資料之實體資料與其位置資訊儲存於PC120之記憶體122。該處理係參照圖10說明之處理。非顯示資料之位置資訊係例如PC顯示部平面之非顯示資料之4角落之座標資料。
然後，於步驟S203，儲存於記憶體之非顯示資料與位置資訊經由通信部傳送至混合實境(MR)生成裝置130。
步驟S204以後，作為混合實境(MR)生成裝置130之處理進行。
首先，於步驟S204，混合實境(MR)生成裝置130將從PC120傳送至之非顯示資料與其位置資訊儲存於混合實境(MR)生成裝置130側之記憶體133。
然後，於步驟S205，混合實境(MR)生成裝置130之假想目標物管理模組132取得儲存於記憶體133之資料，即非顯示資料與其位置資訊。
於步驟S206，假想目標物管理模組132，進行將從記憶體133取得之非顯示資料之位置資訊轉換成對應於從三維資訊解析部131取得之照相機拍攝圖像之照相機座標系之處理。
該處理係與先前以第1實施例之處理加以說明之圖6所示之流程圖之步驟S106之處理相同之處理。
即，三維資訊解析部131取得照相機拍攝圖像中所含之PC120之顯示部之4角落之標記321a~321d之三維位置資訊。如先前參照圖7之說明：
標記321a=(Xa,Ya,Za)
標記321b=(Xb,Yb,Zb)
標記321c=(Xc,Yc,Zc)
標記321d=(Xd,Yd,Zd)
取得該等之位置資訊。
假想目標物管理顯示模組132，基於該三維位置資訊，算出照相機座標系中之現實目標物的PC顯示部之平面，以於該算出平面上，設定從PC120取得之非顯示資料530之方式，執行座標轉換。於照相機拍攝圖像亦包含PC顯示部內之用紙位置，與從照相機取得之PC顯示部內之用紙位置一併以設定從PC120取得之非顯示資料330之方式執行座標轉換。
該座標轉換中，於由PC之顯示部平面形成之XY平面上，以設定先前從PC120接收之非顯示資料之4角落之座標之方式執行座標轉換。將PC顯示部對應座標系(x,y,z)之非顯示資料330之4角落之位置座標作為照相機座標系(X,Y,Z)之座標按如下所示轉換。
(x10,y10,z10)→(X10,Y10,Z10)
(x11,y11,z11)→(X11,Y11,Z11)
(x12,y12,z12)→(X12,Y12,Z12)
(x13,y13,z13)→(X13,Y13,Z13)
又，本實施例中，與先前之實施例不同，進行亦考慮Z方向之處理。
假想目標物管理顯示模組132，於步驟S207，藉由步驟S206之轉換處理獲得之由表示假想目標物之顯示位置之照相機座標系之4個座標得到之面，判定是否與現實目標物之面交叉。現實目標物之面從三維資訊解析部131所取得之現實目標物之三維位置資訊取得。
假想目標物之顯示面未與現實目標物之面交叉之情形，步驟S207之判定為否。該情形，進展至步驟S209，適用步驟S206所算出之轉換座標，顯示假想目標物。該處理為與先前說明之第1實施例相同之處理，於擴大PC顯示部之平面之平面上，顯示假想目標物。
另一方面，於步驟S207，判定由步驟S206之轉換處理獲得之表示假想目標物之顯示位置之照相機座標系之4個座標所得到之面與現實目標物之面交叉時，進展至步驟S208。
即，係如圖9所示之狀態之情形。該情形，於步驟S208，進行將表示假想目標物之顯示位置之座標再轉換之處理。即進行將於步驟S206算出之表示假想目標物之顯示位置之4個座標再度轉換之處理。
該轉換處理係以將表示假想目標物之顯示位置之4個座標設定於形成現實目標物之面之方式作為轉換處理而進行。關於該處理，參照圖12進行說明。
於步驟S206，為算出之假想目標物之顯示位置的4角落之座標係圖12所示之點541~544。該等座標如圖所示，係下述座標。
點541=(X10,Y10,Z10)
點542=(X11,Y11,Z11)
點543=(X13,Y13,Z13)
點544=(X12,Y12,Z12)
但由該4點揭載之面與現實目標物的壁521之面交叉。又，為現實目標物的壁521之形成面係由三維資訊解析部131之解析獲得。例如將圖12所示之壁之4角落之點作為特徵點檢測出，判定由該4個特徵點構成之面係現實目標物之壁521之形成面。
圖12所示之例中，壁521b之平面由4角落座標之下述4個座標定義。
(X30,Y30,Z30)
(X31,Y31,Z31)
(X32,Y32,Z32)
(X33,Y33,Z33)
假想目標物管理模組132，以將圖12所示之假想目標物之4點541~544展開成前述之壁521b之形成面之方式，轉換假想目標物之4點541~544之座標。作為其結果，可獲得如圖所示之轉換座標。
點541(X10,Y10,Z10)→轉換後(X10v,Y10v,Z10v)(=點541)
點542(X11,Y11,Z11)→轉換後(X11v,Y11v,Z11v)(=點552)
點543(X13,Y13,Z13)→轉換後(X13v,Y13v,Z13v)(=點553)
點544(X12,Y12,Z12)→轉換後(X12v,Y12v,Z12v)(=點542)
如此算出4個轉換座標。又，如從圖中理解般，點541與點542於轉換前後之座標位置並未變化。
位於穿透壁521b之位置之點542與點543，進行轉換至壁521b之平面上之位置之處理。
於步驟S208，如此之座標轉換處理之後，進展至步驟S209。步驟S209中，假想目標物管理模組132，將從記憶體133取得之非顯示資料作為假想目標物，執行顯示於步驟S208所算出之假想目標物之顯示位置之處理。
藉由該處理，例如顯示於圖13之顯示資料500係顯示於使用者100所配戴之眼鏡141之顯示器。圖13所示之顯示資料500係作為現實目標物之PC511與假想目標物512一併顯示之合成圖像。
使用者100可對顯示於PC之顯示部之資料同時亦可對超出PC之顯示部外之非顯示資料作為假想目標物持續確認。
又，參照圖11所示之流程圖說明之處理，使用者操作PC120，藉由例如捲軸處理等每次進行變更非顯示資料範圍。應用程式執行部121對每次變更非顯示資料之區域或內容執行記憶體122之記憶資料之更新，將更新資料發送至混合實境(MR)生成裝置130，混合實境(MR)生成裝置130基於更新後之資料將變更假想目標物之顯示態樣之處理作為即時更新處理而執行。
[3.　利用其他顯示裝置之處理例]
前述實施例中，對於使用者操作PC時可將未顯示於PC之顯示畫面之資料作為假想目標物觀察之構成進行了說明。
但，適用本發明之處理，即假想目標物顯示處理，並非僅用於PC之處理資料，可被用於具有各種各樣顯示部之裝置。例如圖14所示顯示於行動電話600之顯示部之資料之進行顯示區域以外之觀察之情形，藉由進行前述之假想目標物顯示處理，亦可將如圖14所示之顯示資料700顯示於使用者100所配戴之眼鏡141之顯示器。
於顯示資料700顯示有使用者所有之作為現實目標物之行動電話圖像701，與作為地圖資料之假想目標物702，使用者可確認行動電話之顯示部以外部分之廣大地圖資訊。
根據本發明之構成，因例如於PC等之顯示部之畫面外經捲軸捲動之資訊直接顯示於現實世界，故顯示資訊不需要操作捲軸桿，可持續確認廣大區域之資料。又，至畫面外之假想目標物之顯示，由於係於進行使用者操作之畫面連續顯示，故不產生視覺性不協調感，可持續確認廣大區域之資訊。
以上，參照特定之實施例，對本發明進行了詳細描述。但，無疑在不脫離本發明之要旨之範圍內同行可完成實施例之修正或代用。即，以例示之形態揭示了本發明，但並非限定性解釋。要判斷本發明之要旨，應參酌申請專利範圍一欄。
又，說明書中所說明之一系列處理可藉由硬體、軟體，或兩者之複合構成而執行。藉由軟體執行處理之情形，可將記錄處理順序之程式，於組裝入專用硬體之電腦內之記憶體安裝執行，或於可執行各種處理之通用電腦安裝程式使之執行。例如，程式可預先記錄於記錄媒體。從記錄媒體安裝至電腦以外，可經由稱為LAN(Local Area Network，局域網)、網際網路之網路接收程式，安裝於內藏之硬碟等記錄媒體。
又，記載於說明書之各種處理，並非僅依據記載時系列地執行，亦可根據執行處理之裝置之處理能力或依需要並列地或個別地執行。又，於本說明書之系統係複數之裝置之邏輯性集合構成，各構成之裝置並非限於同一框體內。
[產業上之利用可能性]
如前述說明，根據本發明之一實施例之構成，於具有顯示部之PC或行動電話等各種各樣之顯示裝置，可實現超出顯示部外之區域之非顯示資料於連續於顯示部之顯示資料之位置作為假想目標物顯示之構成。藉由該構成，使用者不僅可持續觀察確認PC等被限定之顯示區域之顯示資料，亦可對超出顯示部外之資料持續觀察確認，可提高資料處理效率。
100．．．使用者
120．．．PC(個人電腦)
121．．．應用程式執行部
122．．．記憶體
123．．．通信部
130．．．混合實境(MR)生成裝置
131．．．三維資訊解析部
132．．．假想目標物管理模組
133．．．記憶體
134．．．通信部
141．．．眼鏡
142．．．照相機
150．．．顯示器顯示圖像
151．．．PC圖像
152．．．PC顯示部
161．．．假想目標物
201．．．顯示部
202．．．用紙
321a~321d．．．標記
330．．．非顯示資料
350．．．原點
401．．．PC
402．．．假想目標物
500．．．顯示資料
511．．．PC
512．．．假想目標物
521．．．壁
530．．．非顯示資料
600．．．行動電話
700．．．顯示資料
701．．．行動電話圖像(現實目標物)
702．．．假想目標物
圖1係對本發明之資訊處理裝置之一實施例構成進行說明之圖；
圖2係對本發明之資訊處理裝置所執行之假想目標物之顯示例進行說明之圖；
圖3(a)、(b)係對本發明之資訊處理裝置所執行之一處理例進行說明之圖；
圖4係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖5係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖6係顯示對本發明之資訊處理裝置所執行之處理順序進行說明之流程圖；
圖7係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖8係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖9係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖10係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖11係顯示對本發明之資訊處理裝置所執行之處理順序進行說明之流程圖；
圖12係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；
圖13係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖；及
圖14係對表示本發明之資訊處理裝置所執行之處理之一例之具體處理例進行說明之圖。
100．．．使用者
141．．．眼鏡
142．．．照相機
150．．．顯示器顯示圖像
151．．．PC圖像
152．．．PC顯示部
161．．．假想目標物

Claims (13)

  1. 一種資訊處理裝置，其包括：現實顯示單元，其係包含現實顯示畫面；及假想顯示單元，其係包含假想顯示畫面；其中以使用者一併使用前述現實顯示單元與前述假想顯示單元之觀點，前述假想顯示畫面係構成為至少超出或擴張出前述現實顯示畫面的觀察區域外。
  2. 如請求項1之資訊處理裝置，其包括：應用程式執行部，其係構成為於利用前述現實顯示單元之第1顯示部之資料處理中，將可從前述假想顯示單元看見之假想顯示資料與該假想顯示資料之位置資訊儲存於記憶體，以作為對前述位置資訊之至少一參考點。
  3. 如請求項2之資訊處理裝置，其中前述假想顯示資料係連續於前述現實顯示單元所顯示之顯示資料而顯示。
  4. 如請求項1之資訊處理裝置，其包括：三維資訊解析部，其係構成為解析包含前述現實顯示單元之現實目標物之三維位置。
  5. 如請求項4之資訊處理裝置，其中前述現實目標物係照相機所拍攝者。
  6. 如請求項4之資訊處理裝置，其包括：假想目標物管理部，其係輸入儲存於前述記憶體之前述假想顯示資料與該假想顯示資料之前述位置資訊。
  7. 如請求項6之資訊處理裝置，其中前述現實顯示單元之前述三維位置資訊係由前述三維資訊解析部所解析；且 生成包含前述照相機拍攝圖像中所含之前述現實目標物與含有前述假想顯示資料之假想目標物而成之合成圖像；並將前述合成圖像顯示於第2顯示部。
  8. 如請求項7之資訊處理裝置，其中前述假想目標物管理部係構成為將前述假想顯示單元中之前述假想目標物之顯示位置設定於從顯示於前述現實顯示單元之前述現實顯示單元之顯示資料之邊界向現實顯示單元外延長之方向之位置。
  9. 如請求項6之資訊處理裝置，其中前述假想目標物管理部係將儲存於前述記憶體之作為假想顯示資料之位置資訊的座標資料，轉換為成為第2顯示部之顯示圖像中之顯示位置之指標的照相機座標系，並使用該轉換後之座標資料決定前述假想目標物之顯示位置。
  10. 如請求項9之資訊處理裝置，其中前述目標物管理部係判定轉換成照相機座標系之前述假想目標物之顯示位置與照相機拍攝圖像中所含之現實目標物之形成面是否交叉，於交叉之情形下，執行座標再轉換處理以使前述轉換後之座標資料位於前述現實目標物之形成面上，並使用再轉換處理後之座標資料決定前述假想目標物之顯示位置。
  11. 如請求項6之資訊處理裝置，其中前述資訊處理裝置包括：含有前述應用程式執行部之第1裝置，及 含有前述三維資訊解析部及前述假想目標物管理部之第2裝置；且由前述應用程式執行部將儲存於第1裝置內之第1記憶體之資料經由通信部傳送至前述第2裝置，於前述第2裝置中，由前述三維資訊解析部與前述假想目標物管理部利用接收資料進行處理。
  12. 一種資訊處理方法，其係於資訊處理裝置中執行者，其包括：應用程式執行步驟，其係由應用程式執行部在利用第1顯示部之資料處理中將連續於前述第1顯示部之現實顯示資料之假想顯示資料與該假想顯示資料之位置資訊儲存於記憶體；其中前述資訊處理裝置包括現實顯示部，其係包含現實顯示畫面；及假想顯示部，其係包含假想顯示畫面；其中以使用者一併使用前述現實顯示單元與前述假想顯示單元之觀點，使前述假想顯示畫面至少超出或擴張出前述現實顯示畫面的觀察區域外；三維資訊解析步驟，其係由三維資訊解析部解析包含照相機拍攝圖像中所含之前述第1顯示部之現實目標物之三維位置；及假想目標物管理步驟，其係由假想目標物管理部輸入儲存於前述記憶體之假想顯示資料與該假想顯示資料之位置資訊、及前述三維資訊解析部所解析之前述第1顯示部之三維位置資訊，而生成包含前述照相機拍攝圖像中所含之現實目標物與含有前述假想顯示資料之假想目 標物而成之合成圖像，並顯示於第2顯示部；且前述假想目標物管理步驟包含以下步驟：進行將前述第2顯示部中之前述假想目標物之顯示位置，設定於從顯示於前述第2顯示部之前述第1顯示部之顯示資料之邊界向第1顯示部外延長之方向的位置之處理。
  13. 一種程式產品，其係於資訊處理裝置中執行資訊處理者，其包括：應用程式執行步驟，其係於應用程式執行部，於利用第1顯示部之資料處理中，將連續於前述第1顯示部之顯示資料之假想顯示資料與該假想顯示資料之位置資訊儲存於記憶體；三維資訊解析步驟，其係於三維資訊解析部，解析包含照相機拍攝圖像中所含之前述第1顯示部之現實目標物之三維位置；及假想目標物管理步驟，其係於假想目標物管理部，輸入儲存於前述記憶體之假想顯示資料與該假想顯示資料之位置資訊、及前述三維資訊解析部所解析之前述第1顯示部之三維位置資訊，而生成包含前述照相機拍攝圖像中所含之現實目標物與含有前述假想顯示資料之假想目標物而成之合成圖像，並顯示於第2顯示部；其中前述資訊處理裝置包括現實顯示部，其係包含現實顯示畫面；及假想顯示部，其係包含假想顯示畫面；其中以使用者一併使用前述現實顯示單元與前述假想顯示單元之 觀點，使前述假想顯示畫面至少超出或擴張出前述現實顯示畫面的觀察區域外；且前述假想目標物管理步驟包含以下步驟：進行將前述第2顯示部中之前述假想目標物之顯示位置，設定於從顯示於前述第2顯示部之前述第1顯示部之顯示資料之邊界向第1顯示部外延長之方向的位置之處理。
TW99106017A 2009-04-23 2010-03-02 Information processing devices, information processing methods, and program products TWI469622B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009105294A JP5158006B2 (ja) 2009-04-23 2009-04-23 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
TW201103312A TW201103312A (en) 2011-01-16
TWI469622B true TWI469622B (zh) 2015-01-11

Family

ID=43010982

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99106017A TWI469622B (zh) 2009-04-23 2010-03-02 Information processing devices, information processing methods, and program products

Country Status (9)

Country Link
US (1) US8994721B2 (zh)
EP (1) EP2423789B1 (zh)
JP (1) JP5158006B2 (zh)
KR (1) KR20120008030A (zh)
CN (1) CN102395948B (zh)
BR (1) BRPI1015167A2 (zh)
RU (1) RU2536363C2 (zh)
TW (1) TWI469622B (zh)
WO (1) WO2010122859A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
US9952820B2 (en) 2011-12-20 2018-04-24 Intel Corporation Augmented reality representations across multiple devices
US9164972B2 (en) * 2012-06-07 2015-10-20 Microsoft Technology Licensing, Llc Managing objects in panorama display to navigate spreadsheet
US9785839B2 (en) * 2012-11-02 2017-10-10 Sony Corporation Technique for combining an image and marker without incongruity
CN103676172B (zh) * 2013-12-23 2017-04-19 Tcl集团股份有限公司 一种3d电子沙盘显示装置及方法
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
KR102182162B1 (ko) 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
JP6348741B2 (ja) * 2014-03-18 2018-06-27 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9696549B2 (en) * 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9952656B2 (en) 2015-08-21 2018-04-24 Microsoft Technology Licensing, Llc Portable holographic user interface for an interactive 3D environment
JP6586834B2 (ja) 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
JP2018189999A (ja) * 2015-09-29 2018-11-29 株式会社会津ラボ 関連情報表示装置
US10353564B2 (en) * 2015-12-21 2019-07-16 Sap Se Graphical user interface with virtual extension areas
JP6602743B2 (ja) * 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
FR3074331A1 (fr) * 2017-11-28 2019-05-31 Orange Procede d'affichage en realite mixte d'au moins un objet virtuel, terminal et systeme associes
US11036284B2 (en) 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
GB2620175A (en) * 2022-06-30 2024-01-03 Sony Interactive Entertainment Europe Ltd Representing virtual objects outside of a display screen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123171A1 (en) * 2003-12-04 2005-06-09 Canon Kabushiki Kaisha Mixed reality exhibiting method and apparatus
US20060092131A1 (en) * 2004-10-28 2006-05-04 Canon Kabushiki Kaisha Image processing method and apparatus
TW200622196A (en) * 2004-10-01 2006-07-01 Hitachi Ltd Navigation system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407817B1 (en) * 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
JP4125252B2 (ja) * 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
JP2006154902A (ja) * 2004-11-25 2006-06-15 Olympus Corp 手書き画像表示システム及び空間手書き用携帯情報端末
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
JP2008304269A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123171A1 (en) * 2003-12-04 2005-06-09 Canon Kabushiki Kaisha Mixed reality exhibiting method and apparatus
TW200622196A (en) * 2004-10-01 2006-07-01 Hitachi Ltd Navigation system
US20060092131A1 (en) * 2004-10-28 2006-05-04 Canon Kabushiki Kaisha Image processing method and apparatus

Also Published As

Publication number Publication date
TW201103312A (en) 2011-01-16
CN102395948A (zh) 2012-03-28
EP2423789A4 (en) 2014-12-03
BRPI1015167A2 (pt) 2016-04-19
EP2423789B1 (en) 2020-04-29
WO2010122859A1 (ja) 2010-10-28
RU2011141838A (ru) 2013-05-10
EP2423789A1 (en) 2012-02-29
US20120032955A1 (en) 2012-02-09
CN102395948B (zh) 2015-06-24
US8994721B2 (en) 2015-03-31
JP2010257123A (ja) 2010-11-11
RU2536363C2 (ru) 2014-12-20
JP5158006B2 (ja) 2013-03-06
KR20120008030A (ko) 2012-01-25

Similar Documents

Publication Publication Date Title
TWI469622B (zh) Information processing devices, information processing methods, and program products
JP5263049B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP4850984B2 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
JP6643170B2 (ja) 作業支援システム及び方法
JP2011028309A5 (zh)
JP4796194B1 (ja) カーソルの表示方法およびカーソルの表示プログラム
JP5709440B2 (ja) 情報処理装置、情報処理方法
JP2017016577A (ja) 情報処理装置、その制御方法及びプログラム
CN111033573B (zh) 信息处理装置、系统、图像处理方法及存储介质
JP2013214275A (ja) 三次元位置指定方法
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
JP2001117963A (ja) データ立体化装置及びデータ立体化プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006343954A (ja) 画像処理方法、画像処理装置
JP2007094902A (ja) ３次元画像表示装置、３次元画像表示方法及び３次元画像表示プログラム
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
JP2010134793A (ja) 表示調整装置、表示調整方法及びコンピュータプログラム
WO2019039416A1 (ja) 表示装置及びプログラム
JP5683402B2 (ja) 画像合成装置及び画像合成方法
JP2009146140A (ja) ３次元画像表示装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees