TWI567691B - 立體空間的場景編輯方法與系統 - Google Patents

立體空間的場景編輯方法與系統 Download PDF

Info

Publication number
TWI567691B
TWI567691B TW105106885A TW105106885A TWI567691B TW I567691 B TWI567691 B TW I567691B TW 105106885 A TW105106885 A TW 105106885A TW 105106885 A TW105106885 A TW 105106885A TW I567691 B TWI567691 B TW I567691B
Authority
TW
Taiwan
Prior art keywords
smart device
stereoscopic
editing
dimensional space
scene
Prior art date
Application number
TW105106885A
Other languages
English (en)
Other versions
TW201732740A (zh
Inventor
李雨暹
Original Assignee
粉迷科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 粉迷科技股份有限公司 filed Critical 粉迷科技股份有限公司
Priority to TW105106885A priority Critical patent/TWI567691B/zh
Priority to US15/154,376 priority patent/US9928665B2/en
Priority to KR1020170007294A priority patent/KR101860313B1/ko
Application granted granted Critical
Publication of TWI567691B publication Critical patent/TWI567691B/zh
Priority to JP2017014564A priority patent/JP2017162451A/ja
Priority to EP17154404.2A priority patent/EP3217258B1/en
Publication of TW201732740A publication Critical patent/TW201732740A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

立體空間的場景編輯方法與系統
本發明關於一種立體空間的編輯技術，特別是指利用智慧型裝置在一立體空間中編輯當中場景物件的方法與系統。
在立體虛擬空間內，習知技術會利用電腦影像處理設計顯示在此立體空間內的各種影像物件，讓使用者瀏覽此立體虛擬空間時，可以觀看到物件在一個立體空間的樣子，有別於一般平面影像的觀看經驗。
然而一般形成立體虛擬空間內的各種影像的方式是利用電腦軟體產生立體物件，透過座標轉換形成在立體虛擬空間的物件，最後可以特殊播放器播出立體虛擬影像。
本發明揭露一種立體空間的場景編輯方法與系統，其技術目的之一是讓使用者可以自行操作智慧型裝置以直覺的方式在立體空間中編輯當中的場景，包括一或多個場景內的影像物件。方式是讓使用者手持智慧型裝置在一個空間內決定一編輯位置，其中軟體程式利用裝置內感測器取得立體空間的定位訊號，並提供使用者使用觸控顯示螢幕直接編輯當中的物件，除了物件的位置、大小、旋轉角度或是轉向外，更可以透過軟體手段錄製在此立體 場景內的移動與變化，形成一個立體場景內的動態影像。
根據實施例之一，揭露書所揭示的立體空間的場景編輯方法主要流程包括移動一智慧型裝置，以產生立體空間內的定位訊號，並在此位置引入一物件，於立體空間的第一位置以智慧型裝置編輯物件，決定物件於第一位置的狀態，如物件的大小、旋轉角度以及轉向等，之後儲存物件於此立體空間的第一位置的狀態。
在另一實施方式中，在編輯物件時，可移動智慧型裝置至另一位置，如第二位置，移動過程即決定物件自第一位置移動至第二位置的移動軌跡，這個連續狀態與移動軌跡也儲存至系統中。
再一實施例中，一個立體空間內可引入多個物件，每個物件的編輯如前例，移動智慧型裝置產生一立體空間內的定位訊號，在此第一位置引入第一物件，決定第一物件的狀態，在移動智慧型裝置至第二位置時，過程中可以控制物件移動與變化，所產生的連續變化與第一移動軌跡，都可儲存至系統中。
接著再引入第二物件，操作智慧型裝置在立體空間中移動，由第三位置移動到第四位置，同時可以改變第二物件的狀態，所產生的連續狀態與第二移動軌跡儲存至系統中。
最後，設定第一物件與第二物件觸發播放的條件。
根據立體空間的場景編輯系統的實施例之一，系統主要元件包括一立體空間定位模組，用以取得智慧型裝置在一立體空間內的定位訊號；一影像處理模組，用以處理立體空間內的影像物件與立體場景，並能對應智慧型裝置產生的定位訊號產生一顯示影像；以顯示模組輸出立體空間內的顯示影像；以觸控模組提供操作影像物件的使用者介面，用以決定影像物件於立體空間的狀態；以及一儲存模組，主要儲存最後形成的影像物件，以及相關立體場景。
立體空間的場景編輯系統更包括儲存於智慧型裝置內一記憶體的一編輯程式集以及一播放程式集，程式集包括：取得智慧型 裝置產生之立體空間內的定位訊號的指令、顯示對應定位訊號的立體場景的影像的指令、編輯影像物件在不同位置的狀態與移動軌跡的指令、錄製物件在不同位置的狀態改變與移動軌跡的指令、設定物件於重現時觸發播放的條件的指令，及觸發物件重現的指令。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。
10‧‧‧使用者
101‧‧‧智慧型裝置
A,B,C‧‧‧位置
21‧‧‧物件
21a‧‧‧第一位置物件
21b‧‧‧第二位置物件
31‧‧‧影像處理模組
33‧‧‧立體空間定位模組
35‧‧‧儲存模組
37‧‧‧觸控模組
39‧‧‧顯示模組
301‧‧‧立體場景
302‧‧‧影像物件
步驟S401~S413‧‧‧立體空間的場景編輯流程
步驟S501~S515‧‧‧立體空間的場景編輯流程
步驟S601~S615‧‧‧立體空間的場景編輯流程
步驟S701~S713‧‧‧立體空間的場景編輯流程
圖1A與圖1B顯示使用者操作智慧型裝置在立體空間進行編輯的情境示意圖；圖2A顯示使用者操作智慧型裝置編輯物件縮放的情境示意圖；圖2B顯示使用者操作智慧型裝置編輯物件旋轉的情境示意圖；圖2C顯示使用者操作智慧型裝置編輯物件移動的情境示意圖；圖3顯示實現本發明立體空間的場景編輯方法的智慧型裝置的功能模組實施例圖；圖4顯示本發明立體空間的場景編輯方法的實施例流程之一；圖5顯示本發明立體空間的場景編輯方法的實施例流程之二；圖6顯示本發明立體空間的場景編輯方法的實施例流程之三；圖7顯示本發明立體空間的場景編輯方法的實施例流程之四。
本發明揭露書提出一種立體空間的場景編輯方法與系統，發明所涉及的技術係透過運作於智慧型裝置的軟體程式實現，以軟體手段提供使用者直覺地編輯一個立體空間內的各種靜態或動態立體物件，包括讓使用者自行操作智慧型裝置以直覺的方式在立體空間中移動位置，藉此決定一編輯位置，同時也取得當中空間感測器(如陀螺儀)產生的定位訊號，使用者可以觸控顯示螢幕直接編輯當中的物件，編輯物件的位置、大小、旋轉角度或是轉向，再以軟體手段錄製在此立體場景內的移動與變化，形成一個立體場景內的動態影像。之後在重現此立體場景與其中物件影像時，播放程式可根據使用者操作智慧型裝置在空間位置，重現立體場景內的一或多個物件在此空間內的移動與變化。
讓使用者以直覺的方式編輯立體空間內的影像物件的情境可參考圖1A與圖1B所示之示意圖，在情境示意圖中，使用者10可以操作智慧型裝置101在立體空間的任何位置進行編輯，智慧型裝置101安裝有立體場景的編輯程式，可以行動應用軟體(APP)實現，編輯前可以先引入一立體場景，這是一個涵蓋360度立體空間每個角落的立體場景，智慧型裝置101顯示螢幕上可以根據使用者操作產生的立體空間定位訊號而顯示出對應的場景影像。因此，值得注意的是，智慧型裝置101的螢幕大小、螢幕解析度都可以影響所要觀看的某個方位的影像內容，另也可讓使用者操作決定所要觀看的畫面涵蓋影像比例，讓使用者在編輯其中物件時有個控制大小的功能。
圖1A示意顯示使用者10將智慧型裝置101移動到頭頂之處(位置A)進行編輯，智慧型裝置101的觸控螢幕即為編輯的使用者介面，這時智慧型裝置101的顯示螢幕將顯示整個立體影像中在使用者(為觀看者)頭頂附近的影像，顯示畫面將根據智慧型裝置101的顯示螢幕大小與解析度有關，也跟使用者設定顯示比例有關。
此例中，使用者10頭頂附近的位置A為一編輯位置，使用者透過其中編輯程式看到此方位的立體場景的對應影像，此時可以透過軟體工具引入一影像物件，此影像物件可為靜態或動態影像，編輯時將決定此影像物件在位置A的狀態，包括在位置A顯示的尺寸大小、旋轉角度，若物件為立體物件，也可決定其顯示的轉向。
在另一實施例中，除了直接操作智慧型裝置101而決定某位置(如位置A)的物件狀態外，亦可錄製此物件在此位置A在一段時間內的狀態變化，包括在這段時間內的大小、旋轉角度與/或轉向等的連續變化。
另有實施例是在編輯物件時無需引入立體場景，而可在完成物件編輯後才將立體場景結合物件形成最後影像。
圖1B顯示使用者10操作智慧型裝置101在水平的兩個位置，如顯示畫面向左的位置B與向右的位置C，進行編輯的情境示意圖。使用者10一手拿著智慧型裝置101在立體空間內移動，當決定在位置B編輯物件時，其中編輯程式取得智慧型裝置101的定位訊號(如陀螺儀產生的位置資訊)，顯示螢幕顯示出對應此定位訊號的立體場景影像，能決定位置B的物件狀態。相應地，當使用者10將智慧型裝置101移動到圖中的位置C，編輯程式取得此位置C的對應定位訊號，能對應顯示出位置C方位的立體場景影像，讓使用者10可以進行此位置C附近的場景編輯。
以上所述的情境示意圖，可在編輯立體空間中物件的同時或是之後引入一立體場景，如一種虛擬實境的影像，可以讓使用者10操作智慧型裝置101在空間中上下左右移動，都可以從顯示螢幕上看到對應每個方位的場景畫面。另也不排除在編輯物件影像時，同時利用智慧型裝置101上的攝影模組取得所處空間的實際立體影像，也就是直接在此真實空間中編輯影像物件，達到虛實整合的目的。
圖2A接著顯示使用者操作智慧型裝置編輯物件縮放的情境示意圖。此例顯示使用者直接操作智慧型裝置101的觸控螢幕，利用手指編輯當中的物件21，實施例表示在立體空間中的某個空間位置上編輯物件21，如此以手指控制物件21的縮放，對應的觸控訊號反映出決定在此立體空間某場景位置顯示時的大小。
圖2B顯示使用者操作智慧型裝置旋轉物件的示意圖，此例顯示使用者透過智慧型裝置101的觸控螢幕利用手指操作旋轉物件21，操作產生的觸控訊號反映出以手指控制物件21的旋轉角度，也就是決定在此立體空間某場景位置的旋轉角度。
圖2C顯示使用智慧型裝置編輯物件移動的情境示意圖，此圖例顯示使用者手持智慧型裝置101先移動到立體空間內的第一位置，此時引入一物件，在此位置表示為第一位置物件21a。接著，使用者可以讓此物件固定在顯示螢幕的某個位置上，比如可以手指按住螢幕上的物件，手指按住的同時在空間中移動到第二位置，表示為第二位置物件21b，這個編輯動作形成此同一物件在這個立體空間中的移動軌跡，也就是決定了物件在此立體空間在某一時間內由第一位置移動到第二位置。
以上幾個情境示意圖表示出，使用者操作智慧型裝置101在一個立體空間內移動，並能直覺地在所要編輯物件的位置上先暫停不動，此時可以編輯物件的大小、旋轉角度或是轉向等狀態；接著可以透過移動智慧型裝置101而決定物件在此空間的移動軌跡，移動同時仍可同時決定物件在此移動中的狀態變化，包括同時改變大小、旋轉角度與/或轉向，移動也意謂著改變位置。這個過程將可以透過軟體程式錄製起來，成為在一立體場景內的動畫。
根據發明實施例，係以一系統實現本發明立體空間的場景編輯方法，系統如一軟體與硬體搭配產生，可應用在智慧型裝置內，相關的功能模組實施例圖可參考圖3。
圖示的立體空間的場景編輯系統包括有一立體空間定位模組 33，立體空間定位模組33用以取得智慧型裝置在一立體空間內的定位訊號，實施例如一陀螺儀(gyroscope)，用以感測智慧型裝置的立體方位，因而產生立體空間內的定位訊號。
系統設有一影像處理模組31，用以處理立體空間內顯示的畫面，包括顯示一個空間內的立體場景301，以及在此場景內的影像物件302，另可於重現立體場景時，將對應智慧型裝置產生的立體空間的定位訊號產生一顯示影像。影像物件302可以有一或多個物件，編輯時可由使用者操作智慧型裝置決定每一個物件在空間內特定位置的狀態，最後與立體場景301合成影像。
系統具有顯示模組39，顯示模組39用以輸出立體空間內的顯示影像，包括智慧型裝置的顯示螢幕。系統包括觸控模組37，用以提供操作影像物件的使用者介面，讓使用者以觸控的方式編輯當中的場景，包括物件，能決定影像物件於立體空間的狀態，如圖2A至圖2C顯示的各種變化。系統具有一儲存模組35，用以儲存完成操作後的立體場景，以及影像物件在立體空間內之一時間與一位置的狀態。
根據一實施例，前述以軟體或搭配硬體實現的立體空間的場景編輯系統，系統更包括儲存於智慧型裝置內記憶體的一編輯程式集以及一播放程式集，程式集可以單一軟體程式實現，或是以不同的多個軟體程式實現，而這些程式集包括：取得智慧型裝置產生之立體空間內的定位訊號的指令，立體空間的定位訊號能夠提供編輯與播放時對應取得影像資訊之用；顯示對應定位訊號的立體場景的影像的指令，此指令可以根據定位訊號對應產生某方位的影像，而此立體場景的影像顯示範圍會與智慧型裝置的螢幕大小與解析度有關，其中具有一比例關係，甚至可以讓使用者選擇要看的範圍比例。指令集包括有編輯影像物件在不同位置的狀態與一移動軌跡的指令，也就是能夠根據使用者操作智慧型裝置產生的觸控訊號以及在立體空間移動產生的定位訊號取得物件的 狀態與移動的編輯狀態；同理，在錄製物件在不同位置的狀態改變與該移動軌跡的指令，就是能夠根據使用者操作智慧型裝置產生的觸控訊號以及在立體空間移動產生的定位訊號而同步錄製物件的狀態與移動。指令集更包括設定物件於重現時觸發播放的條件的指令，此指令讓使用者可以決定物件如何重現播放的條件，甚至包括多個物件之間具有關聯性的播放條件，以及包括根據以上條件而觸發物件重現的指令。
在本發明立體空間的場景編輯方法的實施例中，主要的方法步驟是讓使用者直接操作一智慧型裝置在一立體空間中移動，而使用者本身無須移動，就站在一的定點上，以手持方式操作智慧型裝置。在圖4的實施例中，如開始步驟S401，可以先引入一立體場景，立體場景可為一事先拍攝好的真實場景，或是事件置做好的虛擬場景，更可以為即時利用智慧型裝置攝影模組拍攝的即時立體空間影像。
接著，如步驟S403，移動智慧型裝置，可以感測出裝置在空間中的移動狀態，同時取得一組空間座標，較佳係以智慧型裝置內的定位感測器(如陀螺儀)產生立體空間內的定位訊號。
在步驟S405中，移動時產生的定位訊號成為編輯程式上顯示對應立體影像的依據，此時由裝置的顯示螢幕上顯示對應位置的立體場景影像，讓使用者可以在編輯時就觀看到相關位置的場景。接著，如步驟S407，透過軟體手段選擇一物件，或可利用其中編輯工具產生一特定形狀、顏色與/或圖案的物件，並決定一編輯位置，如表示為第一位置，讓使用者再此立體空間的第一位置以智慧型裝置編輯物件，如步驟S409，操作觸控螢幕產生觸控訊號，設定物件的型態，包括：位置(泛指第一位置，以及顯示螢幕上的相對位置)、大小與旋轉角度，若以立體物件為例，更包括立體物件的轉向狀態，透過觸控訊號演算可得到立體物件所佔空間的資訊，這些透過觸控螢幕編輯物件產生的觸控訊號即用以定 義物件於立體空間內的狀態，系統藉此取得物件於第一位置的狀態，立體空間內的狀態包括物件的大小、旋轉角度與轉向其中之一或其組合，如步驟S411。
最後，如步驟S413，當確認物件在第一位置的狀態時，編輯程式將協助儲存物件於立體空間的第一位置的狀態，可包括儲存立體影像、平面或立體物件，以及物件在每一時刻中的空間座標值、狀態改變與時間等。
而前述物件在立體場景內可以在固定位置產生狀態變化，亦可在此空間內改變位置，形成移動軌跡，實施例如圖5所示之流程。
開始如步驟S501，移動智慧型裝置到第一位置，也就決定一啟始空間位置，並取得一組空間座標值(由感測器產生)；接著如步驟S5O3，引入第一物件，第一物件可以為靜態或動態，以及平面或是立體影像，並如步驟S505，系統記錄第一物件在第一位置的狀態，也就是此物件的啟始狀態。
再如步驟S507，移動智慧型裝置，同時改變第一物件狀態，並由系統透過軟體程式記錄每個時間點的智慧型裝置位置與第一物件狀態(步驟S509)，並移動智慧型裝置到第二位置(步驟S511)，移動的過程形成一立體空間的移動軌跡，這為物件在此立體空間的移動軌跡，如步驟S513，系統接著記錄第一物件在第二位置的狀態，若這是最後結束位置，系統即記錄物件之結束狀態與結束時間(相對時間)，同時儲存了物件於立體空間的第一位置移動至第二位置的連續狀態，包括移動軌跡。在步驟S515中，系統提供使用者設定第一物件觸發播放的條件。
在一實施例中，此例第一物件觸發播放的條件例如，當重現前述編輯與錄製物件在立體場景內的變化時，當使用者操作智慧型裝置觀看這個立體場景，當移動到第一物件啟始位置時，可以觸發播放第一物件在此立體空間的動畫；另可以透過觸控螢幕上 觸碰第一物件，這時可為觸發播放第一物件變化的條件；或是開始觀看此立體影像後，當達到一預設時間時，即開始播放第一物件形成的動畫。
揭露書另提出在同一立體場景內具有不只一個物件的方法實施例，在此實施方式中，當有多物件要編入同一立體空間內，可以分別設定各物件的啟始時間、結束時間、物件狀態(轉向與大小)與栘動軌跡，並於最後設定不同物件(如第一物件與第二物件)觸發播放的條件。
實施例可參閱圖6所示之立體空間的場景編輯方法流程，此流程描述當如圖5所示之流程完成第一物件的編輯後，可以接續栘動智慧型裝置到為了編輯第二物件的編輯位置，可設為第三位置，此第三位置(或第四位置)並不排除與前述第一物件的第一位置與第二位置有直接或間接的關聯(步驟S601)。
此時，如步驟S603，引入第二物件，同樣可為靜態或動態影像，以及可為平面或立體影像。當使用了智慧型裝置執行的編輯程式，以及透過觸控螢幕執行編輯，包括編輯第二物件的大小、旋轉角度，以及/或立體物件的轉向等狀態，程式可以根據觸控訊號以及立體空間的定位訊號得到第二物件在第三位置的狀態，由系統記錄第二物件在第三位置的狀態(步驟S605)。
之後，如步驟S607，使用者可以在同一立體場景內移動智慧型裝置，智慧型裝置可以同步根據移動產生的空間定位訊號顯示立體場景的影像，移動過程中除了改變第二物件在此立體場景內的位置外，期間形成的移動軌跡也為第二物件在此時間內的空間移動軌跡，而同時更可讓使用者可以透過編輯程式改變第二物件狀態。過程中，如步驟S609，系統可記錄每個時間點的智慧型裝置位置與第二物件狀態，依照使用者的設計，接著移動智慧型裝置到第四位置，也就是帶著第二物件移動到第四位置，同時也編輯第二物件的狀態(步驟S611)，再由系統記錄第二物件在第四位 置的狀態，同時也併入此位置的定位訊號(步驟S613)。
之後，如步驟S615，設定第二物件觸發播放的條件，之後將錄製與儲存物件在不同位置的狀態變化與不同位置之間的移動軌跡。
值得一提的是，當重現前述編輯與錄製多物件(如同一立體場景內具有第一物件、第二物件)在立體場景內的變化時，除了設定個別物件的觸發播放條件外，更可編輯物件之間的播放條件。個別物件，如第二物件，的觸發播放條件例如，可設定當移動智慧型裝置到第二物件啟始位置(如第三位置)時，即刻觸發播放第二物件在此立體空間的動畫；或是，當透過觸控螢幕上觸碰第二物件時，也就是觸發播放第二物件變化的條件；或是，當使用者啟動智慧型裝置開始觀看此立體影像後，當達到一預設時間時，即開始播放第二物件形成的動畫。
可在一實施例中，當使用智慧型裝置的顯示螢幕在如前述範例中的第一位置顯示第一物件時，除了觸發播放或顯示第一物件的動畫外，也可設定在此時間點的另一相對時間點開始播放或顯示第二物件。因此，第一物件與第二物件，或是還有其他物件在同一立體場景內，可以設定各物件之間的時間關係、空間關係，以及物件之間觸發播放的條件。
因此，當使用者播放特定完成編輯的立體場景時，使用者透過智慧型裝置顯示螢幕觀看某個範圍的立體場景影像時，可能可以在某個時間點看到兩個或以上物件，或是因為移動智慧型裝置觀看立體場景的關係，而在某個時間點看到某個物件的某個部位，或是看到物件在此範圍內的移動與變化，這都與一般觀看平面影像的經驗不同。
根據播放立體場景的實施例之一，智慧型裝置內播放程式取得由裝置內感測器(如陀螺儀)產生的立體空間的定位訊號，以偵測到智慧型裝置的空間位置，播放程式即透過顯示螢幕顯示對 應位置的立體場景影像，或可移動到包含某物件啟始位置的空間位置，各物件根據所設定的觸發播放條件開始依照設定的軌跡與狀態變化播放動畫。相關方法如圖7所示之實施例流程。
開始如步驟S701，以一播放程式開啟一立體場景播放檔，使用者可以操作智慧型裝置，如步驟S703，移動智慧型裝置同時會產生立體空間定位訊號，以瀏覽整個立體場景，透過顯示螢幕顯示對應定位訊號的立體場景影像，如步驟S705。
此時，播放程式取得立體空間的定位訊號，如步驟S707，程式比對立體空間定位訊號與儲存於立體場景播放檔的位置與影像關聯資訊，以及比對各物件的觸發播放的條件，以執行步驟S709，播放程式能根據觸發播放的條件播放第一物件動畫；以及，若有其他物件存在，如步驟S711，同時也參考第二物件的觸發播放條件，以根據觸發播放的條件播放第二物件動畫。
在播放的任何時刻，如步驟S713，使用者可隨意移動智慧型裝置，播放程式即顯示對應定位訊號的立體場景與物件動畫。其中特別的是，立體場景內多個物件可為獨立運行的物件，有個別的觸發播放條件，因此在特定時刻的特定場景內可能可以看到不同播放條件下的多個物件。每個物件的觸發播放條件也可能彼此有關聯，使用者可以設定每個物件啟動的時間關係或空間關係，利用時間關係的觸發條件實施例中，可設定第一物件開始播放後或是完成播放後的一預設時間後觸發播放第二物件，其他物件也可同理執行。利用空間關係的觸發條件實施例中，可設定當第一物件到達立體空間的某一個位置時，觸發第二物件播放，其他物件也可同理設定。時間與空間關係可以搭配而設定每個物件觸發播放的條件。
是以，根據揭露書所載實施例，本發明提出一種立體空間的場景編輯方法與系統，能夠讓使用者直覺地操作智慧型裝置在一立體空間內移動，而同時直覺地在某個空間位置編輯物件。當編 輯物件前即可先引入一立體場景，使得編輯物件時能夠直覺地根據智慧型裝置於立體空間的位置同步顯示的畫面進行編輯。重現影像時也是能夠讓使用者直覺地操作智慧型裝置在此空間內的任意位置中觀賞影像。
惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。
10‧‧‧使用者
101‧‧‧智慧型裝置
A‧‧‧位置

Claims (10)

  1. 一種立體空間的場景編輯方法，包括：移動一智慧型裝置產生一立體空間內的定位訊號；引入一物件；於該立體空間的一第一位置以該智慧型裝置編輯該物件，決定該物件於該第一位置的狀態；以及儲存該物件於該立體空間的該第一位置的狀態。
  2. 如請求項1所述的立體空間的場景編輯方法，其中該物件於該立體空間內的狀態包括該物件的尺寸大小、旋轉角度與轉向其中之一或其組合。
  3. 如請求項2所述的立體空間的場景編輯方法，其中，係於該智慧型裝置之一觸控螢幕編輯該物件產生的觸控訊號定義該物件於該立體空間內的狀態。
  4. 如請求項2所述的立體空間的場景編輯方法，其中，於編輯該物件時，移動該智慧型裝置至一第二位置，以決定該物件自該第一位置移動至該第二位置的一移動軌跡，以儲存該物件於該立體空間的該第一位置移動至該第二位置的連續狀態，包括該移動軌跡。
  5. 如請求項1至4其中之一所述的立體空間的場景編輯方法，其中，係於編輯該物件前先引入一立體場景，使得編輯該物件時，根據該智慧型裝置於該立體空間的位置同步顯示對應該立體空間的定位訊號的立體場景影像。
  6. 一種立體空間的場景編輯方法，包括：移動一智慧型裝置產生一立體空間內的定位訊號；引入一第一物件；於該立體空間的一第一位置以該智慧型裝置編輯該第一物件，決定該第一物件於該第一位置的狀態；移動該智慧型裝置至一第二位置，並決定該第一物件由該 第一位置移動至該第二位置的連續狀態；儲存該第一物件自該第一位置移動至該第二位置的一第一移動軌跡，以及該第一物件由該第一位置移動至該第二位置的連續狀態；引入一第二物件；於該立體空間的一第三位置以該智慧型裝置編輯該第二物件，決定該第二物件於該第三位置的狀態；移動該智慧型裝置至一第四位置，並決定該第二物件由該第三位置移動至該第四位置的連續狀態；儲存該第二物件自該第三位置移動至該第四位置的一第二移動軌跡，以及該第二物件由該第三位置移動至該第四位置的連續狀態；以及設定該第一物件與該第二物件觸發播放的條件。
  7. 如請求項6所述的立體空間的場景編輯方法，其中該第一物件或該第二物件於該立體空間內的狀態包括尺寸大小、旋轉角度與轉向其中之一或其組合。
  8. 如請求項6所述的立體空間的場景編輯方法，其中該第一物件與該第二物件觸發播放的條件包括：於一立體場景中，於該智慧型裝置的一觸控螢幕上觸碰該第一物件或該第二物件時；使用該智慧型裝置的一顯示螢幕在該第一位置顯示該第一物件時，或在該第三位置顯示該第二物件時；或開始觀看該立體場景後達一預設時間，即觸發播放該第一物件或該第二物件；或於開始播放該第一物件達一時間後開始播放該第二物件。
  9. 一種立體空間的場景編輯系統，係運作於一智慧型裝置內，該系統包括：一立體空間定位模組，用以取得該智慧型裝置在一立體空間內的定位訊號；一影像處理模組，用以處理該立體空間內的一影像物件 與一立體場景，對應該智慧型裝置產生的該立體空間的定位訊號產生一顯示影像；一顯示模組，用以輸出該立體空間內的該顯示影像；一觸控模組，提供操作該影像物件的使用者介面，用以決定該影像物件於該立體空間的狀態；以及一儲存模組，用以儲存該立體空間的該立體場景，以及該影像物件在該立體空間內之一時間與一位置的狀態。
  10. 如請求項9所述的立體空間的場景編輯系統，其中該系統更包括儲存於該智慧型裝置內一記憶體的一編輯程式集以及一播放程式集，該記憶體內儲存的程式集包括：取得該智慧型裝置產生之該立體空間內的定位訊號的指令；顯示對應該定位訊號的該立體場景的影像的指令；編輯該影像物件在不同位置的狀態與一移動軌跡的指令；錄製該物件在不同位置的狀態改變與該移動軌跡的指令；設定該物件於重現時觸發播放的條件的指令；以及觸發該物件重現的指令。
TW105106885A 2016-03-07 2016-03-07 立體空間的場景編輯方法與系統 TWI567691B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW105106885A TWI567691B (zh) 2016-03-07 2016-03-07 立體空間的場景編輯方法與系統
US15/154,376 US9928665B2 (en) 2016-03-07 2016-05-13 Method and system for editing scene in three-dimensional space
KR1020170007294A KR101860313B1 (ko) 2016-03-07 2017-01-16 3차원 공간에서의 장면 편집 방법 및 시스템
JP2017014564A JP2017162451A (ja) 2016-03-07 2017-01-30 立体空間のシーン編集方法及び立体空間のシーン編集システム
EP17154404.2A EP3217258B1 (en) 2016-03-07 2017-02-02 Method and system for editing scene in three-dimensional space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105106885A TWI567691B (zh) 2016-03-07 2016-03-07 立體空間的場景編輯方法與系統

Publications (2)

Publication Number Publication Date
TWI567691B true TWI567691B (zh) 2017-01-21
TW201732740A TW201732740A (zh) 2017-09-16

Family

ID=57960349

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105106885A TWI567691B (zh) 2016-03-07 2016-03-07 立體空間的場景編輯方法與系統

Country Status (5)

Country Link
US (1) US9928665B2 (zh)
EP (1) EP3217258B1 (zh)
JP (1) JP2017162451A (zh)
KR (1) KR101860313B1 (zh)
TW (1) TWI567691B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018261328B2 (en) 2017-05-01 2022-08-25 Magic Leap, Inc. Matching content to a spatial 3D environment
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
CA3084149A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
JP6745852B2 (ja) * 2018-01-24 2020-08-26 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
CN111758122A (zh) 2018-02-22 2020-10-09 奇跃公司 用于混合现实系统的浏览器
WO2019165044A1 (en) * 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
JP6924799B2 (ja) * 2019-07-05 2021-08-25 株式会社スクウェア・エニックス プログラム、画像処理方法及び画像処理システム
KR102276789B1 (ko) * 2020-12-10 2021-07-14 브이로거 주식회사 동영상 편집 방법 및 장치
JP7052128B1 (ja) * 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200942850A (en) * 2008-04-02 2009-10-16 Univ Nat Chiao Tung Inquiry system, inquiry method and establishment method for location-based video data and information
CN201845173U (zh) * 2010-08-24 2011-05-25 台湾色彩与影像科技股份有限公司 立体实物摄影装置
US20120079434A1 (en) * 2009-05-04 2012-03-29 Jin-He Jung Device and method for producing three-dimensional content for portable devices
TW201324436A (zh) * 2011-12-05 2013-06-16 Ind Tech Res Inst 立體物件建構方法及系統
TW201415413A (zh) * 2012-10-04 2014-04-16 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
CN104834761A (zh) * 2014-02-11 2015-08-12 三纬国际立体列印科技股份有限公司 立体模型合成方法与立体模型合成装置
TW201603557A (zh) * 2014-07-02 2016-01-16 坦億有限公司 立體影像處理系統、裝置與方法
US20160027199A1 (en) * 2013-03-01 2016-01-28 Xiang Cao Object creation using body gestures

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2842283B2 (ja) * 1995-03-08 1998-12-24 日本電気株式会社 映像提示方法および装置
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
JP5573238B2 (ja) * 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
KR101688153B1 (ko) 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
JP5942456B2 (ja) * 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9153062B2 (en) 2012-02-29 2015-10-06 Yale University Systems and methods for sketching and imaging
US20150170260A1 (en) * 2012-02-29 2015-06-18 Google Inc. Methods and Systems for Using a Mobile Device to Visualize a Three-Dimensional Physical Object Placed Within a Three-Dimensional Environment
KR101868352B1 (ko) 2012-05-14 2018-06-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
TW201349844A (zh) * 2012-05-23 2013-12-01 Univ Nat Taiwan 產生裸眼3d效果之方法
CN104871120A (zh) * 2012-09-14 2015-08-26 维德万特格有限公司 使用磁场传感器来确定用户输入的电气设备
KR20140068416A (ko) 2012-11-28 2014-06-09 한국전력공사 스마트 기기를 활용한 3차원 이미지 생성장치 및 그 방법
US20140232634A1 (en) * 2013-02-19 2014-08-21 Apple Inc. Touch-based gestures modified by gyroscope and accelerometer
US9984502B2 (en) * 2013-08-27 2018-05-29 International Business Machines Corporation Creating three dimensional models with acceleration data
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
KR20150057100A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 3d 객체 편집을 위한 전자 장치 및 방법
US10303324B2 (en) 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
US10290155B2 (en) 2014-06-17 2019-05-14 Valorisation-Recherche, Limited Partnership 3D virtual environment interaction system
EP2977961B1 (de) 2014-07-24 2018-06-27 Deutsche Telekom AG Verfahren und Kommunikationseinrichtung zum Erstellen und/oder Ändern virtueller Objekte
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200942850A (en) * 2008-04-02 2009-10-16 Univ Nat Chiao Tung Inquiry system, inquiry method and establishment method for location-based video data and information
US20120079434A1 (en) * 2009-05-04 2012-03-29 Jin-He Jung Device and method for producing three-dimensional content for portable devices
CN201845173U (zh) * 2010-08-24 2011-05-25 台湾色彩与影像科技股份有限公司 立体实物摄影装置
TW201324436A (zh) * 2011-12-05 2013-06-16 Ind Tech Res Inst 立體物件建構方法及系統
TW201415413A (zh) * 2012-10-04 2014-04-16 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
US20160027199A1 (en) * 2013-03-01 2016-01-28 Xiang Cao Object creation using body gestures
CN104834761A (zh) * 2014-02-11 2015-08-12 三纬国际立体列印科技股份有限公司 立体模型合成方法与立体模型合成装置
TW201603557A (zh) * 2014-07-02 2016-01-16 坦億有限公司 立體影像處理系統、裝置與方法

Also Published As

Publication number Publication date
KR101860313B1 (ko) 2018-07-02
KR20170104371A (ko) 2017-09-15
EP3217258A1 (en) 2017-09-13
EP3217258B1 (en) 2019-05-22
JP2017162451A (ja) 2017-09-14
US9928665B2 (en) 2018-03-27
US20170256099A1 (en) 2017-09-07
TW201732740A (zh) 2017-09-16

Similar Documents

Publication Publication Date Title
TWI567691B (zh) 立體空間的場景編輯方法與系統
JP6770061B2 (ja) いつでもどこからでもビデオコンテンツを再生するための方法および装置
CN110944727B (zh) 控制虚拟照相机的系统和方法
US9781354B2 (en) Controlling a virtual camera
US10902676B2 (en) System and method of controlling a virtual camera
JP6628343B2 (ja) 装置および関連する方法
JP2001202531A (ja) 動画像編集方法
WO2018173791A1 (ja) 画像処理装置および方法、並びにプログラム
JP2021177351A (ja) 画像表示装置、制御方法、およびプログラム
JP2022510658A (ja) 仮想カメラパスを決定するシステム及び方法
WO2017187196A1 (en) Augmented media
JP4458886B2 (ja) 複合現実感画像の記録装置及び記録方法
US20160344946A1 (en) Screen System
KR20150081750A (ko) 골프 스윙 분석 시스템 및 방법
US20230317115A1 (en) Video framing based on device orientation
JP2021144599A5 (zh)
CN108242082A (zh) 立体空间的场景编辑方法与系统
GB2549723A (en) A system and method for video editing in a virtual reality enviroment
JP2006073026A (ja) 動画像編集方法
CN107330960A (zh) 生成、播放图像的方法及装置
JP7070547B2 (ja) 画像処理装置および方法、並びにプログラム
JP2019145161A5 (zh)
JP2003180895A (ja) スポーツコーチングシステム及びスポーツコーチングのプログラムを記憶した記憶媒体
JP2020113314A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR20240049177A (ko) 반응형 영상을 생성하기 위한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법