TWI638318B - 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體 - Google Patents

以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體 Download PDF

Info

Publication number
TWI638318B
TWI638318B TW106127421A TW106127421A TWI638318B TW I638318 B TWI638318 B TW I638318B TW 106127421 A TW106127421 A TW 106127421A TW 106127421 A TW106127421 A TW 106127421A TW I638318 B TWI638318 B TW I638318B
Authority
TW
Taiwan
Prior art keywords
augmented reality
hand
module
page
audiovisual
Prior art date
Application number
TW106127421A
Other languages
English (en)
Other versions
TW201911125A (zh
Inventor
邱士芸
林純伃
黃雅芬
王淑美
林育駿
余淑萍
余秀琪
Original Assignee
勝典科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 勝典科技股份有限公司 filed Critical 勝典科技股份有限公司
Priority to TW106127421A priority Critical patent/TWI638318B/zh
Priority to US16/101,991 priority patent/US20190051031A1/en
Application granted granted Critical
Publication of TWI638318B publication Critical patent/TWI638318B/zh
Publication of TW201911125A publication Critical patent/TW201911125A/zh
Priority to US17/122,257 priority patent/US20210097771A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提供一種以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體，其中系統包括：一資料模組，儲存空白線稿及場景；一影像輸入模組，讀取繪本之手繪影像，並定義出手繪邊框；一辨識與分析模組，由空白線稿與手繪邊框比對，產生繪製內容；一語音輸入模組，讀取語音，以產生語音內容；以及一整合模組，將繪製內容及語音內容與場景結合，以產生一自創擴增實境作品。藉由本發明之實施，可以讓使用者即時產生具有自創元素之影音擴增實境之作品。

Description

以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體
本發明為一種以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體，特別係用於兒童遊戲或教材之以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體。
由於家長對小孩教育的重視，兒童教育軟體（CAI）市場需求每年持續以倍數的成長。根據調查，「電腦」已名列家長心中兒童學習項目的前三位，僅次於語言和音樂。有關兒童教育軟體製作與發行，不論從需求面或供給面來看，兒童教育軟體將扮演教育重要的角色。
近幾年，擴增實境（Augmented Reality，AR）被列為即將嶄露頭角的教育科技。即將成為一個改變市場遊戲規則者，擴增實境(AR)經常相當具有噱頭，它的應用也需要想像力。它可以將現實世界直接或間接的結合於視覺影像上面。連接網路的智慧型手機、附有相機的行動裝置 大大的刺激了擴增實境(AR) 的成長。
目前已經有以擴增實境製作出具有體感互動學習與遊戲的教材，透過教材卡在課程中產生 AR影像，利用有趣的玩法讓小朋友能持續專注在互動學習上，寓教於樂，但目前的AR教材，多半是單一型態純繪圖或純語音的辨識與掃描，無法讓小朋友完成多元整合，例如將自創的繪圖或是自創的語音整合成擴增實境之動畫，因此對小朋友創作的啟發上，AR教材仍然有很大的發展空間。
本發明為一種以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體，其主要係要解決如何將使用者自創元素以即時之方式，形成擴增實境之影音作品。
藉由本發明之實施，至少可以達成下列之進步功效：本發明提供一種以擴增實境技術結合自創元素之產製影音作品系統，其係執行於一電子計算機系統中，該產製影音作品系統包括：一資料模組，其儲存有至少一空白線稿及至少一場景；一影像輸入模組，其讀取位於一繪本之至少一2D角色對應之一手繪影像，又將手繪影像定義出一手繪邊框；一辨識與分析模組，藉由空白線稿與手繪邊框的比對，以產生一繪製內容；以及一整合模組，將繪製內容填入對應之空白線稿以產生一AR物件並與場景結合，以產生一自創擴增實境作品。
本發明又提供一種非暫態電腦可讀取之記錄媒體，用於儲存上述之以擴增實境技術結合自創元素之產製影音作品系統。
藉由本發明之實施，至少可以達成下列之進步功效： 一、 可以由使用者自行完成，具有自創元素之自創擴增實境作品。以及 二、 可以即時的產生自創擴增實境作品。
如第1圖及第2圖所示，本實施例為一種以擴增實境技術結合自創元素之產製影音作品系統100，其可以為一軟體系統並可執行於例如手機、PDA、或電腦之電子計算機系統70中，該產製影音作品系統100包括：一資料模組10；一影像輸入模組20；一辨識與分析模組30；一語音輸入模組40；以及一整合模組50。又所產製之影音作品可以是2D或3D之影音作品。
本實施例在應用時，除了執行本實施例產製影音作品系統100之軟體外，還使用了教學輔具，例如一繪本60或一圖卡或一 拼圖…等 ，又繪本60可以例如是一本AR書冊，AR書冊由多個連續頁面所組成。
如第1圖及第3圖所示，繪本60的每一頁面內已經設計有至少一個平面的2D角色61，例如動物、人、鳥…等，而這些2D角色61有一部分或者全部是只有邊框611且邊框611內為空白創作區612，藉此以方便小朋友在空白創作區612處以蠟筆進行創作。
此外繪本60的每個頁面也構成了一個2D場景613，另外每一頁面或整本繪本60，藉由上述之2D角色61及2D場景613的安排，也構成了一個故事單元腳本或一故事的腳本。
如第2圖及第4圖所示，資料模組10，其儲存有至少一空白線稿110及至少一2D/3D場景120。空白線稿110就是將繪本60內只有邊框611之2D角色61，以擴增實境技術製作成只有線框之一2D/3D角色物件；為了使故事具有連貫性，2D/3D場景120可以由繪本60作為腳本，也就是說2D/3D場景120，可以是將原本在繪本60上屬於2D平面之2D場景613，以擴增實境之技術，製作成2D/3D場景120。
如第2圖、及第5A圖所示，影像輸入模組20，其用以讀取位於一繪本60之至少一2D角色61對應之一手繪影像614，手繪影像614是小朋友在繪本60上2D角色61上之自創繪製處，以蠟筆創作完成後之圖案，然後以攝影機取像後所形成的影像即為手繪影像614。
影像輸入模組20讀取手繪影像614的方式，可以藉由一攝影機讀取即時影像，也可以讀取一影像檔案之方式達成。當手繪影像614被讀取後，接著可以軟體之技術定義出手繪影像614的邊框611，該邊框611就是一手繪邊框611。
如第2圖、及第5B圖所示，辨識與分析模組30，當手繪邊框611被定義出來了，接著就可以辨識與分析模組30藉由邊框611，找到邊框611內的繪製內容，例如具有第1創作顏色311、第2創作顏色312、第3創作顏色313…n創作顏色31n等之繪製內容31C；另外，第5B圖中的其他虛框部分，也可以用上述方式找到繪製內容31C。
如第6A圖及第6B圖所示，辨識與分析模組30，又可以藉由空白線稿110與手繪邊框611的比對，讓每一個從2D角色61所擷取出之繪製內容31C對應到該對應的儲存於資料模組10內之空白線稿110。
為了方便辨識與分析模組30之比對，可以預先在空白線稿110及2D角色61上，分別設置有可互相對應之複數個辨識點320，請參考圖式中於邊框611或空白線稿110上標示為『X』的部分，藉由辨識點320，可以更精準的辨識出每一角色中更細部的許多特徵，例如：頭部、眼睛、尾巴、甚至位於皮膚上不同的斑紋…等。
如第6C圖所示，當繪製內容31C對應到該對應的空白線稿110位置後，接著就可以將繪製內容31C填入空白線稿110內，最後再以擴增實境之技術，產生2D/3D的角色之AR物件33。
又為了方便系統的運作，繪製內容31C在存檔時，可以使用一使用者帳號、一繪本60頁碼、一繪本60內角色序號、一繪製之版次、或上述至少兩者之組合，進行檔名定義。
語音輸入模組40，其可以藉由位於PDA上的麥克風讀取一小朋友創作的即時語音，以產生一語音內容80。此外，語音輸入模組40也可以讀取一個預先錄製好的語音檔。為了方便系統的運作，語音內容80在存檔時，可以使用一使用者帳號、一繪本60頁碼、一繪本60內角色序號、一繪製之版次、或上述至少兩者之組合，進行檔名定義。
如第7圖所示，整合模組50，係使用AR技術將上述辨識後之自創繪製內容31C及自創語音內容80與內建於電子計算機內之2D/3D場景120結合；整合模組50運作時可以使用一繪本60各頁面作為定義，將各頁面對應之繪製內容31C以擴增實境技術予以2D/3D 化，並套用至該2D/3D場景120內且予以動態效果，又將各頁面對應之語音內容80整合，如此就可以產生自創擴增實境2D/3D作品。
如第8圖所示，藉由以上的實施，可以將一本書中其中一個頁面內的場景、角色及語音…等，整合成一個自創擴增實境2D/3D作品，又在整合過程中，可以使用HTML(Hypertext Markup Language)的程式語言技術，將場景、角色及語音…等進行整合。
如第9圖所示，上述之產製影音作品系統100，其可進步包括一電子書產生模組90，其係將原本已經產生之繪製內容31C及語音內容80，依照具有多個頁面故事之繪本60形成書籍腳本，然後將書籍腳本各頁對應之繪製內容31C、語音內容80及複數個預定義做為場景的元件，以擴增實境之技術組合成各頁之擴增實境2D/3D頁面，又將該些擴增實境2D/3D頁面組合成一本完整的擴增實境2D/3D有聲翻頁式電子書。
換句話說，電子書產生模組90可以將繪本60每一頁所產生之HTML檔，例如第1頁為HTML P1、第2頁為HTML P2、第3頁為HTML P3…、第n頁為HTML Pn，最後再此整合成為一電子書HTML bk。
上述產製影音作品系統100之各種實施例，可以是一軟體程式，並儲存於一種非暫態電腦可讀取之記錄媒體中，當電腦讀取產製影音作品系統100之程式時，可以執行上述之產製影音作品系統100。
惟上述各實施例係用以說明本創作之特點，其目的在使熟習該技術者能瞭解本創作之內容並據以實施，而非限定本創作之專利範圍，故凡其他未脫離本創作所揭示之精神而完成之等效修飾或修改，仍應包含在以下所述之申請專利範圍中。
100‧‧‧產製影音作品系統
10‧‧‧資料模組
110‧‧‧空白線稿
120‧‧‧場景
20‧‧‧影像輸入模組
30‧‧‧辨識與分析模組
311‧‧‧第1創作顏色
312‧‧‧第2創作顏色
313‧‧‧第3創作顏色
31C‧‧‧繪製內容
320‧‧‧辨識點
33‧‧‧AR物件
40‧‧‧語音輸入模組
50‧‧‧整合模組
60‧‧‧繪本
61‧‧‧2D角色
611‧‧‧邊框
612‧‧‧空白創作區
613‧‧‧2D場景
614‧‧‧手繪影像
70‧‧‧電子計算機系統
80‧‧‧語音內容
90‧‧‧電子書產生模組
[第1圖]為本發明之一種使用情境實施例圖； [第2圖]為本發明之一種以擴增實境技術結合自創元素之產製影音作品系統架構實施例圖； [第3圖]為一種應用於本發明實施例之繪本實施例圖； [第4圖]為本發明之一種空白線稿於電子計算機螢幕上顯示之實施例圖；[第5A圖]為一種繪本上之角色完成繪製影像之實施例圖； [第5B圖]本發明之一種辨識與分析模組比對出繪製內容後之實施例圖； [第6A圖]為一種繪本上具有辨識點之2D角色實施例圖； [第6B圖]為第6A圖完成繪製影像之實施例圖； [第6C圖]本發明之一種藉由辨識點完成繪製內容之實施例圖； [第7圖]為本發明之一種將繪製內容與空白線稿結合後之實施例圖； [第8圖]為本發明之一種使用HTML技術整合之實施例圖；以及 [第9圖]為本發明進一步包括一電子書產生模組之實施例圖。

Claims (10)

  1. 一種以擴增實境技術結合自創元素之產製影音作品系統，其係執行於一電子計算機系統中，該產製影音作品系統包括：一資料模組，其儲存有至少一空白線稿及至少一場景；一影像輸入模組，其讀取位於一繪本之至少一2D角色對應之一手繪影像，又將該手繪影像定義出一手繪邊框；一辨識與分析模組，藉由該空白線稿與該手繪邊框的比對，以產生一繪製內容；以及一整合模組，將該繪製內容填入對應之該空白線稿以產生一AR物件並與該場景結合，以產生一自創擴增實境作品。
  2. 如申請專利範圍第1項所述之產製影音作品系統，其中該場景係以一教學輔具作為腳本。
  3. 如申請專利範圍第1項所述之產製影音作品系統，其中該影像輸入模組係讀取該手繪影像係藉由一攝影機進行讀取一即時影像或讀取一手繪影像檔。
  4. 如申請專利範圍第1項所述之產製影音作品系統，其中該繪製內容係一帳號、一頁碼、一序號、一版次、或上述至少兩者之組合，進行檔名定義。
  5. 如申請專利範圍第1項所述之產製影音作品系統，其中該空白線稿及該2D角色分別設有可互相對應之複數個辨識點。
  6. 如申請專利範圍第1項所述之產製影音作品系統，其進一步包括一語音輸入模組，其讀取一即時語音或一語音檔，以產生一語音內容；又該整合模組也進一步將該語音內容與該繪製內容及該場景結合，以產生該自創擴增實境作品。
  7. 如申請專利範圍第1項所述之產製影音作品系統，其中該語音內容係以一帳號、一頁碼、一序號、一版次、或上述至少兩者之組合，進行檔名定義。
  8. 如申請專利範圍第1項所述之產製影音作品系統，其中該整合模組係一繪本各頁面作為定義，將各該頁面對應之該繪製內容化並套用至該場景內且予以動態效果，又將各該頁面對應之該語音內容整合，以產生該自創擴增實境作品。
  9. 如申請專利範圍第1項所述之產製影音作品系統，其進步包括一電子書產生模組，其係依照一書籍腳本，將各頁對應之該繪製內容、該語音內容及複數個預定義的場景元件，以擴增實境之技術組合成各該頁之擴增實境頁面，又將該些擴增實境頁面組合成一本完整的擴增實境有聲翻頁式電子書。
  10. 一種非暫態電腦可讀取之記錄媒體，儲存如申請專利範圍第1項至第9項其中一項所述之以擴增實境技術結合自創元素之產製影音作品系統。
TW106127421A 2017-08-14 2017-08-14 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體 TWI638318B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106127421A TWI638318B (zh) 2017-08-14 2017-08-14 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體
US16/101,991 US20190051031A1 (en) 2017-08-14 2018-08-13 System and recording media thereof for using ar technology combines hand-creating elements to producing video works
US17/122,257 US20210097771A1 (en) 2017-08-14 2020-12-15 System and recording media thereof for using ar technology combines hand-creating elements to producing video works

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106127421A TWI638318B (zh) 2017-08-14 2017-08-14 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體

Publications (2)

Publication Number Publication Date
TWI638318B true TWI638318B (zh) 2018-10-11
TW201911125A TW201911125A (zh) 2019-03-16

Family

ID=64797575

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106127421A TWI638318B (zh) 2017-08-14 2017-08-14 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體

Country Status (2)

Country Link
US (1) US20190051031A1 (zh)
TW (1) TWI638318B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766303A (zh) * 2017-10-23 2018-03-06 百度在线网络技术（北京）有限公司 向用户提供3d阅读场景

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM519301U (zh) * 2015-08-18 2016-03-21 吳文龍 擴增實境互動學習系統
CN106843505A (zh) * 2017-03-21 2017-06-13 大连米乐宏业科技有限公司 一种基于幼儿教育的多媒体交互系统及方法
CN106934849A (zh) * 2017-02-20 2017-07-07 哲想方案（北京）科技有限公司 一种互动大屏绘图系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963926B2 (en) * 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9652895B2 (en) * 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation
US10096144B2 (en) * 2014-07-17 2018-10-09 Crayola, Llc Customized augmented reality animation generator
US9754399B2 (en) * 2014-07-17 2017-09-05 Crayola, Llc Customized augmented reality animation generator
US10373379B2 (en) * 2015-08-20 2019-08-06 Disney Enterprises, Inc. Deformable-surface tracking based augmented reality image generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM519301U (zh) * 2015-08-18 2016-03-21 吳文龍 擴增實境互動學習系統
CN106934849A (zh) * 2017-02-20 2017-07-07 哲想方案（北京）科技有限公司 一种互动大屏绘图系统
CN106843505A (zh) * 2017-03-21 2017-06-13 大连米乐宏业科技有限公司 一种基于幼儿教育的多媒体交互系统及方法

Also Published As

Publication number Publication date
US20190051031A1 (en) 2019-02-14
TW201911125A (zh) 2019-03-16

Similar Documents

Publication Publication Date Title
WO2019019403A1 (zh) 一种用于k12阶段的互动情景教学系统
JP2021006977A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
TWI638318B (zh) 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體
Dange Learning and experiences: A step model
US20210097771A1 (en) System and recording media thereof for using ar technology combines hand-creating elements to producing video works
CN108509473B (zh) 以扩增实境技术结合自创元素的影音作品系统及记录媒体
KR20110024880A (ko) 증강현실 기술을 이용한 문장 학습 방법 및 시스템
CN112489223A (zh) Vr课程编辑方法及系统
KR20230018586A (ko) 입력된 시나리오에 따라 사이버공간에서 영상, 이미지, 음성, 배경음악의 전부 또는 일부를 구현하는 시스템 및 방법
McLuhan et al. Myth and mass media
Solomon “Why can’t you just say,‘It’s cute’?” The Role of Audience in First Graders’ Digital Storytelling
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
hi Chang et al. A study on augmented reality application in situational simulation learning
JP2021006886A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN111866406A (zh) 一种儿童ar相册制作方法
Smuseva et al. Research and software development using AR technology
Gliksman Creating media for learning: Student-centered projects across the curriculum
Hutson Combining Large Language Models and Immersive Technologies to Represent Cultural Heritage in the Metaverse Context
Chung et al. Using graphic digital materials in language learning
Chobthamdee et al. Creating Instructional Media through Video Learning on Social Media Platforms for Graduate Diploma in Teaching Profession Students
Chang A novel AR-based interactive E-learning platform
KR20150115605A (ko) 흉내내기 동영상과 원본 동영상의 합성에 의거한 외국어 학습 및 그 응용
Ha et al. Design considerations for implementing an interactive DigiLog book
Edgar Stop Motion Adventures in Virtual Reality
Wang et al. Application of multimodality perception scene construction based on Internet of Things (IoT) technology in art teaching