TWI386912B - 即時辨識樂譜的方法與系統 - Google Patents

即時辨識樂譜的方法與系統 Download PDF

Info

Publication number
TWI386912B
TWI386912B TW098119721A TW98119721A TWI386912B TW I386912 B TWI386912 B TW I386912B TW 098119721 A TW098119721 A TW 098119721A TW 98119721 A TW98119721 A TW 98119721A TW I386912 B TWI386912 B TW I386912B
Authority
TW
Taiwan
Prior art keywords
score
musical score
unit
musical
candidate
Prior art date
Application number
TW098119721A
Other languages
English (en)
Other versions
TW201044374A (en
Inventor
Chin Shyurng Fahn
Kai Jay Lu
Original Assignee
Univ Nat Taiwan Science Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan Science Tech filed Critical Univ Nat Taiwan Science Tech
Priority to TW098119721A priority Critical patent/TWI386912B/zh
Priority to US12/548,440 priority patent/US8067682B2/en
Publication of TW201044374A publication Critical patent/TW201044374A/zh
Application granted granted Critical
Publication of TWI386912B publication Critical patent/TWI386912B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/30Character recognition based on the type of data
    • G06V30/304Music notations

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)
  • Auxiliary Devices For Music (AREA)
  • Image Analysis (AREA)

Description

即時辨識樂譜的方法與系統
本發明是有關於一種識別樂譜內容的方法,且特別是有關於一種可以即時識別各種樂譜的方法及系統。
隨著資訊科技的蓬勃發展,電腦技術也逐漸被使用在各種不同的領域當中,因而使得資訊技術(Information Technology;IT)產業所涉及的範疇變得更加廣泛;其中,樂譜識別便是將影像處理技術結合音樂領域而發展出的一項技術。
在目前的光學樂譜辨識(Optical Music Recognition;OMR)技術中,多半是透過掃描器將整張樂譜掃描為一個圖檔,再辨識整份樂譜上的音樂符號資訊,並且在完成整份樂譜的辨識動作後,將資訊轉換為機器可讀取的格式,進而控制電腦鋼琴或其他電子樂器進行演奏。然而,這樣的方式必須在完整辨識整份樂譜的內容後,才會輸出辨識結果。換言之,使用者往往必須介入操作掃描器並且花費較長的時間等待辨識處理完成,接著才有機會聽到音樂的演奏。除此之外,基於掃描器作業環境的特性,這種方式僅能針對平坦且沒有扭曲、皺摺,或翻轉角度的樂譜來進行辨識。透過掃描樂譜來進行辨識所能辨識的對象有限,且通常必須花費較多的等待時間。
另一種與樂譜辨識相關的技術則是直接將預設樂譜的音樂資訊記錄在光碟片等儲存媒體之中,電腦鋼琴或其他電子樂器在讀取光碟片時,便可直接把光碟片所記錄的內容轉換為硬體訊號以控制按鍵來演奏。然而不難想見,這樣的方式僅能彈奏預設的樂譜,不僅相當缺乏彈性,同時也無法達到讓使用者隨意選擇樂譜並即時進行辨識的效果。
有鑑於此,本發明提供一種即時辨識樂譜的方法,可以對任意的樂譜進行即時辨識,以模仿人類閱讀樂譜的習慣。
本發明提供一種即時辨識樂譜的系統,以小節為單位辨識樂譜並即時輸出辨識結果,以提升辨識樂譜的效率。
本發明提出一種即時辨識樂譜的方法,用於包括影像擷取裝置的電腦系統。此方法首先偵測樂譜,並搜尋小節線以取得樂譜上的至少一個小節,再根據各小節在樂譜中的排列位置規劃辨識順序。接下來,控制影像擷取裝置依照辨識順序擷取其中一個小節、辨識所擷取之小節中的至少一個音樂資訊,以及輸出上述音樂資訊。此方法將依照辨識順序對其他小節進行上述擷取、辨識及輸出的步驟,直到各小節均處理完畢為止。
在本發明之一實施例中,其中偵測樂譜的步驟包括利用影像擷取裝置擷取包括一文件的影像。接著判斷文件是否符合樂譜架構,以及在文件符合樂譜架構時,判定文件為樂譜。
在本發明之一實施例中,其中在利用影像擷取裝置擷取影像的步驟之前,更包括將影像擷取裝置之鏡頭的角度調整至初始位置。
在本發明之一實施例中,其中判斷文件是否符合樂譜架構的步驟,包括對影像進行邊緣偵測以取得數個候選單元。接著,根據樂譜架構及各候選單元的幾何資訊來判斷各候選單元是否為樂譜單元。若存在一個或一個以上的樂譜單元,則判定文件符合樂譜架構。
在本發明之一實施例中,其中各候選單元的幾何資訊包括四個頂點位置、單元面積、單元高度,以及單元寬度。而根據樂譜架構及幾何資訊判斷候選單元是否為樂譜單元的步驟至少包括下列其中之一:在候選單元的單元面積小於第一預設值時,判定候選單元不為樂譜單元;在候選單元的單元高度大於第二預設值時,判定候選單元不為樂譜單元;在候選單元的其中一個頂點位置位於影像的特定區域時,判定候選單元不為樂譜單元;在候選單元之單元高度與單元寬度的比例不符合第三預設值時,判定候選單元不為樂譜單元。其中,第一預設值與影像的大小成比例,而第二預設值與影像的高度成比例。
在本發明之一實施例中,其中在判斷各候選單元是否為樂譜單元的步驟之後,更包括在相鄰兩個樂譜單元之間的距離不符合第四預設值時,判定文件不符合樂譜架構。
在本發明之一實施例中,其中小節線為貫穿樂譜單元的垂直線。
在本發明之一實施例中,其中在搜尋小節線以取得數個小節的步驟之後,更包括計算小節的總數以及取得各小節的中心位置。
在本發明之一實施例中,其中根據各小節在樂譜中的排列位置規劃辨識順序的步驟,更包括計算影像擷取裝置的鏡頭由初始位置轉動至各小節之中心位置的轉動角度,以及記錄各小節與對應之轉動角度的對應關係;其中,轉動角度包括水平角度以及垂直角度。
在本發明之一實施例中,其中控制影像擷取裝置依照辨識順序擷取其中一小節並辨識所擷取之小節中的音樂資訊的步驟,包括依照辨識順序選擇其中一個小節。接著取得被選擇之小節所對應的轉動角度,並控制影像擷取裝置的鏡頭轉動上述轉動角度以瞄準被選擇之小節的中心位置,再推進鏡頭以擷取被選擇之小節的放大畫面。最後,辨識放大畫面中的音樂資訊。
在本發明之一實施例中,其中音樂資訊包括音符、譜號、休止符、變音記號、拍號,以及附點等等。
在本發明之一實施例中,其中輸出音樂資訊的步驟包括將所擷取之小節中的音樂資訊轉換為音訊檔案格式,並播放轉換為音訊檔案格式的音樂資訊;其中,音訊檔案格式包括樂器數位介面(Musical Instrument Digital Interface;MIDI)格式。
在本發明之一實施例中,其中輸出音樂資訊的步驟包括將所擷取之小節中的音樂資訊轉換為數個硬體訊號,以及利用硬體訊號來控制電子樂器演奏音樂資訊。
在本發明之一實施例中,其中輸出音樂資訊的步驟包括將音樂資訊儲存為對應所擷取之小節的暫存檔。而在各小節均處理完畢之後,本方法更包括整合所儲存的所有暫存檔,以作為完整對應樂譜的一個資訊檔。
在本發明之一實施例中,其中影像擷取裝置包括PTZ(Pan-Tilt-Zoom)攝影機,而樂譜包括鋼琴樂譜、弦樂器樂譜、管樂器樂譜,以及總譜。
從另一觀點來看,本發明提出一種即時辨識樂譜的系統,此系統包括相互連接的影像擷取裝置及處理單元;其中,處理單元在偵測到樂譜時搜尋小節線以取得樂譜上的至少一個小節,並根據各小節在樂譜中的排列位置規劃辨識順序。處理單元控制影像擷取裝置依照辨識順序擷取其中之一小節、辨識所擷取之小節中的至少一個音樂資訊,以及輸出上述音樂資訊。處理單元將依照辨識順序重複地對其他小節進行上述擷取、辨識及輸出的動作,直到各小節均處理完畢為止。
在本發明之一實施例中,其中處理單元在影像擷取裝置擷取包括文件的影像後,判斷文件是否符合樂譜架構,以及在文件符合樂譜架構時判定文件為樂譜;其中,處理單元在影像擷取裝置擷取影像之前,將影像擷取裝置之鏡頭的角度調整至初始位置。
在本發明之一實施例中,其中處理單元對影像進行邊緣偵測以取得數個候選單元,再根據樂譜架構及各候選單元的幾何資訊判斷各候選單元是否為樂譜單元,以及在存在一個或一個以上的樂譜單元時判定文件符合樂譜架構。
在本發明之一實施例中,其中各候選單元的幾何資訊包括四個頂點位置、單元面積、單元高度,以及單元寬度。處理單元在候選單元的單元面積小於第一預設值時,判定候選單元不為樂譜單元;在候選單元的單元高度大於第二預設值時,判定候選單元不為樂譜單元;在候選單元的任一頂點位置位於影像的特定區域時,判定候選單元不為樂譜單元;以及在候選單元之單元高度與單元寬度的比例不符合第三預設值時,判定候選單元不為樂譜單元。其中,第一預設值與影像的大小成比例,而第二預設值與影像的高度成比例。
在本發明之一實施例中,其中處理單元在相鄰兩個樂譜單元之間的距離不符合第四預設值時,判定文件不符合樂譜架構。
在本發明之一實施例中,其中小節線為貫穿一樂譜單元的垂直線。
在本發明之一實施例中,其中處理單元計算小節的總數以及取得各小節的中心位置。處理單元將計算影像擷取裝置的鏡頭由初始位置轉動至各小節之中心位置的轉動角度,並記錄各小節與對應之轉動角度的對應關係;其中,轉動角度包括水平角度以及垂直角度。
在本發明之一實施例中,其中處理單元依照辨識順序選擇其中一個小節,取得被選擇之小節所對應的轉動角度,控制影像擷取裝置的鏡頭轉動上述轉動角度以瞄準被選擇之小節的中心位置。影像擷取裝置推進鏡頭以擷取被選擇之小節的放大畫面,再由處理單元辨識放大畫面中的音樂資訊。
在本發明之一實施例中,其中音樂資訊包括音符、譜號、休止符、變音記號、拍號,以及附點等等。
在本發明之一實施例中,其中處理單元將所擷取之小節中的音樂資訊轉換為音訊檔案格式,以及播放轉換為音訊檔案格式的音樂資訊;其中,音訊檔案格式包括樂器數位介面格式。
在本發明之一實施例中,其中處理單元將所擷取之小節中的音樂資訊轉換為數個硬體訊號,並利用硬體訊號控制電子樂器演奏音樂資訊。
在本發明之一實施例中,其中處理單元將音樂資訊儲存為對應所擷取之小節的暫存檔。而處理單元整合所儲存的所有暫存檔以作為完整對應樂譜的資訊檔。
在本發明之一實施例中,影像擷取裝置包括PTZ攝影機,而樂譜包括鋼琴樂譜、弦樂器樂譜、管樂器樂譜,以及總譜。
基於上述,本發明是以小節為單位來對樂譜上的音樂資訊進行辨識,並隨即輸出辨識結果。如此一來,不但可以增加辨識樂譜的效率,同時也可以呈現有如真人在閱讀樂譜時的效果。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明之一實施例所繪示之即時辨識樂譜的系統之方塊圖,請參閱圖1,即時辨識樂譜的系統100包括影像擷取裝置110以及處理單元120;其中,影像擷取裝置110例如是具備大角度轉動或傾斜鏡頭、自動對焦,以及高倍率放大等功能的PTZ(Pan-Tilt-Zoom)攝影機。連接至影像擷取裝置110的處理單元120例如是具備運算及處理能力的硬體(例如晶片組)、軟體元件,或硬體及軟體元件的組合,在此並不限制其範圍。
處理單元120可隨時偵測及判斷擺放在影像擷取裝置110前的文件是否為一樂譜,並分析樂譜的結構以規劃出一個以小節(measure)為單位的辨識順序。接著,處理單元120控制影像擷取裝置110根據辨識順序移動其鏡頭位置來擷取其中一個小節,處理單元120將針對所擷取的小節進行音樂資訊的辨識,以及在辨識後輸出辨識結果。在完成一個小節的辨識與輸出動作後,處理單元120接著控制影像擷取裝置110依據辨識順序來擷取另一個小節,並重複上述動作反覆地以小節為單位進行辨識與輸出,直到樂譜中的所有小節均處理完畢為止。
在一實施例中,即時辨識樂譜的系統100可配置在電腦系統。在另一實施例中,即時辨識樂譜的系統100可實作為一娛樂型機器人。透過即時辨識樂譜的系統100的運作不但能對任意樂譜進行辨識,同時也可以即時呈現辨識結果進而提升辨識樂譜的效率。在將即時辨識樂譜的系統100實作為娛樂型機器人時,由於即時辨識樂譜的系統100是在辨識每個小節的音樂資訊後便隨即將其輸出,因而使得娛樂型機器人可以模仿真人在閱讀樂譜時依序邊看邊分析局部內容的習性。
為了更進一步地說明即時辨識樂譜的系統100的運作方式,以下特舉另一實施例來做更詳細的說明。圖2是依照本發明之一實施例所繪示之即時辨識樂譜的方法流程圖,請同時參閱圖1與圖2。首先如步驟210所示,處理單元120判斷目前是否偵測到一樂譜;亦即,判斷擺放在影像擷取裝置110前的文件是否為樂譜。
為了讓影像擷取裝置110能順利擷取前方影像以利後續判斷,處理單元120將先對影像擷取裝置110的鏡頭進行調整,使鏡頭的角度轉動至初始位置。接著,當影像擷取裝置110擷取包括文件的影像時,處理單元120便會判斷文件是否符合樂譜架構,以及在文件符合於樂譜架構時判定文件屬於樂譜。
以下將對判斷文件是否符合樂譜架構的方式來進行說明。在本實施例中所指的樂譜包括鋼琴樂譜、弦樂器樂譜、管樂器樂譜,以及總譜等等,在此並不限制樂譜的種類。由於無論樂譜是對應於哪種樂器,都應符合五線譜及音符應有的架構,因此在判斷是否偵測到樂譜時,處理單元120首先對影像擷取裝置110所擷取到的影像進行一邊緣偵測,從而取得數個邊緣點。接著,再利用數理形態學上的擴張方法以及標記相連元件的演算法來將邊緣點聚集為數個候選單元。如此一來,處理單元120便可根據樂譜架構及各候選單元的幾何資訊來判斷各個候選單元是否為樂譜單元。倘若存在一個或一個以上的樂譜單元,處理單元120便判定影像中的文件符合樂譜架構。
詳細地說,每個候選單元的幾何資訊包括四個頂點位置、單元面積、單元高度,以及單元寬度。而處理單元120在候選單元的單元面積小於第一預設值時,判定候選單元不為樂譜單元;其中,第一預設值與影像的大小成比例。換言之,面積太小的候選單元應當不是構成樂譜的單元,因此處理單元120將其刪除。此外,處理單元120在候選單元的單元高度大於第二預設值(與影像的高度成比例)時,判定此候選單元不為樂譜單元。也就是說,由於高度過高的候選單元不會是組成樂譜的元素,因此也將被刪除。在另一實施例中,為了刪除影像中的背景以及被影像邊緣切割而導致形狀不完整的部份,處理單元120在候選單元的任一頂點位置位於影像的特定區域(例如邊緣區域)時,判定候選單元不為樂譜單元。除此之外,由於樂譜中的每行五線譜應具有特定的長寬比例,因此處理單元120在候選單元之單元高度與單元寬度的比例不符合第三預設值時,判定候選單元不為樂譜單元。
倘若擺放在影像擷取裝置110前的文件為樂譜,那麼在經過上述篩選動作後,樂譜中的每行五線譜將被判定為一個樂譜單元。在一實施例中,倘若相鄰兩個樂譜單元(即相鄰兩行五線譜)之間的距離不符合第四預設值,處理單元120便會判定文件不符合樂譜架構。
唯有在處理單元120判斷文件符合於樂譜架構時,才判定所偵測到的文件屬於樂譜。倘若無法偵測到樂譜,則重複執行步驟210;若已偵測到樂譜,接著如步驟220所示,處理單元120取得樂譜上的各個小節,並根據各小節在樂譜中的排列位置規劃一個以小節為單位的辨識順序。由於小節線為貫穿樂譜單元的垂直線,因此處理單元120將在每個樂譜單元中搜尋小節線以取得各小節的位置。如此一來,處理單元120便可取得樂譜中小節的總數以及各小節的中心位置。在本實施例中,處理單元120另外將計算影像擷取裝置110的鏡頭,由初始位置轉動至各小節之中心位置的轉動角度(包括水平角度及垂直角度),並記錄各小節與對應之轉動角度的對應關係。
接下來,如步驟230所示,處理單元120控制影像擷取裝置110依照辨識順序擷取其中一個小節。在本實施例中,處理單元120在按照辨識順序選擇目前應作處理的一個小節後,便會取得被選擇之小節所對應的轉動角度,同時控制影像擷取裝置110將鏡頭轉動上述轉動角度以瞄準被選擇之小節的中心位置。接著,影像擷取裝置110在聚焦功能允許的範圍內推進鏡頭,以擷取被選擇之小節的放大畫面。如此一來,影像擷取裝置110便可取得該小節的清晰局部放大畫面。
在步驟240中,處理單元120對影像擷取裝置110在步驟230所擷取到的放大畫面進行辨識,以取得小節中的至少一個音樂資訊;其中,音樂資訊包括音符、譜號、休止符、變音記號、拍號,以及附點等等。而在本實施例中,由於處理單元120針對扭曲線條也有判斷處理方式,因而可以辨識出正確的音樂資訊。
在辨識一小節中的音樂資訊後,接著如步驟250所示,處理單元120隨即將音樂資訊輸出。在一實施例中,處理單元120將所擷取之小節中的音樂資訊轉換為音訊檔案格式,並且播放轉換為音訊檔案格式的音樂資訊以供使用者聆聽;其中,音訊檔案格式包括樂器數位介面(Musical Instrument Digital Interface;MIDI)格式。在另一實施例中,處理單元120將所擷取之小節中的音樂資訊轉換為數個硬體訊號,並利用上述硬體訊號來控制電子樂器(例如電子鋼琴)演奏音樂資訊,或利用硬體訊號控制機械手臂進行彈奏。換言之,處理單元120在辨識一個小節的音樂資訊後,便可即時呈現該小節中的音樂資訊內容。
又在另一實施例中,處理單元120會將每個小節的音樂資訊儲存為對應的暫存檔。待整份樂譜(即所有小節)均辨識完畢後,處理單元120將各小節所對應的暫存檔整合起來,以作為完整對應樂譜的資訊檔。
最後如步驟260所示,判斷是否還有其他小節尚未處理。若是,則回到步驟230再次依照辨識順序取得其他小節,並重複執行步驟240至步驟260以對小節進行辨識,直到樂譜中的所有小節均處理完畢為止。透過圖2所示之各步驟,影像擷取裝置110將依照辨識順序擷取樂譜中各小節的放大畫面,據以讓處理單元120辨識其中的音樂資訊並進行輸出。每完成一個小節的辨識處理後,影像擷取裝置110將移動到下一個小節並反覆執行辨識與輸出動作,如此一來,便可呈現即時閱讀樂譜的效果。
本發明另提供一種電腦程式產品,其係用以執行上述即時辨識樂譜的方法。此電腦程式產品基本上是由數個程式指令所組成(例如設定程式指令、部署程式指令等等),再將這些程式指令載入包括影像擷取裝置的電腦系統之後,即可實現上述即時辨識樂譜的方法的各步驟,並使得電腦系統具備以小節為單位即時辨識樂譜並輸出音樂資訊的功能。
綜合以上所述,本發明所提之即時辨識樂譜的方法與系統可以對任意的樂譜進行辨識。以小節作為辨識單位不但可以產生較佳的辨識效果,同時也可以在辨識後即時輸出小節中的音樂資訊。據此大幅提升辨識樂譜的效率,而邊辨識樂譜邊演奏的方式也更貼近人類閱讀樂譜的動作。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...即時辨識樂譜的系統
110...影像擷取裝置
120...處理單元
210~260...本發明之一實施例所述即時辨識樂譜的方法的各步驟
圖1是依照本發明之一實施例所繪示之即時辨識樂譜的系統之方塊圖。
圖2是依照本發明之一實施例所繪示之即時辨識樂譜的方法之流程圖。
210~260...本發明之一實施例所述即時辨識樂譜的方法的各步驟

Claims (40)

  1. 一種即時辨識樂譜的方法,用於包括一影像擷取裝置的一電腦系統,該方法包括:偵測一樂譜;搜尋一小節線以取得該樂譜上的至少一小節;計算所述小節的一總數;取得各所述小節的一中心位置;根據所述小節在該樂譜中的排列位置規劃一辨識順序,包括:計算該影像擷取裝置的一鏡頭,由一初始位置轉動至各所述小節之該中心位置的一轉動角度;以及記錄所述小節與對應之該轉動角度的對應關係;控制該影像擷取裝置依照該辨識順序擷取所述小節其中之一;辨識所擷取之該小節中的至少一音樂資訊;輸出該些音樂資訊;以及依照該辨識順序對其他小節進行上述控制該影像擷取裝置依照該辨識順序擷取所述小節其中之一、辨識所擷取之該小節中的至少一音樂資訊、以及輸出該些音樂資訊的步驟,直到各所述小節均處理完畢為止。
  2. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中偵測該樂譜的步驟包括:利用該影像擷取裝置擷取一文件的一影像;判斷該文件是否符合一樂譜架構;以及 在該文件符合該樂譜架構時判定該文件為該樂譜。
  3. 如申請專利範圍第2項所述之即時辨識樂譜的方法,其中在利用該影像擷取裝置擷取該影像的步驟之前,更包括:調整該影像擷取裝置之該鏡頭的角度至一初始位置。
  4. 如申請專利範圍第2項所述之即時辨識樂譜的方法,其中判斷該文件是否符合該樂譜架構的步驟,包括:對該影像進行一邊緣偵測以取得多個候選單元;根據該樂譜架構及各該些候選單元的一幾何資訊判斷各該些候選單元是否為一樂譜單元;以及若存在一個或一個以上的該樂譜單元,則判定該文件符合該樂譜架構。
  5. 如申請專利範圍第4項所述之即時辨識樂譜的方法,其中各該些候選單元的該幾何資訊,包括四個頂點位置、一單元面積、一單元高度,以及一單元寬度。
  6. 如申請專利範圍第5項所述之即時辨識樂譜的方法,其中根據該樂譜架構及該幾何資訊判斷該候選單元是否為該樂譜單元的步驟至少包括下列其中之一:若該候選單元的該單元面積小於一第一預設值,判定該候選單元不為該樂譜單元;若該候選單元的該單元高度大於一第二預設值,判定該候選單元不為該樂譜單元;若該候選單元的該些頂點位置其中之一位於該影像的一特定區域,判定該候選單元不為該樂譜單元;以及 若該候選單元之該單元高度與該單元寬度的比例不符合一第三預設值,判定該候選單元不為該樂譜單元。
  7. 如申請專利範圍第6項所述之即時辨識樂譜的方法,其中該第一預設值與該影像的一影像大小成比例。
  8. 如申請專利範圍第6項所述之即時辨識樂譜的方法,其中該第二預設值與該影像的一影像高度成比例。
  9. 如申請專利範圍第4項所述之即時辨識樂譜的方法,其中在判斷各該些候選單元是否為該樂譜單元的步驟之後,更包括:若相鄰兩個樂譜單元之間的距離不符合一第四預設值,則判定該文件不符合該樂譜架構。
  10. 如申請專利範圍第4項所述之即時辨識樂譜的方法,其中該小節線為貫穿該些樂譜單元其中之一的垂直線。
  11. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中該轉動角度包括一水平角度以及一垂直角度。
  12. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中控制該影像擷取裝置依照該辨識順序擷取所述小節其中之一,並辨識所擷取之該小節中的所述音樂資訊的步驟,包括:依照該辨識順序選擇所述小節其中之一;取得被選擇之該小節所對應的該轉動角度;控制該影像擷取裝置的該鏡頭轉動該轉動角度,以瞄準被選擇之該小節的該中心位置;推進該鏡頭以擷取被選擇之該小節的一放大畫面;以 及辨識該放大畫面中的所述音樂資訊。
  13. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中所述音樂資訊包括音符、譜號、休止符、變音記號、拍號,以及附點。
  14. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中輸出所述音樂資訊的步驟包括:轉換所擷取之該小節中的所述音樂資訊為一音訊檔案格式;以及播放轉換為該音訊檔案格式的所述音樂資訊。
  15. 如申請專利範圍第14項所述之即時辨識樂譜的方法,其中該音訊檔案格式包括樂器數位介面(Musical Instrument Digital Interface;MIDI)格式。
  16. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中輸出所述音樂資訊的步驟包括:轉換所擷取之該小節中的所述音樂資訊為多個硬體訊號;以及利用該些硬體訊號控制一電子樂器演奏所述音樂資訊。
  17. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中輸出所述音樂資訊的步驟包括:儲存所述音樂資訊為對應所擷取之該小節的一暫存檔。
  18. 如申請專利範圍第17項所述之即時辨識樂譜的方法,其中在各所述小節均處理完畢之後,更包括: 整合所儲存的所有暫存檔以作為完整對應該樂譜的一資訊檔。
  19. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中該影像擷取裝置包括PTZ(Pan-Tilt-Zoom)攝影機。
  20. 如申請專利範圍第1項所述之即時辨識樂譜的方法,其中該樂譜包括鋼琴樂譜、弦樂器樂譜、管樂器樂譜,以及總譜。
  21. 一種即時辨識樂譜的系統,包括:一影像擷取裝置;以及一處理單元,耦接至該影像擷取裝置,用以在偵測到一樂譜時搜尋一小節線,以取得該樂譜上的至少一小節,並根據所述小節在該樂譜中的排列位置規劃一辨識順序,其中該處理單元控制該影像擷取裝置依照該辨識順序擷取所述小節其中之一,辨識所擷取之該小節中的至少一音樂資訊,以及輸出所述音樂資訊;且該處理單元依照該辨識順序對其他小節進行上述控制該影像擷取裝置依照該辨識順序擷取所述小節其中之一、辨識所擷取之該小節中的至少一音樂資訊、以及輸出所述音樂資訊的動作,直到各所述小節均處理完畢為止;其中該處理單元計算所述小節的一總數,以及取得各所述小節的一中心位置,並且該處理單元計算該影像擷取裝置的一鏡頭,由一初始位置轉動至各所述小節之該中心位置的一轉動角度,並記錄所述小節與對應之該轉動角度 的對應關係。
  22. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該處理單元在該影像擷取裝置擷取包括一文件的一影像後,判斷該文件是否符合一樂譜架構,以及在該文件符合該樂譜架構時判定該文件為該樂譜。
  23. 如申請專利範圍第22項所述之即時辨識樂譜的系統,其中該處理單元在該影像擷取裝置擷取該影像之前,調整該影像擷取裝置之該鏡頭的角度至一初始位置。
  24. 如申請專利範圍第22項所述之即時辨識樂譜的系統,其中該處理單元對該影像進行一邊緣偵測,以取得多個候選單元,根據該樂譜架構及各該些候選單元的一幾何資訊,判斷各該些候選單元是否為一樂譜單元,以及在存在一個或一個以上的該樂譜單元時,判定該文件符合該樂譜架構。
  25. 如申請專利範圍第24項所述之即時辨識樂譜的系統,其中各該些候選單元的該幾何資訊包括四個頂點位置、一單元面積、一單元高度,以及一單元寬度。
  26. 如申請專利範圍第25項所述之即時辨識樂譜的系統,其中該處理單元在該候選單元的該單元面積小於一第一預設值時,判定該候選單元不為該樂譜單元;在該候選單元的該單元高度大於一第二預設值時,判定該候選單元不為該樂譜單元;在該候選單元的該些頂點位置其中之一位於該影像的一特定區域時,判定該候選單元不為該樂譜單元;以及在該候選單元之該單元高度與該單元寬度的比 例不符合一第三預設值時,判定該候選單元不為該樂譜單元。
  27. 如申請專利範圍第26項所述之即時辨識樂譜的系統,其中該第一預設值與該影像的一影像大小成比例。
  28. 如申請專利範圍第26項所述之即時辨識樂譜的系統,其中該第二預設值與該影像的一影像高度成比例。
  29. 如申請專利範圍第24項所述之即時辨識樂譜的系統,其中該處理單元在相鄰兩個樂譜單元之間的距離不符合一第四預設值時,判定該文件不符合該樂譜架構。
  30. 如申請專利範圍第24項所述之即時辨識樂譜的系統,其中該小節線為貫穿該些樂譜單元其中之一的垂直線。
  31. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該轉動角度包括一水平角度以及一垂直角度。
  32. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該處理單元依照該辨識順序選擇所述小節其中之一,取得被選擇之該小節所對應的該轉動角度,控制該影像擷取裝置的該鏡頭轉動該轉動角度,以瞄準被選擇之該小節的該中心位置,接著,該影像擷取裝置推進該鏡頭,以擷取被選擇之該小節的一放大畫面,並由該處理單元辨識該放大畫面中的所述音樂資訊。
  33. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中所述音樂資訊包括音符、譜號、休止符、變音記號、拍號,以及附點。
  34. 如申請專利範圍第21項所述之即時辨識樂譜的系 統,其中該處理單元轉換所擷取之該小節中的所述音樂資訊為一音訊檔案格式,以及播放轉換為該音訊檔案格式的所述音樂資訊。
  35. 如申請專利範圍第34項所述之即時辨識樂譜的系統,其中該音訊檔案格式包括樂器數位介面格式。
  36. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該處理單元轉換所擷取之該小節中的所述音樂資訊為多個硬體訊號,並利用該些硬體訊號控制一電子樂器演奏所述音樂資訊。
  37. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該處理單元儲存所述音樂資訊為對應所擷取之該小節的一暫存檔。
  38. 如申請專利範圍第37項所述之即時辨識樂譜的系統,其中該處理單元整合所儲存的所有暫存檔以作為完整對應該樂譜的一資訊檔。
  39. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該影像擷取裝置包括PTZ攝影機。
  40. 如申請專利範圍第21項所述之即時辨識樂譜的系統,其中該樂譜包括鋼琴樂譜、弦樂器樂譜、管樂器樂譜,以及總譜。
TW098119721A 2009-06-12 2009-06-12 即時辨識樂譜的方法與系統 TWI386912B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098119721A TWI386912B (zh) 2009-06-12 2009-06-12 即時辨識樂譜的方法與系統
US12/548,440 US8067682B2 (en) 2009-06-12 2009-08-27 Music score recognition method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098119721A TWI386912B (zh) 2009-06-12 2009-06-12 即時辨識樂譜的方法與系統

Publications (2)

Publication Number Publication Date
TW201044374A TW201044374A (en) 2010-12-16
TWI386912B true TWI386912B (zh) 2013-02-21

Family

ID=43305251

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098119721A TWI386912B (zh) 2009-06-12 2009-06-12 即時辨識樂譜的方法與系統

Country Status (2)

Country Link
US (1) US8067682B2 (zh)
TW (1) TWI386912B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5335501B2 (ja) * 2009-03-18 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8445766B2 (en) * 2010-02-25 2013-05-21 Qualcomm Incorporated Electronic display of sheet music
JP2012138009A (ja) * 2010-12-27 2012-07-19 Kawai Musical Instr Mfg Co Ltd 楽譜認識装置、及びコンピュータプログラム
JP5598681B2 (ja) * 2012-04-25 2014-10-01 カシオ計算機株式会社 音符位置検出装置、音符位置推定方法およびプログラム
JP2014228628A (ja) * 2013-05-21 2014-12-08 ヤマハ株式会社 演奏記録装置
CN104078035B (zh) * 2013-07-02 2016-10-05 深圳市腾讯计算机系统有限公司 一种演奏乐曲的方法及装置
US9478201B1 (en) * 2013-12-31 2016-10-25 Tonara Ltd. System and method for optical music recognition
US9269339B1 (en) * 2014-06-02 2016-02-23 Illiac Software, Inc. Automatic tonal analysis of musical scores
JP7197263B2 (ja) * 2017-10-18 2022-12-27 ヤマハ株式会社 画像解析方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5492049A (en) * 1993-07-16 1996-02-20 Yamaha Corporation Automatic arrangement device capable of easily making music piece beginning with up-beat
US6137041A (en) * 1998-06-24 2000-10-24 Kabashiki Kaisha Kawai Gakki Music score reading method and computer-readable recording medium storing music score reading program
US20080024612A1 (en) * 2003-09-03 2008-01-31 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5492049A (en) * 1993-07-16 1996-02-20 Yamaha Corporation Automatic arrangement device capable of easily making music piece beginning with up-beat
US6137041A (en) * 1998-06-24 2000-10-24 Kabashiki Kaisha Kawai Gakki Music score reading method and computer-readable recording medium storing music score reading program
US20080024612A1 (en) * 2003-09-03 2008-01-31 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system

Also Published As

Publication number Publication date
US8067682B2 (en) 2011-11-29
TW201044374A (en) 2010-12-16
US20100313737A1 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
TWI386912B (zh) 即時辨識樂譜的方法與系統
Koepke et al. Sight to sound: An end-to-end approach for visual piano transcription
JP2004297223A (ja) 撮影装置
Scarr et al. Retrieval of guitarist fingering information using computer vision
US8744136B2 (en) Sound reproduction method and device
CN114419634B (zh) 一种基于特征规则的曲谱解析方法与装置
WO2019230593A1 (ja) 画像処理方法および画像処理装置
JP2022153394A (ja) 画像解析方法、画像解析装置およびプログラム
Goldstein et al. Guitar Music Transcription from Silent Video.
CN101923852B (zh) 即时辨识乐谱的方法与系统
US8872954B2 (en) Image processing apparatus having feature extraction and stored image selection capability, method of controlling the apparatus, program thereof, and storage medium
CN115985273B (zh) 基于多传感器数据融合的记谱方法及系统
WO2019087331A1 (ja) 基準位置検出装置および基準位置検出方法
CA2885712A1 (en) Methods and systems for visual music transcription
Duke et al. Guitar tablature generation using computer vision
Deb et al. An image analysis approach for transcription of music played on keyboard-like instruments
Coyle et al. A method for automatic detection of tongued and slurred note transitions in clarinet playing
Li et al. Robust piano music transcription based on computer vision
JP2011013446A (ja) 楽譜表示装置、楽譜表示方法、コンピュータプログラム及び記録媒体
CN113255470A (zh) 基于手部姿态估计的多模态钢琴陪练系统及方法
JP2005175839A (ja) 画像表示装置、画像表示方法、プログラムおよび記憶媒体
JPS6162983A (ja) 楽譜読取装置
JP7540264B2 (ja) プログラム、演奏評価装置、及び演奏評価方法
Kerdvibulvech et al. Markerless guitarist fingertip detection using a bayesian classifier and a template matching for supporting guitarists
US7411123B2 (en) Method for transforming image into music

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees