TWI393072B - 廣角感測器陣列模組及其影像校正方法、運作方法與應用 - Google Patents

廣角感測器陣列模組及其影像校正方法、運作方法與應用 Download PDF

Info

Publication number
TWI393072B
TWI393072B TW098124548A TW98124548A TWI393072B TW I393072 B TWI393072 B TW I393072B TW 098124548 A TW098124548 A TW 098124548A TW 98124548 A TW98124548 A TW 98124548A TW I393072 B TWI393072 B TW I393072B
Authority
TW
Taiwan
Prior art keywords
image
wide
coordinate axis
image sensor
array module
Prior art date
Application number
TW098124548A
Other languages
English (en)
Other versions
TW201005676A (en
Inventor
Tzu Yi Chao
Hsin Chia Chen
Chih Hsin Lin
Ren Hau Gu
Chang Che Tsai
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW098124548A priority Critical patent/TWI393072B/zh
Publication of TW201005676A publication Critical patent/TW201005676A/zh
Application granted granted Critical
Publication of TWI393072B publication Critical patent/TWI393072B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Description

廣角感測器陣列模組及其影像校正方法、運作方法與應用
本發明係關於一種影像感測器，特別是關於一種具有複數感測器之廣角感測器陣列模組及其影像校正方法、運作方法與應用。
習知技術中，可透過採用廣角鏡頭或魚眼鏡頭以增加一影像感測器之視角範圍，然而此類鏡頭通常具有較高的成本。因此，業界提出了透過利用多個一般的影像感測器以組成一較寬廣之視野並降低成本的方法。例如美國專利公開第2005/0025313號揭示一種「利用多個窄視角影像以形成一廣視角影像之數位影像系統(Digital imaging system for creating a wide-angle image from multiple narrow angle images)」，其包含複數個影像裝置。每個影像裝置具有一預設視角以及於一選定時間擷取影像之機制。該等影像裝置中每個影像裝置之視角係設置為與其相鄰影像裝置之視角相重疊。該數位影像系統另包含一控制模組控制該等影像裝置於同一時間各自擷取一影像，且每個影像裝置所擷取之影像將被合成為一廣視角影像。
因此，如何合成複數個獨立影像以形成一廣視角影像即成為一重要的課題。本發明提供一種利用轉換矩陣合成多個影像之廣角感測器陣列模組，該轉換矩陣係表示各獨立影像裝置間之相對空間關係並預先儲存於該廣角感測器陣列模組中。此外，若影像裝置間之相對空間關可預先得知，則每個影像裝置之視角不需與相鄰影像裝置之視角相重疊，可進一步增加廣角感測器陣列模組之組合視角範圍。
本發明之一目的在提供一種廣角感測器陣列模組，其利用至少兩個一般的影像感測器以增加一感測器陣列模組之視角範圍，因而該廣角感測器陣列模組中不需採用高價格之特殊鏡頭，可有效降低模組成本。
本發明另一目的在提供一種廣角感測器陣列模組之影像校正方法，其係預先根據至少兩個影像感測器彼此間之相對空間關係以計算出至少一個轉換矩陣。此外，當影像感測器彼此間之相對空間關已預先得知，則每個影像裝置之視角不需與相鄰影像裝置之視角相重疊，可進而增加整體視角範圍。
本發明再一目的在提供一種廣角感測器陣列模組之影像運作方法，其利用預先儲存於該廣角感測器陣列模組中之轉換矩陣正確地完成多個影像之合成，藉以形成一廣視角影像。
本發明再一目的在提供一種廣角感測器陣列模組之應用，其中該廣角感測器陣列模組係應用於一指向定位系統，可有效增加該指向定位系統之視角範圍並降低系統成本。
為達上述目的，本發明提供一種廣角感測器陣列模組用以產生一組合影像，該廣角感測器陣列模組包含一第一影像感測器、一第二影像感測器、一儲存單元及一處理器。該第一影像感測器用以擷取一第一影像。該第二影像感測器用以擷取一第二影像，且該第二影像感測器與該第一影像感測器具有一相對空間關係。該儲存單元儲存至少一轉換矩陣，其中該轉換矩陣係根據該第一影像感測器與該第二影像感測器之該相對空間關係所求得。該處理器利用該轉換矩陣組合該第一影像及該第二影像為該組合影像。
根據本發明之另一特點，本發明另提供一種廣角感測器陣列模組之影像校正方法，該廣角感測器陣列模組包含一第一影像感測器及一第二影像感測器，該影像校正方法包含下列步驟：提供至少三個校正點，其中該等校正點形成一參考空間座標軸且該等校正點具有一參考空間座標；以該第一影像感測器擷取包含前述校正點中至少三個校正點以形成一第一影像，其中該第一影像形成一第一影像座標軸且該第一影像中之校正點具有一第一影像座標；根據該參考空間座標及該第一影像座標求得一第一轉換矩陣；以該第二影像感測器擷取包含前述校正點中至少三個校正點以形成一第二影像，其中該第二影像形成一第二影像座標軸且該第二影像中之校正點具有一第二影像座標；根據該參考空間座標及該第二影像座標求得一第二轉換矩陣；以及利用該第一轉換矩陣及/或該第二轉換矩陣將該第一影像及/或該第二影像轉換至一虛擬平面。
根據本發明之另一特點，本發明再提供一種廣角感測器陣列模組之影像校正方法，該廣角感測器陣列模組包含一第一影像感測器及一第二影像感測器，該影像校正方法包含下列步驟：決定該第一影像感測器與該定二影像感測器之一相對空間關係；根據該相對空間關係求得至少一轉換矩陣；及利用該轉換矩陣將該第一影像感測器所擷取之影像及/或該第二影像感測器所擷取之影像轉換至一虛擬平面。
根據本發明之另一特點，本發明再提供一種廣角感測器陣列模組之運作方法，該廣角感測器陣列模組包含一第一影像感測器、一第二影像感測器及一儲存單元儲存有至少一轉換矩陣，該轉換矩陣係根據該第一影像感測器與該第二影像感測器之一相對空間關係所求得，該運作方法包含下列步驟：以該第一影像感測器擷取一第三影像；以該第二影像感測器擷取一第四影像；利用該轉換矩陣將該第三影像及/或該第四影像轉換至一虛擬平面；決定該虛擬平面中所擷取物件影像之至少一特徵參數；及傳輸該特徵參數至一影像顯示裝置或一儲存裝置。
根據本發明之另一特點，本發明再提供一種廣角感測器陣列模組之運作方法，該廣角感測器陣列模組包含一第一影像感測器、一第二影像感測器及一儲存單元儲存有至少一轉換矩陣，該轉換矩陣係根據該第一影像感測器與該第二影像感測器之相對空間關係所求得，該運作方法包含下列步驟：以該第一影像感測器擷取一第三影像；根據該第三影像產生一第一特徵參數；以該第二影像感測器擷取一第四影像；根據該第四影像產生一第二特徵參數；利用該轉換矩陣將該第一特徵參數及該第二特徵參數轉換至一虛擬平面以合成該第一特徵參數與該第二特徵參數；及傳輸該特徵參數至一影像顯示裝置或一儲存裝置。
根據本發明之另一特點，本發明再提供一種指向定位系統，包含至少一光源、一廣角感測器陣列模組及一影像顯示裝置。該廣角感測器陣列模組用以產生一組合影像並具有一組合視角，該廣角感測器陣列包含：一第一影像感測器用以擷取一第一影像；一第二影像感測器用以擷取一第二影像，該第二影像感測器與該第一影像感測器具有一相對空間關係；及一影像處理單元，儲存有一轉換矩陣並利用該轉換矩陣組合該第一影像及該第二影像為該組合影像，其中該第一影像及/或該第二影像包含該光源之影像且該轉換矩陣係根據該第一影像感測器與該第二影像感測器之相對空間關係所求得，該影像處理單元並根據該組合影像以及所包含之該光源影像產生一特徵參數。該影像顯示裝置耦接該廣角感測器陣列模組，用以顯示一應用程式之一畫面，且根據該特徵參數操作該應用程式並更新該畫面。
根據本發明之另一特點，本發明再提供一種指向定位系統，包含至少一光源、一廣角感測器陣列模組及一影像顯示裝置。該廣角感測器陣列模組用以產生一組合特徵參數並具有一組合視角，該廣角感測器陣列包含：一第一影像感測器，用以擷取一第三影像；一第二影像感測器，用以擷取一第四影像，該第二影像感測器與該第一影像感測器具有一相對空間關係；及一影像處理單元，根據該第三影像產生一第一特徵參數以及根據該第四影像產生一第二特徵參數，並利用一轉換矩陣組合該第一特徵參數及該第二特徵參數為該組合特徵參數，其中該第一特徵參數及該第二特徵參數至少其中之一係根據在該第三影像或該第四影像中該光源之影像而決定，且該轉換矩陣係根據該第一影像感測器與該第二影像感測器之相對空間關係所求得。該影像顯示裝置耦接該廣角感測器陣列模組，用以顯示一應用程式之一畫面，且可根據該組合特徵參數操作該應用程式並更新該畫面。
本發明之廣角感測器陣列模組及其運作方法與應用，係利用於一校正模式中預先求得之至少一轉換矩陣進行多個影像的合成，可有效增加該廣角感測器陣列模組之整體視角，以增加其實用性。此外，由於該廣角感測器陣列模組中不需使用特殊鏡頭，可有效降低成本。
為了讓本發明之上述和其他目的、特徵及優點能更明顯，下文特舉本發明實施例，並配合所附圖示，作詳細說明如下。於本說明書之說明內容中，類似的元件是以相同之編號表示。
請參照第1a及1b圖所示，其顯示根據本發明實施例之廣角感測器陣列模組1及1' 之示意圖。該廣角感測器陣列模組1及1' 包含一第一影像感測器S1 、一第二影像感測器S2 以及一影像處理單元2，其包含一處理器21、一儲存單元22及一傳輸介面單元23。此外，該廣角感測器陣列模組1及1' 可另包含複數個透鏡或透鏡組(未繪示)設置於該第一影像感測器S1 及該第二影像感測器S2 前方，用以提高該等影像感測器之感光效率；該影像處理單元2可另包含一電力供應單元(未繪示)用以提供該廣角感測器陣列模組1及1' 運作時所需之電力。
該第一及第二影像感測器S1 及S2 例如可為CCD影像感測器或CMOS影像感測器，但並不限於此。該第一影像感測器S1 用以擷取一影像，並具有一第一視角VA1 ；該第二影像感測器S2 用以擷取一影像，並具有一第二視角VA2；該廣角感測器陣列模組1及1' 則用以擷取一組合影像，並分別具有一組合視角VA及VA' ，該組合視角VA及VA' 係由該第一視角VA1 及該第二視角VA2 組合而成，因此VA(VA' )≧VA1 且VA(VA' )≧VA2 。此外，此實施例中雖僅以兩個影像感測器做說明，然於實際上根據不同之應用，該廣角感測器陣列模組1及1' 可具有兩個以上影像感測器。
請再參照第1a圖所示，該廣角感測器陣列模組1中，該第一影像感測器S1 及該第二影像感測器S2 係平行地設置，亦即該第一影像感測器S1 之第一視角VA1 之中央法線n1 、該第二影像感測器S2 之第二視角VA2 之中央法線n2 與該組合視角VA之中央法線間不具有角度差。該第一影像感測器S1 及該第二影像感測器S2 耦接該影像處理單元2，該影像處理單元2之處理器21用以處理該第一影像感測器S1 及該第二影像感測器S2 所擷取之影像，例如影像校正、影像合成、特徵擷取及失真補償等。該儲存單元22用以儲存該第一影像感測器S1 及該第二影像感測器S2 所擷取之影像及/或該處理器21所處理過之影像，並儲存有複數參數以供該處理器21處理該第一影像感測器S1 及該第二影像感測器S2 所擷取之影像，例如該第一影像感測器S1 及該第二影像感測器S2 間之空間距離及該等中央法線n1 、n2 及n間之夾角θ(第1a圖中θ=0°)。該傳輸介面單元23用以將該廣角感測器陣列模組1及1' 所擷取之影像傳輸至例如一影像顯示器(未繪示)進行顯示或一記憶裝置進行儲存。本發明利用該影像處理單元2處理並合成該第一影像感測器S1 及該第二影像感測器S2 所擷取之影像，以使該廣角感測器陣列模組1可具有一較寬廣之組合視角VA。
請再參照第1b圖所示，該廣角感測器陣列模組1' 為該廣角感測器陣列模組1之一替代實施利，其中該第一影像感測器S1 及該第二影像感測器S2 彼此間具有一角度差θ=θ1 ＋θ2 ，亦即該第一視角VA1 之中央法線n1 與該組合視角VA之中央法線間具有一第一角度差θ1 ；該第二視角VA2 之中央法線n2 與該組合視角VA之中央法線間具有一第二角度差θ2 ，其中該第一角度差θ1 可等於或不等於該第二角度差θ2 。於此實施例中，該儲存單元22中儲存有該第一影像感測器S1 及該第二影像感測器S2 間之相對空間關係的各種參數，例如空間距離、該第一角度差θ1 、該第二角度差θ2 以及根據該等參數所求得影像間之轉換矩陣；該處理器21則利用該轉換矩陣形成一虛擬平面。於此替代實施例中，該影像處理單元2同樣處理並合成該第一影像感測器S1 及該第二影像感測器S2 所擷取之影像，以使該廣角感測器陣列模組1' 具有較寬廣之組合視角VA' ，其中VA' >VA。此外，本發明之廣角感測器陣列模組1及1' 可應用於一指向定位系統，例如一光槍遊戲之光槍指向定位或一指向器(pointer)之指向定位，以減少指向定位系統之使用視角限制。
請參照第2圖所示，其顯示本發明實施例之廣角感測器陣列模組1及1' 之運作方法的流程圖，其包含一校正模式31及一操作模式32。該校正模式31係於該廣角感測器陣列模組1及1' 出廠前或於第一次使用前所執行，用以獲得該第一影像感測器S1 及該第二影像感測器S2 間之相對空間關係的各種參數，並據以求得兩影像間之轉換矩陣以形成一虛擬平面；該操作模式32包含將該第一影像感測器S1 及該第二影像感測器S2 所擷取之影像合成至該虛擬平面以及擷取影像中之物件特徵等步驟。該校正模式31及該操作模式32之詳細執行方式將於下列段落中說明。
請參照第3圖所示，其顯示本發明實施例之校正模式31之流程圖，包含下列步驟：提供至少三個校正點於一第一影像感測器及一第二影像感測器之視角內，其中該等校正點具有一參考空間座標軸(步驟310)；以該第一影像感測器擷取一第一影像，其具有一第一影像座標軸(步驟3111)；求得該第一影像中該等校正點之影像座標(步驟3112)；根據該參考空間座標軸及該第一影像座標軸之相對空間關係求得一第一轉換矩陣(步驟3113)；以該第二影像感測器擷取一第二影像，其具有一第二影像座標軸(步驟3121)；求得該第二影像中該等校正點之影像座標(步驟3122)；根據該參考空間座標軸及該第二影像座標軸之相對空間關係求得一第二轉換矩陣(步驟3123)；以及利用該第一轉換矩陣將該第一影像轉換至一虛擬平面及/或利用該第二轉換矩陣將該第二影像轉換至該虛擬平面(步驟313)。
請參照第4a及4b圖所示，第4a圖顯示本發明實施例之校正模式31的一種實施態樣，第4b圖則為第4a圖之上視圖。於此實施態樣中，利用該廣角感測器陣列模組1' 擷取空間中4定位點P1 ~P4 之影像以作為校正參數，其中該等定位點P1 ~P4 例如可為紅外光發光二極體或紅外光雷射二極體，且該等定位點P1 ~P4 位於該第一視角VA1 與該第二視角VA2 之重疊區域(步驟310)。該等定位點P1 ~P4 具有一{x,y,z}軸之參考空間座標軸；該廣角感測器陣列模組1' 基於一{X,Y,Z}軸之空間座標軸擷取影像，且該第一及第二影像感測器擁有各自的影像座標軸，例如該第一影像感測器具有{X1,Y,Z1}軸之第一影像座標軸；該第二影像感測器具有{X2,Y,Z2}軸之第二影像座標軸。於此實施態樣中，該第一影像感測器S1 及該第二影像感測器S2 間具有一橫向角度差而不具有縱向角度差，例如該第一影像感測器S1 之中央法線n1 (X1 ,0,Z1 )與該等定位點P1 ~P4 之參考空間座標軸之z軸間具有一第一角度差θ1 =-Φ；該第二影像感測器S2 之中央法線n2 (X2 ,0,Z2 }與該等定位點P1 ~P4 之參考空間座標軸之z軸間具有一第二角度差θ2 =Φ(第4b圖)。
第5a圖顯示以該等定位點P1 ~P4 之參考空間座標軸為基準之定位點影像。第5b圖顯示該第一影像感測器S1 所擷取之定位點影像P1 ' ~P4 ' (第一影像)，其以該第一影像座標軸為基準(步驟3111)，並可計算出該第一影像中各定位點之影像座標(步驟3112)。透過座標變換則可求得該參考空間座標軸與該第一影像座標軸間之轉換矩陣H1 如式(1)(步驟3113)：
亦即，若以該等定位點P1 ~P4 之參考空間座標軸為基準之定位點P1 ~P4 影像座標已知為(x,y,z)，則可透過該轉換矩陣H1 將影像座標(x,y,z)轉換為以該第一影像感測器S1 之第一影像座標軸為基準之影像座標如式(2)，
同理，第5c圖顯示該第二影像感測器S2 所擷取之定位點影像P1 " ~P4 " (第二影像)，其以該第二影像座標軸為基準(步驟3121)，並可計算出該第二影像中各定位點之影像座標(步驟3122)。同理，透過座標變換則可求得該參考空間座標軸與該第二影像座標軸間之轉換矩陣H2 如式(3)(步驟3123)：
亦即，若以該等定位點P1 ~P4 之參考空間座標軸為基準之定位點P1 ~P4 影像座標已知為(x,y,z)，則可透過該轉換矩陣H2 將影像座標(x,y,z)轉換為以該第二影像感測器S2 之第二影像座標軸為基準之影像座標如式(4)，
上述求得之轉換矩陣H1 及H2 表示該第一影像感測器S1 與該第二影像感測器S2 相對之空間關係，最後利用該第一轉換矩陣H1 將該第一影像轉換至一虛擬平面及/或利用該第二轉換矩陣H2 將該第二影像轉換至該虛擬平面(步驟313)，其中該虛擬平面可以該等定位點P1 ~P4 之參考空間座標軸為基準(即該第一影像及該第二影像分別透過轉換矩陣轉換至該參考空間座標軸)、以該第一影像感測器S1 之第一影像座標軸為基準(即該第二影像透過轉換矩陣轉換至該第一影像座標軸)或以該第二影像感測器S2 之第二影像座標軸為基準(即該第一影像透過轉換矩陣轉換至該第二影像座標軸)。
此外，當影像感測器間之相對空間關係為未知時，利用該第一影像感測器S1 所擷取之定位點影像P1 ' ~P4 ' 之座標及預先設定之該等定位點P1 ~P4 之影像座標，例如(x,y,z)，即可根據式(2)求得第一轉換矩陣H1 ；同理，利用該第二影像感測器S2 所擷取之定位點影像P1 " ~P4 " 之座標及預先設定之該等定位點P1 ~P4 之影像座標，即可根據式(4)求得第二轉換矩陣H2 。
請參照第5d圖所示，其顯示將該第一影像及該第二影像轉透過轉換矩陣換至該虛擬平面之一實施例。例如當以該等定位點P1 ~P4 之參考空間座標軸為基準時，該等定位點之座標為P1 =(-1,1)、P2 =(1,1)、P3 =(-1,-1)及P4 =(1,-1)。若已知影像感測器間之相對空間關係(即已知轉換矩陣)，則可透過該轉換矩陣H1 轉換為以該第一影像座標軸為基準之影像座標(第5d圖之左下圖)或透過該轉換矩陣H2 轉換為以該第二影像座標軸為基準之影像座標(第5d圖之右下圖)。此外，若以該第一影像座標為基準，該等定位點P1 " ~P4 " 經過兩次轉換矩陣則可轉換至以該第一影像座標軸為基準之虛擬平面上，並分別相應對於定位點P1 ' ~P4 ' ；同理，若以該第二影像座標軸為基準，該等定位點P1 ' ~P4 ' 經過兩次轉換矩陣則可轉換至以該第二影像座標軸為基準之虛擬平面上，並分別相應對於定位點P1 " ~P4 " 。
可以了解的是，定位點之數目並不限於4個。由於至少需要3個定位點才能形成一參考空間座標軸，因此於本發明中，該第一視角VA1 及該第二視角VA2 之視角區域內分別至少需設置3定位點。第6a及6b圖則顯示本發明之校正模式31中利用6個定位點之實施態樣；第7a及7b圖則顯示本發明之校正模式31中利用8個定位點。之實施態樣，因其轉換矩陣之計算方式類似於使用4個定位點之實施態樣，於此不再贅述。
請參照第8a及8b圖所示，第8a圖顯示本發明實施例之校正模式31的一替代實施例，第8b圖則為第8a圖之上視圖。於此替代實施例中，該廣角感測器陣列模組1' 同樣擷取空間中4個定位點P1 ~P4 之影像以作為校正參數，其中該等定位點P1 ~P4 位於該第一視角VA1 與該第二視角VA2 之重疊區域(步驟310)。該等定位點P1 ~P4 具有一{x,y,z}軸之參考空間座標軸；該廣角感測器陣列模組1' 基於一{X,Y,Z}軸之空間座標軸擷取影像，且該第一及第二影像感測器擁有各自的影像座標軸，例如該第一影像感測器具有{X1 ,Y,Z1 }軸之第一影像座標軸；該第二影像感測器具有{X2 ,Y,Z2 }軸之第二影像座標軸。此替代實施例中，該第一影像感測器S1 及該第二影像感測器S2 間具有一橫向角度差以及一縱向角度差，例如該第一影像感測器S1 之中央法線n1 (X1 ,0,Z1 )與該等定位點P1 ~P4 之參考空間座標軸之z軸間具有一橫向第一角度差θ1 =-Φ以及一縱向角度差θ；該第二影像感測器S2 之中央法線n2 (X2 ,0,Z2 )與該等定位點P1 ~P4 之參考空間座標軸之z軸間具有一橫向第二角度差θ2 =Φ以及一縱向角度差θ，其中該第一影像感測器S1 之中央法線n1 與該等定位點P1 ~P4 之參考空間座標軸之z軸間之縱向角度差亦可不等於該第二影像感測器S2 之中央法線n2 與該等定位點P1 ~P4 之參考空間座標軸之z軸間之縱向角度差。
請參照第9a至9c圖所示，第9a圖顯示以該等定位點P1 ~P4 之參考空間座標軸為基準之定位點影像。第9b圖顯示該第一影像感測器S1 所擷取之定位點影像P1 ' ~P4 ' ，其以該第一影像座標軸為基準(步驟3111)，並可求得各定位點影像座標(步驟3112)。透過座標變換則可求得該參考空間座標軸與該第一影像座標軸間之x軸方向轉換矩陣H1 x如式(5)以及y軸方向轉換矩陣H1 y如式(6)(步驟3113)：
接著可求得該參考空間座標軸與該第一影像座標軸間之轉換矩陣H1 如式(7)：
亦即，若以該等定位點P1 ~P4 之參考空間座標軸為基準之定位點P1 ~P4 影像座標已知為(x,y,z)，則可透過該轉換矩陣H1 將影像座標為(x,y,z)轉換為以該第一影像感測器S1 之第一影像座標軸為基準之影像座標如式(8)，
同理，第9c圖顯示該第二影像感測器S2 所擷取之定位點影像P1 " ~P4 " ，其以該第二影像座標為基準(步驟3121)，同樣可求得各定位點之座標(步驟3122)。透過座標變換則可求得該參考空間座標軸與該第二影像座標軸間之x軸方向轉換矩陣H2 x如式(9)及y軸方向轉換矩陣H2 y如式(10)(步驟3123)：
接著可求得該參考空間座標軸與該第二影像座標軸間之轉換矩陣H2 如式(11)：
亦即，若以該等定位點P1 ~P4 之參考空間座標軸為基準之定位點P1 ~P4 影像座標已知為(x,y,z)，則可透過該轉換矩陣H2 將影像座標為(x,y,z)轉換為以該第二影像感測器S2 之第二影像座標軸為基準之影像座標如式(12)，
此外，當影像感測器間之相對空間關係為未知時，利用該第一影像感測器S1 所擷取之定位點影像P1 ' ~P4 ' 之座標及預先設定之該等定位點P1 ~P4 之影像座標，例如(x,y,z)，即可根據式(8)求得第一轉換矩陣H1 ；同理，利用該第二影像感測器S2 所擷取之定位點影像P1 " ~P4 " 之座標及預先設定之該等定位點P1 ~P4 之影像座標，即可根據式(12)求得第二轉換矩陣H2 。
執行該校正模式31後所求得之該等轉換矩陣(H1 、H2 )以及虛擬平面，將預先被儲存於該影像處理單元2之儲存單元22以供該處理器21於操作模式32中使用。
於另一替代實施例中，該第一影像感測器S1 及該第二影像感測器S2 可設置於一預製框架(未繪示)上，且當該第一影像感測器S1 及該第二影像感測器S2 設置於該框架時，影像感測器彼此間之相對空間關係已預先得知。例如已預先知道該第一影像感測器S1 之中央法線與該第二影像感測器S2 之中央法線間所具有之一橫向角度差及/或一縱向角度差。因此於此替代實施例之校正模式31中，則不須分別設置至少三個定位點於該第一影像感測器S1 及該第二影像感測器S2 之視角區域內，可直接利用影像感測器彼此間之相對空間關係以計算轉換矩陣，並利用該轉換矩陣求得一虛擬平面，最後將該轉換矩陣及虛擬平面儲存於該儲存單元22內。此時，該虛擬平面可以該第一影像感測器S1 之第一影像座標軸為基準(即該第二影像感測器S2 所擷取之影像可透過該轉換矩陣轉換至該第一影像座標軸)或以該第二影像感測器S2 之第二影像座標軸為基準(即該第一影像感測器S1 所擷取之影像可透過該轉換矩陣轉換至該第二影像座標軸)。
請再參照第2圖所示，如前所述，該校正模式31係為該廣角感測器陣列模組1及1' 出廠前或使用前所執行之初始校正程序，於實際使用階段(操作模式32)則不需重覆進行該校正模式31。以下接著說明操作模式32。
請參照第10a圖所示，其顯示本發明實施例之廣角感測器陣列模組1及1' 之操作模式32的流程圖，其包含以一第一影像感測器擷取一第三影像(步驟3211)；以一第二影像感測器擷取一第四影像(步驟3212)；利用該轉換矩陣將該第三影像及該第四影像合成至一虛擬平面(步驟3213)；擷取該組合影像中之物件特徵(步驟3214)以及傳送該物件特徵參數(步驟3215)。
請參照第10a及11a至11d圖所示，以下利用一應用實施例來說明該廣角感測器陣列模組1及1' 之操作模式32。此時，該廣角感測器陣列模組1' 係應用於一指向定位系統，且該第一影像感測器S1 之第一視角VA1 及該第二影像感測器S2 之第二視角VA2 內分別具有一例如光槍之瞄準器或指向器(pointer)之光源T3 及T4 。首先以該第一影像感測器S1 擷取一第三影像I3 (步驟3211)並以該第二影像感測器S2 擷取一第四影像I4 (步驟3212)；接著該處理單元21利用預先儲存於該儲存單元22之轉換矩陣，例如校正模式31所求得之轉換矩陣H1 及H2 ，將該第三影像I3 及該第四影像I4 合成至一虛擬平面上以形成一組合影像CI，其具有一組合視角VA。如前所述，該虛擬平面可以該第三影像I3 或該第四影像I4 之影像座標軸為基準；接著該處理器21擷取該組合影像CI中物件影像，例如該光源T3 及T4 影像，之特徵參數，例如物件之座標、面積、色彩、方向性、邊界、端點數以及長寬比等參數(步驟3214)；最後透過該傳輸介面單元23將該等物件參數傳送至一影像顯示器或一儲存裝置(未繪示)，其中該影像顯示器例如可為一電視螢幕、一投影幕、一遊戲機螢幕或一電腦螢幕，其係用以顯示一應用程式之一畫面，以及根據物件影像之特徵參數，例如該光源T3 及T4 影像之座標及參數，操作該應用程式並更新該畫面。
請參照第10b及11a至11d圖所示，接著說明本發明實施例之廣角感測器陣列模組1及1' 之操作模式32的另一替代實施例，包含下列步驟：以一第一影像感測器擷取一第三影像(步驟3221)；擷取第三影像之物件特徵(步驟3222)；以一第二影像感測器擷取一第四影像(步驟3223)；擷取第四影像之物件特徵(步驟3224)；利用該轉換矩陣將該第一及該第二特徵參數合成至一虛擬平面(步驟3226)；以及傳送該物件特徵參數(步驟3215)。本替代實施例與第10a圖之差異在於，該第三及第四影像被擷取後，該處理器11則分別先擷取影像中物件之特徵參數，再利用儲存於該儲存單元22中之轉換矩陣將該等物件參數合成至該虛擬平面並形成一組合特徵參數。最後同樣經過該傳輸介面單元23將該等物件參數傳送至一影像顯示器或一儲存裝置，致使該影像顯示器可根據該組合特徵參數，例如該光源T3 及T4 影像之座標及參數，操作該應用程式並更新該畫面。藉此，本發明透過設置至少兩個影像感測器於廣角感測器陣列模組1及1' 中，可有效增加一指向定位系統之視角範圍(如第11d圖)。
綜上所述，由於可透過使用多個影像感測器以增加影像感測模組之視角範圍，因此如何正確合成多個影像成為一重要的課題。有鑑於此，本發明提出一種廣角感測器陣列模組及其影像校正方法及運作方法，透過預先儲存至少一轉換矩陣於該廣角感測器陣列模組中，並於操作時利用該轉換矩陣正確地組合影像。此外，本發明之廣角感測器陣列模組可應用於一指向定位系統，例如一槍擊遊戲，可有效增加指向定位系統之操作視角範圍，並降低系統成本。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1,1' ．．．廣角感測器陣列模組
2．．．影像處理單元
21．．．處理器
22．．．儲存單元
23．．．傳輸介面單元
VA,VA' ．．．組合視角
S1 ．．．第一影像感測器
S2 ．．．第二影像感測器
VA1 ．．．第一視角
VA2 ．．．第二視角
P1 ~P4 ．．．定位點
P1 ' ~P4 ' ．．．定位點影像
P1 " ~P4 " ．．．定位點影像
n．．．組合視角之中央法線
n1 ．．．第一影像感測器之中央法線
n2 ．．．第二影像感測器之中央法線
θ1 ,-Φ．．．組合視角之中央法線與n1 間之橫向角度差
θ2 ,Φ．．．組合視角之中央法線與n2 間之橫向角度差
θ．．．定位點空間座標Z軸與影像座標z軸間之縱向角度差
31~32．．．步驟
310~313．．．步驟
3211~3215．．．步驟
3221~3226．．．步驟
T3 ,T4 ．．．光源
I3 ．．．第三影像
I4 ．．．第四影像
CI．．．組合影像
H1 ,H2 ．．．轉換矩陣
第1a圖：本發明實施例之廣角感測器陣列模組之示意圖。
第1b圖：本發明實施例之廣角感測器陣列模組之另一示意圖。
第2圖：本發明實施例之廣角感測器陣列模組之運作方法之流程圖。
第3圖：本發明實施例之廣角感測器陣列模組之校正模式之流程圖。
第4a圖：本發明實施例之廣角感測器陣列模組之校正模式之操作示意圖。
第4b圖：第4a圖之廣角感測器陣列模組之校正模式之操作示意圖之上視圖。
第5a圖：顯示以定位點之參考空間座標軸為基準之定位點影像之示意圖。
第5b圖：顯示以第一影像感測器之第一影像座標軸為基準所擷取之定位點影像之示意圖。
第5c圖：顯示以第二影像感測器之第二影像座標軸為基準所擷取之定位點影像之示意圖。
第5d圖：顯示不同座標軸間定位點影像之座標轉換之示意圖。
第6a圖：本發明實施例之廣角感測器陣列模組之校正模式之另一操作示意圖，其中係使用6個定位點進行校正。
第6b圖：顯示第6a圖中不同座標軸間定位點影像之座標轉換之示意圖。
第7a圖：本發明實施例之廣角感測器陣列模組之校正模式之另一操作示意圖，其中係使用8個定位點進行校正。
第7b圖：顯示第7a圖中不同座標軸間定位點影像之座標轉換之示意圖。
第8a圖：本發明實施例之廣角感測器陣列模組之校正模式之另一操作示意圖。
第8b圖：第8a圖之廣角感測器陣列模組之校正模式之操作示意圖之上視圖。
第9a圖：顯示第8a圖中以定位點之參考空間座標軸為基準之定位點影像之示意圖。
第9b圖：顯示第8a圖中以第一影像感測器之第一影像座標軸為基準所擷取之定位點影像之示意圖。
第9c圖：顯示第8a圖中以第二影像感測器之第二影像座標軸為基準所擷取之定位點影像之示意圖。
第10a圖：本發明實施例之廣角感測器陣列模組之操作模式之流程圖。
第10b圖：本發明實施例之廣角感測器陣列模組之操作模式之另一流程圖。
第11a圖：本發明實施例之廣角感測器陣列模組之操作模式之應用示意圖。
第11b圖：顯示第11a圖之廣角感測器陣列模組之第一影像感測器所擷取之影像。
第11c圖：顯示第11a圖之廣角感測器陣列模組之第二影像感測器所擷取之影像。
第11d圖：顯示第11a圖之廣角感測器陣列模組所擷取之一組合影像。
1' ．．．廣角感測器陣列模組
2．．．影像處理單元
21．．．處理器
22．．．儲存單元
23．．．傳輸介面
S1 ．．．第一影像感測器
S2 ．．．第二影像感測器
VA1 ．．．第一視角
VA2 ．．．第二視角
VA' ．．．組合視角
n．．．組合視角之中央法線
n1 ．．．第一影像感測器之中央法線
n2 ．．．第二影像感測器之中央法線
θ1 ．．．組合視角之中央法線與n1 間之角度差
θ2 ．．．組合視角之中央法線與n2 間之角度差

Claims (6)

  1. 一種廣角感測器陣列模組之影像校正方法，該廣角感測器陣列模組包含一第一影像感測器及一第二影像感測器，該影像校正方法包含下列步驟：提供至少三個校正點，其中該等校正點形成一參考空間座標軸且該等校正點具有一參考空間座標；以該第一影像感測器擷取包含前述校正點中至少三個校正點以形成一第一影像，其中該第一影像形成一第一影像座標軸且該第一影像中之校正點具有一第一影像座標；根據該參考空間座標及該第一影像座標求得一第一轉換矩陣；以該第二影像感測器擷取包含前述校正點中至少三個校正點以形成一第二影像，其中該第二影像形成一第二影像座標軸且該第二影像中之校正點具有一第二影像座標；根據該參考空間座標及該第二影像座標求得一第二轉換矩陣；以及利用該第一轉換矩陣及/或該第二轉換矩陣將該第一影像及/或該第二影像轉換至一虛擬平面。
  2. 依申請專利範圍第1項之影像校正方法，其中參考空間座標軸、該第一影像座標軸及該第二影像座標軸為一三維直角座標系統。
  3. 依申請專利範圍第1項之影像校正方法，其中該虛擬平面係基於該參考空間座標軸、該第一影像座標軸及該第二影像座標軸其中之一。
  4. 依申請專利範圍第3項之影像校正方法，其中當虛擬平面基於該參考空間座標軸時，利用該第一轉換矩陣將該第一影像轉換至該虛擬平面及利用該第二轉換矩陣將該第二影像轉換至該虛擬平面。
  5. 依申請專利範圍第3項之影像校正方法，其中當虛擬平面基於該第一影像座標軸時，利用該第一及第二轉換矩陣將該第二影像轉換至該虛擬平面。
  6. 依申請專利範圍第3項之影像校正方法，其中當虛擬平面基於該第二影像座標軸時，利用該第一及第二轉換矩陣將該第一影像轉換至該虛擬平面。
TW098124548A 2008-07-23 2009-07-21 廣角感測器陣列模組及其影像校正方法、運作方法與應用 TWI393072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW098124548A TWI393072B (zh) 2008-07-23 2009-07-21 廣角感測器陣列模組及其影像校正方法、運作方法與應用

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW97127886 2008-07-23
TW098124548A TWI393072B (zh) 2008-07-23 2009-07-21 廣角感測器陣列模組及其影像校正方法、運作方法與應用

Publications (2)

Publication Number Publication Date
TW201005676A TW201005676A (en) 2010-02-01
TWI393072B true TWI393072B (zh) 2013-04-11

Family

ID=41568291

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098124548A TWI393072B (zh) 2008-07-23 2009-07-21 廣角感測器陣列模組及其影像校正方法、運作方法與應用

Country Status (3)

Country Link
US (2) US8384789B2 (zh)
JP (1) JP2010028820A (zh)
TW (1) TWI393072B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004095170A2 (en) * 2003-04-17 2004-11-04 New York University Manipulation of objects
WO2009039512A1 (en) * 2007-09-21 2009-03-26 The Trustees Of Columbia University In The City Of New York Systems and methods for panoramic imaging
EP2533679B1 (en) * 2010-02-12 2017-01-11 Koninklijke Philips N.V. Laser enhanced reconstruction of 3d surface
WO2011099389A1 (en) 2010-02-12 2011-08-18 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and driving method of the same
EP2567287B1 (en) 2010-05-03 2019-08-21 InVisage Technologies, Inc. Devices and methods for high-resolution image and video capture
TWI507925B (zh) * 2010-06-23 2015-11-11 Pixart Imaging Inc You can switch the range of interactive pointing devices and how to switch fetch ranges
US9661205B2 (en) 2011-02-28 2017-05-23 Custom Manufacturing & Engineering, Inc. Method and apparatus for imaging
JP5707185B2 (ja) * 2011-03-14 2015-04-22 株式会社トプコン マルチカメラのキャリブレーション用全周フィールド
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
TW201342137A (zh) * 2012-04-10 2013-10-16 Pixart Imaging Inc 光學操作系統
TWI513275B (zh) * 2012-07-17 2015-12-11 Univ Nat Chiao Tung 攝影裝置
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
EP2915325A4 (en) 2012-10-31 2016-06-01 Invisage Technologies Inc PICTURE AND VIDEO RECORDING WITH ADVANCED VIEW FIELD
US8902322B2 (en) * 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
JP6091923B2 (ja) * 2013-02-22 2017-03-08 株式会社日立製作所 マルチカメラ撮影装置およびマルチカメラ撮影方法
US9541494B2 (en) * 2013-12-18 2017-01-10 Tektronix, Inc. Apparatus and method to measure display quality
JP6225764B2 (ja) * 2014-03-12 2017-11-08 富士ゼロックス株式会社 画像の読取装置および画像形成装置
WO2017115271A1 (en) 2015-12-30 2017-07-06 Cimagine Media Ltd. Method of plane tracking
EP3943888A1 (en) 2016-08-04 2022-01-26 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
JP6878934B2 (ja) * 2017-02-10 2021-06-02 オムロン株式会社 情報処理装置、情報処理システム、ユーザインターフェイスの作成方法、およびユーザインターフェイスの作成プログラム
US9791536B1 (en) 2017-04-28 2017-10-17 QuSpin, Inc. Mutually calibrated magnetic imaging array
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
KR20200067020A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치
CN109712189B (zh) * 2019-03-26 2019-06-18 深兰人工智能芯片研究院（江苏）有限公司 一种传感器联合标定的方法和装置
TWI779842B (zh) * 2021-09-22 2022-10-01 宏碁股份有限公司 立體顯示裝置及其顯示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US20040061787A1 (en) * 2002-09-30 2004-04-01 Zicheng Liu Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
TW200413818A (en) * 2003-01-21 2004-08-01 Hewlett Packard Development Co Correction of a projected image based on a reflected image
US20060125921A1 (en) * 1999-08-09 2006-06-15 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346742B2 (ja) 1999-08-17 2009-10-21 キヤノン株式会社 画像合成方法、画像合成装置及び記憶媒体
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
US20050025313A1 (en) * 2003-06-19 2005-02-03 Wachtel Robert A. Digital imaging system for creating a wide-angle image from multiple narrow angle images
JP4297111B2 (ja) 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
TWI306572B (en) * 2006-02-15 2009-02-21 Pixart Imaging Inc Light pointing device and light tracking receiver having function selection key and system using the same
TWI303782B (en) * 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
JP2007295113A (ja) * 2006-04-21 2007-11-08 Matsushita Electric Ind Co Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125921A1 (en) * 1999-08-09 2006-06-15 Fuji Xerox Co., Ltd. Method and system for compensating for parallax in multiple camera systems
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US20040061787A1 (en) * 2002-09-30 2004-04-01 Zicheng Liu Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
TW200413818A (en) * 2003-01-21 2004-08-01 Hewlett Packard Development Co Correction of a projected image based on a reflected image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sundaram Ganapathy,"Decomposition of transformation matrices for robot vision", The Proceedings of 1984 IEEE International Conference on Robotics and Automation, 13-15 March, Year of 1984, pp.130-139 *

Also Published As

Publication number Publication date
US8384789B2 (en) 2013-02-26
TW201005676A (en) 2010-02-01
US20130147909A1 (en) 2013-06-13
US20100020201A1 (en) 2010-01-28
US8786719B2 (en) 2014-07-22
JP2010028820A (ja) 2010-02-04

Similar Documents

Publication Publication Date Title
TWI393072B (zh) 廣角感測器陣列模組及其影像校正方法、運作方法與應用
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
US8134608B2 (en) Imaging apparatus
JP6645151B2 (ja) 投影装置、投影方法及び投影用コンピュータプログラム
US8223214B2 (en) Camera system with masking processor
US9892488B1 (en) Multi-camera frame stitching
TW201535318A (zh) 圖像轉換和多視圖輸出系統及方法
TW201340035A (zh) 結合影像之方法
JP2011182176A (ja) 広視野角画像処理方法と広視野角画像撮影装置
JP2008205811A (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
TWI785162B (zh) 提供影像的方法及用於支持所述方法的電子裝置
JP4679293B2 (ja) 車載パノラマカメラシステム
CN110784693A (zh) 投影机校正方法与使用此方法的投影系统
JP2009267602A (ja) 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP2011087319A (ja) 車載パノラマカメラシステム
WO2018155198A1 (ja) 情報処理装置および方法
JP5882153B2 (ja) 三次元座標算出装置
JP6545033B2 (ja) 三次元温度分布表示装置
JP5992351B2 (ja) 放射線可視化装置および放射線可視化方法
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
WO2011158344A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
WO2022044806A1 (ja) 情報処理装置および方法
JP2005122233A (ja) 情報処理装置および方法並びに記憶媒体

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees