JP6728615B2 - 画像補正装置、画像補正方法およびプログラム - Google Patents

Description

本発明は、書類を撮影した画像を補正する技術に関する。

各種の情報が表記された書籍や印刷物等の書類を撮影した画像では、書類の表面の変形（典型的には湾曲）に起因して紙面の表記に歪みが発生し得る。特許文献１には、撮影範囲内の複数点で書籍の表面との距離を測距装置により測定し、書籍の表面の変形に起因した表記の歪みを測距結果に応じて補正する技術が開示されている。

特開２０１３−９３７０４号公報

しかし、特許文献１の技術では、書籍の表面との距離を複数点にて測定するための測距装置が必要であるから、装置構成が複雑化する（ひいては製造コストや装置規模が増大する）という問題がある。以上の事情を考慮して、本発明は、書類の表面の変形に起因した画像の歪みを簡便な構成および処理で補正することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る画像補正装置は、書類を撮影した撮影画像から、当該書類の表面の表記に対応する複数の線分を検出する線分検出部と、書類の表面形状を近似する形状近似線を複数の線分から特定する形状特定部と、形状特定部が特定した形状近似線を利用して撮影画像を補正する画像補正部とを具備する。以上の態様では、書類を撮影した撮影画像から検出された複数の線分の分布に応じた形状近似線が特定され、当該形状近似線を利用して撮影画像が補正される。したがって、書類との距離を複数点で測距する特許文献１の測距装置を必要とせずに、書類の表面の変形に起因した画像の歪みを簡便な構成および処理で補正することが可能である。

本発明の好適な態様において、形状特定部は、線分上の特定点を通過する直線が形状近似線に交差する交点と当該特定点との距離を複数の線分について加算した距離指標が最小化されるように形状近似線を特定する。以上の態様では、線分上の特定点を通過する直線が形状近似線に交差する交点と当該特定点との距離を複数の線分について加算した距離指標が最小化されるように形状近似線が特定される（すなわち複数の線分の分布が形状近似線に反映される）から、書類の表面形状を高精度に近似する適切な形状近似線を特定できるという利点がある。

本発明の好適な態様において、線分検出部は、相互に間隔をあけて並列された複数の譜表を含む楽譜を撮影した撮影画像から複数の線分を検出し、形状特定部は、相互に隣合う２段の譜表に対応する複数の線分から形状近似線を特定する。以上の態様では、相互に隣合う２段の譜表に対応する複数の線分から形状近似線が特定されるから、譜表の１段分のみから形状近似線を特定する構成と比較して、書類の表面形状を高精度に近似する適切な形状近似線を特定できるという利点がある。

本発明の好適な態様において、形状特定部は、複数の線分を複数のクラスタに分類する分類処理と、複数の線分の各々について、当該線分が属するクラスタを表象する楕円が当該楕円の短軸と交差する地点での接線と、当該線分との距離に応じた調整値を算定する演算処理と、特定点を通過する直線が形状近似線に交差する交点と当該特定点との距離と調整値とを複数の線分について加算した距離指標が最小化されるように形状近似線を特定する近似処理とを実行する。以上の態様では、各線分が分類されたクラスタの楕円の接線と当該線分との距離に応じて調整値が算定され、特定点を通過する直線が形状近似線に交差する交点と当該特定点との距離と調整値とを複数の線分について加算した距離指標が最小化されるように形状近似線が特定される。したがって、２段の譜表のうち一方側に複数の線分が偏在する場合でも、書類の表面形状を高精度に近似する形状近似線を特定することが可能である。

本発明の好適な態様において、形状特定部は、演算処理において、接線と線分との距離に所定の係数を乗算することで調整値を算定する。以上の態様では、クラスタを表象する楕円の接線と当該クラスタ内の線分との距離に所定の係数を乗算する簡便な演算で調整値を算定できるという利点がある。

本発明の第１実施形態に係る画像補正装置の構成図である。 撮影画像の説明図である。 線分検出処理のフローチャートである。 線分検出処理の説明図である。 線分検出処理の説明図である。 形状近似線を特定する処理の説明図である。 撮影画像を補正する処理の説明図である。 画像補正処理のフローチャートである。 複数の線分の偏在による問題の説明図である。 第２実施形態の形状特定部が形状近似線を特定する処理の説明図である。 第２実施形態における形状近似線を特定する処理のフローチャートである。 調整値の説明図である。 第３実施形態における画像補正処理のフローチャートである。 変形例における線分検出処理のフローチャートである。

＜第１実施形態＞
図１は、第１実施形態に係る画像補正装置１００の構成図である。図１に例示される通り、第１実施形態の画像補正装置１００は、撮影装置１２と制御装置１４と記憶装置１６と表示装置１８とを具備するコンピュータシステムで実現される。例えば携帯電話機またはスマートフォン等の可搬型の情報処理装置、あるいはパーソナルコンピュータ等の可搬型または据置型の情報処理装置が画像補正装置１００として利用され得る。また、静止画や動画像の撮影に専用される撮影機器（例えばデジタルカメラやデジタルカムコーダ等）で画像補正装置１００を実現することも可能である。

撮影装置１２は、書籍や印刷物等の書類の撮影により当該書類の画像（以下「撮影画像」という）ＧAを生成する画像入力装置であり、被写体からの入射光を電気信号に変換する撮像素子を含んで構成される。なお、第１実施形態では撮影装置１２が画像補正装置１００に搭載された構成を例示するが、画像補正装置１００とは別体の撮影装置１２を画像補正装置１００に有線または無線で接続することも可能である。また、撮影画像ＧAを表す画像データの形式は任意である。

第１実施形態の撮影装置１２は、任意の楽曲の楽譜が記譜された書籍や印刷物等の書類を撮影した撮影画像ＧAを生成する。図２は、撮影画像ＧAの模式図である。図２に例示される通り、撮影装置１２が撮影する楽譜は、縦方向に相互に間隔をあけて並列された複数の譜表５４（図２の例示では五線譜）を包含する。複数の譜表５４の各々は、相異なる音高を表象する横方向の複数の直線で構成される。複数の譜表５４の各々に対して所定の位置（例えば左端付近）にト音記号やヘ音記号等の楽譜記号（音部記号）５２が配置され、楽曲を表現する音符や休符や変化記号等の符号は各譜表５４の任意の位置に配置される。

図２に例示される通り、撮影装置１２が撮影した撮影画像ＧAの楽譜には、書類の表面の変形（例えば湾曲）に起因した歪みが発生し得る。図２では、撮影対象の書類のうち横方向の途中の部分が縦方向の全域にわたり手前側に凸となるように曲面状に湾曲した状態が例示されている。画像補正装置１００は、撮影装置１２が撮影した撮影画像ＧAの楽譜の歪みを補正した画像（以下「補正画像」という）ＧBを生成する画像処理装置である。すなわち、撮影画像ＧAと比較して楽譜の歪みが低減（理想的には解消）された補正画像ＧBが生成される。

図１の表示装置１８（例えば液晶表示パネル）は、制御装置１４が指示した画像を表示する。具体的には、楽譜の歪みが補正された補正画像ＧBが表示装置１８に表示される。記憶装置１６は、磁気記録媒体や半導体記録媒体等の公知の記録媒体または複数種の記録媒体の組合せで構成され、制御装置１４が実行するプログラムや制御装置１４が使用する各種のデータを記憶する。

制御装置１４は、例えばＣＰＵ（Central Processing Unit）等の演算処理装置で構成され、記憶装置１６に記憶されたプログラムを実行することで、図１に例示される通り、撮影画像ＧAに対する補正で補正画像ＧBを生成するための複数の機能（線分検出部２２，形状特定部２４，画像補正部２６，表示制御部２８）を実現する。なお、制御装置１４の一部の機能を画像処理の専用の電子回路で実現した構成や、制御装置１４の機能を複数の装置に分散した構成も採用され得る。

線分検出部２２は、撮影装置１２が書類を生成した撮影画像ＧAから、当該書類の表面の表記（すなわち楽譜）に対応する複数の線分Ｌを検出する。線分検出部２２による線分Ｌの検出には、例えば確率的ハフ変換等の公知の特徴抽出（直線検出）が任意に採用される。

図３は、線分検出部２２が撮影画像ＧAから複数の線分Ｌを検出する処理（以下「線分検出処理」という）のフローチャートであり、図４および図５は、線分検出処理の説明図である。例えば撮影装置１２による撮影画像ＧAの生成後に利用者からの指示を契機として図３の線分検出処理が開始される。

線分検出処理を開始すると、線分検出部２２は、撮影画像ＧAから複数の線分Ｌを検出する（ＳA11）。図４に例示される通り、撮影画像ＧAの楽譜内の各譜表５４を構成する多数の線分Ｌが検出される。実際には各音符の譜幹および譜尾や小節線等の直線部分も検出されるが、各譜表５４を構成する線分Ｌが多数である。線分検出部２２は、撮影画像ＧAから検出した複数の線分Ｌを譜表５４毎に分類する（ＳA12）。複数の線分Ｌを分類する方法は任意であるが、各譜表５４に対して所定の位置に配置された楽譜記号５２を利用して複数の線分Ｌを譜表５４毎に分類する方法が好適である。具体的には、線分検出部２２は、撮影画像ＧAに対する公知の画像認識で複数の楽譜記号５２（ト音記号およびヘ音記号）を認識し、撮影画像ＧAから検出した複数の線分Ｌを公知のクラスタリング技術（例えばk-means法）で楽譜記号５２と同数の集合（クラスタ）に分類する。楽譜記号５２は基本的に譜表５４毎に配置されるから、分類数を楽譜記号５２と同数に設定することで、撮影画像ＧAの複数の線分Ｌを譜表５４毎に高精度に分類することが可能である。

線分検出部２２は、撮影画像ＧAの楽譜内で縦方向に相互に隣合う２段の譜表５４の組に対応する複数の領域（以下「単位領域」という）Ｕを画定する（ＳA13）。第１実施形態の単位領域Ｕは、図４に例示される通り、ト音記号が配置された譜表５４Aとへ音記号が配置された譜表５４Bとの２段を相互に間隔をあけて縦方向に並列した大譜表に相当する領域である。以上の説明から理解される通り、第１実施形態の線分検出部２２は、撮影画像ＧA内の複数の単位領域Ｕの各々に包含される複数の線分Ｌを検出する。

線分検出部２２は、図５に例示される通り、相互に直交するｘ軸とｙ軸とを各単位領域Ｕ内に設定する（ＳA14）。ｙ軸は、撮影画像ＧAの縦方向に平行な軸線であり、ｘ軸は、撮影画像ＧAの横方向に平行な軸線である。図５に例示される通り、単位領域Ｕのうち左端に位置するｙ軸に平行な縁辺における中点が、ｘ軸とｙ軸との交差点（すなわち原点）に設定される。したがって、ト音記号が配置された譜表５４Aに対応する線分Ｌの多数はｘ軸からみてｙ軸の正側の領域に分布し、ヘ音記号が配置された譜表５４Bに対応する線分Ｌの多数はｘ軸からみてｙ軸の負側の領域に分布する。すなわち、ト音記号が配置された譜表５４Aの線分Ｌとへ音記号が配置された譜表５４Bの線分Ｌとはｘ軸を挟んで相互に反対側に位置する傾向がある。以上に例示した線分検出処理を線分検出部２２が実行することで、撮影画像ＧAの複数の単位領域Ｕの各々について（すなわち大譜表毎に）、ｘ-ｙ平面に分布する複数の線分Ｌが特定される。なお、以下の説明では、任意の１個の単位領域ＵにＮ本の線分Ｌが包含される場合を想定する。線分Ｌの総数Ｎは単位領域Ｕ毎に相違し得る。

図１の形状特定部２４は、撮影装置１２が撮影した書類の表面形状を近似する形状近似線Ｑを、線分検出部２２が検出した複数の線分Ｌから特定する。形状近似線Ｑは、楽譜内で横方向に延在する１本の直線が湾曲した状態を表象する曲線である。第１実施形態の形状特定部２４は、撮影画像ＧAの複数の単位領域Ｕの各々について当該単位領域Ｕ内の複数の線分Ｌから形状近似線Ｑを特定する。任意の１個の単位領域Ｕの形状近似線Ｑは、当該単位領域Ｕ内の楽譜の表面形状を近似する。

形状近似線Ｑは、ｘ-ｙ平面内の関数ｆ(x)で表現される。関数ｆ(x)の具体的な形式は任意であるが、例えば三角関数を含む以下の数式(1)の関数ｆ(x)で形状近似線Ｑが表現され得る。なお、数式(1)の変数θk（ｋ＝０,１,２,……）は、所定の範囲内の数値（例えば−１＜θk＜１）に制限される。

図６は、形状特定部２４が形状近似線Ｑ（関数ｆ(x)）を特定する処理の説明図である。図６は、関数ｆ(x)で表現される形状近似線Ｑと単位領域Ｕ内の任意の１個の線分Ｌとが図示されている。線分Ｌの一方の端点Ｅ1は座標(ｘE1,ｙE1)に位置し、他方の端点Ｅ2は座標(ｘE2,ｙE2)に位置する。

図６に例示される通り、任意の１個の線分Ｌ上の特定の地点（以下「特定点」という）Ｍを通過する直線Ｖが、形状近似線Ｑに交点Ｐで交差する場合を想定する。直線Ｖは、具体的には線分Ｌの垂線である。また、第１実施形態の特定点Ｍは、線分Ｌの中点であり、座標(ｘM,ｙM)に位置する（ｘM＝(ｘE1＋ｘE2)/２，ｙM＝(ｙE1＋ｙE2)/２）。直線Ｖと形状近似線Ｑとの交点Ｐは、座標(ｘP,ｆ(xP))に位置する。

第１実施形態の形状特定部２４は、線分Ｌ上の特定点Ｍと形状近似線Ｑ上の交点Ｐとの間の距離Ｄを単位領域Ｕ内のＮ個の線分Ｌについて加算した指標（以下「距離指標」という）Ｚ(x)が最小化されるように形状近似線Ｑ（関数ｆ(x)）を特定する。すなわち、形状特定部２４は、形状近似線Ｑに対する各線分Ｌの隔たり（距離Ｄ）が複数の線分Ｌについて全体的に低減されるように形状近似線Ｑを特定する。具体的には、第１実施形態の形状特定部２４が形状近似線Ｑを特定する処理は、以下の数式(2)および数式(3)で表現される。

以上の説明から理解される通り、第１実施形態の形状特定部２４は、数式(3)の条件のもとで距離指標Ｚ(x)が最小化されるように交点Ｐの座標（ｘP,ｆ(ｘP)）と関数ｆ(x)の変数θkとを選定することで、形状近似線Ｑを表現する関数ｆ(x)を特定する。数式(2)の右辺の第１項は、Ｎ個の線分Ｌにわたる距離Ｄ（Ｄ＝(ｘP−ｘM)²＋(ｆ(xP)−ｙM)²）の総和であり、第２項は、距離指標Ｚ(x)の最適解の発散を抑制するための正規化項である。また、数式(3)は、図６の線分Ｌと直線Ｖとが直交するという条件を意味する。形状近似線Ｑの特定（数式(2)および数式(3)の演算）には公知の最適化方法が任意に採用され得るが、ラグランジュ（Lagrange）の未定乗数法等の解析的な最適化方法が好適である。

図１の画像補正部２６は、形状特定部２４が特定した形状近似線Ｑ（関数ｆ(x)）を利用して撮影画像ＧAを補正する。例えば、画像補正部２６は、各単位領域Ｕの形状近似線ＱがＸ軸に平行な直線に変換される（すなわち、各譜表５４の湾曲が解消される）ように撮影画像ＧAのうち当該単位領域Ｕ内の各画素をｘ-ｙ平面内で移動することで、補正画像ＧBを生成する。具体的には、例えば図７に例示される通り、関数ｆ(x)の関数値（関数ｆ(x)と直線ｙ＝０との差分）に相当する距離だけ撮影画像ＧAの単位領域Ｕ内の各画素をｙ軸の方向に移動することで補正画像ＧBが生成される。ただし、形状近似線Ｑを利用した撮影画像ＧAの補正方法は以上の例示に限定されない。図１の表示制御部２８は、画像補正部２６が生成した補正画像ＧBを表示装置１８に表示させる。

図８は、画像補正装置１００が撮影画像ＧAを補正する処理（以下「画像補正処理」という）のフローチャートである。撮影装置１２による撮影画像ＧAの生成後に利用者からの指示を契機として図８の画像補正処理が開始される。

画像補正処理を開始すると、制御装置１４（線分検出部２２）は、図３に例示した線分検出処理により、撮影装置１２が撮影した書類の表面に表記された楽譜に対応する複数の線分Ｌを撮影画像ＧAから検出する（ＳA1）。具体的には、楽譜内の大譜表に対応する複数の単位領域Ｕの各々に包含される複数の線分Ｌが検出される。

制御装置１４は、撮影画像ＧA内の複数の単位領域Ｕから１個の単位領域（以下「選択単位領域」という）Ｕを選択する（ＳA2）。そして、制御装置１４（形状特定部２４）は、選択単位領域Ｕ内の複数の線分Ｌを利用して、選択単位領域Ｕ内の書類の表面形状を近似する形状近似線Ｑ（関数ｆ(x)）を特定する（ＳA3）。また、制御装置１４（画像補正部２６）は、形状特定部２４が選択単位領域Ｕについて特定した形状近似線Ｑを利用して撮影画像ＧAのうち当該選択単位領域Ｕを補正する（ＳA4）。

制御装置１４は、撮影画像ＧAの全部の単位領域Ｕについて以上の処理が完了したか否かを判定する（ＳA5）。判定結果が否定である場合（ＳA5：NO）、制御装置１４は、未処理の単位領域Ｕを新たな選択単位領域Ｕとして選択したうえで（ＳA2）、当該選択単位領域Ｕ内の複数の線分Ｌを利用した形状近似線Ｑの特定（ＳA3）と当該形状近似線Ｑを利用した撮影画像ＧAの補正（ＳA4）とを実行する。すなわち、撮影画像ＧAの単位領域Ｕ毎（楽譜の大譜表毎）に形状近似線Ｑの特定と撮影画像ＧAの補正とが順次に実行される。他方、形状近似線Ｑの特定（ＳA3）と撮影画像ＧAの補正（ＳA4）とを全部の単位領域Ｕについて実行すると（ＳA5：YES）、制御装置１４（表示制御部２８）は、撮影画像ＧAの各単位領域Ｕを当該単位領域の形状近似線Ｑで補正した補正画像ＧBを表示装置１８に表示させる（ＳA6）。

以上に説明した通り、第１実施形態では、楽譜が表記された書類を撮影した撮影画像ＧAから複数の線分Ｌが検出され、複数の線分Ｌの分布に応じた形状近似線Ｑが特定されて、当該形状近似線Ｑを利用して撮影画像ＧAが補正される。したがって、書類との距離を複数点で測距する特許文献１の測距装置を必要とせずに、書類の表面の変形に起因した楽譜の歪みを簡便な構成および処理で補正することが可能である。

また、第１実施形態では、線分Ｌと形状近似線Ｑとの距離ＤをＮ個の線分Ｌについて加算した距離指標Ｚ(x)が最小化されるように形状近似線Ｑが特定される（すなわち複数の線分Ｌの分布が形状近似線Ｑに反映される）から、書類の表面形状を高精度に近似する適切な形状近似線Ｑを特定できるという利点がある。第１実施形態では、相互に隣合う２段の譜表５４（すなわち大譜表）に対応する複数の線分Ｌから形状近似線Ｑが特定されるから、譜表５４の１段分のみから形状近似線Ｑを特定する構成と比較して、書類の表面形状を高精度に近似する適切な形状近似線Ｑを特定することが可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、縦方向に相互に隣合う２段の譜表５４に対応する複数の線分Ｌの分布に応じた形状近似線Ｑを特定した。前掲の図５の例示の通り、大譜表のうちト音記号に対応する譜表５４Aとへ音記号に対応する譜表５４Bとについて線分Ｌが均等に検出される場合には、書類の表面形状を適切に近似する形状近似線Ｑが譜表５４Aと譜表５４Bとの間に特定される。しかし、線分検出処理による線分Ｌの高精度な検出は実際には困難である。例えば、図９に例示される通り、単位領域Ｕのうちｘ軸方向の特定の区間ｕ1では、譜表５４Aの線分Ｌは検出されるが譜表５４Bの線分Ｌは適切に検出されず、ｘ軸方向の他の区間ｕ2では、譜表５４Bの線分Ｌは検出されるが譜表５４Aの線分Ｌは適切に検出されないという具合に、線分Ｌの偏在が発生し得る。以上に例示した線分Ｌの偏在が第１実施形態のもとで発生すると、図９に例示される通り、線分Ｌの局所的な分布が反映されるように形状近似線Ｑが特定され、書類の表面形状を適切に近似する形状近似線Ｑ（図９の鎖線）を特定できない可能性がある。以上の事情を考慮して、第２実施形態では、線分Ｌが譜表５４A側および譜表５４B側の一方に偏在する場合でも、書類の表面形状を適切に近似する形状近似線Ｑが特定されるように、距離指標Ｚ(x)を調整する。

図１０は、第２実施形態の形状特定部２４が選択単位領域Ｕの形状近似線Ｑを特定する処理の説明図であり、図１１は、第２実施形態の形状特定部２４の動作のフローチャートである。図８のステップＳA3にて図１１の処理が実行される。

図１１の処理を開始すると、第２実施形態の形状特定部２４は、選択単位領域Ｕ内で線分検出部２２が検出した複数の線分Ｌを複数のクラスタに分類する分類処理を実行する（ＳA31）。具体的には、形状特定部２４は、図１０に例示される通り、各線分Ｌ上の特定の地点（以下「解析点」という）Ａを、ｘ-ｙ平面内で相互に近接するもの同士で複数のクラスタに分類するとともに、各クラスタを表象する楕円Ｃを画定する。解析点Ａは、例えば特定点Ｍと同様に線分Ｌの中点である。また、任意の１個のクラスタを表象する楕円Ｃは、当該クラスタに分類された複数の線分Ｌの解析点Ａを最小面積で内包するように画定される。図１０から理解される通り、譜表５４A側（ｙ軸の正側）および譜表５４B側（ｙ軸の負側）の一方に偏在する複数の線分Ｌの集合が１個のクラスタに分類される。複数の線分Ｌの分類には、k-means法等の公知のクラスタリング技術が任意に採用され得る。

形状特定部２４は、選択単位領域Ｕ内の複数の線分Ｌの各々について調整値δを算定する演算処理を実行する（ＳA32）。任意の１個の線分Ｌの調整値δは、図１０に例示される通り、当該線分Ｌが属するクラスタの楕円Ｃの接線Ｔと当該線分Ｌとの距離Ｒに応じた数値に設定される。楕円Ｃの接線Ｔは、当該楕円Ｃが自身の短軸と交差する地点における接線（すなわち楕円Ｃの長軸に平行な接線）であり、楕円Ｃの中心からみてｘ軸側に位置する。楕円Ｃの接線Ｔと線分Ｌとの距離Ｒは、当該線分Ｌ上の解析点Ａから接線Ｔまでの距離である。具体的には、形状特定部２４は、所定の係数αを距離Ｒに乗算した数値を調整値δとして算定する（δ＝αＲ）。係数αは、１を上回る所定の正数である。

選択単位領域Ｕ内の各線分Ｌについて調整値δを算定すると、形状特定部２４は、距離指標Ｚ(x)が最小化されるように形状近似線Ｑを特定する近似処理を実行する（ＳA33）。第２実施形態の距離指標Ｚ(x)は、以下の数式(4)で表現される。

数式(4)から理解される通り、第２実施形態の距離指標Ｚ(x)は、線分Ｌの特定点Ｍと形状近似線Ｑ上の交点Ｐとの距離Ｄ（Ｄ＝(ｘP−ｘM)²＋(ｆ(xP)−ｙM)²）と、演算処理（ＳA32）で算定した当該線分Ｌの調整値δとを、Ｎ個の線分Ｌについて加算した数値を包含する。形状特定部２４は、前掲の数式(3)の条件のもとで数式(4)の距離指標Ｚ(x)が最小化されるように交点Ｐの座標（ｘP,ｆ(ｘP)）と数式(1)の関数ｆ(x)の変数θkとを選定することで、形状近似線Ｑ（関数ｆ(x)）を特定する。

図１２に例示される通り、任意の１個の譜表５４Aにおけるｙ軸の方向の中点ＰC1から譜表５４Aと譜表５４Bとの間の中点ＰC2までの距離ＹAは、中点ＰC1から譜表５４Aのｙ軸の負側の外縁までの距離（すなわち譜表５４Aの幅の半分）ＹBの２倍程度である（ＹA＝２ＹB）。以上の仮定のもとでは、調整値δ（δ＝αＲ）の算定時に距離Ｒに乗算される係数αを例えば２に設定することで、譜表５４Aと譜表５４Bとの間に位置する適切な形状近似線Ｑを特定することが可能である。線分検出部２２による線分検出処理（ＳA1）や画像補正部２６が形状近似線Ｑを利用して撮影画像ＧAを補正する処理（ＳA4）は第１実施形態と同様である。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、距離Ｄと調整値δとをＮ個の線分Ｌについて加算した距離指標Ｚ(x)が最小化されるように形状近似線Ｑが特定されるから、譜表５４A側および譜表５４B側の一方に複数の線分Ｌが偏在する場合（例えば線分検出処理の精度が低い場合）でも、書類の表面形状を高精度に近似する形状近似線Ｑを特定できるという利点がある。また、第２実施形態では、クラスタを表象する楕円Ｃの接線Ｔと当該クラスタ内の線分Ｌとの距離Ｒに所定の係数αを乗算する簡便な演算で調整値δを算定できるという利点もある。

＜第３実施形態＞
第１実施形態では、撮影装置１２が生成した１個の撮影画像ＧAについて図８の画像補正処理を実行した。第３実施形態では、撮影装置１２が撮影する動画像を構成する複数の撮影画像ＧAの各々について、撮影装置１２による撮影に並行して画像補正処理が実行される。

図１３は、第３実施形態における画像補正処理のフローチャートである。利用者からの指示を契機として、撮影装置１２による動画像の撮影が開始されるとともに図１３の画像補正処理が開始される。第３実施形態の撮影装置１２は、動画像を構成する複数の撮影画像ＧAを順次に生成および出力する。撮影装置１２から１個の撮影画像ＧAが供給されると、第１実施形態と同様に、当該撮影画像ＧAを対象として線分検出処理が実行され（ＳA1）、複数の単位領域Ｕの各々について形状近似線Ｑの特定（ＳA3）と撮影画像ＧAの補正（ＳA4）とが順次に実行されたうえで補正画像ＧBが表示装置１８に表示される（ＳA6）。

利用者は、任意の時点で撮影の終了を指示することが可能である。利用者が撮影の終了を指示しない場合（ＳA7：NO）、撮影装置１２から直後に供給される撮影画像ＧAについて、同様にステップＳA1からステップＳA6までの処理が実行される。すなわち、撮影装置１２による動画像の撮影に並行して、各撮影画像ＧAから補正画像ＧBが順次に生成され、表示装置１８に表示される補正画像ＧBは順次に更新される。利用者から撮影の終了が指示された場合（ＳA7：YES）、撮影装置１２による撮影と画像補正処理とは終了する。

第３実施形態においても第１実施形態と同様の効果が実現される。なお、第２実施形態の構成を第３実施形態に適用することも可能である。

＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

（１）前述の各形態では、撮影画像ＧAの全域を対象として複数の線分Ｌを検出したが、撮影画像ＧAの単位領域Ｕ毎に線分検出部２２が線分Ｌを検出することも可能である。例えば、図１４に例示される通り、撮影画像ＧAの全域を対象として検出した複数の線分Ｌを分類する（ＳA11，ＳA12）ことで譜表５４毎の単位領域Ｕを画定すると（ＳA13，ＳA14）、線分検出部２２は、複数の単位領域Ｕの各々について、撮影画像ＧAのうち当該単位領域Ｕを探索対象として複数の線分Ｌを順次に検出する（ＳA15）。すなわち、撮影画像ＧAの全域を対象とした線分Ｌの検出（ＳA11）と各単位領域Ｕを対象とした線分Ｌの検出（ＳA15）との２段階で複数の線分Ｌが検出される。単位領域Ｕを探索対象とした線分Ｌの検出によれば、撮影画像ＧAの全域を対象とした検出と比較して高精度に線分Ｌを検出することが可能である。もっとも、単位領域Ｕの画定（ＳA13）に線分Ｌの検出は必須ではない。例えば、利用者からの指示に応じて単位領域Ｕを画定する等の任意の方法（線分Ｌを利用しない方法）で複数の単位領域Ｕを画定し、線分検出部２２が単位領域Ｕ毎に複数の線分Ｌを検出することも可能である。

（２）形状近似線Ｑを表現する関数ｆ(x)の形式は前述の数式(1)に限定されない。例えば、一次関数や二次関数等の任意の形式の関数ｆ(x)を形状近似線Ｑの記述に採用することが可能である。また、複数種の関数のうち利用者が選択した関数ｆ(x)を形状近似線Ｑに利用することも可能である。

（３）前述の各形態では、譜表５４の２段分（すなわち大譜表）に相当する単位領域Ｕを例示したが、例えば譜表５４の１段分に相当する単位領域Ｕ毎に形状近似線Ｑの特定（ＳA3）と撮影画像ＧAの補正（ＳA4）とを実行することも可能である。

（４）前述の各形態では、楽譜が表記された書類を撮影する場合を例示したが、画像補正装置１００による処理対象となる画像は楽譜に限定されない。例えば、各種の文章が記載された書類を撮影した撮影画像ＧAを撮影装置１２が生成することも可能である。線分検出部２２は、例えば文字列や罫線に相当する複数の線分Ｌを撮影画像ＧAから検出し、複数の線分Ｌを利用した形状近似線Ｑの特定（ＳA3）と形状近似線Ｑを利用した撮影画像ＧAの補正（ＳA4）とが順次に実行される。以上の説明から理解される通り、線分検出部２２は、各種の書類の表面の表記（例えば楽譜や文章）に対応する複数の線分Ｌを検出する要素として包括的に表現され、撮影装置１２による撮影対象となる書類の種類は任意である。

（５）移動体通信網やインターネット等の通信網を介して端末装置（例えば携帯電話機やスマートフォン）と通信するサーバ装置で画像補正装置１００を実現することも可能である。具体的には、画像補正装置１００は、端末装置に搭載された撮影装置１２が生成した撮影画像ＧAを端末装置から受信し、当該撮影画像ＧAに対する画像補正処理（ＳA1〜ＳA5）で生成された補正画像ＧBを端末装置に送信する。以上の説明から理解される通り、撮影装置１２は画像補正装置１００に必須の要素ではない。また、相互に別体で構成された複数の装置の集合（例えば端末装置とサーバ装置とを含むシステム）で画像補正装置１００を実現することも可能であり、画像補正装置１００を構成する複数の装置にわたる機能の分担は任意である。

（６）前述の各形態で例示した画像補正装置１００は、前掲の例示の通り、制御装置１４とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、書類を撮影した撮影画像ＧAから、当該書類の表面の表記に対応する複数の線分Ｌを検出する線分検出部２２、書類の表面形状を近似する形状近似線Ｑを複数の線分Ｌから特定する形状特定部２４、および、形状特定部２４が特定した形状近似線Ｑを利用して撮影画像ＧAを補正する画像補正部２６としてコンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。

（７）本発明の好適な態様は、前述の各形態に係る画像補正装置１００の動作方法（画像補正方法）としても特定される。例えば、本発明の好適な態様に係る画像補正方法は、書類を撮影した撮影画像ＧAから、当該書類の表面の表記に対応する複数の線分Ｌを検出し（ＳA1）、書類の表面形状を近似する形状近似線Ｑを複数の線分Ｌから特定し（ＳA3）、形状近似線Ｑを利用して撮影画像ＧAを補正する（ＳA4）。

１００……画像補正装置、１２……撮影装置、１４……制御装置、１６……記憶装置、１８……表示装置、２２……線分検出部、２４……形状特定部、２６……画像補正部、２８……表示制御部。

Claims (6)

1. 書類を撮影した撮影画像から、当該書類の表面の表記に対応する複数の線分を検出する線分検出部と、
   前記線分上の特定点を通過する直線が、前記書類の表面形状を近似する形状近似線に交差する交点と、当該特定点との距離を前記複数の線分について加算した距離指標が最小化されるように前記形状近似線を特定する形状特定部と、
   前記形状特定部が特定した形状近似線を利用して前記撮影画像を補正する画像補正部と
   を具備する画像補正装置。
2. 前記線分検出部は、相互に間隔をあけて並列された複数の譜表を含む楽譜を撮影した前記撮影画像から前記複数の線分を検出し、
   前記形状特定部は、相互に隣合う２段の譜表に対応する複数の線分から前記形状近似線を特定する
   請求項１の画像補正装置。
3. 前記形状特定部は、
   前記複数の線分を複数のクラスタに分類する分類処理と、
   前記複数の線分の各々について、当該線分が属するクラスタを表象する楕円が当該楕円の短軸と交差する地点での接線と、当該線分との距離に応じた調整値を算定する演算処理と、
   前記特定点を通過する直線が前記形状近似線に交差する交点と当該特定点との距離と前記調整値とを前記複数の線分について加算した距離指標が最小化されるように前記形状近似線を特定する近似処理とを実行する
   請求項２の画像補正装置。
4. 前記形状特定部は、前記演算処理において、前記接線と前記線分との距離に所定の係数を乗算することで前記調整値を算定する
   請求項３の画像補正装置。
5. 書類を撮影した撮影画像から、当該書類の表面の表記に対応する複数の線分を検出し、
   前記線分上の特定点を通過する直線が、前記書類の表面形状を近似する形状近似線に交差する交点と、当該特定点との距離を前記複数の線分について加算した距離指標が最小化されるように前記形状近似線を特定し、
   前記特定された形状近似線を利用して前記撮影画像を補正する
   コンピュータにより実現される画像補正方法。
6. 書類を撮影した撮影画像から、当該書類の表面の表記に対応する複数の線分を検出する線分検出部、
   前記線分上の特定点を通過する直線が、前記書類の表面形状を近似する形状近似線に交差する交点と、当該特定点との距離を前記複数の線分について加算した距離指標が最小化されるように前記形状近似線を特定する形状特定部、および、
   前記形状特定部が特定した形状近似線を利用して前記撮影画像を補正する画像補正部
   としてコンピュータを機能させるプログラム。

Images