JP7370574B2 - コマ抽出方法及びプログラム - Google Patents

Description

本発明は、コマ抽出方法及びプログラムに関する。

近年、スマートフォンなどの携帯端末で漫画を読む機会が非常に多くなってきている。しかし、スマートフォンなどの携帯端末で漫画を読む場合、紙に印刷された漫画を読む場合に比べて読みにくい場合が多い。例えば、漫画の１ページには複数のコマが描かれており、１ページを１つの画像として表示して読む場合、１つのコマが小さくなってしまい読みにくい。また、ページ中の対象のコマを拡大して読み進める場合、操作が煩雑になり読みにくい。

これに対して、漫画画像からコマを抽出して各コマをバラバラに表示することで、携帯端末でも読みやすくすることが考えられる。従来より、コマを抽出する技術が提案されているが、コマ抽出の精度を向上させることが求められている。例えば、特許文献１では、コマの枠線が途切れている場合でもコマ抽出を行えることが開示されている。また、特許文献２では、漫画画像の全体から境界線で区画されているコマが検出された後、コマの検出領域を狭くして、境界線で区画されているコマ、又はコマに内包されたコマを検出することが開示されている。

しかし、特許文献１、２では、特定のコマを有する漫画画像に対しては、コマ抽出の精度は向上すると考えられるが、その他のコマを有する漫画画像に対しては、精度良くコマ抽出を行えない。これに対して、特許文献３では、機械学習の技術を用いてコマ等を認識する技術が提案されている。特許文献３では、漫画のコマ部分等を検出するよう機械学習された状態にある検出手段を用いることにより、認識精度を向上させている。

特開２０１７－４５２１９号公報 特開２０１４－２１２４７６号公報 特開２０１９－４６２５３号公報

しかしながら、特許文献３で提案されている漫画のコマ部分を検出するための機械学習の技術では、大量の教師データが必要となり、非常に手間がかかるという問題がある。

そこで、本発明は、漫画画像から簡易に精度良くコマ抽出を行うことができるコマ抽出方法を提供することを目的とする。

上記課題を解決するために、本発明のコマ抽出方法は、漫画画像を黒色と白色に二値化する二値化工程と、前記漫画画像に対して輪郭抽出を行い、前記漫画画像における枠線で囲まれた領域をコマとして抽出する第１の抽出工程と、前記漫画画像における、前記第１の抽出工程によって前記コマとして抽出されなかった残りの領域に対して黒色の領域をクラスタリングするクラスタリング工程と、前記クラスタリングされた各領域を矩形領域とし、該矩形領域をコマとして抽出する第２の抽出工程と、を有することを特徴とする。

本発明によれば、漫画画像から簡易に精度良くコマ抽出を行うことができる。

本発明に係るコマ抽出方法の一例におけるフローチャートである。 本発明に係るコマ抽出方法の一例における漫画画像を説明するための図である。 クラスタリング工程を説明するための図である。 本発明に係るコマ抽出方法の一例における他の漫画画像を説明するための図である。 本発明に係るコマ抽出方法の他の例におけるフローチャートである。 並べ替え工程を説明するための図である。 並べ替え工程を説明するための他の図である。 並べ替え工程を説明するための他の図である。

以下、本発明に係るコマ抽出方法及びプログラムについて図面を参照しながら説明する。なお、本発明は以下に示す実施形態に限定されるものではなく、他の実施形態、追加、修正、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

（第１の実施形態）
本発明に係るコマ抽出方法の一実施形態について説明する。
本実施形態のコマ抽出方法は、漫画画像を黒色と白色に二値化する二値化工程と、前記漫画画像に対して輪郭抽出を行い、前記漫画画像における枠線で囲まれた領域をコマとして抽出する第１の抽出工程と、前記漫画画像における、前記第１の抽出工程によって前記コマとして抽出されなかった残りの領域に対して黒色の領域をクラスタリングするクラスタリング工程と、前記クラスタリングされた各領域を矩形領域とし、該矩形領域をコマとして抽出する第２の抽出工程と、を有することを特徴とする。

本実施形態によれば、漫画画像から簡易に精度良くコマ抽出を行うことができる。本実施形態によれば、枠線がないコマの他、手描きなどの直線ではなく波打っている線に囲まれたコマ等の抽出を行うことができる。ここでいう「精度良くコマ抽出を行う」とは、人間がコマであると認識するものを抽出することをいい、従来の技術に比べて人間の認識に近いことをいう。人間の認識とできるだけ一致することが好ましいが、完全一致することを要するものではない。

また、本実施形態では、教師なし学習による機械学習の技術を利用してコマ抽出を行うことができ、従来の技術に比べて簡易にコマ抽出を行うことができる。従来の技術では、教師データを用意することが必要であり、正解付きの教師あり学習による機械学習を行う場合、手間とコストが必要であった。これに対して、本実施形態によれば、教師データを用意することなく機械学習の技術を利用してコマ抽出を行うことができるため、簡易に精度良くコマ抽出を行うことができる。また、教師データなし機械学習と領域抽出を組み合わせることにより、コマ枠がないコマなども精度良くコマ抽出を行うことができる。

本実施形態のコマ抽出方法のフローチャートを図１に示す。
本実施形態では、二値化工程（Ｓ１０１）、第１の抽出工程（Ｓ１０２）、クラスタリング工程（Ｓ１０３）、第２の抽出工程（Ｓ１０４）を行い、必要に応じてその他の工程を行う。

＜二値化工程＞
二値化工程では、漫画画像を黒色と白色に二値化する（Ｓ１０１）。
二値化は、特に制限されるものではないが、例えば漫画画像をＨＳＶ色空間に変換して二値化する。ＨＳＶ色空間に変換して二値化する場合、例えば、明度８０％以下及び色相７０％以下の領域を黒色とし、それ以外を白色とする。
なお、二値化工程では、ＨＳＶ色空間に限られるものではなく、その他の色空間を用いて二値化してもよい。

本実施形態においては、後述の第１の抽出工程におけるコマ抽出の精度を向上させるため、二値化の精度を上げることが好ましい。本実施形態において二値化の精度を上げるには、例えばエッジ検出を利用してグレースケールによる二値化の補完を行うことが挙げられる。

＜第１の抽出工程＞
第１の抽出工程では、漫画画像に対して輪郭抽出を行い、前記漫画画像における枠線で囲まれた領域をコマとして抽出する（Ｓ１０２）。

本実施形態の第１の抽出工程について、図２を用いて説明する。図２（Ａ）には漫画画像の一例が示されており、漫画画像１０にはコマＡ～Ｅが描かれている。漫画画像１０に対して輪郭抽出を行うと、図２（Ｂ）に示されるように、コマＡ～Ｃ、Ｅが抽出される。

輪郭抽出では、対象となる画像において、枠線で囲まれた領域を認識して枠線で囲まれた領域を切り出して出力する。そのため、漫画画像１０に対して輪郭抽出を行うと、コマＡ～Ｃ、Ｅをそれぞれ抽出して出力することができる。

本例の第１の抽出工程では、漫画画像１０におけるコマＤは抽出対象外となる。
コマＤは、枠線に途切れている箇所があるため、輪郭抽出において枠線で囲まれた領域として認識されない。このようなコマＤに対しては、後述のクラスタリング及び第２の抽出工程を経ることで抽出される。

なお、コマＥの枠線は、手書きなどによる波打った線であるが、本例ではコマとして抽出可能である。コマＥが抽出されない場合であっても、後述のクラスタリング及び第２の抽出工程を経ることで抽出対象となり得る。

輪郭抽出としては、領域成長法（ｗａｔｅｒｓｈｅｄアルゴリズム）、領域統合法等を用いることができる。

＜クラスタリング工程＞
クラスタリング工程では、漫画画像における、前記第１の抽出工程によって前記コマとして抽出されなかった残りの領域に対して黒色の領域をクラスタリングする（Ｓ１０３）。

第１の抽出工程によってコマとして抽出されなかった残りの領域に対してクラスタリングを行うことにより、第１の抽出工程で抽出されなかったコマに対しても抽出することができる。実際には、後述の第２の抽出工程でコマを抽出することになるが、クラスタリング工程では、その前準備を行うことに相当する。

本実施形態のクラスタリング工程について、図３に例を挙げて説明する。
図３（Ａ）は図２におけるコマＤを示しており、図３（Ｂ）はコマＤにおける枠線２０の拡大図を示している。また、図３（Ｂ）は、クラスタリングを行った後の状態を示すものであり、クラスタリングを行うことにより、枠線２０において途切れた部分があっても、１つのまとまり（クラスタリング領域３０）として扱うことができる。

これにより、図３（Ｃ）に示されるように、コマＤの途切れた枠線２０はクラスタリング領域３０として扱うことができる。枠線が途切れている場合など、一続きの枠線がない場合は細かい領域がバラバラに検出されてしまうため、クラスタリングを行うことにより、細かい領域で近いものを結合する。

本実施形態におけるクラスタリング工程では、上記の例における枠線に限られず、様々な領域に対してクラスタリングを行い、塊（クラスタ）にしている。クラスタにすることで、後述の第２の抽出工程において、コマを抽出するための矩形領域を形成することができる。

クラスタリングは、ＤＢＳＣＡＮ（Density based spatial clustering of applications with noise）により行うことが好ましい。ＤＢＳＣＡＮは、精度良くクラスタリングを行うことができるという利点があり、第２のコマ抽出において精度良くコマ抽出を行うことができる。

クラスタリングを行う際のパラメータとしては、例えば、ドットどうしがどの程度離れていてもクラスタとして扱うのかを表すパラメータや、特定のドットの周りに何個のドットがあればクラスタとして扱うのかを表すパラメータ等が挙げられる。例えばＤＢＳＣＡＮを用いる場合は、εやｍｉｎＰｔｓが挙げられる。ＤＢＳＣＡＮは、教師なし学習であるため、教師データを作成する必要がなく、手間やコストを抑えることができる。

＜第２の抽出工程＞
第２の抽出工程では、前記クラスタリングされた各領域を矩形領域とし、該矩形領域をコマとして抽出する（Ｓ１０４）。

図３（Ｃ）に示されるように、コマＤのクラスタリング領域３０は矩形領域であるため、第２の抽出工程によりコマＤがコマとして抽出される。

第２の抽出工程において、「各領域」とあるのは、上述のクラスタのことであり、クラスタリングされた領域を矩形領域とする。矩形領域の作成の方法としては、適宜変更することができる。例えば、クラスタから４つの点を選び出し、４つの点の配置を考慮し、矩形となるように配置されている場合を矩形領域としてもよいし、クラスタから複数の直線を選び出し、直線が矩形となるように配置されている場合を矩形領域としてもよい。

このようにして、本実施形態における第２の抽出工程では、例えばクラスタリングされた各領域から矩形領域を作成し、作成した矩形領域をコマとして抽出することができる。これにより、従来の技術に比べて、更に精度よくコマ抽出を行うことができる。

なお、本実施形態では、第１の抽出工程によってコマとして抽出されなかった残りの領域に対して黒色の領域をクラスタリングした後、第２の抽出工程を行っているが、二値化された漫画画像に対してクラスタリングした後、第２の抽出工程を行ってもよい。

＜その他の例＞
ここで、本実施形態におけるその他の例について説明する。本実施形態によれば、コマ枠線がない漫画画像においてもコマ抽出を行うことができる。例を図４に示す。図４（Ａ）は漫画画像の例を示す図であり、図４（Ｂ）はコマ抽出されたコマを示す図である。本実施形態によれば、図２に示されるような漫画画像だけでなく、図４に示されるような枠線がない漫画画像に対しても簡易に精度良くコマ抽出を行うことができる。

＜プログラム＞
本実施形態のプログラムは、漫画画像を黒色と白色に二値化する二値化処理と、前記漫画画像に対して輪郭抽出を行い、前記漫画画像における枠線で囲まれた領域をコマとして抽出する第１の抽出処理と、前記漫画画像における、前記第１の抽出処理によって前記コマとして抽出されなかった残りの領域に対して黒色の領域をクラスタリングするクラスタリング処理と、前記クラスタリングされた漫画画像において、矩形領域を判定して該矩形領域をコマとして抽出する第２の抽出処理と、をコンピュータに実行させることを特徴とする。

（第２の実施形態）
本発明に係るコマ抽出方法の他の実施形態について説明する。
本実施形態のコマ抽出方法のフローチャートを図５に示す。なお、本実施形態における二値化工程（Ｓ２０２）、第１の抽出工程（Ｓ２０５）、クラスタリング工程（Ｓ２０６）、第２の抽出工程（Ｓ２０７）としては、上記実施形態と同様の工程とすることができるため、説明を省略する。

＜正規化工程＞
正規化工程では、二値化工程の前に、前記漫画画像の横幅のサイズを正規化する（Ｓ２０１）。正規化を行うことにより、第１の抽出工程や第２の抽出工程の精度を向上させることができる。漫画画像の横幅のサイズとしては、適宜変更することが可能であるが、例えば、３００ｐｉｘｅｌ～５００ｐｉｘｅｌにすることができる。

正規化は必須ではなく、省略することも可能であるが、その場合、漫画画像の横幅が所定のサイズであることが好ましい。

＜直線判定工程＞
直線判定工程では、二値化工程の後であり、かつ、前記第１の抽出工程の前に、前記漫画画像に対してハフ変換を行い、直線が検出されるかどうかを判定する（Ｓ２０３）。

直線が判定されるか判定を行い（Ｓ２０５）、直線判定工程において直線が検出されたと判定された場合（Ｓ２０５でＹＥＳの場合）、第１の抽出工程（Ｓ２０５）、クラスタリング工程（Ｓ２０６）、第２の抽出工程（Ｓ２０７）を行うようにする。これにより、不要な工程を行うことを防止でき、処理の高速化を図ることができる。

漫画画像の中には、枠自体がない一コマ画像も相当数存在する。一コマ画像である場合、直線がないことが多いため、漫画画像に直線がない場合は、一コマ画像であると判定して、第１の抽出工程以降の工程を行わず、一コマとして出力する（Ｓ２０９）。これにより、行う工程を省くことができ、コマ抽出にかかる時間を省くことができる。

ハフ変換による直線の検出は、一般的に用いられている手法を使用できる。例えば、あるドットを通る直線は、
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ
と表すことができる。ρとθの座標軸における曲線は、ドットの数だけ描くことができ、曲線が交わる個所が複数のドットを通る直線となる。

直線判定工程では、ハフ変換をした後、例えば漫画画像の横幅に対して５０％以上の長さの水平な直線が検出された場合、漫画画像に直線があると判定することができる。なお、正規化した場合は、正規化後の漫画画像の横幅に対して５０％以上の長さの水平な直線が検出された場合、漫画画像に直線があると判定することができる。

＜並び替え工程＞
並び替え工程では、前記第１の抽出工程及び前記第２の抽出工程によって抽出されたコマを、前記漫画画像におけるコマを読み進める順番に沿うように並び替える（Ｓ２０８）。並び替え工程を行うことにより、スマートフォンなどの携帯端末で抽出したコマを読む場合に、読みやすくなる。

本実施形態における並び替え工程について、図６、図７を用いて説明する。
ここでは、漫画画像１０として、左上から右下へ読み進める場合を例に挙げて説明する。図６に示される例では、Ａ、Ｂ、Ｃ、Ｄ、Ｅの順に読み進める。原点（０，０）とし、横方向をｘ軸、縦方向をｙ軸としている。また、各コマにおける左上の点をａ～ｅとし、それぞれの値は、ｘ１＜ｘ２＜ｘ３であり、ｙ１＜ｙ２＜ｙ３である。

第１の抽出工程及び第２の抽出工程の段階では、並べ替えは行われておらず、番号付け（ナンバリングとも称する）は行われていない。第１の抽出工程及び第２の抽出工程でコマを抽出したときにナンバリングしてもよいが、抽出された順がコマを読み進める順に対応していないことがあるため、並べ替え工程を行うことが好ましい。

図７（Ａ）は、並べ替え工程を行った場合の例である。並べ替えの処理は、適宜変更することが可能であるが、左上から右下へ読み進める場合、まず、ｙ軸の値の小さなコマの順に並べる。次いで、ｙ軸の値が同じコマがある場合、ｙ軸の値が同じコマにおいてｘ軸の値が小さなコマの順に並べ替える。

このように並べ替えることで、図７（Ｂ）のような順序とすることができる。ここでは、並べ替えた結果、表示の番号として１～５の番号を付けている。並べ替え工程では、上記のように表示の番号を付けてもよいし、付けなくてもよい。表示の番号は、例えばスマートフォンなどの携帯端末で抽出されたコマを表示する場合の表示の順番として用いることができる。

本実施形態における並び替え工程は、抽出されたコマに対して、横幅を調整する工程を行ってもよい。横幅調整を行うことにより、スマートフォンなどの携帯端末で表示する際に、抽出されたコマが読みやすくなる。図７（Ｂ）において、コマＢの横幅を基準として、各コマの横幅を調整する例を示す。例えば、コマＡ、コマＥは、横幅がコマＢの横幅よりも小さいため、横幅を広げてコマＢと同じ横幅にする。このとき、コマＡ、コマＥの縦と横の比（アスペクト比）は一定のままで横幅を基準の大きさにすることが好ましい。このようにすることで、コマ内の絵を崩すことなく表示することができる。同様に、コマＣ、コマＤの横幅を基準の大きさに狭める。

本実施形態においては、横幅調整は必須ではなく、適宜実施すればよい。必要に応じて、横幅を調整するのではなく、基準の大きさに足りない箇所を黒塗りしてもよい。例えば、基準の横幅（コマＢの横幅）よりも横幅が小さいコマＥにおいて、横幅を大きくせずに、基準の横幅に足りない部分を黒塗りにしてもよい。この場合の例を図７（Ｃ）に示す。このようにすることで、小さいコマが拡大されすぎて、かえって見えにくくなることを防ぐことができる。なお、黒塗りでなくても、白塗りなど他の色を用いてもよい。

本実施形態においては、左上から右下へ読み進めていく漫画画像に限られるものではなく、右上から左下へ読み進めていく漫画画像であってもよい。この場合の例について図８を用いて説明する。図８は、図６と同様の図であり、漫画画像１０に対してコマ抽出を行い、並べ替えを行い、横幅を調整したものである。

ここで、図８では、各コマにおける右上の点をａ～ｅとし、それぞれの値は、ｘ１＜ｘ２＜ｘ３であり、ｙ１＜ｙ２＜ｙ３である。並べ替えの処理は、適宜変更することが可能であるが、右上から左下へ読み進める場合、まず、ｙ軸の値の小さなコマの順に並べる。次いで、ｙ軸の値が同じコマがある場合、ｙ軸の値が同じコマにおいてｘ軸の値が大きなコマの順に並べ替える。
このように並べ替えることで、図６（Ｃ）と同様に、漫画画像を読み進める方向に沿うような順序とすることができる。
このように、本実施形態では、右上から左下へ読み進める漫画画像であっても、コマ抽出して並べ替えることが可能となる。

並び替え工程においては、小さすぎるコマはノイズとして除去するようにしてもよい。「小さすぎるコマ」としては、例えば、絵の一部に矩形領域が描かれており、この矩形領域が抽出されてしまった場合などが想定される。

ノイズとして除去するコマの大きさとしては、適宜変更することが可能であり、例えば、横幅が漫画画像の横幅の１／５以下であるコマを除去の対象としてもよい。なお、正規化した場合は、横幅が正規化後の漫画画像の横幅の１／５以下であるコマを除去の対象としてもよい。ノイズとして除去することにより、不要な画像が取り除かれ、漫画画像が読みやすくなる。

１０ 漫画画像
２０ 枠線
３０ クラスタリング領域

Claims (12)

1. コンピュータによって実行される方法であって、
   漫画画像に対して輪郭抽出を行い、前記漫画画像における枠線で囲まれた領域をコマとして抽出する第１の抽出工程と、
   前記漫画画像における、前記第１の抽出工程によって前記コマとして抽出されなかった残りの領域の少なくとも一部の領域をクラスタリングするクラスタリング工程と、
   前記クラスタリングされた各領域を矩形領域とし、該矩形領域をコマとして抽出する第２の抽出工程と、を有する、方法。
2. 前記クラスタリング工程では、ＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）により前記クラスタリングを行う、請求項１に記載の方法。
3. 前記漫画画像を２色に二値化する二値化工程を有し、
   前記クラスタリング工程では、前記２色のうち少なくとも一方の領域をクラスタリングする、請求項１又は請求項２に記載の方法。
4. 前記漫画画像を黒と白に二値化する二値化工程を有し、
   前記クラスタリング工程では、黒の前記領域をクラスタリングする、請求項３に記載の方法。
5. 前記二値化工程では、ＨＳＶ色空間に変換して二値化する、請求項３又は４に記載の方法。
6. 前記二値化工程の後であり、かつ、前記第１の抽出工程の前に、前記漫画画像に対してハフ変換を行い、直線が検出されるかどうかを判定する直線判定工程を有し、
   前記直線判定工程において直線が検出されたと判定された場合、前記第１の抽出工程、前記クラスタリング工程及び前記第２の抽出工程を行う、請求項３～５のいずれかに記載の方法。
7. 前記二値化工程の前に、前記漫画画像の横幅のサイズを正規化する正規化工程を有する、請求項３～６のいずれかに記載の方法。
8. 前記輪郭抽出は、領域成長法又は領域統合法により行われる、請求項１～７のいずれかに記載の方法。
9. 前記漫画画像における前記コマの配置位置に基づいて、前記コマを並び替える並び替え工程を有する、請求項１～８のいずれかに記載の方法。
10. 前記並び替え工程では、前記コマが前記漫画画像の幅の閾値以下である場合、並び替えの対象外とする、請求項９に記載の方法。
11. 前記並び替え工程では、前記漫画画像における少なくとも一つのコマを基準として、前記基準との相対的な大小関係に基づいて前記コマのうち少なくとも１つのコマの幅を調整する、請求項９又は請求項１０に記載の方法。
12. プログラムであって、
    漫画画像に対して輪郭抽出を行い、前記漫画画像における枠線で囲まれた領域をコマとして抽出する第１の抽出処理と、
    前記漫画画像における、前記第１の抽出処理によって前記コマとして抽出されなかった残りの領域の少なくとも一部の領域をクラスタリングするクラスタリング処理と、
    前記クラスタリングされた各領域を矩形領域とし、該矩形領域をコマとして抽出する第２の抽出処理と、をコンピュータに実行させる、プログラム。