JP7197263B2 - 画像解析方法およびプログラム - Google Patents

Description

本発明は、楽譜または書籍等の書面を撮像した画像を解析する技術に関する。

利用者の所望の楽曲を検索する技術が従来から提案されている。例えば特許文献１には、利用者が順次に指定した音符の時系列を含む楽曲を複数の候補から検索する技術が開示されている。

特開平６－１１０９４５号公報

特許文献１の技術のもとでは、所望の楽曲の音符を指定するための音楽的な知識が利用者に必要であり、所望の楽曲を検索できる場面は実際には制限されるという問題がある。なお、以上の説明では楽曲の検索を例示したが、例えば利用者の所望の文字列を含む文書（例えば書籍）を検索する場合にも同様の問題が発生し得る。以上の事情を考慮して、本発明の好適な態様は、利用者の所望の情報を簡便に特定することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る画像解析方法は、平面状に形成された被写体の一部を撮像した部分画像を解析し、前記部分画像の解析結果に基づいて、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する。
本発明の好適な態様に係るプログラムは、平面状に形成された被写体の一部を撮像した部分画像を解析する処理と、前記部分画像の解析結果に基づいて、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する処理とをコンピュータに実行させる。

本発明の第１実施形態に係る画像解析装置の構成を示すブロック図である。 部分楽譜の説明図である。 楽譜データの模式図である。 解析データの説明図である。 制御装置の機能的な構成を示すブロック図である。 画像解析処理のフローチャートである。 第２実施形態に係る画像解析装置の構成を示すブロック図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る画像解析装置１００Aの構成を例示するブロック図である。図１に例示される通り、第１実施形態の画像解析装置１００Aは、制御装置１１と記憶装置１２と撮像装置１３と表示装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末が、画像解析装置１００Aとして好適に利用され得る。

撮像装置１３は、画像を撮像するための画像入力機器であり、被写体からの入射光を電気信号に変換する撮像素子を具備する。具体的には、撮像装置１３は、撮影レンズ等の光学系の画角に応じた撮像範囲内の被写体を表す画像データを生成する。なお、画像データの形式は任意である。また、第１実施形態では撮像装置１３が画像解析装置１００Aに搭載された構成を例示するが、画像解析装置１００Aとは別体の撮像装置１３を画像解析装置１００Aに有線または無線で接続してもよい。

第１実施形態の撮像装置１３は、利用者からの指示に応じて任意の楽曲の楽譜Ｍを撮像する。第１実施形態では、図２に例示される通り、書面に印刷された楽譜Ｍの全体のうちの撮像範囲内の部分（以下「部分楽譜」という）Ｑが撮像装置１３により撮像された場合を想定する。第１実施形態の画像解析装置１００Aは、楽譜の１頁分を表す複数の画像（以下「候補楽譜」という）のうち部分楽譜Ｑに対応する部分を含む候補楽譜（以下「目標楽譜」という）を検索する。具体的には、部分楽譜Ｑに類似または一致する部分を含む目標楽譜が検索される。以上の説明から理解される通り、第１実施形態の画像解析装置１００Aは、撮像装置１３により撮像された部分楽譜Ｑと楽曲が共通する候補楽譜を目標楽譜として複数の候補楽譜から検索する。

図２に例示される通り、撮像装置１３により撮像される楽譜Ｍは、相互に間隔をあけて縦方向に並列に配置された複数の譜表Ｆ（具体的には五線譜）を含む。複数の譜表Ｆの各々は、相異なる音高を表す横方向の複数の直線で構成される。ト音記号またはヘ音記号等の音部記号と音符または休符等の符号とを含む複数の楽譜要素が、複数の譜表Ｆの各々に対して配置される。部分楽譜Ｑ（部分画像の一例）は、楽譜Ｍのうち譜表Ｆの一部を含む範囲内の画像である。

表示装置１４は、制御装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）表示パネルが表示装置１４として好適に利用される。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用され得る。

第１実施形態の記憶装置１２は、相異なる候補楽譜（すなわち楽譜の１頁分）に対応する複数の楽譜データＤを複数の楽曲の各々について記憶する。任意の１個の楽譜データＤは、図３に例示される通り、楽譜画像データＸと付属データＹと解析データＺとを含む。

楽譜画像データＸは、候補楽譜を表す画像データである。例えばＰＤＦ形式等の任意の形式の画像データが楽譜画像データＸとして利用される。付属データＹは、候補楽譜に関する付属的なデータである。例えば、付属データＹは、候補楽譜に対応する楽曲を識別するための情報（例えば楽曲名）と、当該楽曲の楽譜を構成する複数頁のうち当該候補楽譜が表す頁の番号とを指定する。なお、例えば候補楽譜に対応する楽譜が掲載された書籍（楽譜集）を識別するための情報を付属データＹに含めてもよい。解析データＺは、候補楽譜が表す１頁分の楽譜の内容を表すデータである。

図４は、候補楽譜の解析データＺ（候補画像解析データの一例）を説明するための模式図である。図２を参照して前述した通り、楽譜Ｍの各頁には、複数の譜表Ｆと複数の楽譜要素（音部記号または符号）とが配置される。図４には、楽譜Ｍから抽出された複数の特徴点Ｐa（すなわち画像上の特徴的な地点）と、譜表Ｆを構成する複数の直線Ｌに沿う基準線Ｒとが図示されている。図４の射影点Ｐbは、１個の特徴点Ｐaを基準線Ｒに射影（詳細には正射影）した地点である。すなわち、射影点Ｐbは、１個の特徴点Ｐaを通過する基準線Ｒの垂線と当該基準線Ｒとの交点（垂線の足）である。第１実施形態の解析データＺは、楽譜Ｍから抽出された相異なる特徴点Ｐaに対応する複数の射影点Ｐbの集合（すなわち点群）を表すベクトルデータである。楽譜Ｍの１頁分に含まれる複数の譜表Ｆの各々に対応する解析データＺが楽譜データＤに含まれる。以上の説明から理解される通り、候補楽譜の解析データＺは、当該候補画像から抽出された特徴点Ｐaを基準線Ｒに射影した結果を表すデータである。

図３に例示される通り、解析データＺは、複数の射影点Ｐbの各々について、当該射影点Ｐbの識別情報（例えば番号）ｚ1と、当該射影点Ｐbの位置（座標）ｚ2と、当該射影点Ｐbの近傍に位置する１個以上の射影点Ｐbの識別情報ｚ3（＝ｚ1）とを含む。以上の説明から理解される通り、各射影点Ｐbについて近傍の射影点Ｐbの識別情報ｚ3が登録されるから、ひとつの譜表Ｆに対応する複数の射影点Ｐbの相互間の位置関係を簡便に把握できるという利点がある。

図１の制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、画像解析装置１００Aの各要素を統括的に制御する。第１実施形態の制御装置１１は、図５に例示される通り、記憶装置１２に記憶されたプログラムを実行することで、撮像装置１３により撮像された部分楽譜Ｑに対応する部分を含む目標楽譜を検索するための複数の要素（解析処理部３１および特定処理部３２）を実現する。なお、制御装置１１の機能を複数の装置の集合（すなわちシステム）で実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。

解析処理部３１は、撮像装置１３が撮像した部分楽譜Ｑを解析することで当該部分楽譜Ｑの解析データＺ（部分画像解析データの一例）を生成する。特定処理部３２は、相異なる候補楽譜について記憶装置１２に記憶された複数の解析データＺの各々と解析処理部３１が生成した解析データＺとを相互に対比することで、部分楽譜Ｑに対応する部分を含む候補楽譜を目標楽譜として特定する。

図６は、制御装置１１が部分楽譜Ｑから目標楽譜を特定する処理（以下「画像解析処理」という）の具体的な内容を例示するフローチャートである。例えば撮像装置１３により部分楽譜Ｑが撮像されるたびに画像解析処理が実行される。したがって、複数の部分楽譜Ｑの時系列で構成される動画像を撮像する場合、図６の画像解析処理が部分楽譜Ｑ毎に順次に実行されて目標楽譜が特定される。

画像解析処理を開始すると、解析処理部３１は、部分楽譜Ｑの解析により解析データＺを生成する（Ｓa1～Ｓa6）。部分楽譜Ｑを解析する処理は、縮小処理Ｓa1と設定処理Ｓa2と抽出処理Ｓa3と区分処理Ｓa4と射影処理Ｓa5と生成処理Ｓa6とを含む。縮小処理Ｓa1は、部分楽譜Ｑを縮小する処理である。縮小処理Ｓa1には公知の画像縮小技術が任意に採用される。なお、縮小処理Ｓa1を省略してもよい。

解析処理部３１は、撮像装置１３が撮像した部分楽譜Ｑについて基準線Ｒを設定する（設定処理Ｓa2）。具体的には、解析処理部３１は、譜表Ｆを構成する各直線Ｌを部分楽譜Ｑから抽出し、複数の直線Ｌに平行な基準線Ｒを設定する。例えば、解析処理部３１は、部分楽譜Ｑから抽出された横方向の複数の直線Ｌを譜表Ｆ毎に区分（クラスタリング）し、縦方向における譜表Ｆの中点を通過するとともに当該譜表Ｆの各直線Ｌに沿って横方向に延在する基準線Ｒを設定する。以上の説明から理解される通り、制御装置１１は、部分楽譜Ｑに含まれる直線Ｌに対応した基準線Ｒを設定する要素（基準線設定部）として機能する。

解析処理部３１は、撮像装置１３が撮像した部分楽譜Ｑから複数の特徴点Ｐaを抽出する（抽出処理Ｓa3）。特徴点Ｐaの抽出には、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＫＡＺＥ（KAZE Features）、またはＡＫＡＺＥ（Accelerated KAZE）等の公知の画像解析技術が任意に採用される。以上の説明から理解される通り、制御装置１１は、部分楽譜Ｑから複数の特徴点Ｐaを抽出する要素（特徴点抽出部）として機能する。なお、設定処理Ｓa2および抽出処理Ｓa3の順序を逆転してもよい。

解析処理部３１は、抽出処理Ｓa3で抽出した複数の特徴点Ｐaを譜表Ｆ毎に複数の集合（クラスタ）に区分する（区分処理Ｓa4）。区分処理Ｓa4には公知の分類技術（クラスタリング）が任意に採用される。部分楽譜Ｑに１個の譜表Ｆのみが含まれる場合には、区分処理Ｓa4を省略してもよい。

以上の処理（Ｓa1～Ｓa4）が完了すると、解析処理部３１は、部分楽譜Ｑに含まれる譜表Ｆ毎に、複数の特徴点Ｐaを基準線Ｒに射影することで複数の射影点Ｐbを特定する（射影処理Ｓa5）。すなわち、解析処理部３１は、任意の１個の譜表Ｆの付近から抽出処理Ｓa3で抽出した複数の特徴点Ｐaの各々を、設定処理Ｓa2で設定した基準線Ｒに正射影することで、複数の射影点Ｐbを特定する。以上の説明から理解される通り、制御装置１１は、複数の特徴点Ｐaを基準線Ｒに射影する要素（特徴点射影部）として機能する。

解析処理部３１は、射影処理Ｓa5で特定した複数の射影点Ｐbを表す解析データＺを生成する（生成処理Ｓa6）。すなわち、制御装置１１は、射影後の各特徴点Ｐa（すなわち射影点Ｐb）を表す解析データＺを生成する要素（生成処理部）として機能する。解析処理部３１が部分楽譜Ｑの解析により解析データＺを生成する処理（Ｓa1～Ｓa6）の具体例は以上の通りである。なお、各候補楽譜の解析データＺは、以上に例示した処理（Ｓa1～Ｓa6）を候補楽譜について実行することで生成されて記憶装置１２に格納される。

解析処理部３１が以上の処理により部分楽譜Ｑの解析データＺを生成すると、特定処理部３２は、以下に詳述する通り、相異なる候補楽譜について記憶装置１２に記憶された複数の解析データＺの各々と、解析処理部３１が生成した解析データＺとを相互に対比することで、部分楽譜Ｑに対応する部分を含む候補楽譜を目標楽譜として特定する（Ｓb1～Ｓb4）。

特定処理部３２は、複数の候補楽譜の何れかを選択し（Ｓb1）、当該候補楽譜の解析データＺと部分楽譜Ｑの解析データＺとの間で類似指標を算定する（Ｓb2）。類似指標は、候補楽譜の解析データＺと部分楽譜Ｑの解析データＺとの間の類似の度合を示す指標である。２個のベクトルの相互間の距離または相関を示す任意の指標が類似指標として好適である。以下の説明では、候補楽譜の解析データＺと部分楽譜Ｑの解析データＺとが類似するほど類似指標が大きい数値となる場合を想定する。

特定処理部３２は、全部の候補楽譜について部分楽譜Ｑとの間の類似指標を算定したか否かを判定する（Ｓb3）。類似指標を算定していない候補楽譜がある場合（Ｓb3：NO）、特定処理部３２は、未選択の候補楽譜を新たに選択したうえで、当該候補楽譜の解析データＺと部分楽譜Ｑの解析データＺとの類似指標を算定する（Ｓb2）。

以上に例示した処理が反復されることで全部の候補楽譜について類似指標を算定すると（Ｓb3：YES）、特定処理部３２は、複数の候補楽譜のうち類似指標が最大となる候補楽譜を目標楽譜として特定する（Ｓb4）。すなわち、複数の候補楽譜のうち部分楽譜Ｑに対応する部分を含む候補楽譜が目標楽譜として特定される。特定処理部３２は、目標楽譜の楽譜データＤを記憶装置１２から取得し、当該楽譜データＤの楽譜画像データＸが表す目標楽譜の画像と、当該楽譜データＤの付属データＹが表す情報（楽曲名および頁番号）とを表示装置１４に表示させる（Ｓc）。

以上に説明した通り、第１実施形態では、楽譜Ｍの一部を撮像した部分楽譜Ｑの解析により、当該部分画像に対応する部分を含む目標楽譜が特定される。したがって、例えば利用者が楽譜Ｍの様々な範囲を撮影した画像から目標画像を特定することが可能である。また、楽譜の特徴点Ｐaを基準線Ｒに射影した射影点Ｐbを表す解析データＺを部分楽譜Ｑと候補楽譜との間で対比することで、目標楽譜を高精度に特定できるという利点もある。

＜第２実施形態＞
図７は、本発明の第２実施形態における画像解析装置１００Bの構成を示すブロック図である。第２実施形態の画像解析装置１００Bは、移動体通信網およびインターネット等を含む通信網４２を介して端末装置４０と通信可能なサーバ装置（例えばウェブサーバ）で実現される。端末装置４０は、撮像装置１３と表示装置１４とを具備する。第１実施形態と同様に、撮像装置１３は、楽譜Ｍの一部である部分楽譜Ｑを撮像し、表示装置１４は、楽譜画像データＸが表す楽譜（例えば目標楽譜）を表示する。

撮像装置１３が撮像した部分楽譜Ｑを表す画像データが端末装置４０から画像解析装置１００Bに送信される。画像解析装置１００Bは、端末装置４０から送信された画像データを受信し、当該画像データが表す部分楽譜Ｑに対応する部分を含む目標楽譜を特定する。具体的には、画像解析装置１００Bは、第１実施形態と同様の制御装置１１および記憶装置１２を具備する。記憶装置１２は、相異なる候補楽譜に対応する複数の楽譜データＤを記憶する。制御装置１１は、部分楽譜Ｑから目標楽譜を特定する図６の画像解析処理を実行する。制御装置１１が特定した目標楽譜の楽譜画像データＸと付属データＹとが端末装置４０に送信される。端末装置４０の表示装置１４は、楽譜画像データＸが表す楽譜の画像と、付属データＹが表す情報（例えば楽曲名および頁番号）とを表示する。第２実施形態においても第１実施形態と同様の効果が実現される。

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態では、譜表Ｆを構成する各直線Ｌに平行な直線を基準線Ｒとして特定したが、基準線Ｒを特定する方法は以上の例示に限定されない。例えば利用者が基準線Ｒを指定してもよい。また、例えば楽譜Ｍが掲載された書面の縁辺が部分楽譜Ｑに含まれる場合に、当該縁辺に沿う基準線Ｒを設定してもよい。

（２）前述の各形態では、複数の候補楽譜の各々に関する解析データＺが記憶装置１２に事前に記憶された構成を例示したが、目標楽譜の検索の段階（例えば部分楽譜Ｑの解析前）において候補楽譜の解析により当該候補楽譜の解析データＺを生成してもよい。例えば、制御装置１１（解析処理部３１）は、楽譜画像データＸが表す各候補楽譜について図６の解析処理（Ｓa1～Ｓa6）を実行することで、当該候補楽譜の解析データＺを生成する。候補楽譜の解析データＺ（候補画像解析データの一例）と部分楽譜Ｑの解析データＺとを特定処理部３２が対比することで目標楽譜を特定する処理（Ｓb1～Ｓb4）は前述の各形態と同様である。

（３）前述の各形態では、部分楽譜Ｑに対応した部分を含む目標楽譜を特定したが、本発明が適用される分野は楽譜の検索に限定されない。例えば、書籍等の文書の一部を撮像した部分画像から当該部分画像を含む候補画像（例えば文書の１頁分）を特定するために、本発明を適用してもよい。書籍等の文書の部分画像を解析する場合には、例えば複数の文字が配列する方向に平行な直線、または利用者が指定した直線が、基準線Ｒとして好適である。以上の構成によれば、文書の一部を撮像した部分画像から、当該部分画像に対応した部分を含む文書全体を特定することが可能である。以上の説明から理解される通り、本発明の好適な態様は、平面状に形成された被写体（例えば楽譜または文書）の一部を撮像した部分画像を解析することで、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する画像解析方法である。前述の各形態で説明した部分楽譜は「部分画像」の一例であり、前述の各形態で説明した候補楽譜は「候補画像」の一例である。

（４）前述の各形態に係る画像解析装置１００（１００A，１００B）は、各形態での例示の通り、制御装置１１とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。

（５）以上に例示した形態から、例えば以下の構成が把握される。

本発明の好適な態様（第１態様）に係る画像解析方法は、平面状に形成された被写体の一部を撮像した部分画像を解析し、前記部分画像の解析結果に基づいて、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する。以上の態様によれば、被写体の一部を撮像した部分画像の解析により、当該部分画像に対応する部分を含む候補画像が特定されるから、例えば利用者が撮影した様々な画像から候補画像を特定することが可能である。

第１態様の好適例（第２態様）において、前記部分画像の解析では、前記部分画像から複数の特徴点を抽出し、前記複数の特徴点を基準線に射影し、前記射影後の各特徴点を表す部分画像解析データを生成する。第２態様の好適例（第３態様）において、前記候補画像の特定では、複数の候補画像の各々について、当該候補画像から抽出された特徴点を基準線に射影した結果を表す候補画像解析データと、前記部分画像解析データとを対比することで、前記部分画像に対応する部分を含む候補画像を特定する。以上の態様では、部分画像から抽出された複数の特徴点を基準線に射影した結果を表す解析データが、相異なる候補画像に対応する複数の解析データの各々と対比される。したがって、部分画像に対応する部分を含む候補画像を高精度に特定できるという利点がある。

第２態様または第３態様の好適例（第４態様）において、前記部分画像の解析では、前記部分画像に含まれる直線に対応した前記基準線を設定する。以上の態様では、部分画像に含まれる直線に対応した基準線が設定されるから、例えば利用者が基準線を設定する必要がないという利点がある。

第１態様から第４態様の何れかの好適例（第５態様）において、前記被写体は楽譜である。以上の態様によれば、楽譜の一部を撮像した部分画像から、当該部分画像に対応した部分を含む楽譜を特定することが可能である。

本発明の好適な態様（第６態様）に係るプログラムは、平面状に形成された被写体の一部を撮像した部分画像を解析することで、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する画像解析処理をコンピュータに実行させる。

１００A，１００B…画像解析装置、１１…制御装置、１２…記憶装置、１３…撮像装置、１４…表示装置、３１…解析処理部、３２…特定処理部、４０…端末装置、Ｍ…楽譜（被写体）、Ｆ…譜表、Ｑ…部分楽譜（部分画像）、Ｒ…基準線、Ｐa…特徴点、Ｐb…射影点。

Claims (5)

1. 平面状に形成された被写体の一部を撮像した部分画像を解析し、
   前記部分画像の解析結果に基づいて、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する
   コンピュータにより実現される画像解析方法であって、
   前記部分画像の解析においては、
   前記部分画像から複数の特徴点を抽出し、
   前記複数の特徴点を基準線に射影した複数の射影点を表す部分画像解析データを生成し、
   前記部分画像解析データは、前記複数の射影点の各々について、当該射影点の識別情報と、当該射影点の位置と、当該射影点の近傍に位置する１以上の射影点の識別情報と、を含む
   画像解析方法。
2. 前記候補画像の特定においては、
   複数の候補画像の各々について、当該候補画像から抽出された特徴点を基準線に射影した結果を表す候補画像解析データと、前記部分画像解析データとを対比することで、前記部分画像に対応する部分を含む候補画像を特定する
   請求項１の画像解析方法。
3. 前記部分画像の解析においては、
   前記部分画像に含まれる直線に対応した前記基準線を設定する
   請求項１または請求項２の画像解析方法。
4. 前記被写体は楽譜である
   請求項１から請求項３の何れかの画像解析方法。
5. 平面状に形成された被写体の一部を撮像した部分画像を解析する処理と、
   前記部分画像の解析結果に基づいて、複数の候補画像のうち当該部分画像に対応する部分を含む候補画像を特定する処理と
   をコンピュータに実行させるプログラムであって、
   前記部分画像を解析する処理においては、
   前記部分画像から複数の特徴点を抽出し、
   前記複数の特徴点を基準線に射影した複数の射影点を表す部分画像解析データを生成し、
   前記部分画像解析データは、前記複数の射影点の各々について、当該射影点の識別情報と、当該射影点の位置と、当該射影点の近傍に位置する１以上の射影点の識別情報と、を含む
   プログラム。
   

Images