JP7201248B2 - 個別物品画像データ抽出用プログラムおよびこれを用いた物品査定システム - Google Patents

Description

本発明は個別物品画像データ抽出用プログラムおよびこれを用いた物品査定システムに関し、より詳細には一方向に並んだ状態の複数の物品が撮影された撮影データから個別の物品を抽出するための個別物品画像データ抽出用プログラム、物品査定システムに関する。

従来、複数の物品の買い取り査定を行う際には、個々の物品情報をサーバ等に蓄積されている物品査定用データベースに参照することによって査定金額の算出が行われることが多い。このような物品の買い取り査定システムとしては、例えば特許文献１（特開２００５－１９６６３２号公報）に開示されているような構成が知られている。

特開２００５－１９６６３２号公報（特許請求の範囲、明細書段落００１４－００３４、第１図～第３図等）

特許文献１に開示されている物品の買い取り査定システムの構成によれば、査定対象物品の画像データを物品査定用データベースに参照することにより、同一名称の異なる物品がある場合であっても正確に物品の査定を行うことができる。しかしながら、個別の査定対象物品の画像データが必要であるため、複数物品を査定する際には、事前に査定対象物品を個別に撮影した画像データを準備しなければならないといった課題がある。

そこで本発明は、一方向に並んだ複数の物品が撮影された全体画像データの中から個別物品画像データを抽出することを可能にした個別物品画像データ抽出用プログラムおよびこれを用いた物品査定システムの提供を目的としている。

すなわち本発明は、コンピュータに、一方向に並んだ状態の複数の物品が撮影された全体画像データから前記物品を個別に抽出した個別物品画像データを抽出する動作を実行させるための個別物品画像データ抽出用プログラムであって、前記全体画像データにおける濃淡部分をそれぞれ強調する濃淡強調処理と、前記濃淡強調処理が行われた前記全体画像データからエッジ部分を線分として抽出する線分抽出処理と、前記線分抽出処理により抽出された前記線分の中から、前記物品の並び方向に対する傾斜角度が所定傾斜角度範囲内である限定角度線分のみを抽出する限定角度線分抽出処理と、前記抽出された線分の両端位置を、前記全体画像データの外周縁位置まで伸ばした伸長線分を作成する伸長線分作成処理と、前記全体画像データの前記物品の並び方向において所要長さ範囲内で隣り合う２本の前記伸長線分を抽出し、抽出された隣り合う２本の前記伸長線分の前記全体画像データの前記物品の並び方向における中間位置に、隣り合う２本の前記伸長線分の前記物品の並び方向に対する傾きを平均した平均化線分を生成し、隣り合う２本の前記伸長線分を消去し前記平均化線分と前記物品の並び方向において所要長さ範囲内において隣り合う新たな前記伸長線分を抽出し、前記平均化線分と抽出された新たな前記伸長線分の前記全体画像データの前記物品の並び方向における中間位置に、前記平均化線分と抽出された新たな前記伸長線分の前記物品の並び方向に対する傾きを平均した新たな前記平均化線分を生成する処理を、前記全体画像データの前記物品の並び方向における所要長さ範囲内で隣り合う新たな前記伸長線分を抽出することができなくなるまで繰り返すループを前記全体画像データの前記物品の並び方向における全範囲にわたって実行する平均化線分生成処理と、前記平均化線分における前記全体画像データの前記物品の並び方向における位置を算出し、算出した前記平均化線分の線分長さ方向の中点位置における前記全体画像データの前記物品の並び方向における位置の順番に前記平均化線分を並び替える並べ替え処理と、並べ替え処理後におけるそれぞれの前記平均化線分において、整列順に抽出した前記平均化線分と交差しない前記平均化線分を非交差平均化線分として抽出し、前記平均化線分と前記非交差平均化線分と前記全体画像データの外周縁とにより囲まれた領域を抽出する領域抽出処理と、前記領域を個別に前記全体画像データに照合させ、前記全体画像データに含まれている複数の前記物品から前記領域と一致する範囲を前記個別物品画像データとして抽出する個別物品画像データ抽出処理と、をコンピュータに実行させることを特徴とする個別物品画像データ抽出用プログラムである。

これにより、一方向に並んだ複数の物品が撮影された全体画像データの中から個別物品画像データを抽出することが可能になる。

また、前記限定角度線分抽出処理の後に、前記限定角度線分抽出処理により抽出された前記限定角度線分の長さを計測する線分長さ計測処理と、前記限定角度線分から所定長さ以上の前記限定角度線分を上位長さ線分として抽出する上位長さ線分抽出処理をさらに前記コンピュータに実行させ、前記上位長さ線分抽出処理により抽出された前記上位長さ線分を前記抽出された線分として前記伸長線分作成処理を前記コンピュータに実行させることが好ましい。

これにより、伸長線分作成処理に用いる抽出線分を限定することで、その後の演算処理量を削減することができる。

また、前記平均化線分生成処理は、前記全体画像データの前記物品の並び方向において隣り合う２本の前記伸長線分または前記平均化線分の長さ方向における第１端部どうしの中間位置および第２端部どうしの中間位置を結ぶことにより生成していることが好ましい。

これにより、平均化線分生成処理を高精度かつ短時間で行うことができる。

また、前記領域抽出処理は、前記非交差平均化線分を抽出する際において、整列させた前記平均化線分である整列後平均化線分を並び順に処理するものであって、基準となる並べ替え処理後における前記平均化線分から整列方向の後側において最も近い位置における並べ替え処理後における前記平均化線分を抽出することが好ましい。

これにより、領域抽出処理の精度を高めることができる。

また、前記領域抽出処理により抽出された複数の前記領域のうち前記非交差平均化線分が同一である前記領域においては、それぞれの前記領域において並べ替え処理後における前記平均化線分と前記非交差平均化線分の前記物品の並び方向に対する前記傾斜角度を算出すると共に両者の角度差を算出し、前記角度差が少ない方の前記領域に限定する領域限定処理をさらに前記コンピュータに実行させることが好ましい。

これにより、領域抽出処理で抽出した領域のうち、本来抽出すべき領域のみに限定することができる。

また、前記領域抽出処理の後に、複数の前記領域における前記物品の並び方向における対向辺について、前記物品の並び方向に対する傾斜角度の平均値を領域傾斜角度としてそれぞれ算出する領域傾斜角度算出処理を前記コンピュータに実行させた後、前記全体画像データと前記領域を水平面に向けて前記領域傾斜角度で回転させた後に前記個別物品画像データ抽出処理を前記コンピュータに実行させることが好ましい。

これにより、全体画像データからの個別物品画像データの抽出処理を高精度かつ短時間で行うことができる。

また、ネットワークを通じてデータ送受信可能に設けられたユーザ端末および外部サーバを具備する物品査定システムであって、前記ユーザ端末の端末動作制御部は、撮影手段により撮影され、または、端末記憶部に記憶されている複数物品が同一方向に並んだ全体画像データを端末通信部および前記ネットワークを介して前記外部サーバに送信する処理を実行し、前記外部サーバは少なくともサーバ動作制御部、サーバ記憶部およびサーバ通信部を有していると共に、前記サーバ動作制御部は、前記ユーザ端末から送信された前記全体画像データを前記サーバ記憶部に記憶させる処理と、前記サーバ記憶部に予め記憶されている上述のうちのいずれかに記載されている個別物品画像データ抽出用プログラムに基づいて前記サーバ記憶部に記憶させた前記全体画像データから個別物品画像データを抽出する処理と、前記サーバ記憶部に予め記憶されている画像データ内文字抽出プログラムに基づいて前記個別物品画像データ内の文字列を抽出する処理と、前記サーバ記憶部に予め記憶され、前記文字列と物品名称とが紐づけされた物品名称データベースに基づいて、前記文字列に紐づけられている前記物品名称を抽出する処理と、前記サーバ記憶部に予め記憶され、前記物品名称と査定価格とが紐づけされた物品査定価格データベースに基づいて、前記物品名称に紐づけられている前記査定価格を抽出する処理と、前記個別物品画像データに前記査定価格を紐づけした個別査定価格データを前記サーバ記憶部に記憶させる処理と、前記サーバ通信部および前記ネットワークを介して前記個別査定価格データを前記ユーザ端末に送信させる処理と、を実行させ、前記端末動作制御部は、ユーザ端末出力部に前記個別査定価格データに基づいた個別査定価格と、前記全体画像データ内に含まれているすべての個別物品の合計査定価格とをそれぞれ表示させる処理を実行させることを特徴とする物品査定システムの発明がある。

これにより、本棚内の書籍の査定等、同じ方向に複数の物品が並んでいる全体画像データから個別の物品を抽出すると共に個別の物品に対する査定を効率的に行うことができる。

また、前記端末動作制御部は、前記ユーザ端末出力部に前記個別査定価格データに紐づけられた個別査定価格を表示させる際に、前記個別査定価格データに紐づけられた前記個別物品画像データと前記全体画像データを並列表示させることが好ましい。さらには、前記サーバ動作制御部は、前記全体画像データから個別物品画像データを抽出する際に前記個別物品画像データに抽出順の通し番号を付与する処理をさらに実行し、前記端末動作制御部は、前記ユーザ端末出力部に前記個別物品の合計査定価格を表示させる際に、前記個別査定価格データに紐づけられた前記個別物品画像データを前記通し番号に基づいて順次追加表示させることが好ましい。

これらにより、全体画像データに写っているすべての物品に対する査定が実行されたことを明確にすることができる。

本発明における個別物品画像データ抽出用プログラムおよびこれを用いた物品査定システムの構成によれば、一方向に並んだ複数の物品が撮影された全体画像データの中から個別物品画像データを抽出することができ、それぞれの物品に対する査定を容易に行うことができる。

本実施形態における物品査定システムの概略構成図である。 本実施形態における物品査定システムの処理フロー図である。 本実施形態における物品査定システムの処理フロー図である。 全体画像データ内の座標を示す説明図である。 伸長線分作成処理後の状態を示す説明図である。 本実施形態における平均化線分の算出方法の概略を示す説明図である。 平均化線分生成処理により生成された平均化線分の配置状態を示す説明図である。 領域抽出処理により抽出された領域の概要を示す説明図である。 図８に示す各領域に領域限定処理を実行した後の状態を示す説明図である。 領域変形処理を実行した後の状態を示す説明図である。 全体画像データから個別の書籍を抽出した状態を示す説明図である。 査定結果の出力画面の一例を示す説明図である。

図１に示すように、本実施形態においては物品を書籍とした書籍査定システム１００の実施形態について説明する。本実施形態における書籍査定システム１００は、ネットワークＮを通じてデータ送受信可能に設けられたユーザ端末１０および外部サーバ２０を具備する。このような書籍査定システム１００では、一方向に並んでいる複数の書籍が撮影された全体画像データをユーザ端末１０から受信し、外部サーバ２０で全体画像データから個別の書籍を抽出すると共に査定を行いユーザ端末１０に査定結果の通知が行われる。そしてユーザはユーザ端末１０のユーザ端末出力部１４に表示された書籍の査定結果を知ることができる。

本実施形態におけるユーザ端末１０は、少なくとも撮影手段１１、端末記憶部１２、端末通信部１３、ユーザ端末出力部１４および端末動作制御部１５を備えている。このようなユーザ端末１０としてはスマートフォンやタブレットコンピュータを例示することができる。カメラに代表される撮影手段１１により撮影された全体画像データは、不揮発性メモリに代表される端末記憶部１２に記憶することができる。また、端末記憶部１２には予め撮影した全体画像データを記憶させておくこともできる。ここでは、書籍の背表紙が見えるようにして互いの書籍の表表紙と裏表紙が隣接するように（一方向に）複数の書籍が並べられた状態を撮影した画像データのことを全体画像データとしている。すなわち、本棚に複数の書籍が横方向に並べられた状態を撮影したデータが本実施形態における全体画像データになる。

モデムに代表される端末通信部１３はネットワークＮに接続可能であって外部サーバ２０との間でデータ送受信をすることができる。端末動作制御部１５は撮影手段１１、端末記憶部１２、端末通信部１３、ディスプレイモニタに代表されるユーザ端末出力部１４の動作をそれぞれ制御するためのものである。端末動作制御部１５は、端末記憶部１２に予め記憶されている端末動作制御プログラム（図示はせず）と、端末動作制御プログラムに沿って各種の処理を実行するユーザ端末１０のＣＰＵ（図示はせず）とを有する構成を例示することができる。

本実施形態における外部サーバ２０は、少なくともサーバ通信部２１とサーバ記憶部２２とサーバ動作制御部２３を備えている。サーバ通信部２１はネットワークＮに接続可能であって、ユーザ端末１０との間でデータ送受信が可能であり、モデムを例示することができる。サーバ記憶部２２にはユーザ端末１０からの送信データや外部サーバ２０で実行された各種処理データが記憶可能であり、不揮発性メモリを例示することができる。サーバ動作制御部２３は少なくともサーバ通信部２１とサーバ記憶部２２の動作を制御するものである。サーバ動作制御部２３は、サーバ記憶部２２に予め記憶されているサーバ動作制御プログラムＰＧＭと、サーバ動作制御プログラムＰＧＭに沿って各種の処理を実行する外部サーバ２０のＣＰＵとを有する構成を例示することができる。なお、外部サーバ２０は自社サーバ、第３者のサーバのいずれであってもよい。

次に、図２、図３を参照しながら本実施形態における書籍査定システム１００の動作について詳細に説明する。ユーザはユーザ端末１０の撮影手段１１を用いて複数の書籍が横方向に並んだ状態の全体画像データ（複数の書籍を一方向に並べて収容した状態の本棚の画像データ）を撮影する（Ｔ－１）。次に端末動作制御部１５は、撮影手段１１により撮影された全体画像データを端末記憶部１２に記憶させる（Ｔ－２）。次に端末動作制御部１５は、端末記憶部１２に記憶されている全体画像データを端末通信部１３からネットワークＮを経由して外部サーバ２０に送信する（Ｔ－３）。この後端末動作制御部１５はユーザ端末出力部１４に『査定中』等の表示を実行させて、ユーザ端末１０を外部サーバ２０からの個別査定価格データの受信待機状態にする（Ｔ－４）。

外部サーバ２０がサーバ通信部２１を介して全体画像データを受信すると、サーバ動作制御部２３はサーバ記憶部２２に全体画像データを記憶させる（Ｓ－１）。続いてサーバ動作制御部２３は、サーバ記憶部２２に予め記憶されているサーバ動作制御プログラムＰＧＭの一部である個別物品画像データ抽出用プログラムＰＧＭ１に基づいて全体画像データを起源データとして以下に説明する各種の処理を実行する。

（画像補正処理；濃淡強調処理）
外部サーバ２０におけるサーバ動作制御部２３は、サーバ記憶部２２から全体画像データを読み出し、全体画像データにおける画像補正処理を行う。本実施形態における画像補正処理は、ガンマ補正処理、コントラスト値補正処理、反転処理、グレースケール化処理、画像ヒストグラム平坦化処理を記載順に実行することにより全体画像データの濃淡部分をそれぞれ強調する濃淡強調処理（Ｓ－２）である。

本実施形態におけるガンマ補正処理は、サーバ動作制御部２３が全体画像データに対し画像処理ライブラリであるＯｐｅｎＣＶのＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）メソッドに基づいて全体画像データの輝度を向上させた一次処理データを作成する処理である。これにより画像内の暗すぎる部分を明るくすることができ、画像内の明るすぎる部分を暗くすることができる。また、コントラスト値補正処理は、サーバ動作制御部２３がＯｐｅｎＣＶのＬＵＴメソッドに基づいて一次処理データコントラスト値補正を行って二次処理データを生成する処理である。

また、次に行われる反転処理は、サーバ動作制御部２３がＯｐｅｎＣＶのＬＵＴメソッドに基づいて二次処理データをＲＧＢからＨＳＶ色空間に変換して二次処理データの明度を反転させた３次処理データを作成する処理である。具体的にはＨＳＶ色空間の明度値１，２，３，・・・２５３，２５４，２５５を２５５，２５４，２５３，・・・３，２，１に変換することで二次処理データの明度を反転する処理を行っている。

次のグレースケール化処理は、サーバ動作制御部２３がＯｐｅｎＣＶのｃｖｔＣｏｌｏｒメソッドに基づいて３次処理データをグレースケール化して４次処理データを作成する処理である。次の画像ヒストグラム平坦化処理は、サーバ動作制御部２３がＯｐｅｎＣＶのＣＬＡＨＥに基づいて４次処理データの画像ヒストグラムを平坦化させてコントラストを調整した５次処理データを作成する処理である。なお、ＣＬＡＨＥはＣｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎの略称である。以上に説明した画像補正処理が施された１次処理データから５次処理データはいずれもサーバ動作制御部２３により生成された時点でサーバ記憶部２２に記憶されている。

（境界検出処理）
次に外部サーバ２０におけるサーバ動作制御部２３は、画像補正処理により全体画像データにおける濃淡部分がそれぞれ強調された５次処理データに対し、サーバ記憶部２２に記憶されたエッジ部分である境界検出処理を実行する。本実施形態における境界検出処理は、図２に示されている線分抽出処理（Ｓ－３）～平均化線分生成処理（Ｓ－８）が記載順にサーバ動作制御部２３によって実行されるものである。

なお、図４に示すように、本実施形態において用いられるｘｙ座標系は、全体画像データの画面Ｇにおける書籍の並び方向（画面Ｇの横方向）をｘ座標とし、ｘ座標に直交する方向（画面Ｇの縦方向）をｙ座標とする座標系である。ｘ座標の原点は画面Ｇの左端位置とし、ｙ座標の原点は画面Ｇの上下方向中間位置としているが、ｘｙ座標系の原点位置は適宜設定することができる。

本実施形態における線分抽出処理（Ｓ－３）は、サーバ動作制御部２３がＯｐｅｎＣＶのＦａｓｔ Ｌｉｎｅ Ｄｅｔｅｃｔｏｒを用いて５次処理データから線分を抽出して６次処理データを生成するものである。限定角度線分抽出処理（Ｓ－４）は、サーバ動作制御部２３が６次処理データに含まれている線分から全体画像内の書籍の並び方向に対する傾斜角度であるｘ軸に対する線分の傾斜角度が４５度～１３５度の範囲に含まれる線分を限定角度線分として抽出する処理である。抽出された限定角度線分に関するデータは７次処理データとして扱われる。

このような限定角度線分抽出処理（Ｓ－４）を行うことにより、書籍の並び方向における境界線に相当する線分以外の線分（ノイズ成分）を除去することができる。なお、本実施形態においては、６次処理データにおける線分からｘ軸に対する線分の傾斜角度の所定傾斜角度範囲を４５度～１３５度の範囲で抽出しているがこの角度範囲に限定されるものではなく、他の任意の線分の傾斜角度範囲に設定することもできる。

また、線分長さ計測処理（Ｓ－５）は、サーバ動作制御部２３により７次処理データにおける限定角度線分の線分長さを計測し、８次処理データを生成する処理である。線分長さを計測する演算手法は各線分の両端部におけるｘｙ座標データに基づいて算出する手法等、公知の手法を用いることができるので、ここでの詳細な説明は省略する。

上位長さ線分抽出処理（Ｓ－６）は、サーバ動作制御部２３により８次処理データに含まれている限定角度線分の中から所定長さ以上のものを上位長さ線分として抽出し、９次処理データを生成する処理である。本実施形態においては、８次処理データに含まれているすべての限定角度線分の長さの分布を算出し、上位１６％に含まれる限定角度線分を上位長さ線分として抽出している。なお、上位長さ線分を抽出する際には、線分長さの分布における上位１６％に含まれる限定角度線分の抽出条件に限定されるものではなく、他の抽出条件を採用することもできる。このような上位長さ線分を抽出する処理を実行することにより、複数の書籍が並んだ状態の全体画像データから個別の書籍を抽出する際においてノイズとなる限定角度線分の一部（例えば、書籍に取り付けられている帯部分の線分）を除去することができる。これにより以降の処理における演算量の削減が可能になる。

伸長線分作成処理（Ｓ－７）は、サーバ動作制御部２３が９次処理データに含まれている上位長さ線分の両端位置を全体画像データの外周縁位置まで伸ばして伸長線分を作成し、１０次処理データを生成する処理である。サーバ動作制御部２３が、上位長さ線分の両端位置におけるｘｙ座標から上位長さ線分のｘ座標およびｙ座標を用いた方程式を公知の手法を用いて算出する。つづいてサーバ動作制御部２３は、算出した上位長さ線分の方程式において全体画像データの縦方向に相当するｙ座標に所定の最大値および最小値の座標値を代入し、これらに対応するｘ座標をそれぞれ算出する。このようにしてサーバ動作制御部２３は、図５に示すように、すべての上位長さ線分における長さ方向両端部のｙ座標の最大値および最小値を統一している。

平均化線分生成処理（Ｓ－８）は、サーバ動作制御部２３が１０次処理データ内の伸長線分の中からｘ軸方向の所要長さ範囲に存在する伸長線分を抽出し、抽出した複数の伸長線分を平均化線分に置換し、平均化線分のデータを１１次処理データとして生成する処理である。本実施形態においては、サーバ動作制御部２３が１０次処理データ内の伸長線分のうちｘ軸との交点座標が最小の伸長線分を始点として、全体画像データにおけるｘ軸方向の長さの５％の範囲内でｘ軸との交点を有する伸長線分を抽出する。ここでは、全体画像データにおけるｘ軸方向の長さの５％の範囲内でｘ軸との交点を有する伸長線分のうち、ｘ軸との交点座標が最小の伸長線分に最も近い位置である伸長線分を抽出している。

次にサーバ動作制御部２３が、ｘ軸との交点におけるｘ座標の値の小さい２本の伸長線分のｘ軸方向の中間位置に先に抽出した２本の伸長線分を平均した第１平均化線分ＡＬ１を作成する処理を実行する。このようにしてｘ軸方向に隣り合う２本の伸長線分のｘ軸方向における中間位置に、ｘ軸に対する傾斜角度の平均傾斜角度を有する平均化線分が生成されることになる。またサーバ動作制御部２３は第１平均化線分ＡＬ１を作成する際に用いたｘ軸方向において隣り合う２本の伸長線分を消去する処理も行う。

図６を参照しながら本実施形態における２本の伸長線分を平均した平均化線分の算出方法について説明する。サーバ動作制御部２３は、２本の伸長線分Ｌ１，Ｌ２におけるｙ座標の最大値と、これに対応するｘ座標を平均した平均ｘ座標（第１端部どうしの中間位置に該当）による上端側のｘｙ座標Ｃ１を算出する。つづけてサーバ動作制御部２３は、２本の伸長線分Ｌ１，Ｌ２におけるｙ座標の最小値と、これに対応するｘ座標を平均した平均ｘ座標（第２端部どうしの中間位置に該当）による下端側のｘｙ座標Ｃ２を算出する。最後にサーバ動作制御部２３は、上端側のｘｙ座標Ｃ１と下端側のｘｙ座標Ｃ２を結ぶことにより第１平均化線分ＡＬ１を生成している。

サーバ動作制御部２３は、第１平均化線分ＡＬ１が作成された位置からｘ軸方向に全体画像におけるｘ軸方向の長さの５％の範囲内でｘ軸との交点を有する伸長線分の有無を確認する。新たに抽出すべき伸長線分がある場合、サーバ動作制御部２３は、第１平均化線分ＡＬ１と新たに抽出した伸長線分とのｘ軸方向における中間位置に、第１平均化線分ＡＬ１と新たに抽出した伸長線分のｘ軸に対する傾斜角の平均傾斜角を有する第２平均化線分ＡＬ２（図示はせず）を生成する。この後、サーバ動作制御部２３は第１平均化線分ＡＬ１と新たに抽出した伸長線分を消去する処理を実行する。

以上のようにしてサーバ動作制御部２３は、ｘ座標の値が最小の伸長線分Ｌ１の位置からｘ軸方向に全体画像におけるｘ軸方向の長さの５％の範囲内でｘ軸との交点を有する新たな伸長線分Ｌｎ（ｎは自然数）を抽出することができなくなるまで第ｎ平均化線分（ｎは自然数）生成ループを繰り返す。また、サーバ動作制御部２３は、以上の第ｎ平均化線分生成ループ処理を全体画像データのｘ軸方向の全範囲にわたって実行する。

以上に説明したような境界検出処理が実行されることにより、全体画像データのｘ軸方向には、図５に示したような多数の伸長線分が存在する状態から図７に示すような書籍どうしの境界線の候補となる第１平均化線分ＡＬ１～第ｎ平均化線分ＡＬｎに伸長線分が集約された状態にすることができる。なお、図７においては説明を簡便にするため、第１平均化線分ＡＬ１～第ｎ平均化線分ＡＬｎのうち第１平均化線分ＡＬ１～第７平均化線分ＡＬ７までを表示している。

次にサーバ動作制御部２３は、第１平均化線分ＡＬ１～第７平均化線分ＡＬ７の線分長さ方向の中点位置（平均化線分とｘ軸との交点座標）を算出し、算出したｘ軸との交点座標に基づいてそれぞれの平均化線分を並べ替える並べ替え処理（Ｓ－９）を実行する。これにより、第１平均化線分ＡＬ１～第７平均化線分ＡＬ７が全体画像データの書籍の並び方向における位置に基づいて並び順が変更される。なお、図７からも明らかであるが、本実施形態においては、並べ替え処理（Ｓ－９）の前後における第１平均化線分ＡＬ１～第７平均化線分ＡＬ７の並び順に変更はなかった。

続いてサーバ動作制御部２３は領域抽出処理（Ｓ－１０）を実行する。具体的には、図８に示すようにサーバ動作制御部２３が第１平均化線分ＡＬ１から第６平均化線分ＡＬ６のそれぞれにおいて、全体画像データの範囲内（並べ替え処理後の配置状態において）でこれらのそれぞれとは交差しない第２平均化線分ＡＬ２～第７平均化線分ＡＬ７を非交差平均化線分として抽出を実行する。続いてサーバ動作制御部２３は、第ｎ平均化線分、非交差平均化線分、および全体画像データの外周縁（ｙ座標の上限値と下限値）によって囲まれた第１領域Ｒ１～第６領域Ｒ６を抽出する処理を実行する。サーバ動作制御部２３は、以上に説明した領域を抽出する領域抽出処理（Ｓ－１０）は、第１平均化線分ＡＬ１～第６平均化線分ＡＬ６を対象にしてサーバ動作制御部２３によって繰り返し実行される。

このときサーバ動作制御部２３は、領域抽出処理（Ｓ－１０）においては、整列させた後の整列後平均化線分をｘ座標が小さい順（ｘ軸方向における並び順）に処理を行う。またサーバ動作制御部２３は、基準となる整列後平均化線分に対して複数の非交差整列後平均化線分がある場合、基準となる整列後平均化線分よりも整列方向の後側（ｘ座標が大きい）において最も近い位置における整列後平均化線分を抽出している。

サーバ動作制御部２３は、領域抽出処理（Ｓ－１０）によって抽出された各領域において、非交差平均化線分が同一である複数の領域がある場合（ここでは第１領域Ｒ１と第２領域Ｒ２）においては、書籍の領域である可能性が最も高い領域に限定する領域限定処理（Ｓ－１１）を追加的に実行することが好ましい。具体的には、サーバ動作制御部２３はそれぞれの第１領域Ｒ１と第２領域Ｒ２において第１平均化線分ＡＬ１および第３平均化線分ＡＬ３と、第２平均化線分ＡＬ２および第３平均化線分ＡＬ３のｘ軸に対する傾斜角度を算出すると共に両者の傾斜角度の差を傾斜角度差として算出する。

そして、サーバ動作制御部２３は、第１領域Ｒ１および第２領域Ｒ２における傾斜角度差が最も少ない領域を最確領域として抽出し、他の領域を削除する処理を実行する。本実施形態では第１領域Ｒ１を最確領域として設定し、第２領域Ｒ２を削除する処理が実行される。このようにすることで図９に示すように、第ｎ平均化線分を含む領域において不要な領域（ノイズ成分）を除去することができ、第ｎ平均化線分に対して唯一の第ｎ領域（ｎは自然数）に限定することができる。

また、本実施形態におけるサーバ動作制御部２３は、第１領域Ｒ１～第６領域Ｒ６におけるｘ軸方向における対向辺（第６平均化線分と非交差平均化線分）のｘ軸に対する傾斜角度の平均値を領域傾斜角度として算出する領域傾斜角度算出処理（Ｓ－１２）を実行する。またサーバ動作制御部２３は、図１０に示すように第１領域Ｒ１～第６領域Ｒ６におけるｘ軸方向における対向辺のそれぞれを領域傾斜角度算出処理（Ｓ－１２）で算出した領域傾斜角度となるように領域を変形する領域変形処理（Ｓ－１３）を実行させることもできる。続いてサーバ動作制御部２３は、全体画像データおよび各領域における座標データを水平面（ｘ軸）に対して領域傾斜角度回転させた際の座標値に座標変換する領域座標変換処理（Ｓ－１４）を実行することもできる。

つづいてサーバ動作制御部２３は、全体画像データに最確領域を照合して全体画像データから個別物品画像データである個別書籍画像データを抽出する個別書籍画像データ抽出処理（個別物品画像データ抽出処理）（Ｓ－１５）を実行する。具体的には、図１１に示すように、サーバ動作制御部２３は全体画像データのｘ軸方向の最小値の位置から第１領域Ｒ１を照合して全体画像データから第１領域Ｒ１の範囲と一致する範囲を第１個別書籍画像データとして抽出すると共にサーバ記憶部２２に記憶させる処理を第６領域Ｒ６まで繰り返し実行する。

以上のようにして、外部サーバ２０による画像補正処理と境界検出処理が終了し、全体画像データから個別書籍画像データ（個別物品画像データ）の抽出処理が完了する。

（ＯＣＲ処理）
サーバ動作制御部２３は、サーバ記憶部２２に記憶させた第１個別書籍画像データ～第ｎ個別書籍画像データのそれぞれに対して画像データ内文字抽出プログラムを用いたＯＣＲ処理（Ｓ－１６）を行う。画像データ内の文字情報を抽出するＯＣＲ処理については公知の手法を用いることができるため、ここでの詳細な説明は省略する。サーバ動作制御部２３は、ＯＣＲ処理によって個別書籍画像データから抽出したテキストデータをそれぞれの個別書籍画像データに紐づけしたテキスト付個別書籍画像データをサーバ記憶部２２に記憶させる処理を実行する。

ＯＣＲ処理時には、手書き文字の抽出、言語選択のオプションを適用すればテキストデータの抽出精度を高めることができる。なお、テキスト付個別書籍画像データの生成時に、サーバ動作制御部２３はＯＣＲ処理後における改行コードおよびダブルクォーテーションを半角スペースに変換する特定文字列変換処理をノイズ除去処理として実行することが好ましい。

（査定データサーチ処理）
サーバ動作制御部２３は、テキスト付個別書籍画像データのそれぞれに対し、Ｅｌａｓｔｉｃｓｅａｒｃｈ（国際登録番号１１１４８９３）に代表される全文検索ソフトウェアやインターネット上の全文検索エンジンを用いた検索処理（Ｓ－１７）を実行する。本実施形態においてはＥｌａｓｔｉｃｓｅａｒｃｈの全文検索エンジンが物品名称データベースに該当する。次にサーバ動作制御部２３は、Ｅｌａｓｔｉｃｓｅａｒｃｈからの検索結果データ（物品名称や表表紙画像データ）をテキスト付個別書籍画像データに紐づけした書籍査定用データを生成する書籍査定用データ生成処理（Ｓ－１８）を実行する。

検索結果データは、検索結果のうちの上位複数の検索結果データをテキスト付個別書籍画像データに紐づけすることもできる。このようにして得られたそれぞれの書籍査定用データは、サーバ動作制御部２３によってサーバ記憶部２２に記憶される。また、サーバ動作制御部２３は、書籍査定用データ生成処理（Ｓ－１８）を実行する際に、Ｅｌａｓｔｉｃｓｅａｒｃｈからの検索結果データに検索対象の書籍の表表紙の画像データを入手することができた場合には、全体画像データから抽出した書籍の背表紙の画像データを表表紙の画像データに置き換える処理を実行することもできる。

次にサーバ動作制御部２３は、国立国会図書館により提供された書籍データと、書籍の状態に応じた査定価格とを紐づけした物品査定価格データベースである書籍査定価格データベースＢＥＤＢを用いて書籍査定用データに対応する査定価格を抽出する査定価格抽出処理（Ｓ－１９）を実行する。書籍データとしては、書籍名、出版社名、ＩＳＢＮ番号、当初販売価格等に代表されるデータを例示することができる。なお、書籍査定価格データベースＢＥＤＢはサーバ記憶部２２に予め記憶させておくことができる。

次にサーバ動作制御部２３は、テキスト付個別書籍画像データまたは個別書籍画像データに書籍の査定価格を紐づけした個別査定価格データを生成する個別査定価格データ生成処理（Ｓ－２０）を実行すると共にサーバ記憶部２２に記憶させる処理を実行する。このとき、サーバ動作制御部２３は、１つのテキスト付個別書籍画像データまたは個別書籍画像データに紐づけする査定価格が複数ある場合には、書籍のコンディションに応じた査定価格を複数パターン紐づけした個別査定価格データを生成することもできる。このようにして得られた個別査定価格データは、サーバ動作制御部２３によって抽出順に通し番号を付した状態でサーバ記憶部２２に記憶される。

さらにサーバ動作制御部２３は、個別査定価格データに書籍のコンディションや市場における人気ランキングに応じた査定価格を算出するための査定用係数を追加的に紐づけすることもできる。このような市場における人気ランキングは、インターネット上に提供されている書籍人気ランキングを用いることができる。

（査定結果出力）
サーバ動作制御部２３は、サーバ通信部２１に個別査定価格データをユーザ端末１０に送信させる個別査定価格データ通知処理（Ｓ－２１）を実行する。端末動作制御部１５は、外部サーバ２０から送信された個別査定価格データを受信（Ｔ－５）すると、ユーザ端末出力部１４に表示した『査定中』等の表示を消す処理を実行する。これに続けて端末動作制御部１５は、図１２に示すように、個別査定価格データに基づいて、書籍の画像データ、書籍名称、および査定価格をセットにした査定結果をユーザ端末出力部１４に表示させる（Ｔ－６）。

このとき端末動作制御部１５は、個別査定価格データの個別書籍画像データ（背表紙の画像データおよび表表紙の画像データの少なくとも一方）を全体画像データに並列表示させることもできる。これにより、ユーザは、全体画像データに含まれているすべての書籍に対する査定が行われたことを容易に確認することができる。さらに端末動作制御部１５は、個別査定価格データ（個別書籍画像データ）の通し番号に基づいて査定結果を順次追加表示すると共に、それぞれの通し番号時点における合計査定価格を表示させることもできる。

ユーザは、ユーザ端末１０のユーザ端末出力部１４に表示された査定金額に基づいて書籍を売却するか否かの判断（Ｔ－７）を行い、書籍の売却をする場合（ＹＥＳルート）はユーザ端末出力部１４に表示されているすべての書籍の画像データまたは任意の書籍の画像データをクリック等により選択して査定を適用する書籍の選択（Ｔ－８）を行うこともできる。そして、ユーザ端末出力部１４に表示されている売却ボタンをクリックすることで選択した書籍の売却決定（Ｔ－９）をして、書籍査定システム１００を終了（ＥＮＤ）させることができる。

なお、ユーザが査定価格を参考しただけの場合や、査定金額に納得できない等により書籍の売却をしない場合や（ＮＯルート）には、ユーザ端末出力部１４に表示されているキャンセルボタンをクリックして書籍の売却をキャンセル（Ｔ－１０）して書籍査定システム１００を終了（ＥＮＤ）させることもできる。なお、売却決定をした以降の査定者への書籍の発送処理からユーザへの入金処理までの処理フローは従来技術のオンライン物品査定システムと同様にして行うことができるため、ここでの説明は省略する。

以上に本発明にかかる個別物品画像データ抽出用プログラムＰＧＭ１を用いた書籍査定システム１００について説明したが、本発明における個別物品画像データ抽出用プログラムおよび物品査定システムは、対象物品を書籍に限定するものではない。例えば、他の物品としては映画等の視聴用コンテンツが記録され専用ケースに収容された記録媒体等にも本発明を適用することができる。

また、本実施形態においては、複数の物品が横方向に並んでいる状態の全体画像データから個別の物品画像データを抽出する形態について説明しているが、この形態に限定されるものではない。複数の物品を高さ方向に積み上げた状態の全体画像データから個別の物品画像データを抽出する形態に代表されるように、複数物品が同一方向に並んでいる全体画像データであれば、全体画像データに含まれている個別の物品の画像データを抽出することができる。

また、以上の実施形態においては、書籍査定価格データベースＢＥＤＢがサーバ記憶部２２に予め記憶されている形態について説明しているが、書籍査定価格データベースＢＥＤＢをオンライン検索サービスとして利用する形態を採用することもできる。

また、本実施形態においては、境界検出処理と書籍の査定処理を行う外部サーバ２０を同一の外部サーバ２０で実行する形態について説明しているが、それぞれの処理に応じて複数の外部サーバ２０を用いた形態を採用することもできる。

また本実施形態においては、線分長さ計測処理（Ｓ－５）、上位長さ線分抽出処理（Ｓ－６）、領域限定処理（Ｓ－１１）、領域傾斜角度算出処理（Ｓ－１２）、領域変形処理（Ｓ－１３）および領域座標変換処理（Ｓ－１４）を実行する形態について説明しているが、これらの処理の一部またはすべてを省略した形態を採用することもできる。

また、本実施形態においては、全体画像データの書籍の並び方向（ｘ軸方向）の５％範囲内において第ｎ平均化線分（ｎは自然数）生成ループを実行しているが、この範囲に限定されるものではない。全体画像データにおける書籍の並び方向（ｘ軸方向）の範囲は、書籍査定システム１００において検出可能な書籍幅寸法等に応じて適宜の数値範囲を設定することができる。

また、以上の実施形態においては、端末動作制御部１５は全体画像データを外部サーバ２０に送信した後、ユーザ端末出力部１４に『査定中』等の表示を実行させて、ユーザ端末１０を待機状態にしているが、この形態に限定されるものではない。端末動作制御部１５は、全体画像データの送信後、書籍査定システム１００を終了させてもよい。そして、端末動作制御部１５はサーバ動作制御部２３から個別査定価格データを受信した際に、ユーザ端末出力部１４に『査定完了』や『査定結果のお知らせ』等の表示を実行させてユーザに書籍査定システム１００の再開を促すようにしてもよい。

このような場合、個別査定価格データはヘッダ情報に『査定完了の通知』等のメッセージを含ませた電子メールにより行うことが好ましい。端末動作制御部１５は予め指定した電子メールアドレスから電子メールを受信した際に、ヘッダ情報を抽出し、抽出内容が予め設定された内容である場合には、書籍査定システム１００の再開を促すメッセージをユーザ端末出力部１４に出力させることもできる。また、端末動作制御部１５は予め指定した電子メールアドレスから電子メールを受信した際に、ヘッダ情報を抽出し、抽出内容予め設定された内容である場合には、書籍査定システム１００を自動的に起動させる処理を実行してもよい。

また、以上の実施形態においては、ユーザに査定価格を提示した後に、ユーザに査定対象品の売却の要否について判断させるまでの処理について説明しているが、ユーザに査定価格を提示した段階で書籍査定システム１００の処理を停止することもできる。

また、以上に説明した本実施形態の構成に対し、明細書中に記載されている変形例や、他の公知の構成を適宜組み合わせた形態を採用することもできる。

１０ ユーザ端末，
１１ 撮影手段，１２ 端末記憶部，１３ 端末通信部，１４ ユーザ端末出力部，
１５ 端末動作制御部，
２０ 外部サーバ，
２１ サーバ通信部，２２ サーバ記憶部，２３ サーバ動作制御部，
１００ 書籍査定システム，
Ｎ ネットワーク，
ＰＧＭ サーバ動作制御プログラム，
ＰＧＭ１ 個別物品画像データ抽出用プログラム，
ＢＥＤＢ 書籍査定価格データベース

Claims (9)

1. コンピュータに、一方向に並んだ状態の複数の物品が撮影された全体画像データから前記物品を個別に抽出した個別物品画像データを抽出する動作を実行させるための個別物品画像データ抽出用プログラムであって、
   前記全体画像データにおける濃淡部分をそれぞれ強調する濃淡強調処理と、
   前記濃淡強調処理が行われた前記全体画像データからエッジ部分を線分として抽出する線分抽出処理と、
   前記線分抽出処理により抽出された前記線分の中から、前記物品の並び方向に対する傾斜角度が所定傾斜角度範囲内である限定角度線分のみを抽出する限定角度線分抽出処理と、
   前記抽出された線分の両端位置を、前記全体画像データの外周縁位置まで伸ばした伸長線分を作成する伸長線分作成処理と、
   前記全体画像データの前記物品の並び方向において所要長さ範囲内で隣り合う２本の前記伸長線分を抽出し、抽出された隣り合う２本の前記伸長線分の前記全体画像データの前記物品の並び方向における中間位置に、隣り合う２本の前記伸長線分の前記物品の並び方向に対する傾きを平均した平均化線分を生成し、隣り合う２本の前記伸長線分を消去し前記平均化線分と前記物品の並び方向において所要長さ範囲内において隣り合う新たな前記伸長線分を抽出し、前記平均化線分と抽出された新たな前記伸長線分の前記全体画像データの前記物品の並び方向における中間位置に、前記平均化線分と抽出された新たな前記伸長線分の前記物品の並び方向に対する傾きを平均した新たな前記平均化線分を生成する処理を、前記全体画像データの前記物品の並び方向における所要長さ範囲内で隣り合う新たな前記伸長線分を抽出することができなくなるまで繰り返すループを前記全体画像データの前記物品の並び方向における全範囲にわたって実行する平均化線分生成処理と、
   前記平均化線分における前記全体画像データの前記物品の並び方向における位置を算出し、算出した前記平均化線分の線分長さ方向の中点位置における前記全体画像データの前記物品の並び方向における位置の順番に前記平均化線分を並び替える並べ替え処理と、
   並べ替え処理後におけるそれぞれの前記平均化線分において、整列順に抽出した前記平均化線分と交差しない前記平均化線分を非交差平均化線分として抽出し、前記平均化線分と前記非交差平均化線分と前記全体画像データの外周縁とにより囲まれた領域を抽出する領域抽出処理と、
   前記領域を個別に前記全体画像データに照合させ、前記全体画像データに含まれている複数の前記物品から前記領域と一致する範囲を前記個別物品画像データとして抽出する個別物品画像データ抽出処理と、
   をコンピュータに実行させることを特徴とする個別物品画像データ抽出用プログラム。
2. 前記限定角度線分抽出処理の後に、
   前記限定角度線分抽出処理により抽出された前記限定角度線分の長さを計測する線分長さ計測処理と、
   前記限定角度線分から所定長さ以上の前記限定角度線分を上位長さ線分として抽出する上位長さ線分抽出処理をさらに前記コンピュータに実行させ、
   前記上位長さ線分抽出処理により抽出された前記上位長さ線分を前記抽出された線分として前記伸長線分作成処理を前記コンピュータに実行させることを特徴とする請求項１記載の個別物品画像データ抽出用プログラム。
3. 前記平均化線分生成処理は、前記全体画像データの前記物品の並び方向において隣り合う２本の前記伸長線分または前記平均化線分の長さ方向における第１端部どうしの中間位置および第２端部どうしの中間位置を結ぶことにより生成していることを特徴とする請求項１または２記載の個別物品画像データ抽出用プログラム。
4. 前記領域抽出処理は、前記非交差平均化線分を抽出する際において、整列させた前記平均化線分である整列後平均化線分を並び順に処理するものであって、基準となる並べ替え処理後における前記平均化線分から整列方向の後側において最も近い位置における並べ替え処理後における前記平均化線分を抽出することを特徴とする請求項１～３のうちのいずれか一項記載の個別物品画像データ抽出用プログラム。
5. 前記領域抽出処理により抽出された複数の前記領域のうち前記非交差平均化線分が同一である前記領域においては、
   それぞれの前記領域において並べ替え処理後における前記平均化線分と前記非交差平均化線分の前記物品の並び方向に対する前記傾斜角度を算出すると共に両者の角度差を算出し、前記角度差が少ない方の前記領域に限定する領域限定処理をさらに前記コンピュータに実行させることを特徴とする請求項１～４のうちのいずれか一項記載の個別物品画像データ抽出用プログラム。
6. 前記領域抽出処理の後に、複数の前記領域における前記物品の並び方向における対向辺について、前記物品の並び方向に対する傾斜角度の平均値を領域傾斜角度としてそれぞれ算出する領域傾斜角度算出処理を前記コンピュータに実行させた後、
   前記全体画像データと前記領域を水平面に向けて前記領域傾斜角度で回転させた後に前記個別物品画像データ抽出処理を前記コンピュータに実行させることを特徴とする請求項１～５のうちのいずれか一項記載の個別物品画像データ抽出用プログラム。
7. ネットワークを通じてデータ送受信可能に設けられたユーザ端末および外部サーバを具備する物品査定システムであって、
   前記ユーザ端末の端末動作制御部は、撮影手段により撮影され、または、端末記憶部に記憶されている複数物品が同一方向に並んだ全体画像データを端末通信部および前記ネットワークを介して前記外部サーバに送信する処理を実行し、
   前記外部サーバは少なくともサーバ動作制御部、サーバ記憶部およびサーバ通信部を有していると共に、前記サーバ動作制御部は、
   前記ユーザ端末から送信された前記全体画像データを前記サーバ記憶部に記憶させる処理と、
   前記サーバ記憶部に予め記憶されている請求項１～６のうちのいずれか一項に記載されている個別物品画像データ抽出用プログラムに基づいて前記サーバ記憶部に記憶させた前記全体画像データから個別物品画像データを抽出する処理と、
   前記サーバ記憶部に予め記憶されている画像データ内文字抽出プログラムに基づいて前記個別物品画像データ内の文字列を抽出する処理と、
   前記サーバ記憶部に予め記憶され、前記文字列と物品名称とが紐づけされた物品名称データベースに基づいて、前記文字列に紐づけられている前記物品名称を抽出する処理と、
   前記サーバ記憶部に予め記憶され、前記物品名称と査定価格とが紐づけされた物品査定価格データベースに基づいて、前記物品名称に紐づけられている前記査定価格を抽出する処理と、
   前記個別物品画像データに前記査定価格を紐づけした個別査定価格データを前記サーバ記憶部に記憶させる処理と、
   前記サーバ通信部および前記ネットワークを介して前記個別査定価格データを前記ユーザ端末に送信させる処理と、を実行させ、
   前記端末動作制御部は、
   ユーザ端末出力部に前記個別査定価格データに基づいた個別査定価格と、前記全体画像データ内に含まれているすべての個別物品の合計査定価格とをそれぞれ表示させる処理を実行させることを特徴とする物品査定システム。
8. 前記端末動作制御部は、
   前記ユーザ端末出力部に前記個別査定価格データに紐づけられた個別査定価格を表示させる際に、前記個別査定価格データに紐づけられた前記個別物品画像データと前記全体画像データを並列表示させることを特徴とする請求項７記載の物品査定システム。
9. 前記サーバ動作制御部は、前記全体画像データから個別物品画像データを抽出する際に前記個別物品画像データに抽出順の通し番号を付与する処理をさらに実行し、
   前記端末動作制御部は、
   前記ユーザ端末出力部に前記個別物品の合計査定価格を表示させる際に、前記個別査定価格データに紐づけられた前記個別物品画像データを前記通し番号に基づいて順次追加表示させることを特徴とする請求項７または８記載の物品査定システム。

Images