JP6303332B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6303332B2
JP6303332B2 JP2013176217A JP2013176217A JP6303332B2 JP 6303332 B2 JP6303332 B2 JP 6303332B2 JP 2013176217 A JP2013176217 A JP 2013176217A JP 2013176217 A JP2013176217 A JP 2013176217A JP 6303332 B2 JP6303332 B2 JP 6303332B2
Authority
JP
Japan
Prior art keywords
image
closed region
binarization threshold
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013176217A
Other languages
English (en)
Other versions
JP2015045966A (ja
Inventor
正樹 石原
正樹 石原
昌彦 杉村
昌彦 杉村
遠藤 進
進 遠藤
馬場 孝之
孝之 馬場
上原 祐介
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013176217A priority Critical patent/JP6303332B2/ja
Priority to US14/341,320 priority patent/US9514382B2/en
Priority to CN201410409160.1A priority patent/CN104424482B/zh
Publication of JP2015045966A publication Critical patent/JP2015045966A/ja
Application granted granted Critical
Publication of JP6303332B2 publication Critical patent/JP6303332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
農作物の納品先との間で事前に契約した納入時期や納入量を達成するために、農作物の生産者としては、農作物の収穫時期や収穫量を早期に予測できることが理想である。このような収穫予測を行う方法としては、生育途中の農作物の重量分布を定期的に調査する方法がある。重量分布とは、農作物それぞれの重量を計測し、横軸に重量、縦軸に個数をとった度数分布である。しかし、このような収穫予測を実現するためには、大量の農作物それぞれの重量を計測しなくてはならない。
このような問題に対し、収穫された複数のジャガイモをデジタルカメラで撮影した画像を基に、個々のジャガイモの面積を求め、求めた面積からジャガイモの重量を評価する方法が提案されている。ここで、ジャガイモの面積は、画像に映ったジャガイモの輪郭を基に求めることができる。
また、撮影した画像から農作物などの物体の輪郭を抽出する方法としては、撮影された画像に基づく画素ごとの特徴量を閾値と比較して、画像を二値化する方法がある。この特徴量としては、例えば、撮影された画像における画素値のヒストグラムをバックプロジェクションすることで得られるヒストグラム画像のデータを用いることができる。
なお、輪郭検出に関連する技術として、入力画像から抽出した楕円形の輪郭点のそれぞれについて楕円形のパラメータを推定し、それらのパラメータを輪郭点間で辻褄の合う値に更新する処理を反復することで、重なり合った楕円形を分離してパラメータを計測する、というものがある。
特開平7−200774号公報 特開2001−344607号公報
Bruce Marshall, Mark W. Young、"Automated on-farm assessment of tuber size distribution"、Decision Support Systems in Potato Production: Bringing Models to Practice、Wageningen Pers、2004年6月30日、p.101〜117 Gary Bradski, Adrian Kaehler、「詳解OpenCV」、株式会社オライリー・ジャパン、2009年8月24日、p.561〜562
ところで、ジャガイモなどの農作物が多数映っている画像を用いて、個々の農作物の面積を求め、それらの面積から農作物の重量を評価するためには、個々の農作物の輪郭を検出できる必要がある。この際の輪郭検出において、撮影した画像に基づく画素ごとの特徴量を閾値と比較して、画像を二値化するという前述の方法を用いた場合を考える。
この方法では、農作物のように外観が類似している物体が、画像において多数隣接している場合、閾値の設定の仕方によって、隣接する物体同士で輪郭が連結してしまうか、あるいは、実際の輪郭より内側が輪郭として検出されて輪郭に欠けが生じる、という問題がある。これら2つの問題を同時に解決することは困難であり、例えば、1つの閾値を用いると、ある場所では隣接する物体同士で輪郭が連結されてしまうが、別の場所では輪郭に欠けが生じる、という状態が発生する。
1つの側面では、本発明は、複数の物体それぞれの輪郭を高精度で検出することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
1つの案では、二値化処理部および輪郭検出部を有する次のような画像処理装置が提供される。この画像処理装置において、二値化処理部は、複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、画像の各画素の値を二値化して二値化画像を生成する処理を、二値化閾値を変化させながら実行して複数の二値化画像を生成する。輪郭検出部は、複数の二値化画像それぞれに現れる閉領域のうち、複数の二値化画像の間で領域の一部が重複する対応閉領域の面積を算出し、二値化閾値の変化に伴う対応閉領域の面積の変化率に基づいて、対応閉領域の境界を物体の輪郭として検出するために用いるべき二値化閾値を決定する。
また、1つの案では、上記画像処理装置と同様の処理が実行される画像処理方法が提供される。
さらに、1つの案では、上記画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
1態様によれば、複数の物体それぞれの輪郭を高精度で検出できる。
第1の実施の形態に係る画像処理装置の構成例および処理例を示す図である。 第2の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。 複数の物体が映った撮像画像の一例を示す図である。 ヒストグラムのバックプロジェクションによる濃淡画像の生成処理例を示す図である。 濃淡画像の二値化処理例を示す図である。 第2の実施の形態に係る画像処理装置の機能の構成例を示すブロック図である。 基準点の抽出例を示す図である。 閾値の変化に応じた閉領域の面積変化の例を示す図である。 第2の実施の形態に係る画像処理装置の処理例を示すフローチャートである。 第3の実施の形態に係る画像処理装置の機能の構成例を示すブロック図である。 分割領域の設定方法の例を示す図である。 閾値の変化に応じた部分閉領域の面積変化の例を示す図である。 物体に対して照明光が正面から当てられた場合の閉領域の例を示す図である。 物体に対して照明光が斜めから当てられた場合の閉領域の例を示す図である。 第3の実施の形態に係る画像処理装置の処理例を示すフローチャートである。
以下、本発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る画像処理装置の構成例および処理例を示す図である。画像処理装置1は、複数の物体が映った入力画像から、各物体の輪郭を検出する処理を行う。特に、画像処理装置1は、入力画像において、ある物体がその周囲の他の物体に接触している場合でも、その物体の輪郭を高精度に検出可能である。
画像処理装置1は、二値化処理部2および輪郭検出部3を有する。二値化処理部2および輪郭検出部3の処理は、例えば、画像処理装置1が備える図示しないプロセッサが所定のプログラムを実行することで実現される。
二値化処理部2は、入力画像における画素ごとの特徴量を所定の二値化閾値と比較することで、入力画像の各画素の値を二値化して二値化画像を生成する。また、二値化処理部2は、このような二値化画像の生成処理を二値化閾値を変化させながら実行して、複数の二値化画像を生成する。
ここで、特徴量としては、例えば、入力画像の画素値に基づく輝度情報や色情報を用いることができる。また、他の例として、次のような方法を用いることもできる。二値化処理部2は、輝度情報や色情報などの画素値に基づく値の、入力画像上の出現頻度を算出し、算出した出現頻度を入力画像の各画素にバックプロジェクションすることで、特徴量画像を生成する。上記の特徴量として、このような特徴量画像の画素値(出現頻度)を用いることもできる。
輪郭検出部3は、生成された複数の二値化画像それぞれに現れる閉領域のうち、これらの複数の二値化画像の間で領域の一部が重複する対応閉領域の面積を算出する。そして、輪郭検出部3は、二値化閾値の変化に伴う対応閉領域の面積の変化率に基づいて、対応閉領域の境界を物体の輪郭として検出するために用いるべき二値化閾値を決定する。
決定された二値化閾値を用いて形成される対応閉領域の境界を、1つの物体の輪郭として検出することで、その物体の輪郭が高精度に検出される。そして、上記の処理が、1つの二値化画像に現れる複数の対応閉領域それぞれについて実行されることで、入力画像に映った複数の物体それぞれの輪郭が高精度に検出される。
以下、物体の輪郭検出処理の一例について説明する。この処理例では、入力画像には、互いに隣り合い、かつ接触している物体11,12が映っているものとする。そして、物体11の輪郭を検出する場合を考える。
二値化処理部2は、二値化閾値TH1,TH2,TH3を用いて、それぞれ二値化画像P1,P2,P3を生成する(ステップS1)。なお、図1に示す二値化画像P1〜P3では、斜線領域が一方の画素値(例えば、値“1”)の領域を示し、斜線領域外の領域が他方の画素値(例えば、値“0”)の領域を示す。
この処理例では、二値化閾値TH1を用いたときに、二値化画像P1上に閉領域21,22が出現したものとする。二値化画像P1においては、閉領域21は、物体11の輪郭の内側に存在し、閉領域22は、物体12の輪郭の内側に存在している。
また、二値化閾値をTH1からTH2,TH3の順に変化させたとき、閉領域21は徐々に大きくなったものとする。二値化画像P2においては、閉領域21の輪郭は、物体11の輪郭にほぼ一致したものとする。また、二値化画像P3においては、閉領域21は、閉領域22と連結してしまい、物体12の輪郭の領域にまで拡大したものとする。
なお、二値化画像P1〜P3において、閉領域21は、領域の一部が重複する前述の「対応閉領域」に相当する。
輪郭検出部3は、二値化画像P1〜P3のそれぞれにおける閉領域21の面積を算出する(ステップS2)。そして、輪郭検出部3は、閉領域の21の面積の変化率に基づいて、閉領域21の境界を物体11の輪郭として検出するために用いるべき二値化閾値の最適値を決定する。
二値化閾値をTH1からTH2に変化させたとき、閉領域21は物体11の輪郭の内側において拡大する。一方、二値化閾値をTH2からTH3に変化させたとき、閉領域21は他の閉領域22と連結してしまう。このため、二値化閾値をTH2からTH3に変化させたとき、閉領域21の面積の変化率は急激に大きくなる。
この場合、二値化閾値をTH3に変化させる直前に生成された二値化画像P2における閉領域21の輪郭が、対応する物体11の輪郭に最も近いと推定される。そこで、輪郭検出部3は、閉領域21の面積の変化率が急激に大きくなったと判断すると、閉領域21が急激に拡大する直前の二値化画像P2を生成するために用いられていた二値化閾値TH2を、二値化閾値の最適値に決定する(ステップS3)。
従って、二値化閾値TH2を用いて生成された二値化画像P2における閉領域21の境界が、対応する物体11の輪郭として出力されることで、物体11の輪郭を高精度に検出することができる。
また、画像処理装置1は、上記と同様の処理手順により、閉領域22の面積の変化率に基づいて、閉領域22についての二値化閾値の最適値を決定することで、物体12の輪郭も高精度に検出できる。
〔第2の実施の形態〕
図2は、第2の実施の形態に係る画像処理装置のハードウェア構成例を示す図である。画像処理装置100は、例えば、図2のようなコンピュータとして実現される。
画像処理装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。またプロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
プロセッサ101には、バス108を介して、RAM(Random Access Memory)102と複数の周辺機器が接続されている。
RAM102は、画像処理装置100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
バス108に接続されている周辺機器としては、HDD(Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、読み取り装置106および通信インタフェース107がある。
HDD103は、画像処理装置100の補助記憶装置として使用される。HDD103には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、SSD(Solid State Drive)などの他の種類の不揮発性記憶装置を使用することもできる。
グラフィック処理装置104には、表示装置104aが接続されている。グラフィック処理装置104は、プロセッサ101からの命令に従って、画像を表示装置104aの画面に表示させる。表示装置104aとしては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、入力装置105aが接続されている。入力インタフェース105は、入力装置105aから出力される信号をプロセッサ101に送信する。入力装置105aとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
読み取り装置106には、可搬型記録媒体106aが脱着される。読み取り装置106は、可搬型記録媒体106aに記録されたデータを読み取ってプロセッサ101に送信する。可搬型記録媒体106aとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。
通信インタフェース107は、ネットワークを介して、他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像処理装置100の処理機能を実現することができる。
上記の画像処理装置100は、外部の撮像装置によって撮像された、複数の物体が映った撮像画像の画像データの入力を受け付け、この画像データを処理の対象とする。撮像装置としては、例えば、一般的に市販されているデジタルスチルカメラを用いることができる。画像データは、例えば、可搬型記録媒体106aを介して、あるいはネットワーク上の他の装置から通信インタフェース107を介して、画像処理装置100へ入力される。入力された画像データは、例えばHDD103に保存される。
本実施の形態では、撮像画像に映っている物体として、例えば、ジャガイモなどの同種類の農作物を想定する。ただし、以下で説明する個々の物体の輪郭検出処理において、本質的には、検出対象の個々の物体は農作物に限定されない。個々の物体としては、例えば、画像に映ったときに画像データから判断される特徴量に、ある程度の共通性を有するものであればよい。このような特徴量としては、色情報がある。また、物体の形状としては、撮像される側の表面が曲面状になっていることが望ましい。
なお、画像処理装置100は、例えば、農作物の生産者が操作する端末装置(例えば、パーソナルコンピュータなど)として実現される。また、他の例として、画像処理装置100は、インターネットなどの広域ネットワークに接続されたサーバ装置であってもよい。後者の場合、農作物の生産者は、例えば、農作物を撮像した撮像画像のデータを、端末装置からネットワークを介してクラウドサーバに送信し、農作物の輪郭検出や重量推定などの後述する処理の実行を依頼する。
図3は、複数の物体が映った撮像画像の一例を示す図である。図3に示す撮像画像に映っている物体201は、例えば、ジャガイモである。また、それぞれの物体201は、上下方向(すなわち、撮像装置から見て前後方向)に重ならないように平面的に並べられる。このような画像は、例えば、カゴの底面に並べられた多数の農作物を、カゴの上方から撮像することで得られる。
画像処理装置100は、図3のような撮像画像から、個々の物体201の輪郭を抽出する。また、画像処理装置100は、抽出された輪郭を基に、各物体201の撮像画像上の面積を算出する。物体201が農作物である場合、前述した非特許文献1に記載の技術などを用いて、算出された各物体201の面積を基に、各物体201の重量を推定することができる。
例えば、農作物の生産者は、生育途中の多数の農作物を収穫して、それらの農作物を図3のような状態で撮像する。画像処理装置100を用いて、撮像によって得られた画像から個々の農作物の重量を推定し、それらの農作物の重量分布を計算することができれば、生産者は、簡単な作業で農作物の収穫時期や収穫量を予測することができる。
本実施の形態において、画像処理装置100は、各物体201の輪郭を検出する方法として、撮像画像に基づく画素ごとの特徴量を閾値と比較して、画像を二値化し、各物体201の領域とそれらの背景の領域とを分離する方法を用いる。また、特徴量としては、撮像画像に基づく画素ごとの特徴量のヒストグラムをバックプロジェクションすることで得られる濃淡画像の画素値(すなわち、頻度)が用いられる。
ヒストグラムのバックプロジェクションを用いた輪郭検出法は、例えば、検出対象の物体のモデルを用いるモデルフィッティング法と比較して、農作物のように、外形や色、模様などの視覚的特徴が類似しているが一様でない非定型の物体の輪郭を高精度に検出できる方法として知られている。
ここで、ヒストグラムのバックプロジェクションを用いた輪郭検出手順の概要と、その問題点について説明する。
図4は、ヒストグラムのバックプロジェクションによる濃淡画像の生成処理例を示す図である。図4に示すように、濃淡画像の生成は、例えば、撮像画像211からの色サンプリング、ヒストグラムの算出、ヒストグラムのバックプロジェクションという手順で行われる。
色サンプリングでは、処理対象の撮像画像211の領域のうち、検出対象の物体が映った領域内にサンプリング領域212が設定される。サンプリング領域212は、例えば、撮像画像211を表示装置104aを介して視認する操作者の入力によって設定されてもよい。あるいは、撮像画像211から、色情報の値が検出対象の物体を識別するための一定の閾値範囲に含まれる連続的な領域が、画像処理装置100によって自動的に検出されてもよい。
図4の例では、サンプリング領域212は、撮像画像211に含まれる2つの物体213a,213bのうちの1つの領域内に設定されているが、サンプリング領域212は、2つ以上の物体それぞれの領域内に設定されてもよい。
色サンプリングでは、設定されたサンプリング領域212における画素値がサンプリングされ、サンプリングされた画素値を基にヒストグラムが算出される。図4の例では、H(Hue、色相)S(Saturation、彩度)およびV(Value、明度)のヒストグラム(以下、「HSVヒストグラム」と呼ぶ)214が算出される。なお、図4ではHSVヒストグラム214を平面的に描いているが、HSVヒストグラム214は、実際には、H、S、Vおよび頻度(画素数)の4軸を有するグラフとなる。
なお、ヒストグラムとしては、HSVヒストグラムの他、例えば、HおよびSのヒストグラム、輝度のヒストグラムなどを用いることもできる。
次に、算出されたHSVヒストグラム214を撮像画像211にバックプロジェクションすることで、頻度を画素値とする濃淡画像215が生成される。この処理では、画像処理装置100は、撮像画像211の各画素について、元の画素値に基づくHおよびSの値に対応する頻度をHSVヒストグラム214から判別し、判別した頻度を撮像画像211の対応する画素の位置に画素値として代入する。生成された濃淡画像215においては、画素値が大きいほど、その画素が検出対象の物体に属する確率が高いことを示し、画素値が小さいほど、その画素が検出対象の物体以外の背景領域に属する確率が高いことを示す。
次に、濃淡画像215の各画素の画素値を閾値と比較することで、濃淡画像215の二値化が行われる。この二値化処理では、例えば、画素値(頻度)が閾値以上である画素に値“1”が代入され、画素値(頻度)が閾値未満である画素に値“0”が代入される。このようにして濃淡画像215から変換された二値化画像においては、値“1”の領域が検出対象の物体の領域であると推定される。そして、値“1”の領域と値“0”の領域との境界が、物体の輪郭として抽出される。
図5は、濃淡画像の二値化処理例を示す図である。図5に示すグラフ221は、図4の濃淡画像215における左上の点X1と右下の点Y1とを結んだX1−Y1線に沿って、濃淡画像215における画素値(頻度)の分布を表したものである。また、図5では、それぞれ異なる閾値T1,T2を用いて生成された2つの二値化画像222,223も示している。なお、閾値T1は、閾値T2より大きいものとする。
図4の撮像画像211のように、検出対象の複数の物体が互いに隣接している場合には、物体それぞれの輪郭を高精度に抽出できるような閾値を設定することが難しいという問題がある。例えば、比較的大きい値である閾値T1を用いて二値化画像222を生成した場合、物体の実際の輪郭よりも物体の内側方向に輪郭が検出され、図5に斜線で示すような欠け領域222aが発生する可能性がある。一方、比較的小さい値である閾値T2を用いて二値化画像223を生成した場合、領域223aにおいて隣接する2つの物体の輪郭が連結してしまう可能性がある。
濃淡画像215における各物体の領域内の画素値は、例えば、それぞれの物体の形状、隣接する物体との接触位置との位置関係、光源からの光の当たり方などの要因によって、一様にはならない。また、これらの要因は物体ごとに異なるため、物体の領域内の画素値の分布は物体ごとに異なる。このため、ある1つの閾値を用いて濃淡画像215を二値化した場合、ある物体の輪郭が正確に抽出できたとしても、他の物体の輪郭に欠けが生じたり、さらに他の物体についてはその隣接物体と輪郭が連結する、といった事態が生じてしまう。
このような問題を解決するために、本実施の形態の画像処理装置100は、濃淡画像215を基に閾値を変化させながらその都度二値化画像を生成し、各物体の領域に対応する閉領域の面積を算出する。そして、画像処理装置100は、閾値の変化に伴う閉領域の面積の変化率を基に、変化させた閾値の中から最適な閾値を決定する。例えば、閉領域の面積が急激に変化するような閾値を探索することで、最適な閾値が決定される。
図6は、第2の実施の形態に係る画像処理装置の機能の構成例を示すブロック図である。画像処理装置100は、画像変換部111、基準点抽出部112、二値化処理部113、閾値探索部114および輪郭抽出部115を有する。これらの各部の処理は、例えば、画像処理装置100が備えるプロセッサ101が所定のプログラムを実行することで実現される。
画像変換部111は、複数の物体が映った撮像画像を、HSVヒストグラムの頻度を画素値とする濃淡画像に変換する。具体的には、画像変換部111は、撮像画像の画素値に基づくHおよびSの値からHSVヒストグラムを算出し、HSVヒストグラムを撮像画像にバックプロジェクションすることで、濃淡画像を生成する。
基準点抽出部112は、濃淡画像から、物体のそれぞれに対応する基準点を抽出する。具体的には、基準点抽出部112は、濃淡画像を距離変換して距離変換画像を生成し、距離変換画像における極大点を複数抽出し、各極大点の位置を基準点とする。
二値化処理部113は、画像変換部111によって変換された濃淡画像の各画素を閾値と比較することで二値化し、二値化画像を生成する。二値化処理部113による二値化処理の対象領域や、二値化の際に使用する閾値は、閾値探索部114から指定される。
閾値探索部114は、基準点抽出部112によって抽出された基準点ごとに、基準点に対応する物体の輪郭を抽出するための最適な閾値を探索する。具体的には、閾値探索部114は、二値化処理部113に、閾値を徐々に変化させながら二値化画像を生成させ、生成される二値化画像のそれぞれに現れる、基準点を包含する閉領域の面積を算出する。閾値探索部114は、閾値を変化させたときの閉領域の面積の変化率に基づいて、基準点ごとに最適な閾値を決定する。
輪郭抽出部115は、基準点ごとに、閾値探索部114によって決定された閾値を用いて生成された二値化画像上の閉領域の輪郭を抽出する。1つの基準点について抽出された輪郭は、撮像画像に映った1つの物体の輪郭に対応する。
以下、画像処理装置100の処理の詳細について説明する。
<濃淡画像への変換>
画像変換部111は、複数の物体が映った撮像画像を、HSVヒストグラムの頻度を画素値とする濃淡画像に変換する。濃淡画像の生成処理手順は図4で説明した通りであり、画像変換部111は、撮像画像の画素値に基づいてHSVヒストグラムを算出し、HSVヒストグラムを撮像画像にバックプロジェクションすることで、濃淡画像を生成する。
<基準点の抽出>
基準点抽出部112は、濃淡画像を距離変換して距離変換画像を生成し、距離変換画像における極大点を複数抽出する。各極大点の位置が基準点とされる。
距離変換とは、検出対象の物体を含む画像上の画素の値を、その画素から背景画像(検出対象の物体以外の画素)までの最短距離に置き換える処理である。これにより、物体が映っている領域の画素には、その物体の輪郭部からその画素までの距離が書き込まれる。距離変換処理は、例えば、初期化処理、ラスタスキャンによる距離変換、逆ラスタスキャンによる距離変換の各処理を含む。
まず、基準点抽出部112は、初期化処理として、濃淡画像を所定の閾値を用いて二値化する。この閾値としては、比較的緩い値(比較的小さい値)が用いられる。そして、基準点抽出部112は、得られた二値化画像を第1の距離変換画像に変換する。ここで、二値化画像および第1の距離変換画像における画素(i,j)の画素値を、それぞれp(i,j)、d1(i,j)とする。基準点抽出部112は、画素(i,j)のそれぞれについて、画素値p(i,j)が1の場合には画素値d1(i,j)に任意の最大値(ただし、最大値は1より大きい)を設定し、画素値p(i,j)が0の場合には画素値d1(i,j)に0を設定する。
次に、基準点抽出部112は、ラスタスキャンによる距離変換を行う。基準点抽出部112は、上記のようにして生成された第1の距離変換画像を左上端から右下端へラスタスキャンしながら、次の式(1)の演算を行うことで、第1の距離変換画像を第2の距離変換画像に変換する。ここで、第2の距離変換画像における画素(i,j)の画素値をd2(i,j)とする。また、“min{…}”は、{…}の中の値のうち最小値を選択することを意味する。
d2(i,j)=min{d1(i,j),d2(i−1,j)+1,d2(i,j−1)+1} ・・・(1)
次に、基準点抽出部112は、逆ラスタスキャンによる距離変換を行う。基準点抽出部112は、上記のようにして生成された第2の距離変換画像を右下端から左上端へ逆ラスタスキャンしながら、次の式(2)の演算を行うことで、第2の距離変換画像を最終的な第3の距離変換画像に変換する。ここで、第3の距離変換画像における画素(i,j)の画素値をd(i,j)とする。
d(i,j)=min{d2(i,j),d(i+1,j)+1,d(i,j+1)+1} ・・・(2)
次に、基準点抽出部112は、上記のようにして生成された距離変換画像の各画素を対象に、近傍画素の中で極大となる画素の位置を求める。例えば、基準点抽出部112は、画素(i,j)について、その画素を中心とする7画素×7画素の領域から、画素値が最大の位置(最大点)を探索するとともに、その画素値(最大値)を記憶する。基準点抽出部112は、この処理を距離変換画像の左上端から右下端へラスタスキャンしながら実行し、最大値が更新された場合には、更新された最大値の画素を新たな最大点として追加するとともに、記憶していた最大値を更新する。
基準点抽出部112は、このようにして探索された複数の最大点の中から、画素値が所定の閾値未満である点を除外してフィルタリングを行う。さらに、基準点抽出部112は、残った最大点の中から、互いの距離が所定の閾値未満である最大点のペアを抽出し、抽出したペアのうち画素値が小さい方の最大点を除外してクラスタリングを行う。基準点抽出部112は、このようにして絞り込まれた最大点を、基準点に決定する。
図7は、基準点の抽出例を示す図である。図7に示す濃淡画像231において、点線は、映っている各物体の実際の輪郭を示す。上記処理により、ほとんどの基準点は、それぞれ物体の輪郭の内部に抽出される。
なお、以上の基準点の算出方法はあくまで一例であり、例えば、ミーンシフト(MeanShift)法を用いて基準点を算出することもできる。
<最適な閾値の探索および輪郭抽出>
二値化処理部113は、画像変換部111によって変換された濃淡画像の各画素を閾値と比較することで二値化し、二値化画像を生成する。閾値探索部114は、二値化処理部113に、閾値を徐々に変化させながら二値化画像を生成させる。
前述のように、基準点抽出部112によって抽出された各基準点は、検出対象の物体の内部領域に位置すると推定される。このため、生成される二値化画像においては、各基準点を内包するような閉領域が現れる。この閉領域は、基準点に対応する物体の輪郭に相当する。なお、閉領域とは、基準点と同じ画素値を有する隣接した領域であり、本実施の形態では、基準点を内包する画素値“1”の領域である。閾値探索部114は、閾値を変化させながら、基準点ごとに各基準点を内包する閉領域の面積を算出する。
ここで、図8は、閾値の変化に応じた閉領域の面積変化の例を示す図である。図8に示す物体241a,241bは、それぞれ濃淡画像に実際に映っている物体である。物体241a,241bは隣り合い、かつ接触している。以下、物体241aを輪郭の検出対象とする。なお、物体241aの領域の内部には、基準点242が抽出されているものとする。物体241bの領域の内部にも、別の基準点が抽出されていてよいが、ここでは省略する。
濃淡画像の各画素の画素値を閾値と比較して二値化することで、基準点242の周囲には、基準点242を内包するように閉領域243が現れる。また、二値化の際に使用される閾値が変化することで、同じ基準点242を内包する閉領域243の形状は変化し、その面積も変化する。
グラフ244は、閾値の変化と、基準点242を内包する閉領域243の面積の変化との関係の例を示す。ここで、閾値探索部114は、閾値を段階的に変化させるものとする。図8のT(j−1),Tj,T(j+1)は、(j−1)番目、j番目、(j+1)番目にそれぞれ設定される閾値を示す。なお、閾値は等間隔で設定されるものとする。これにより、隣接する2つの閾値をそれぞれ用いて抽出された閉領域の面積の差分を、面積の変化率と考えることができる。
以下、図8に示すように、閾値を厳しい値から緩い値へ、すなわち大きい値から小さい値に変化させるものとする。グラフ245a〜グラフ245cは、図8中の点X2と点Y2とを結ぶX2−Y2線に沿った、濃淡画像の画素値(頻度)の分布を示す。
グラフ244に示すように、閾値が小さくなるほど、閉領域243の面積は大きくなる。閾値が例えばT(j−1)であるとき、閉領域243は、物体241aの実際の輪郭より内側に現れる。すなわち、この状態で閉領域243の境界線を輪郭として抽出した場合、輪郭の欠けが生じることになる。
また、閾値が例えばTjに低下すると、閉領域243は大きくなり、その面積も増加する。このとき、閉領域243は、物体241aの実際の輪郭と一致したものとする。
また、閾値が例えばさらにT(j+1)に低下すると、閉領域243はさらに大きくなり、その面積も増加する。このとき、閉領域243は、物体241aの実際の輪郭と、これに隣接する物体241bの実際の輪郭とが連結した領域にまで拡大してしまう。
ここで、閾値がTjまで徐々に小さくなる期間では、閉領域243はあくまで、物体241aの実際の輪郭の内部において徐々に拡大する。このため、閉領域243の面積の変化率dS1はあまり大きくない。一方、閾値がTjよりさらに小さくなると、閉領域243は、物体241a,241bの実際の輪郭が連結した領域にまで拡大する。このため、閉領域243の変化率dS2は急激に大きくなる。
そこで、閾値探索部114は、基準点242を包含する閉領域243の面積の変化率が急激に大きくなったことを検知すると、変化率が急激に大きくなる直前に設定されていた閾値を、基準点242に対応する最適な閾値と判断する。
図8の例では、閾値探索部114は、閾値T(j+1)を設定して生成された二値化画像から閉領域243の面積を算出し、面積の変化率が急激に大きくなったと判定する。そして、閾値探索部114は、直前に設定していた閾値Tjを、基準点242に対応する最適な閾値と判断する。
閾値探索部114は、閾値Tjを設定して得られる二値化画像を、二値化処理部113から輪郭抽出部115に出力させ、この二値化画像上の閉領域243を基に輪郭の抽出を実行させる。輪郭抽出部115は、閉領域243の境界を検出し、検出した境界を、基準点242に対応する輪郭として出力する。これにより、周囲の他の物体と接触している物体の輪郭を、高精度に検出できるようになる。
また、以上の二値化処理部113、閾値探索部114および輪郭抽出部115による処理が、基準点ごとに実行されることで、各基準点に対応する物体の輪郭が抽出される。
なお、図示しないが、輪郭抽出の対象となる物体に対して、他の物体が接触していない場合には、その物体の輪郭は次のようにして抽出される。この物体の領域の内部に基準点が抽出されると、閾値探索部114は、上記と同様に閾値を徐々に小さくしながら二値化処理部113に二値化画像を生成させる。これにより、基準点を包含する閉領域が生成され、閾値の低下に伴って閉領域は徐々に拡大する。しかし、物体には他の物体が接触していないことから、閉領域は物体の実際の輪郭と一致した時点で一旦飽和し、閉領域の面積の変化率が極端に小さくなる。
そこで、閾値探索部114は、基準点を包含する閉領域の面積の変化率が極端に小さくなったことを検知すると、変化率が極端に小さくなる直前に設定されていた閾値を、その基準点に対応する最適な閾値と判断する。これにより、周囲の他の物体と接触していない物体の輪郭も高精度に検出できるようになる。
図9は、第2の実施の形態に係る画像処理装置の処理例を示すフローチャートである。
[ステップS11]画像変換部111は、撮像画像の画素値に基づいてHSVヒストグラムを算出する。
[ステップS12]画像変換部111は、HSVヒストグラムを撮像画像にバックプロジェクションすることで、濃淡画像を生成する。
[ステップS13]基準点抽出部112は、濃淡画像を距離変換して距離変換画像を生成し、距離変換画像における極大点を複数抽出する。基準点抽出部112は、抽出された各極大点を、それぞれ物体に対応する基準点として出力する。このとき、基準点抽出部112は、濃淡画像における各基準点の座標を、例えばRAM102に保存する。
[ステップS14]閾値探索部114は、基準点を1つ選択する。
[ステップS15]閾値探索部114は、二値化処理部113に対して二値化処理のための閾値を設定する。
このステップS15で設定される閾値としては、段階的な所定数の値があらかじめ決められている。そして、ステップS15〜S17の処理は、決められた閾値の数だけ繰り返される。ステップS14の実行後の閾値の初回設定時(すなわち、1つの基準点に対応する閾値の初回設定時)には、決められた閾値のうちの最大値が二値化処理部113に設定される。それ以後、ステップS17で“No”と判定されてステップS15が実行されるたびに、ステップS15では1段階小さい閾値が設定される。
なお、ステップS14の実行後の初回設定時に設定される閾値は、二値化画像における対応する閉領域が、対応する1つの物体が映っている領域より小さくなるように決定される。このような閾値の初期値は、例えば、経験的な値として決められてもよい。あるいは、図9の処理開始時に、オペレータが、閾値を入力して二値化画像のサンプルを生成させ、生成された二値化画像のサンプルを目視して閾値の初期値を決定してもよい。決定された閾値は、例えば、照明環境、撮影角度や距離、画像サイズ、撮影対象の種類といった撮影条件が変化しなければ、その後に継続して使用可能である。
[ステップS16]二値化処理部113は、ステップS12で生成された濃淡画像を、ステップS15で設定された閾値を用いて二値化する。具体的には、二値化処理部113は、画素値(頻度)が閾値以上の画素に値“1”を代入し、閾値未満の画素に値“0”を代入することで、二値化画像を生成する。
閾値探索部114は、生成された二値化画像に現れる、該当基準点を内包する閉領域の面積を算出する。閉領域とは、該当基準点を内包し、かつ、該当基準点の画素値“1”と同じ画素値を有する隣接した領域である。
[ステップS17]閾値探索部114は、決められたすべての閾値を設定済みかを判定する。未設定の閾値がある場合、ステップS15の処理が実行され、すべての閾値が設定済みの場合、ステップS18の処理が実行される。
なお、上記のステップS16では、濃淡画像全体の領域が二値化される必要はなく、該当基準点を内包する1つの閉領域が抽出されるような領域が、最低限二値化されればよい。
例えば、濃淡画像に映る物体の大きさの最大値が予想できる場合には、予想される最大の物体が内包されるようなサイズより少し大きいサイズの矩形領域をあらかじめ決めておく。そして、閾値探索部114は、該当基準点を中心とする矩形領域を二値化処理部113に指定して、その矩形領域の二値化処理を実行させる。
また、他の例としては、1つの基準点についてステップS15〜S17が繰り返される際に、ステップS16の初回実行時に、閾値探索部114は二値化処理部113に、濃淡画像全体の二値化処理を実行させる。このとき、閾値探索部114は、該当基準点を内包する閉領域を抽出し、その閉領域の大きさに基づいて、閉領域が抽出される十分な大きさの二値化領域を決定して、その後のステップS16の実行時に指定する。また、ステップS16が実行されるたびに閉領域は大きくなることから、閾値探索部114は、ステップS16を実行するたびに二値化領域を徐々に大きくしてもよい。
[ステップS18]閾値探索部114は、ステップS16で算出された閉領域の面積を時系列に沿って並べたときに、面積の変化量が最初に、所定の上限閾値dSmax以上となるか、または所定の下限閾値dSmin(ただし、dSmin<dSmax)以下となる面積の組を特定する。
ここで、面積の変化量が上限閾値dSmax以上となる面積の組が特定された場合、閾値探索部114は、特定された面積の組のうち前者の面積(時系列的に前の面積)の算出時に二値化処理部113に設定していた閾値を、該当基準点に対応する物体の輪郭検出のための最適閾値と判定する。なお、前述のように、面積の変化量が上限閾値dSmax以上となる面積の組が特定される場合とは、閉領域が、対応する物体の実際の輪郭の領域と、隣接する物体の実際の輪郭の領域と連結する領域まで拡大してしまう場合である。
また、面積の変化量が下限閾値dSmin以下となる面積の組が特定された場合、閾値探索部114は、特定された面積の組のうちの一方の面積(例えば、後者の面積)の算出時に二値化処理部113に設定していた閾値を、該当基準点に対応する物体の輪郭検出のための最適閾値と判定する。なお、前述のように、面積の変化量が下限閾値dSmin以下となる面積の組が特定される場合とは、対応する物体が周囲の物体に接触しておらず、閉領域の大きさが飽和する場合である。
[ステップS19]閾値探索部114は、ステップS18で判定した最適閾値を用いて生成された二値化画像を二値化処理部113に出力させる。この二値化画像は、ステップS16で生成済みの、対応する閉領域を包含する二値化対象領域のみの二値化画像であってよい。
輪郭抽出部115は、二値化処理部113から出力された二値化画像における対応する閉領域の境界を検出し、検出された境界を、ステップS14で選択した基準点に対応する物体の輪郭として出力する。
[ステップS20]閾値探索部114は、ステップS13で抽出されたすべての基準点を選択済みかを判定する。選択されていない基準点がある場合には、ステップS14の処理が実行される。一方、全基準点が選択済みの場合、処理が終了する。なお、後者の場合、図示しないが、画像処理装置100は、抽出された各物体の輪郭を基に、撮像画像における各物体の面積を算出してもよい。さらに、画像処理装置100は、算出された各物体の面積を基に、各物体の推定重量を算出してもよい。
以上説明した第2の実施の形態によれば、撮像画像において、輪郭検出対象の物体がその周囲の他の物体と接触している場合でも、各物体の輪郭を正確に検出することができる。また、撮像画像の中に、周囲の他の物体と接触していない物体が含まれている場合でも、その物体についても輪郭を正確に検出することができる。
なお、上記の第2の実施の形態では、最初に各物体に対応する基準点を抽出して、基準点ごとに閉領域の面積の変化率を算出した。しかし、基準点を用いずに、閾値を変えながら生成される二値化画像間で対応する閉領域ごとに、面積の変化率を評価し、最適閾値を求めることもできる。ここで言う「対応する閉領域」とは、例えば、領域の一部が重複する閉領域である。
ただし、物体それぞれに対する照明の当たり方などの条件により、閾値を変化させたときの閉領域の変化の仕方は様々であり、二値化画像間で対応する閉領域を判定することが困難な場合がある。これに対し、上記のように物体に対応する基準点(極大点)を抽出して基準点ごとに閉領域の面積の変化率を算出することで、個々の物体に対応する閉領域を高精度に推測できるようになる。その結果、全体として輪郭検出精度を向上させることができる。
また、輪郭抽出部115は、ステップS19で閉領域の輪郭を抽出したとき、その輪郭の円形度あるいはアスペクト比(あるいはそれらの両方)を算出し、算出された値が所定の閾値範囲内であるかを判定してもよい。算出された値が所定の閾値範囲外である場合、目的とする物体の輪郭が正確に検出されていない可能性がある。そこで、画像処理装置100は、該当する基準点についてステップS15〜S19の処理を再実行する。このとき、例えば、ステップS15で設定する閾値のステップ幅を小さくしたり、設定する閾値のレンジを変更してもよい。これにより、目的とする物体を正確に検出し、その輪郭の検出精度を向上させることができる。
〔第3の実施の形態〕
上記の第2の実施の形態では、基準点ごとに閉領域の面積の変化率を算出して、基準点ごとに最適閾値を判定した。これに対して、以下の第3の実施の形態は、基準点を通る複数の分割線によって分割された分割領域ごとに、閉領域の面積の変化率を算出するように、第2の実施の形態を変形したものである。このような方法を用いることで、撮像画像に映った物体に照明の当たり方のバラツキがあった場合でも、物体ごとの輪郭を高精度に検出できるようにする。
図10は、第3の実施の形態に係る画像処理装置の機能の構成例を示すブロック図である。なお、図10では、図6と同じ処理を行う処理ブロックには同じ符号を付して示しており、それらの説明を省略する。
第3の実施の形態に係る画像処理装置100aは、第2の実施の形態と同様の画像変換部111、基準点抽出部112、二値化処理部113および輪郭抽出部115を有する。また、画像処理装置100aは、第2の実施の形態の閾値探索部114の代わりに、閾値探索部114aを有し、さらに、領域分割部121および領域統合部122を有する。これらの各部の処理は、例えば、画像処理装置100aが備えるプロセッサが所定のプログラムを実行することで実現される。
領域分割部121は、基準点抽出部112によって抽出された基準点ごとに、各基準点の周囲領域を複数の分割領域に分割する。
閾値探索部114aは、第2の実施の形態と同様に、二値化処理部113に、閾値を徐々に変化させながら二値化画像を生成させる。ただし、閾値探索部114aは、基準点に対応する閉領域の輪郭を検出するための二値化時の最適な閾値を、基準点ごとではなく、分割領域ごとに決定する。
これにより、1つの基準点の周囲に形成された分割領域ごとに最適な閾値を用いて閉領域が生成される。領域統合部122は、これらの閉領域を統合して、1つの基準点に対応する閉領域に変換する。そして、変換された閉領域に基づいて、輪郭抽出部115によって物体に対応する輪郭が検出される。
図11は、分割領域の設定方法の例を示す図である。領域分割部121は、各基準点の周囲領域を、基準点を通る複数の分割線によって分割する。これにより、基準点を中心とした放射状に分割領域が形成される。そして、閾値探索部114aは、二値化のための閾値を変化させながら、分割領域ごとに閉領域の面積の変化率を算出し、分割領域ごとに最適閾値を判定する。
図11の例では、基準点251を通る2本の分割線252a,252bによって、基準点251の周囲領域が4つの分割領域に分割されている。従って、二値化画像に現れる、基準点251を内包する閉領域も、分割線252a,252bによって4つに分割される。
以下、閉領域が分割線によって分割された領域のそれぞれを、部分閉領域と呼ぶ。部分閉領域はそれぞれ、2本の分割線と、それら2本の分割線が交差する位置にある基準点とに接し、その基準点と同じ画素値“1”を有する隣接する領域である。図11の例では、分割線252a,252bにより、基準点251の左上に部分閉領域253aが形成され、右上に部分閉領域253bが形成され、右下に部分閉領域253cが形成され、左下に部分閉領域253dが形成される。
なお、図11に示す二値化領域254は、基準点251に対応する二値化の対象領域であり、これは図9のステップS16で二値化が行われる領域に対応する。閾値探索部114aは、例えば、二値化領域254を、それぞれ分割領域に対応する部分二値化領域255a〜255dに分割し、これらの部分二値化領域255a〜255dごとに、二値化処理部113に二値化処理を実行させる。
なお、部分二値化領域255a〜255dのそれぞれは、二値化のための閾値が変更されるたびに、その内部に現れる部分閉領域の大きさに応じて変更されてもよい。すなわち、部分二値化領域の大きさは、分割領域ごとに、対応する部分閉領域が内包されるような十分な大きさに設定されればよい。
次に、図12〜図14を用いて、分割領域ごとに最適閾値を決定することの意義について説明する。
図12は、閾値の変化に応じた部分閉領域の面積変化の例を示す図である。図12では、部分二値化領域255a〜255dから、二値化処理によってそれぞれ部分閉領域253a〜253dが形成されたとする。また、グラフ261a〜261dは、部分二値化領域255a〜255dのそれぞれについて個別に閾値を変化させたときの、部分閉領域253a〜253dの面積の遷移を示す。
また、Ta〜Tdは、部分二値化領域255a〜255dのそれぞれについての最適閾値を示す。これらの最適閾値Ta〜Tdは、部分閉領域253a〜253dのそれぞれについて図9のステップS18と同様の判定を行うことで得られたものである。
これらのグラフ261a〜261dに示すように、部分二値化領域ごとに、そこに現れる部分閉領域を最適化するような最適閾値が異なる場合がある。例えば、部分二値化領域255bにおける最適閾値Tbは、部分二値化領域255aにおける最適閾値Taより小さい。このため、例えば、部分二値化領域255bを、部分二値化領域255の最適閾値Taを用いて二値化した場合には、輪郭の欠けが生じる可能性がある。また、部分二値化領域255b〜255dのそれぞれにおいては、検出対象の物体には他の物体が接していない。それにもかかわらず、部分二値化領域255b〜255dにそれぞれ対応する最適閾値Tb〜Tdも、互いに異なる。
このように、部分二値化領域ごとに最適閾値が異なることの主な要因としては、映っている物体に対する照明の当たり方が部分二値化領域ごとに異なることが挙げられる。例えば、図3のように多数の物体が撮像されたときに、撮像装置とほぼ同じ位置に照明光源があったとする。この場合、撮像画像の中央部に映る物体には、照明光が正面から当たる。一方、撮像画像の隅に位置する物体ほど、照明光の照射角度は斜めになる。
ここで、照明光の当たり方に応じた閉領域の例について説明する。図13は、物体に対して照明光が正面から当てられた場合の閉領域の例を示す図である。また、図14は、物体に対して照明光が斜めから当てられた場合の閉領域の例を示す図である。
なお、図13および図14のいずれも、基準点を通る本の分割線271a〜271dによって、基準点の周囲領域が8つの分割領域D1〜D8に分割されている。また、図13のグラフ272aは、物体273aの内部に抽出された基準点274aの周囲領域を分割した分割領域D1〜D8のそれぞれについて、閾値を変化させながら二値化を行ったときに、形成された部分閉領域の面積の遷移を示したものである。また、図14のグラフ272bも同様に、物体273bの内部に抽出された基準点274bの周囲領域を分割した分割領域D1〜D8のそれぞれについて、閾値を変化させながら二値化を行ったときに、形成された部分閉領域の面積の遷移を示したものである。
図13の例では、物体273aに対してほぼ正面から照明光が当たっている。このため、照明光の反射光は、基準点274aから物体273aの輪郭に対して、どの角度についても同じように減衰する。この場合、図13のグラフ272aに示すように、どの分割領域D1〜D8に対応する最適閾値も、ほぼ同じ値(Tp)に特定される。
ここで、図13の下図に示す輪郭275aは、第2の実施の形態の方法を用いて、閾値Tpにより濃淡画像を二値化することで得られた閉領域の輪郭を示す。この輪郭275aは、多少の輪郭の欠けが発生しているものの、物体273aの実際の輪郭に概ね沿った位置に抽出されている。この図13の例では、照明光が正面から当たっていることから、分割領域ごとに求めた最適閾値を使用した場合でも、基準点274aの周囲全体について1つだけ求めた最適閾値を使用した場合でも、輪郭の検出精度は大きく変わらない。
一方、図14の例では、物体273bに対して例えば左上方向から照明光が当たっている。このため、照明光の反射光は、基準点274bから物体273bの輪郭に対して、角度によって減衰の仕方が変わる。例えば、基準点274bから左上に対しては当初緩やかに減衰し、物体273bの輪郭に近づくにつれて急激に減衰する。一方、基準点274bから右下方向に対しては、当初から急激に減衰する。
このような場合、図14のグラフ272bに示すように、分割領域D1〜D8にそれぞれ対応する最適閾値は、たとえそれらのいくつかがほぼ同じ値(Tq)になったとしても、すべてが同じ値にはならない。
ここで、図14の下図に示す輪郭275bは、第2の実施の形態の方法を用いて、閾値Tqにより濃淡画像を二値化することで得られた閉領域の輪郭を示す。この輪郭275bは、基準点274bの上側や左側については、物体273bの実際の輪郭に概ね沿っている。しかしながら、輪郭275bは、基準点274bの右下側において物体273bの実際の輪郭よりも内側に大きく離れており、大きな輪郭の欠けが発生している。
以上の図13および図14の例のように、基準点の周囲領域全体について1つの最適閾値を用いて輪郭を検出した場合には、撮像された物体の位置に応じた、照明光の入射角などの照明条件の違いが要因となって、輪郭を精度よく検出できない場合があった。これに対して、本実施の形態の画像処理装置100aは、分割領域ごとに求めた最適閾値を用いて二値化を行い、最適な部分閉領域を出力する。そして、基準点ごとに、出力された複数の部分閉領域を統合して1つの閉領域を形成し、形成した閉領域の輪郭を抽出する。これにより、輪郭の検出精度を向上させる。
図15は、第3の実施の形態に係る画像処理装置の処理例を示すフローチャートである。
[ステップS21]図9のステップS11〜S13と同様の処理が実行される。すなわち、画像変換部111は、撮像画像の画素値に基づいてHSVヒストグラムを算出し、HSVヒストグラムを撮像画像にバックプロジェクションすることで、濃淡画像を生成する。基準点抽出部112は、濃淡画像を距離変換して距離変換画像を生成し、距離変換画像における極大点を、基準点として複数抽出する。
[ステップS22]閾値探索部114aは、基準点を1つ選択する。領域分割部121は、選択された基準点の周囲領域を、所定の2つ以上の分割線によって分割領域に分割する。
[ステップS23]閾値探索部114aは、領域分割部121によって分割された分割領域を1つ選択する。
[ステップS24]閾値探索部114aは、二値化処理部113に対して二値化処理のための閾値を設定する。
ここで、ステップS24〜S26の処理は、決められた閾値の数だけ繰り返される。ステップS23の実行後の閾値の初回設定時(すなわち、1つの分割領域に対応する閾値の初回設定時)には、決められた閾値のうちの最大値が二値化処理部113に設定される。それ以後、ステップS26で“No”と判定されてステップS24が実行されるたびに、ステップS24では1段階小さい閾値が設定される。
[ステップS25]二値化処理部113は、ステップS21で生成された濃淡画像を、ステップS24で設定された閾値を用いて二値化する。具体的には、二値化処理部113は、画素値(頻度)が閾値以上の画素に値“1”を代入し、閾値未満の画素に値“0”を代入することで、二値化画像を生成する。
閾値探索部114aは、生成された二値化画像における分割領域に現れる、該当基準点を含む部分閉領域の面積を算出する。
なお、ステップS25での二値化対象領域としては、例えば、図11で説明した部分二値化領域が設定される。このような二値化対象領域は、閾値探索部114aから二値化処理部113に対して設定される。
[ステップS26]閾値探索部114aは、決められたすべての閾値を設定済みかを判定する。未設定の閾値がある場合、ステップS24の処理が実行され、すべての閾値が設定済みの場合、ステップS27の処理が実行される。
[ステップS27]閾値探索部114aは、ステップS25で算出された部分閉領域の面積を時系列に沿って並べたときに、面積の変化量が最初に、所定の上限閾値dSmax以上となるか、または所定の下限閾値dSmin(ただし、dSmin<dSmax)以下となる面積の組を特定する。そして、閾値探索部114aは、特定された面積の組に基づいて、最適閾値を判定する。
このステップS27での最適閾値の判定処理は、面積算出の対象が閉領域全体ではなく部分閉領域であること以外は、図9のステップS18と同様である。
[ステップS28]閾値探索部114aは、ステップS27で判定した最適閾値を用いて生成された二値化画像を二値化処理部113に出力させる。この二値化画像は、ステップS25で生成済みの、対応する部分閉領域を包含する二値化対象領域のみの二値化画像であってよい。
[ステップS29]閾値探索部114aは、ステップS23で分割されたすべての分割領域を選択済みかを判定する。選択されていない分割領域がある場合には、ステップS23の処理が実行され、すべての分割領域が選択済みの場合は、ステップS30の処理が実行される。
[ステップS30]領域統合部122には、二値化処理部113によって二値化された、1つの基準点に対応する分割領域ごとの二値化画像が入力されている。領域統合部122は、閾値探索部114aの制御の下で、これらの二値化画像を統合して、対応する基準点の周囲領域が含まれる二値化画像を生成する。これにより、各分割領域に対応する二値化画像に形成されていた部分閉領域が、1つの閉領域に結合される。
輪郭抽出部115は、結合された閉領域の境界を検出し、検出された境界を、ステップS22で選択された基準点に対応する物体の輪郭として出力する。
[ステップS31]閾値探索部114aは、ステップS21で抽出されたすべての基準点を選択済みかを判定する。選択されていない基準点がある場合には、ステップS22の処理が実行される。一方、全基準点が選択済みの場合、処理が終了する。なお、後者の場合、図示しないが、画像処理装置100aは、抽出された各物体の輪郭を基に、撮像画像における各物体の面積を算出してもよい。さらに、画像処理装置100aは、算出された各物体の面積を基に、各物体の推定重量を算出してもよい。
以上説明した第3の実施の形態によれば、撮像画像に映った各物体への照明光の当たり方が一様でない場合でも、各物体の輪郭を高精度に検出することができる。
また、第2の実施の形態と同様に、輪郭抽出部115は、ステップS30で閉領域の輪郭を抽出したとき、その輪郭の円形度あるいはアスペクト比(あるいはそれらの両方)を算出し、算出された値が所定の閾値範囲内であるかを判定してもよい。算出された値が所定の閾値範囲外である場合、目的とする物体の輪郭が正確に検出されていない可能性がある。そこで、画像処理装置100aは、該当する基準点についてステップS23〜S30の処理を再実行する。このとき、例えば、ステップS24で設定する閾値のステップ幅を小さくしたり、設定する閾値のレンジを変更してもよい。これにより、目的とする物体を正確に検出し、その輪郭の検出精度を向上させることができる。
なお、上記の各実施の形態に示した装置(画像処理装置1、100,100a)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc-Read Only Memory)、CD−R(Recordable)/RW(Rewritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
以上の各実施の形態に関し、さらに以下の付記を開示する。
(付記1) 複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成する二値化処理部と、
前記複数の二値化画像それぞれに現れる閉領域のうち、前記複数の二値化画像の間で領域の一部が重複する対応閉領域の面積を算出し、前記二値化閾値の変化に伴う前記対応閉領域の面積の変化率に基づいて、前記対応閉領域の境界を物体の輪郭として検出するために用いるべき前記二値化閾値を決定する輪郭検出部と、
を有することを特徴とする画像処理装置。
(付記2) 前記二値化閾値は、前記対応閉領域が徐々に大きくなるように変化し、
前記輪郭検出部は、前記二値化閾値の変化に伴って連続して生成される2つの二値化画像の間で、前記対応閉領域の面積の変化率が所定の上限閾値以上になった場合に、当該2つの二値化画像のうち前側の二値化画像における前記対応閉領域の境界を、物体の輪郭として検出する、
ことを特徴とする付記1記載の画像処理装置。
(付記3) 前記輪郭検出部は、前記2つの二値化画像の間で、前記対応閉領域の面積の変化率が、前記上限閾値より小さい所定の下限閾値以下になった場合には、当該2つの二値化画像のいずれかにおける前記対応閉領域の境界を、物体の輪郭として検出することを特徴とする付記2記載の画像処理装置。
(付記4) 前記二値化処理部は、前記画像における各画素の画素値に基づく値の頻度を、前記画像の各画素にバックプロジェクションすることで特徴量画像を生成し、前記特徴量画像の各画素の値を前記二値化閾値と比較することで前記二値化画像を生成することを特徴とする付記1〜3のいずれか1つに記載の画像処理装置。
(付記5) 前記輪郭検出部は、前記特徴量画像に対して距離変換を行い、変換後の画像における極大点を、物体ごとの基準点として抽出し、前記対応閉領域の面積として、前記複数の二値化画像それぞれに現れる、同一の前記基準点を内包する閉領域の面積を算出することを特徴とする付記4記載の画像処理装置。
(付記6) 前記輪郭検出部は、前記画像における画素ごとの前記特徴量に基づいて、物体ごとの基準点を抽出し、前記対応閉領域の面積として、前記複数の二値化画像それぞれに現れる、同一の前記基準点を内包する閉領域の面積を算出する、
ことを特徴とする付記1〜3のいずれか1つに記載の画像処理装置。
(付記7) 前記輪郭検出部は、前記基準点の周囲領域を複数の分割領域に分割し、各分割領域に現れる、前記対応閉領域の一部である部分閉領域の面積を算出し、前記二値化閾値の変化に伴う前記部分閉領域の面積の変化率に基づいて、前記部分閉領域の境界を物体の輪郭の一部として検出するために用いるべき前記二値化閾値を、分割領域ごとに決定することを特徴とする付記6記載の画像処理装置。
(付記8) 複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成し、
前記複数の二値化画像それぞれに現れる閉領域のうち、前記複数の二値化画像の間で領域の一部が重複する対応閉領域の面積を算出し、
前記二値化閾値の変化に伴う前記対応閉領域の面積の変化率に基づいて、前記対応閉領域の境界を物体の輪郭として検出するために用いるべき前記二値化閾値を決定する、
ことを特徴とする画像処理方法。
(付記9) 前記二値化閾値は、前記対応閉領域が徐々に大きくなるように変化し、
前記面積の変化率に基づく決定処理では、前記二値化閾値の変化に伴って連続して生成される2つの二値化画像の間で、前記対応閉領域の面積の変化率が所定の上限閾値以上になった場合に、当該2つの二値化画像のうち前側の二値化画像における前記対応閉領域の境界を、物体の輪郭として検出する、
ことを特徴とする付記8記載の画像処理方法。
(付記10) 前記2つの二値化画像の間で、前記対応閉領域の面積の変化率が、前記上限閾値より小さい所定の下限閾値以下になった場合には、当該2つの二値化画像のいずれかにおける前記対応閉領域の境界を、物体の輪郭として検出する、
処理をさらに含むことを特徴とする付記9記載の画像処理方法。
(付記11) 前記画像における各画素の画素値に基づく値の頻度を、前記画像の各画素にバックプロジェクションすることで特徴量画像を生成する処理をさらに含み、
前記二値化画像の生成では、前記特徴量画像の各画素の値を前記二値化閾値と比較することで前記二値化画像を生成する、
ことを特徴とする付記8〜10のいずれか1つに記載の画像処理方法。
(付記12) 前記特徴量画像に対して距離変換を行い、変換後の画像における極大点を、物体ごとの基準点として抽出する処理をさらに含み、
前記対応閉領域の面積の算出では、前記対応閉領域の面積として、前記複数の二値化画像それぞれに現れる、同一の前記基準点を内包する閉領域の面積を算出する、
ことを特徴とする付記11記載の画像処理方法。
(付記13) 前記画像における画素ごとの前記特徴量に基づいて、物体ごとの基準点を抽出する処理をさらに含み、
前記対応閉領域の面積の算出では、前記対応閉領域の面積として、前記複数の二値化画像それぞれに現れる、同一の前記基準点を内包する閉領域の面積を算出する、
ことを特徴とする付記8〜10のいずれか1つに記載の画像処理方法。
(付記14) 前記面積の変化率に基づく決定処理では、前記基準点の周囲領域を複数の分割領域に分割し、各分割領域に現れる、前記対応閉領域の一部である部分閉領域の面積を算出し、前記二値化閾値の変化に伴う前記部分閉領域の面積の変化率に基づいて、前記部分閉領域の境界を物体の輪郭の一部として検出するために用いるべき前記二値化閾値を、分割領域ごとに決定することを特徴とする付記13記載の画像処理方法。
(付記15) コンピュータに、
複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成し、
前記複数の二値化画像それぞれに現れる閉領域のうち、前記複数の二値化画像の間で領域の一部が重複する対応閉領域の面積を算出し、
前記二値化閾値の変化に伴う前記対応閉領域の面積の変化率に基づいて、前記対応閉領域の境界を物体の輪郭として検出するために用いるべき前記二値化閾値を決定する、
処理を実行させることを特徴とする画像処理プログラム。
1 画像処理装置
2 二値化処理部
3 輪郭検出部
11,12 物体
21,22 閉領域
P1〜P3 二値化画像
S1〜S3 ステップ
TH1〜TH3 二値化閾値

Claims (8)

  1. 第1物体と、前記第1物体に接触する第2物体とを含む複数の物体それぞれの輪郭を検出する画像処理装置であって、
    前記複数の物体が映った画像における画素ごとの画素値に基づく値の頻度を、前記画像の各画素にバックプロジェクションすることで特徴量画像を生成し、前記特徴量画像の各画素の値を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成する二値化処理部と、
    前記複数の二値化画像のうち、第1の二値化閾値に基づいて生成される、第1閉領域と第2閉領域とが映った第1の二値化画像と、前記二値化処理部が前記二値化閾値を変化させた場合に前記第1の二値化閾値に対して連続する値を有する第2の二値化閾値に基づいて生成される、前記第1閉領域および前記第2閉領域と対応する位置に第3閉領域が映った第2の二値化画像とについて、前記第1閉領域の面積と前記第3閉領域の面積との差が上限閾値以上の場合に、前記第1の二値化閾値を前記第1物体の輪郭を検出するための前記二値化閾値として決定する輪郭検出部と、
    を有することを特徴とする画像処理装置。
  2. 前記輪郭検出部は、前記第1閉領域の面積に対する前記第3閉領域の面積の増加量が前記上限閾値以上になった場合に、前記第1閉領域の境界を前記第1物体の輪郭として検出する、
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記輪郭検出部は、前記特徴量画像に対して距離変換を行い、変換後の画像における極大点を、物体ごとの基準点として抽出し、前記第1閉領域と前記第3閉領域の各面積として、前記第1の二値化画像と前記第2の二値化画像のそれぞれに現れる、同一の前記基準点を内包する閉領域の面積を算出することを特徴とする請求項記載の画像処理装置。
  4. 複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成する二値化処理部と、
    前記複数の物体が映った画像から、前記画素ごとの特徴量のうち極大値を有する画素を基準点として抽出し、前記基準点を通る複数の分割線によって前記基準点の周囲領域を分割することで複数の分割領域として、前記複数の分割領域をそれぞれ選択し、前記複数の二値化画像のうち、第1の二値化閾値に基づいて生成される、選択した分割領域に現れる第1部分閉領域が映った第1の二値化画像と、前記二値化処理部が前記二値化閾値を変化させた場合に前記第1の二値化閾値に対して連続する値を有する第2の二値化閾値に基づいて生成される、前記第1部分閉領域に対応する位置に第2部分閉領域が映った第2の二値化画像について、前記第1部分閉領域の面積と前記第2部分閉領域の面積との差に基づいて、前記第1の二値化閾値と前記第2の二値化閾値のいずれかを、前記選択した分割領域に映る物体の輪郭の一部を検出するための前記二値化閾値として決定する輪郭検出部と、
    を有することを特徴とする画像処理装置。
  5. 第1物体と、前記第1物体に接触する第2物体とを含む複数の物体それぞれの輪郭を検出するための画像処理方法であって、
    前記複数の物体が映った画像における画素ごとの画素値に基づく値の頻度を、前記画像の各画素にバックプロジェクションすることで特徴量画像を生成し、前記特徴量画像の各画素の値を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成し、
    前記複数の二値化画像のうち、第1の二値化閾値に基づいて生成される、第1閉領域と第2閉領域とが映った第1の二値化画像と、前記複数の二値化画像の生成のために前記二値化閾値を変化させた場合に前記第1の二値化閾値に対して連続する値を有する第2の二値化閾値に基づいて生成される、前記第1閉領域および前記第2閉領域と対応する位置に第3閉領域が映った第2の二値化画像とについて、前記第1閉領域の面積と前記第3閉領域の面積との差が上限閾値以上の場合に、前記第1の二値化閾値を前記第1物体の輪郭を検出するための前記二値化閾値として決定する、
    ことを特徴とする画像処理方法。
  6. 複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成し、
    前記複数の物体が映った画像から、前記画素ごとの特徴量のうち極大値を有する画素を基準点として抽出し、
    前記基準点を通る複数の分割線によって前記基準点の周囲領域を分割することで複数の分割領域として、前記複数の分割領域をそれぞれ選択し、
    前記複数の二値化画像のうち、第1の二値化閾値に基づいて生成される、選択した分割領域に現れる第1部分閉領域が映った第1の二値化画像と、前記複数の二値化画像の生成のために前記二値化閾値を変化させた場合に前記第1の二値化閾値に対して連続する値を有する第2の二値化閾値に基づいて生成される、前記第1部分閉領域に対応する位置に第2部分閉領域が映った第2の二値化画像について、前記第1部分閉領域の面積と前記第2部分閉領域の面積との差に基づいて、前記第1の二値化閾値と前記第2の二値化閾値のいずれかを、前記選択した分割領域に映る物体の輪郭の一部を検出するための前記二値化閾値として決定する、
    ことを特徴とする画像処理方法。
  7. 第1物体と、前記第1物体に接触する第2物体とを含む複数の物体それぞれの輪郭を検出するための画像処理プログラムであって、
    コンピュータに、
    前記複数の物体が映った画像における画素ごとの画素値に基づく値の頻度を、前記画像の各画素にバックプロジェクションすることで特徴量画像を生成し、前記特徴量画像の各画素の値を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成し
    前記複数の二値化画像のうち、第1の二値化閾値に基づいて生成される、第1閉領域と第2閉領域とが映った第1の二値化画像と、前記複数の二値化画像の生成のために前記二値化閾値を変化させた場合に前記第1の二値化閾値に対して連続する値を有する第2の二値化閾値に基づいて生成される、前記第1閉領域および前記第2閉領域と対応する位置に第3閉領域が映った第2の二値化画像とについて、前記第1閉領域の面積と前記第3閉領域の面積との差が上限閾値以上の場合に、前記第1の二値化閾値を前記第1物体の輪郭を検出するための前記二値化閾値として決定する、
    処理を実行させることを特徴とする画像処理プログラム。
  8. コンピュータに、
    複数の物体が映った画像における画素ごとの特徴量を所定の二値化閾値と比較することで、前記画像の各画素の値を二値化して二値化画像を生成する処理を、前記二値化閾値を変化させながら実行して複数の二値化画像を生成し、
    前記複数の物体が映った画像から、前記画素ごとの特徴量のうち極大値を有する画素を基準点として抽出し、
    前記基準点を通る複数の分割線によって前記基準点の周囲領域を分割することで複数の分割領域として、前記複数の分割領域をそれぞれ選択し、
    前記複数の二値化画像のうち、第1の二値化閾値に基づいて生成される、選択した分割領域に現れる第1部分閉領域が映った第1の二値化画像と、前記複数の二値化画像の生成のために前記二値化閾値を変化させた場合に前記第1の二値化閾値に対して連続する値を有する第2の二値化閾値に基づいて生成される、前記第1部分閉領域に対応する位置に第2部分閉領域が映った第2の二値化画像について、前記第1部分閉領域の面積と前記第2部分閉領域の面積との差に基づいて、前記第1の二値化閾値と前記第2の二値化閾値のいずれかを、前記選択した分割領域に映る物体の輪郭の一部を検出するための前記二値化閾値として決定する、
    処理を実行させることを特徴とする画像処理プログラム。
JP2013176217A 2013-08-28 2013-08-28 画像処理装置、画像処理方法および画像処理プログラム Active JP6303332B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013176217A JP6303332B2 (ja) 2013-08-28 2013-08-28 画像処理装置、画像処理方法および画像処理プログラム
US14/341,320 US9514382B2 (en) 2013-08-28 2014-07-25 Image processing apparatus and image processing method
CN201410409160.1A CN104424482B (zh) 2013-08-28 2014-08-19 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013176217A JP6303332B2 (ja) 2013-08-28 2013-08-28 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2015045966A JP2015045966A (ja) 2015-03-12
JP6303332B2 true JP6303332B2 (ja) 2018-04-04

Family

ID=52583336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013176217A Active JP6303332B2 (ja) 2013-08-28 2013-08-28 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US9514382B2 (ja)
JP (1) JP6303332B2 (ja)
CN (1) CN104424482B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115187B2 (en) * 2015-01-30 2018-10-30 Raytheon Company Apparatus and processes for classifying and counting corn kernels
US10614291B2 (en) * 2015-06-08 2020-04-07 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
CN106097345B (zh) * 2016-06-14 2020-04-14 三亚深海科学与工程研究所 一种线状目标分割方法及分割系统
TWI618916B (zh) * 2016-09-23 2018-03-21 啟碁科技股份有限公司 貨架庫存估測方法與系統
JP6670787B2 (ja) * 2017-03-23 2020-03-25 日本電信電話株式会社 繰り返しパターン発見装置、方法、及びプログラム
US10553091B2 (en) * 2017-03-31 2020-02-04 Qualcomm Incorporated Methods and systems for shape adaptation for merged objects in video analytics
CN107221001A (zh) * 2017-05-18 2017-09-29 苏州恩巨网络有限公司 一种区域信息获取方法及装置
US10922801B2 (en) * 2017-07-19 2021-02-16 Lockheed Martin Corporation Channel-based binarization of color
CN107993224B (zh) * 2017-11-28 2021-06-11 沈阳建筑大学 一种基于圆形标志物的物体检测定位方法
JP6813004B2 (ja) * 2018-06-28 2021-01-13 Jfeスチール株式会社 鋼材非圧下部幅検出装置及びその検出方法
JP7277116B2 (ja) * 2018-11-29 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR20200084164A (ko) * 2019-01-02 2020-07-10 엘지이노텍 주식회사 사육장 환경 관리 장치
CN110930358B (zh) * 2019-10-17 2023-04-21 广州丰石科技有限公司 一种基于自适应算法的太阳能面板图像处理方法
CN111325760B (zh) * 2020-01-26 2023-07-04 四川大学 仿真植被阻水面积的确定方法
CN111401552B (zh) * 2020-03-11 2023-04-07 浙江大学 基于调整批量大小与梯度压缩率的联邦学习方法和系统
CN111402301B (zh) * 2020-03-17 2023-06-13 浙江大华技术股份有限公司 积水检测方法及装置、存储介质及电子装置
CN111950422A (zh) * 2020-08-05 2020-11-17 万翼科技有限公司 图纸识别方法及相关装置
CN112183554A (zh) * 2020-09-01 2021-01-05 国交空间信息技术(北京)有限公司 一种自动化道路边界轮廓提取方法
CN112762940A (zh) * 2020-12-30 2021-05-07 浙江德源智能科技股份有限公司 机器人行走路线规划方法、程序及存储介质
CN112700463A (zh) * 2020-12-30 2021-04-23 上海幻维数码创意科技股份有限公司 基于图像检测的多媒体展厅交互方法、装置及存储介质
CN113033400B (zh) * 2021-03-25 2024-01-19 新东方教育科技集团有限公司 识别数学式子的方法、装置、存储介质及电子设备
CN113469980B (zh) * 2021-07-09 2023-11-21 连云港远洋流体装卸设备有限公司 一种基于图像处理的法兰识别方法
CN113763266B (zh) * 2021-08-11 2023-11-17 浙江大学 一种基于图像处理的蜜柚纵剖与横剖皮厚测量方法
CN113763397B (zh) * 2021-09-03 2024-03-29 国网山东省电力公司电力科学研究院 复合绝缘子故障检测方法及系统
CN115100192B (zh) * 2022-08-22 2023-01-17 歌尔光学科技有限公司 拖影检测方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02199586A (ja) * 1989-01-30 1990-08-07 Hitachi Ltd 形状情報を保存する画像2値化処理方法
JP2856229B2 (ja) * 1991-09-18 1999-02-10 財団法人ニューメディア開発協会 画像切り出し箇所検出方法
US5689575A (en) 1993-11-22 1997-11-18 Hitachi, Ltd. Method and apparatus for processing images of facial expressions
US5768412A (en) * 1994-09-19 1998-06-16 Hitachi, Ltd. Region segmentation method for particle images and apparatus thereof
US5920655A (en) * 1995-02-10 1999-07-06 Canon Kabushiki Kaisha Binarization image processing for multi-level image data
JP2000097929A (ja) * 1998-09-25 2000-04-07 Yoshiyuki Sasaki 食肉の肉質判別方法
JP3383844B2 (ja) 2000-06-01 2003-03-10 独立行政法人産業技術総合研究所 楕円形の検出方法、検出プログラムを記録したコンピュータ読み取り可能な記録媒体および検出装置
US8160296B2 (en) * 2005-04-15 2012-04-17 Mississippi State University Research And Technology Corporation Change analyst
CN101621615A (zh) * 2009-07-24 2010-01-06 南京邮电大学 一种自适应背景建模及运动目标检测方法
US8345976B2 (en) * 2010-08-06 2013-01-01 Sony Corporation Systems and methods for segmenting digital images
JP6183038B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 領域抽出装置、領域抽出方法およびプログラム
CN103077529B (zh) * 2013-02-27 2016-04-06 电子科技大学 基于图像扫描的植物叶片特征分析系统

Also Published As

Publication number Publication date
CN104424482B (zh) 2018-07-03
US9514382B2 (en) 2016-12-06
JP2015045966A (ja) 2015-03-12
CN104424482A (zh) 2015-03-18
US20150063651A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
JP6303332B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110678901B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US9818232B2 (en) Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
AU2016225841B2 (en) Predicting accuracy of object recognition in a stitched image
JP2014059875A5 (ja)
WO2014007300A1 (ja) 細胞分裂過程追跡装置及びその方法、コンピュータにより処理可能な細胞分裂過程追跡プログラムを記憶する記憶媒体
US11908183B2 (en) Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system
JP2009265732A (ja) 画像処理装置及びその方法
JP2008250746A (ja) 移動物体追跡装置
US20200292463A1 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
JP2018181333A5 (ja)
JP5849206B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007048006A (ja) 画像処理装置および画像処理プログラム
JP5780791B2 (ja) 細胞の追跡処理方法
US9727145B2 (en) Detecting device and detecting method
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
JP6643301B2 (ja) 欠陥検査装置及び欠陥検査方法
JP6140599B2 (ja) 炎検出装置
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
KR101276792B1 (ko) 눈 검출 장치 및 방법
JP2010146159A (ja) 瞼検出装置、瞼検出方法及びプログラム
KR20150060032A (ko) 움직임 검출 시스템 및 방법
JP6229568B2 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP6062825B2 (ja) 特徴点抽出装置、特徴点抽出方法、及び特徴点抽出プログラム
WO2021192295A1 (ja) 画像処理システム、撮像システム、画像処理方法および非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6303332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150