JP5962083B2 - 領域抽出結果の表示方法及び画像処理装置 - Google Patents

領域抽出結果の表示方法及び画像処理装置 Download PDF

Info

Publication number
JP5962083B2
JP5962083B2 JP2012057369A JP2012057369A JP5962083B2 JP 5962083 B2 JP5962083 B2 JP 5962083B2 JP 2012057369 A JP2012057369 A JP 2012057369A JP 2012057369 A JP2012057369 A JP 2012057369A JP 5962083 B2 JP5962083 B2 JP 5962083B2
Authority
JP
Japan
Prior art keywords
color
region
image
extraction
extraction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012057369A
Other languages
English (en)
Other versions
JP2013191054A (ja
Inventor
善久 湊
善久 湊
由紀子 柳川
由紀子 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2012057369A priority Critical patent/JP5962083B2/ja
Priority to CN201280071297.XA priority patent/CN104160690B/zh
Priority to EP12871528.1A priority patent/EP2827576A4/en
Priority to US14/384,393 priority patent/US9812086B2/en
Priority to KR1020147024759A priority patent/KR101658719B1/ko
Priority to PCT/JP2012/079844 priority patent/WO2013136593A1/ja
Publication of JP2013191054A publication Critical patent/JP2013191054A/ja
Application granted granted Critical
Publication of JP5962083B2 publication Critical patent/JP5962083B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/024—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour registers, e.g. to control background, foreground, surface filling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像に対する領域抽出の結果を分かりやすく表示するための技術に関する。
コンピュータによるデジタル画像処理の一つに領域抽出（セグメンテーション）と呼ばれる処理がある。領域抽出処理とは、色やエッジなどの画像特徴に基づいて、対象画像を前景（抽出すべき部分）と背景（それ以外の部分）に分離する処理であり、例えば、画像処理や画像認識の対象となる物体や人物の部分を抽出する目的等に利用される。
領域抽出処理のアルゴリズムには様々なものが提案され、その抽出精度も向上してはいるが、１回の処理でユーザの意図した部分のみを間違いなく抽出できるという保証はない。そのためほとんどのシステムでは、抽出結果を画面表示し、抽出した前景領域の過不足や処理のやり直しの要否などをユーザに確認させる機能が用意されている。抽出結果の表示方法としては、抽出した前景領域の輪郭線を元画像の上に描画する方法（非特許文献１参照）、背景領域をマスク画像で覆い隠し前景領域のみを表示する方法（非特許文献２参照）、前景領域や背景領域を示す単色のマスク画像を元画像の上にオーバーレイ表示する方法（非特許文献３参照）などがある。
従来のシステムでは、抽出結果を示す輪郭線やマスク画像の視認性を良くするため、輪郭線やマスク画像の描画色としてマゼンタやイエローといった目立つ色が用いられることが多い。しかし、元画像の前景や背景に輪郭線やマスク画像の描画色と類似する色が含まれていた場合には、輪郭線やマスク画像の範囲が判然とせず、抽出した領域の過不足の判断が不可能もしくは困難となる。このような場合、従来は、ユーザが輪郭線やマスク画像の表示／非表示を何度か切り替えて輪郭線やマスク画像の色か元画像の色かを確認するか、描画色を変更できるシステムの場合は、視認しやすそうな色をユーザ自身が選択する、という方法で対処していた。しかしながら、このような従来の方法は、ユーザに余計な操作負担をかけるものであるため、好ましくない。また、元画像に多様な色相が含まれていた場合には、どの描画色が適切なのかを判断するのが難しいこともある。
Carsten Rother, Vladimir Kolmogorov and Andrew Blake, "GrabCut": interactive foreground extraction using iterated graph cuts, in proceedings of ACM SIGGRAPH 2004 Papers, pp. 309-314, 2004 O. Duchenne, J.-Y. Audibert,Fast interactive segmentation using color and textural information <http://imagine.enpc.fr/%7Eaudibert/RR0626.pdf>, CERTIS Technical report 06-26, 2006 Interactive image segmentation by maximal similarity based region merging, Jifeng Ning, Lei Zhang, David Zhan, Chengke Wu. Pattern Recognition 43 (2010) 445 - 456
本発明は上記実情に鑑みてなされたものであり、その目的とするところは、ユーザに余計な操作負担をかけることなく、どのような対象画像の場合でも領域抽出処理の結果を視認しやすい色で表示することのできる技術を提供することにある。
上記目的を達成するために、本発明では、元画像に抽出結果を合成して表示するに際し、前景と背景の境界周辺の色をピックアップし、それらの色とできるだけ違う色になるように、抽出結果画像の色を自動的に決定するという構成を採用する。
具体的には、本発明は、対象画像を前景領域と背景領域に分ける領域抽出処理の結果を表示するための方法であって、コンピュータが、対象画像に対する領域抽出処理の結果を取得する結果取得ステップと、コンピュータが、前記取得した結果に基づいて、領域抽出処理により推定された推定前景領域、推定背景領域、又は、推定前景領域と推定背景領域の間の境界、を表す抽出結果画像を生成する抽出結果画像生成ステップと、コンピュータが、前記対象画像に前記抽出結果画像を合成した合成画像を生成し、前記合成画像を表示装置に表示する表示ステップと、を含み、前記抽出結果画像生成ステップは、推定前景領域と推定背景領域の間の境界を含み且つ推定前景領域と推定背景領域の両方にまたがる境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出する色抽出ステップと、候補色のうち、所定の色空間における色差又は色相の差が前記色抽出ステップで抽出された前記複数の色のいずれとも可及的に大きくなる色を、前記抽出結果画像の色として選択する色決定ステップと、を含むことを特徴とする。
このように抽出結果画像の色を決定すれば、対象画像に抽出結果画像を合成したときに、少なくとも境界周辺領域内においては抽出結果画像の色と対象画像の色の間に明らかな違いがでる。そうすると、抽出結果画像の外延、すなわち推定前景領域と推定背景領域の境目が明りょうに視認できるため、抽出された領域がユーザの意図するものと一致しているかどうかを容易に判断することができる。また、本発明によれば、抽出結果画像の最適な色が自動で選ばれるため、ユーザに余計な操作負担をかけることがない。
前記抽出結果画像は、推定前景領域又は推定背景領域が前記色決定ステップで決定された色を用いて塗りつぶされた画像であり、前記合成画像は、前記対象画像に所定の透過率で前記抽出結果画像をオーバーレイした画像であることが好ましい。このようなオーバーレイ表示により、抽出された推定前景領域がユーザの意図するものと一致しているかどうかを一目で把握することができる。
前記合成画像において、前記抽出結果画像における塗りつぶし領域の輪郭線が描画されるとなおよい。輪郭線があることで、推定前景領域と推定背景領域の境目がより明りょうになる。輪郭線は塗りつぶし領域と区別がつけばどのような色で描画してもよい。例えば、塗りつぶし領域の塗りつぶし色と同じ色を用い、前記塗りつぶし領域よりも低い透過率で輪郭線を描画してもよい。また、塗りつぶし領域の塗りつぶし色と色相が同じで、彩度と輝度の少なくとも一方が異なる色で輪郭線を描画してもよい。或いは、前記色決定ステップで、前記候補色のうち、前記所定の色空間における色差が前記色抽出ステップで抽出された前記複数の色のいずれとも可及的に大きくなる色を２つ選択し、その一方を塗りつぶし領域の塗りつぶし色として用い、他方を輪郭線の色として用いてもよい。
また、前記輪郭線の太さが、前記表示装置の表示解像度に応じて決定されるとよい。これにより、どのような表示解像度の表示装置を用いたとしても良好な視認性を確保することができる。また、前記輪郭線の太さが、前記対象画像の画像サイズに応じて決定されることも好ましい。
前記合成画像において、前記抽出結果画像における塗りつぶし領域の色又は透過率が、塗りつぶし領域の輪郭に近い部分と遠い部分とで異なるか、又は、輪郭に近い部分から遠い部分に向けて変化していることが好ましい。これにより、輪郭に近い部分が相対的に目立つため、抽出結果画像の外延が明りょうになるという視覚効果が得られる。
オーバーレイ表示以外にも、次のような表示態様を採ることもできる。例えば、前記抽出結果画像は、推定前景領域と推定背景領域の間の境界線が前記色決定ステップで決定された色を用いて描画された画像であることも好ましい。このように境界線のみを表示するだけでも、抽出された領域がユーザの意図するものと一致しているかどうかを確認することが可能である。また、この場合も表示解像度に応じて境界線の太さを決定することで、表示装置の表示解像度によらず良好な視認性を確保できる。また、対象画像の画像サイズに応じて境界線の太さを決定してもよい。
或いは、前記抽出結果画像として、推定前景領域のみを表示するために他の領域をマスクするマスク画像を用いることもできる。この場合は、推定前景領域のうち推定背景領域に隣接する部分を少なくとも含む境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出し、候補色のうち、所定の色空間における色差又は色相の差が前記複数の色のいずれとも可及的に大きくなる色を、前記マスク画像の色として選択するとよい。このときの境界周辺領域は、「推定前景領域のうち推定背景領域に隣接する部分」を含んでいればよいが、「推定背景領域のうち推定前景領域に隣接する部分」を含むように設定しても構わない。これにより、抽出された推定前景領域の過不足を詳細に確認するのが容易になる。
また、前記抽出結果画像として、推定背景領域のみを表示するために他の領域をマスクするマスク画像を用いることもできる。この場合は、推定背景領域のうち推定前景領域に隣接する部分を少なくとも含む境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出し、候補色のうち、所定の色空間における色差又は色相の差が前記複数の色のいずれとも可及的に大きくなる色を、前記マスク画像の色として選択するとよい。このときの境界周辺領域は、「推定背景領域のうち推定前景領域に隣接する部分」を含んでいればよいが、「推定前景領域のうち推定背景領域に隣接する部分」を含むように設定しても構わない。これにより、抽出された推定背景領域の過不足を詳細に確認するのが容易になる。
また、前記色決定ステップでは、前記候補色のうち、前記色抽出ステップで抽出された前記複数の色のそれぞれに対する色差の絶対値の合計が最大となる色が、前記抽出結果画像の色として選択されるとよい。或いは、前記色決定ステップでは、前記候補色のうち、前記色抽出ステップで抽出された前記複数の色を色相環にマッピングしたときに前記色相環上でマッピング点が最も疎になっている部分の色相をもつ色が、前記抽出結果画像の色として選択されることも好ましい。後者の場合、前記候補色の輝度及び彩度は任意に設定してよい。
また、前記表示ステップでは、前記抽出結果画像の表示／非表示が所定の周期で自動的に切り替えられることが好ましい。抽出結果画像の表示／非表示が切り替わることで、対象画像と抽出結果の見比べをより詳しく行うことができる。しかも、表示／非表示の切り替えが自動で行われるので、ユーザに操作負担をかけることがない。
なお、本発明は、上記処理の少なくともいずれかを含む領域抽出結果の表示方法として捉えることもできるし、この表示方法を含む領域抽出方法として捉えることもできる。また、本発明は、これらの方法の各ステップをコンピュータに実行させるためのプログラムやこのプログラムを記録した記憶媒体として捉えることもできる。さらに本発明は、上記処理を行う手段の少なくともいずれかを有する画像処理装置や領域抽出装置として捉えることもできる。
本発明によれば、ユーザに余計な操作負担をかけることなく、どのような対象画像の場合でも領域抽出処理の結果を視認しやすい色で表示することができる。
領域抽出機能をもつ画像処理装置の構成を模式的に示す図。 領域抽出処理のフローチャート。 領域抽出処理の操作画面の一例を示す図。 第１実施形態における抽出結果画像生成処理の詳細を示すフローチャート。 第１実施形態における抽出結果画像の表示色を決定するアルゴリズムを説明するための図。 第１実施形態における抽出結果表示方法の効果を説明するための模式図。 第２実施形態における抽出結果画像生成処理の詳細を示すフローチャート。 第２実施形態における抽出結果画像の表示色を決定するアルゴリズムを説明するための図。 第３実施形態の表示方法を説明するための図。 第４実施形態の表示方法を説明するための図。 第５実施形態の表示方法を説明するための図。 第６実施形態の表示方法を説明するための図。
本発明は、対象画像を前景領域と背景領域に分ける領域抽出処理（セグメンテーション、領域分割処理ともいう）の結果を分かりやすく表示するための方法に関するものである。領域抽出処理は、例えば、画像検査において元画像の中から検査対象物の領域を抽出する処理、画像編集で背景合成を行うにあたり元画像の中から前景部分のみをトリミングする処理、医用画像の中から診断対象の臓器や部位のみ抽出する処理など、様々な分野で利用されており、本発明の方法は領域抽出処理を利用するあらゆるシステムに適用が可能である。
＜第１実施形態＞
（装置構成）
図１は、領域抽出機能をもつ画像処理装置の構成を模式的に示している。
画像処理装置１は、装置本体１０、表示装置１１、記憶装置１２、入力装置１３などのハードウエアから構成される。表示装置１１は、領域抽出処理の対象となる画像、抽出処理の結果、領域抽出処理に関わるＧＵＩ画面等を表示するためのデバイスであり、例えば液晶ディスプレイなどを用いることができる。記憶装置１２は、画像データ、処理結果などを格納するデバイスであり、例えばＨＤＤ、ＳＳＤ、フラッシュメモリ、ネットワークストレージなどを利用可能である。入力装置１３は、ユーザが装置本体１０に対し指示を入力するために操作するデバイスであり、例えばマウス、キーボード、タッチパネル、専用コンソールなどを利用可能である。
装置本体１０は、ハードウエアとして、ＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置（ＲＯＭ、ＨＤＤ、ＳＳＤなど）を備えたコンピュータで構成することができ、その機能として、画像取得部１４、領域抽出部１５、抽出結果表示部１６を有している。これらの機能は、補助記憶装置又は記憶装置１２に格納されたコンピュータ・プログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで実現される。なお、図１は装置構成の一例を示すものにすぎず、表示装置１１、記憶装置１２、入力装置１３の全部又は一部を装置本体１０に一体化してもよい。なお装置本体１０は、パーソナルコンピュータやスレート型端末のようなコンピュータで構成してもよいし、或いは、専用チップやオンボードコンピュータなどで構成することもできる。
（領域抽出処理）
図２及び図３を参照して、領域抽出処理の全体の流れを説明する。図２は領域抽出処理のフローチャートであり、図３は領域抽出処理の操作画面である。
領域抽出機能が起動すると、表示装置１１に図３の操作画面が表示される。この操作画面には、画像ウィンドウ３０、画像取込ボタン３１、前景指定ボタン３２、背景指定ボタン３３、実行ボタン３４、自動切替ボタン３５、終了ボタン３６が設けられている。ボタンの選択や後述する前景・背景の指定などは入力装置１３を用いて行うことができる。なおこの操作画面はあくまでも一例にすぎず、以下に述べる入力操作や画像及び抽出結果の確認などを行うことができればどのようなＵＩを用いてもよい。
ユーザにより画像取込ボタン３１が押されると、画像取得部１４が処理の対象となる元画像（対象画像）を読み込む（ステップＳ２０）。画像データの取得先としては、例えば、装置本体１０の補助記憶装置、記憶装置１２、他のコンピュータ、ネットワークストレージ、カメラ、スキャナ等が考えられる。画像取得部１４は、必要に応じて、取得先や取得するデータをユーザに指定させる処理も行う。
ステップＳ２０で取り込まれた画像は、図３の上段に示すように、操作画面の画像ウィンドウ３０に表示される（ステップＳ２１）。
ステップＳ２２では、領域抽出部１５が、ユーザに前景と背景の初期値を指定させる。前景の初期値を指定するには、ユーザは、操作画面の前景指定ボタン３２を押して前景指定モードにした後、画像ウィンドウ３０に表示された画像上で前景とすべき部分を指定する。ここでの指定は、前景の代表的な色をピックアップすることが目的なので、ユーザが前景として抽出したいと思っている物体の一部のピクセル又はピクセル群を適当に選択すればよい。もし前景の中に模様、陰影、色の大きく異なる部分などが含まれている場合には、それらの色をできるだけ網羅するようにピクセル群を選択することが好ましい。例えば、図３に示す画像の中から手前のミルフィーユケーキの領域のみを抽出したいのであれば、パイ生地、クリーム、イチゴそれぞれのピクセルを指定するとよい。背景の初期値を入力する場合は、背景指定ボタン３３を押して背景指定モードに切り替えた後、同様の操作を行う。なお、前景と背景の初期値の入力は必須ではない。前景と背景のいずれか一方のみを入力してもよいし、代表色が既知の場合や、画像の色分布などから自動で代表色を算出できる場合には、ステップＳ２２を省略してよい。
ユーザにより実行ボタン３４が押されると、領域抽出部１５は、ステップＳ２２で指定された前景・背景を初期値として用い、対象画像に対して領域抽出処理を適用する（ステップＳ２３）。なお、領域抽出処理については数多くのアルゴリズムが提案されており、領域抽出部１５はいずれのアルゴリズムも利用することができるため、ここでは詳しい説明を割愛する。領域抽出部１５による抽出結果（領域推定結果）は、抽出結果表示部１６に渡される。なお、抽出結果のデータ形式は任意であり、例えば前景領域と背景領域とでラベルを変えたビットマスクや、前景領域と背景領域の間の境界をベジェ曲線やスプライン曲線で表現したベクタデータなどを用いることができる。
抽出結果表示部１６は、ステップＳ２３で取得した情報に基づき抽出結果画像を生成し（ステップＳ２４）、対象画像に抽出結果画像を合成した合成画像を生成して表示装置１１に表示する（ステップＳ２５）。図３の下段は、抽出結果画像３７（ハッチング部分）を対象画像の上にオーバーレイ表示した例を示している。ユーザはこのような合成画像を見ることで、意図していた部分（例：ミルフィーユケーキの部分）が過不足なく前景領域として抽出されているかどうか、つまり、意図していた部分と抽出結果画像との間にずれがないかを確認することができる。抽出結果の表示方法については、後ほど詳しく説明する。
抽出結果画像が表示された状態のときに、ユーザにより自動切替ボタン３５が押される
と、抽出結果表示部１６は、抽出結果画像の表示／非表示を所定の周期（例えば数秒ごと）で自動的に切り替える。つまり、図３の下段のような画面と上段のような画面が交互に切り替わる。抽出結果画像の表示／非表示が切り替わることで、対象画像と抽出結果の見比べをより詳しく行うことができる。しかも、この方法であれば、表示／非表示の切り替えが自動で行われるので、ユーザに操作負担をかけることがない。
その後、ユーザにより終了ボタン３６が押されると、領域抽出部１５は抽出結果のデータを記憶装置１２に格納し（ステップＳ２６）、処理を終了する。なお、ステップＳ２３の領域抽出処理の結果が適切でなかった場合には、前景・背景の再指定（ステップＳ２２）やその他のパラメタの調整（不図示）等を行った後、領域抽出処理をやり直せばよい。また、図３の下段に示すような画面において、前景領域の境界を手動で修正できるようなインターフェースを設けることも好ましい。
（抽出結果の表示）
次に、図４及び図５を参照して、第１実施形態における抽出結果の表示方法を説明する。図４は、図２のステップＳ２４に示した抽出結果画像生成処理の詳細を示すフローチャートであり、図５は、抽出結果画像の表示色を決定するアルゴリズムを説明するための図である。以下、領域抽出処理によって推定された前景領域を「推定前景領域」と呼び、領域抽出処理によって推定された背景領域を「推定背景領域」と呼ぶ。
抽出結果表示部１６は、ステップＳ２３で取得した抽出結果に基づいて、対象画像の上に境界周辺領域を設定する（ステップＳ２４０）。図５に示すように、境界周辺領域５０は、推定前景領域５１と推定背景領域５２の間の境界５３（破線部）を含み、且つ、推定前景領域５１と推定背景領域５２の両方にまたがるように設定される。本実施形態では、境界５３を中心とする所定の幅（例えば、前景側と背景側にそれぞれ５ピクセルで、合計１０ピクセルの幅）の範囲を境界周辺領域５０とする。
次に、抽出結果表示部１６は、境界周辺領域５０内のピクセル群を順に調べ、境界周辺領域５０に含まれる全ての色を抽出する（ステップＳ２４１）。図４の処理は、どのような色空間を使って計算してもよいが、本実施形態では、対象画像としてＲＧＢ画像を用い、画像のピクセル値（ＲＧＢ値）をそのまま計算に用いる。図５には、境界周辺領域５０から抽出されたｍ個の色を、（ｒ１，ｇ１，ｂ１），（ｒ２，ｇ２，ｂ２），…，（ｒｍ，ｇｍ，ｂｍ）で示している。以下、これらを抽出色ｃ１〜ｃｍと呼ぶ。また本実施形態では、抽出結果画像の表示色として選べる色の候補が予め用意されている。図５の、（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ２，Ｂ２），…，（Ｒｎ，Ｇｎ，Ｂｎ）はｎ個の候補色Ｃ１〜Ｃｎを示している。
次に、抽出結果表示部１６は、ｎ個の候補色Ｃ１〜Ｃｎのそれぞれについて、ｍ個の抽出色ｃ１〜ｃｍとの差を計算する（ステップＳ２４２）。ここでは、下記式のように、ある候補色Ｃｉとｍ個の抽出色ｃ１〜ｃｍそれぞれとの色差ΔＥ（Ｃｉ，ｃｋ）の絶対値の合計を、その候補色Ｃｉのｍ個の抽出色ｃ１〜ｃｍとの差Ｄｉと定義する。なお、色差は色空間上の距離で求まる。
Figure 0005962083
そして、抽出結果表示部１６は、差Ｄｉが最大となる候補色を、抽出結果画像の表示色として選ぶ（ステップＳ２４３）。これにより、境界周辺領域内のいずれの色とも可及的に異なる色が表示色として選ばれる。
次に、抽出結果表示部１６は、ステップＳ２４３で決定した表示色で推定前景領域内を塗りつぶした画像を抽出結果画像として生成する（ステップＳ２４４）。このとき、推定前景領域（塗りつぶし領域）が半透明となり（例えば透過率５０％）、推定背景領域が透明（透過率１００％）となるように、抽出結果画像のαチャンネルを設定する。以上の処理によって生成した抽出結果画像が、図２のステップＳ２５にて対象画像の上に合成（αブレンド）される。
（本実施形態の利点）
図６は、本実施形態の抽出結果表示方法の効果を説明するための模式図である。（ａ）は、対象画像であり、シアン色の背景６０の中に赤色の三角物体６１がある。この画像から三角物体６１を前景として抽出することが目的であると仮定する。（ｂ）は、領域抽出処理により得られた推定前景領域６２と推定背景領域６３の一例である。推定前景領域６２として矩形の形状が抽出されており、ユーザの意図する前景領域（三角物体６１）とは異なっている。
（ｃ）は、従来例として、予め決められた表示色（マゼンタ色）で推定前景領域６２を塗りつぶした画像を半透明でオーバーレイ表示した例を示すものである。この場合、表示色と三角物体６１との色が類似しているために、推定前景領域６２の範囲が視認しづらいことが分かる。
（ｄ）は、本実施形態の方法で求めた表示色を用いた場合の表示例を示すものである。この表示色は、対象画像の背景６０の色と三角物体６１の色のいずれとも異なる色が選ばれている。それゆえ、対象画像の背景６０、三角物体６１、抽出された推定前景領域６２それぞれが明りょうに視認できる。これにより、推定前景領域６２が過大である部分６４も、推定前景領域６２が不足である部分６５も確認が可能となり、抽出された推定前景領域６２がユーザの意図する前景領域である三角物体６１と一致しているかどうかを一目で把握することができる。
言うまでもないが、図６のような単純な画像でなく、カメラで撮影された画像のように多くの色が含まれている画像に対しても、同様の効果が得られる。すなわち、本実施形態の方法で抽出結果画像の表示色を決定すれば、対象画像に抽出結果画像を合成したときに、少なくとも境界周辺領域内においては抽出結果画像の色と対象画像の色の間に明らかな違いがでる。そうすると、抽出結果画像の外延、すなわち推定前景領域と推定背景領域の境目が明りょうに視認できるため、抽出された領域がユーザの意図するものと一致しているかどうかを容易に判断することができる。また、この方法によれば、抽出結果画像の最適な表示色が自動で選ばれるため、ユーザに余計な操作負担をかけることがない。
ここで、対象画像全体の色を参照するのでなく、境界周辺領域内の色のみと比較して抽出結果画像の表示色を決定している点も、特徴の一つである。例えば対象画像の中に多種多様な色相が含まれていた場合、それらの全てと明確に異なる色を設定することができず、抽出結果画像の表示色が対象画像中の一部の色と類似してしまうことは避け得ない。もし、抽出結果画像の輪郭上やその周辺に類似色のピクセル群が存在すると、抽出結果画像の外延が不明りょうになる可能性がある。その点、本実施形態のように境界周辺領域に限定すれば、対象画像全体をみる場合よりも比較対象の色数が格段に少なくなり、抽出結果画像の表示色を設定しやすい。しかも、少なくとも抽出結果画像の輪郭及びその周辺（つまり、境界周辺領域内）には抽出結果画像の色に類似する色は存在しないことが保証されるので、抽出結果画像の外延が不明りょうになることはない。なお、境界周辺領域の外側では抽出結果画像と対象画像の色の類似が起こる可能性があるが、抽出結果画像の外延さえ明りょうであれば、抽出された領域の是非を確認することができるため、境界周辺領域
の外側での色の類似は特に問題とならない。
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態では境界周辺領域からの抽出色に対する色差の絶対値の合計が最大となるように表示色を決定したのに対し、第２実施形態では境界周辺領域からの抽出色と最も色相が異なる色を表示色に選ぶ点が異なる。すなわち、図２のフローにおけるステップＳ２４の処理の内容が置き換わるだけで、それ以外の構成及び処理については第１実施形態のものと同じである。
図７及び図８に第２実施形態における抽出結果の表示方法を示す。図７は、図２のステップＳ２４に示した抽出結果画像生成処理の詳細を示すフローチャートであり、図８は、抽出結果画像の表示色を決定するアルゴリズムを説明するための図である。なお、図７のフローの中で第１実施形態における図４のフローと同じ処理については、同一のステップ番号を付している。
抽出結果表示部１６は、第１実施形態の処理と同様に、境界周辺領域を設定する（ステップＳ２４０）。
次に、抽出結果表示部１６は、境界周辺領域５０内の各々のピクセルについて色相角Ｈを計算し、その色相角Ｈを色相環上にマッピングする（ステップＳ７００）。ピクセルのＲＧＢ値（ｒ，ｇ，ｂ）から色相角Ｈへの変換は例えば下記式により行うことができる。
Figure 0005962083
全ての点のマッピングが終わったら、抽出結果表示部１６は、度数が少ない（閾値に満たない）色相角におけるマッピング点を除去する（ステップＳ７０１）。このようにして得られた色相環ヒストグラムの一例を図８に示す。この色相環ヒストグラムは、円周方向時計回りに色相角０〜３６０°をとり（１２時の位置が０°）、径方向外側にマッピング点の度数をとったものである。この例では、色相角１２０°の周辺（グリーン）と色相角２４０°の周辺（ブルー）の２箇所にマッピング点が集中していることが分かる。
次に、抽出結果表示部１６は、色相環ヒストグラム上でマッピング点が最も疎になっている部分の色相を計算する（ステップＳ７０２）。例えば、マッピング点が存在しない色相範囲の中で最も範囲の広いところを検出し、その中心の色相を求めればよい。図８の例では、約２４０°〜０°〜約１２０°の色相範囲が最も広く空いているので、その中心である約０°（レッド）が表示色の色相として選択される。
次に、抽出結果表示部１６は、表示色の輝度と彩度を決定する（ステップＳ７０３）。本発明者らが実験したところ、視認性向上に最も効果があるのは色相の違いであり、輝度と彩度は（よほど輝度や彩度が低くない限りは）視認性に与える影響はさほど大きくないことが分かった。したがって、輝度と彩度についてはある程度の高さとなるように設定すればよい。例えば、表示色の輝度と彩度を固定値にすることもできる。或いは、境界周辺領域内のピクセルの平均輝度と平均彩度を計算し、この平均輝度や平均彩度との差が可及的に大きくなるように表示色の輝度と彩度を決定してもよい（ただし、輝度と彩度の下限値は予め定めておく）。
次に、抽出結果表示部１６は、ステップＳ７０２、Ｓ７０３で決定した色相・輝度・彩度から表示色のＲＧＢ値を計算する（ステップＳ７０４）。その後、抽出結果表示部１６
は、第１実施形態と同様、抽出結果画像を生成し（ステップＳ２４４）、対象画像にオーバーレイ表示する。
以上述べた方法によれば、第１実施形態と同様の作用効果に加え、次のような利点がある。すなわち、境界周辺領域内に含まれる色相と補色的な関係にある色相が表示色に選ばれるので、第１実施形態の方法よりもさらに視認性に優れた表示が可能になる。また、ステップＳ７０１において度数の少ない色相を除外し、境界周辺領域内の代表的な（支配的な）色相との比較で表示色の色相を決定しているので、ノイズを含む画像や多様な色相が混在する画像の場合であっても、視認性に優れた妥当な表示色を求めることができる。
＜第３実施形態＞
次に本発明の第３実施形態を説明する。第１及び第２実施形態では対象画像の上に塗りつぶし領域（推定前景領域）をオーバーレイ表示したが、第３実施形態ではそれに加えて塗りつぶし領域の輪郭線を描画する。
図９（ａ）に、輪郭線付きの塗りつぶし領域からなる抽出結果画像の表示例を示す。このような輪郭線９０を描画することで、推定前景領域と推定背景領域の境目がより明りょうになる。これは、推定前景領域と推定背景領域の境界が複雑な形状であったり、入り組んでいたりする場合に、特に効果的である。
輪郭線９０の描画色の決定方法の一例を以下に挙げる。
（１）塗りつぶし領域９１の塗りつぶし色と同じ色を、輪郭線９０の描画色として用いる。ただし、対象画像に合成するときの透過率を塗りつぶし領域９１と輪郭線９０とで異ならせる。輪郭線９０の視認性は高い方がよいので、塗りつぶし領域９１よりも輪郭線９０の透過率を低くするとよく、典型的には輪郭線９０の透過率をゼロにするとよい。
（２）塗りつぶし領域９１の塗りつぶし色と色相が同じで、輝度もしくは彩度、又はその両方が異なる色を、輪郭線９０の描画色として用いる。このとき、境界周辺領域の平均輝度や平均彩度に基づいて輪郭線９０の描画色の輝度や彩度を決定するとよい。例えば、境界周辺領域の平均輝度が高い（明るいピクセルが多い）場合には、低輝度の輪郭線９０のほうが目立つし、平均輝度が低い場合には、高輝度の輪郭線９０のほうが目立つ。
（３）第１実施形態や第２実施形態の方法で塗りつぶし色を決める際に、輪郭線９０の描画色も決める。第１実施形態の方法であれば、差Ｄｉが最大となる候補色を塗りつぶし色に選び、差Ｄｉが２番目に大きい候補色を輪郭線の描画色に選ぶことができる。第２実施形態の方法であれば、図９（ｂ）に示すように、マッピング点が存在しない色相範囲の中で最も範囲の広いところを検出し、その色相範囲を三等分するように２つの色相を選び、一方を塗りつぶし色に、他方を輪郭線の描画色に用いればよい。図９（ｂ）の例では、約２４０°〜０°〜約１２０°の色相範囲が最も広く空いているので、約３２０°と約４０°の２つの色相が選ばれる。このような方法により、輪郭線９０と塗りつぶし領域９１の両方に視認性の高い色を設定できる。
輪郭線９０の太さ（ピクセル数）は任意であるが、太すぎるとかえって推定前景領域の形状が分かりづらくなるので、１〜１０ピクセル程度に設定するとよい。また、輪郭線９０の太さは、表示装置の表示解像度に応じて決定するとよい。つまり、低解像度の表示装置の場合はピクセル数を相対的に少なく、高解像度の表示装置の場合はピクセル数を相対的に多くする。これにより、どのような表示解像度の表示装置を用いたとしても良好な視認性を確保することができる。或いは、輪郭線９０の太さを、対象画像の画像サイズに応じて決定してもよい。つまり、画像サイズが小さい場合はピクセル数を相対的に少なく、画像サイズが大きい場合はピクセル数を相対的に多くする。これにより、対象画像の画像
サイズによらず、良好な視認性を確保することができる。
＜第４実施形態＞
図１０に、本発明の第４実施形態を示す。図１０（ａ）は、抽出結果画像における塗りつぶし領域１００の色を、塗りつぶし領域１００の輪郭に近い部分１０１と遠い部分１０２とで異ならせた表示例である。例えば、色相は変えずに、輪郭に近い部分１０１の方の彩度や輝度を相対的に高くするとよい。このように塗りつぶし領域１００内の色に変化をつけることで、輪郭に近い部分１０１が相対的に目立つため、抽出結果画像の外延がより明りょうになるという視覚効果が得られる。図１０（ｂ）は、図１０（ａ）にさらに輪郭線１０３を描画した表示例である。これにより、視認性を一層高めることができる。なお、図１０（ａ）、（ｂ）では２段階に色を変えたが、３段階以上に色を変えたり、連続的に色を変えることも好ましい。図１０（ｃ）は、輪郭に近い部分から遠い部分に向けて連続的に色を変えた表示例である（グラデーション表示）。色の境目が目立つと、ユーザが対象画像中のエッジや模様と勘違いするおそれがあるが、グラデーション表示の場合はそのような視覚的な錯覚の発生を抑えることができるという利点がある。グラデーション表示の場合も図１０（ｂ）のように輪郭線を描画してもよい。なお、本実施形態では塗りつぶし色を変えたが、色は変えずにαチャンネルに設定する透過率を変えることでも、同じような視覚効果を得ることができる。
＜第５実施形態＞
図１１に、本発明の第５実施形態を示す。第１〜第４実施形態では、前景領域を塗りつぶした画像を表示したが、第５実施形態では、前景領域と背景領域の間の境界線のみを描画するという表示方法を採る。
図１１（ａ）は、境界線１１０を１本の線で描画した例である。境界線１１０の描画色については、第１及び第２実施形態で述べたのと同じ方法により、境界周辺領域内のピクセル群の色と可及的に異なる色になるよう設定する。このように抽出結果画像として境界線１１０を表示するだけでも、前景領域と背景領域の境目が明りょうに視認できるので、抽出された領域の是非を確認することができる。この方法は、前景領域と背景領域の境界が複雑な形状であったり、入り組んでいたりする場合に、特に効果的である。なお、境界線１１０の透過率はゼロでもよいし、半透明で表示してもよい。
境界線１１０の太さ（ピクセル数）は任意であるが、太すぎるとかえって前景領域や背景領域の形状が分かりづらくなるので、１〜１０ピクセル程度に設定するとよい。また、境界線１１０の太さは、表示装置の表示解像度に応じて決定するとよい。つまり、低解像度の表示装置の場合はピクセル数を相対的に少なく、高解像度の表示装置の場合はピクセル数を相対的に多くする。これにより、どのような表示解像度の表示装置を用いたとしても良好な視認性を確保することができる。或いは、境界線１１０の太さを、対象画像の画像サイズに応じて決定してもよい。つまり、画像サイズが小さい場合はピクセル数を相対的に少なく、画像サイズが大きい場合はピクセル数を相対的に多くする。これにより、対象画像の画像サイズによらず、良好な視認性を確保することができる。
図１１（ｂ）は境界線１１０を平行な２本の線で描画した例である。２本の線の間には数ピクセルの間隔が設けられており、その間隔のちょうど真ん中に推定前景領域と推定背景領域の境界がくるように描画される。このような表示方法により、境界線の形状だけでなく、境界上のピクセルの色等も確認できるため、抽出された領域の是非をより正確に判断できる。なお、２本の線は同じ色・同じ太さで描画してもよいし、色、透過率、太さ、形状（実線／破線）等を違えてもよい。後者の方法により、推定前景領域側の線と推定背景領域側の線の区別がつくようにすれば、境界線で区分けされた領域のどちらが前景なのかを容易に判断つけられるという利点がある。
＜第６実施形態＞
図１２に、本発明の第６の実施形態を示す。第１〜第４実施形態では、推定前景領域を塗りつぶした画像をオーバーレイ表示したが、第６実施形態では、推定背景領域（又は推定前景領域）をマスクして推定前景領域のみ（又は推定背景領域のみ）を表示するという表示方法を採る。
図１２（ａ）は、推定背景領域をマスクした表示例である。このとき用いるマスク画像（抽出結果画像）の色を、第１及び第２実施形態で述べたのと同じ方法により、境界周辺領域内のピクセル群の色と可及的に異なる色になるよう設定する。これにより、マスクされた領域と推定前景領域の境目が明りょうになる。そして、画面には推定前景領域のピクセルのみが表示されるため、推定前景領域が過大である部分（ユーザの意図としては背景領域と判定されるべきピクセルが、推定前景領域に含まれている状態）が発見しやすくなる。
図１２（ｂ）は、推定前景領域をマスクした表示例である。このとき用いるマスク画像（抽出結果画像）の色についても、第１及び第２実施形態で述べたのと同じ方法により設定する。このように推定背景領域のピクセルのみを表示した場合には、推定前景領域が不足である部分（ユーザの意図としては前景領域と判定されるべきピクセルが、背景領域に含まれている状態）が発見しやすくなる。
＜その他＞
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。例えば、第１実施形態では、境界周辺領域内に含まれる全ての色との差を計算したが、第２実施形態のように境界周辺領域内の代表的な色だけを考慮するようにしてもよい。また、境界周辺領域の幅は一定でなくてもよい。例えば、境界が入り組んでいる箇所では、視認性を重視するために、境界が単調な箇所（まっすぐな境界など）に比べて幅を広くとってもよい。また、上記実施形態では、推定前景領域と推定背景領域の境界を中心にして境界周辺領域を設定したが、必ずしも境界が中心になくてもよい。例えば、推定前景領域に塗りつぶし画像をオーバーレイ表示するのであれば、塗りつぶし画像と推定背景領域との区別の方が重要なため、背景領域側の幅を広くとってもよい。また、図１２（ａ）のように推定前景領域とマスク画像を合成表示する場合は、推定前景領域側だけに境界周辺領域を設定することで、境界周辺における推定前景領域内の色と可及的に異なるようにマスク画像の色を決めてもよい。逆に、図１２（ｂ）のように推定背景領域とマスク画像を合成表示する場合は、推定背景領域側だけに境界周辺領域を設定してもよい。
第１〜第４実施形態では、前景領域を塗りつぶした画像を抽出結果画像として用いたが、逆に、推定背景領域を塗りつぶした画像を抽出結果画像としてオーバーレイ表示することもできる。この方法によっても、上述した実施形態と同じ作用効果を得ることができる。さらに、上述した各実施形態の表示方法を、ユーザが自由に選択し、切り替えられるようにすることも好ましい。
１：画像処理装置
１０：装置本体、１１：表示装置、１２：記憶装置、１３：入力装置、１４：画像取得部、１５：領域抽出部、１６：抽出結果表示部
３０：画像ウィンドウ、３１：画像取込ボタン、３２：前景指定ボタン、３３：背景指定ボタン、３４：実行ボタン、３５：自動切替ボタン、３６：終了ボタン、３７：抽出結果画像
５０：境界周辺領域、５１：推定前景領域、５２：推定背景領域、５３：境界
６０：背景、６１：三角物体、６２：推定前景領域、６３：推定背景領域、６４：推定前景領域が過大である部分、６５：推定前景領域が不足である部分
９０：輪郭線、９１：塗りつぶし領域
１００：塗りつぶし領域、１０１：輪郭に近い部分、１０２：輪郭から遠い部分、１０３：輪郭線
１１０：輪郭線

Claims (16)

  1. 対象画像を前景領域と背景領域に分ける領域抽出処理の結果を表示するための方法であって、
    コンピュータが、対象画像に対する領域抽出処理の結果を取得する結果取得ステップと、
    コンピュータが、前記取得した結果に基づいて、領域抽出処理により推定された推定前景領域、推定背景領域、又は、推定前景領域と推定背景領域の間の境界、を表す抽出結果画像を生成する抽出結果画像生成ステップと、
    コンピュータが、前記対象画像に前記抽出結果画像を合成した合成画像を生成し、前記合成画像を表示装置に表示する表示ステップと、を含み、
    前記抽出結果画像生成ステップは、
    推定前景領域と推定背景領域の間の境界を含み且つ推定前景領域と推定背景領域の両方にまたがる境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出する色抽出ステップと、
    候補色のうち、所定の色空間における色差又は色相の差が前記色抽出ステップで抽出された前記複数の色のいずれとも可及的に大きくなる色を、前記抽出結果画像の色として選択する色決定ステップと、を含む
    ことを特徴とする領域抽出結果の表示方法。
  2. 前記抽出結果画像は、推定前景領域又は推定背景領域が前記色決定ステップで決定された色を用いて塗りつぶされた画像であり、
    前記合成画像は、前記対象画像に所定の透過率で前記抽出結果画像をオーバーレイした画像である
    ことを特徴とする請求項１に記載の領域抽出結果の表示方法。
  3. 前記合成画像において、前記抽出結果画像における塗りつぶし領域の輪郭線が描画される
    ことを特徴とする請求項２に記載の領域抽出結果の表示方法。
  4. 前記輪郭線は、前記塗りつぶし領域の塗りつぶし色と同じ色を用い、前記塗りつぶし領
    域よりも低い透過率で描画される
    ことを特徴とする請求項３に記載の領域抽出結果の表示方法。
  5. 前記輪郭線は、前記塗りつぶし領域の塗りつぶし色と色相が同じで、彩度と輝度の少なくとも一方が異なる色で描画される
    ことを特徴とする請求項３に記載の領域抽出結果の表示方法。
  6. 前記色決定ステップでは、前記候補色のうち、前記所定の色空間における色差が前記色抽出ステップで抽出された前記複数の色のいずれとも可及的に大きくなる色が２つ選択され、
    選択された２つの色のうちの一方が、前記抽出結果画像における塗りつぶし領域の塗りつぶし色として用いられ、他方が、前記塗りつぶし領域の輪郭線の色として用いられる
    ことを特徴とする請求項３に記載の領域抽出結果の表示方法。
  7. 前記輪郭線の太さが、前記表示装置の表示解像度、又は、前記対象画像の画像サイズに応じて決定される
    ことを特徴とする請求項３〜６のうちいずれか１項に記載の領域抽出結果の表示方法。
  8. 前記合成画像において、前記抽出結果画像における塗りつぶし領域の色又は透過率が、塗りつぶし領域の輪郭に近い部分と遠い部分とで異なるか、又は、輪郭に近い部分から遠い部分に向けて変化している
    ことを特徴とする請求項２〜７のうちいずれか１項に記載の領域抽出結果の表示方法。
  9. 前記抽出結果画像は、推定前景領域と推定背景領域の間の境界線が前記色決定ステップで決定された色を用いて描画された画像であり、
    前記境界線の太さが、前記表示装置の表示解像度、又は、前記対象画像の画像サイズに応じて決定される
    ことを特徴とする請求項１に記載の領域抽出結果の表示方法。
  10. 対象画像を前景領域と背景領域に分ける領域抽出処理の結果を表示するための方法であって、
    コンピュータが、対象画像に対する領域抽出処理の結果を取得する結果取得ステップと、
    コンピュータが、前記取得した結果に基づいて、領域抽出処理により推定された推定前景領域のみを表示するために、他の領域をマスクするマスク画像を生成する抽出結果画像生成ステップと、
    コンピュータが、前記対象画像に前記マスク画像を合成した合成画像を生成し、前記合成画像を表示装置に表示する表示ステップと、を含み、
    前記抽出結果画像生成ステップは、
    推定前景領域のうち推定背景領域に隣接する部分を少なくとも含む境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出する色抽出ステップと、
    候補色のうち、所定の色空間における色差又は色相の差が前記色抽出ステップで抽出された前記複数の色のいずれとも可及的に大きくなる色を、前記マスク画像の色として選択する色決定ステップと、を含む
    ことを特徴とする領域抽出結果の表示方法。
  11. 対象画像を前景領域と背景領域に分ける領域抽出処理の結果を表示するための方法であって、
    コンピュータが、対象画像に対する領域抽出処理の結果を取得する結果取得ステップと、
    コンピュータが、前記取得した結果に基づいて、領域抽出処理により推定された推定背景領域のみを表示するために、他の領域をマスクするマスク画像を生成する抽出結果画像生成ステップと、
    コンピュータが、前記対象画像に前記マスク画像を合成した合成画像を生成し、前記合成画像を表示装置に表示する表示ステップと、を含み、
    前記抽出結果画像生成ステップは、
    推定背景領域のうち推定前景領域に隣接する部分を少なくとも含む境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出する色抽出ステップと、
    候補色のうち、所定の色空間における色差又は色相の差が前記色抽出ステップで抽出された前記複数の色のいずれとも可及的に大きくなる色を、前記マスク画像の色として選択する色決定ステップと、を含む
    ことを特徴とする領域抽出結果の表示方法。
  12. 前記色決定ステップでは、前記候補色のうち、前記色抽出ステップで抽出された前記複数の色のそれぞれに対する色差の絶対値の合計が最大となる色が、前記抽出結果画像の色として選択される
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の領域抽出結果の表示方法。
  13. 前記色決定ステップでは、前記候補色のうち、前記色抽出ステップで抽出された前記複数の色を色相環にマッピングしたときに前記色相環上でマッピング点が最も疎になっている部分の色相をもつ色が、前記抽出結果画像の色として選択される
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の領域抽出結果の表示方法。
  14. 前記表示ステップでは、前記抽出結果画像の表示／非表示が所定の周期で自動的に切り替えられる
    ことを特徴とする請求項１〜１３のうちいずれか１項に記載の領域抽出結果の表示方法。
  15. 請求項１〜１４のうちいずれか１項に記載の領域抽出結果の表示方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
  16. 対象画像を前景領域と背景領域に分ける領域抽出処理の結果を表示するための画像を生成する画像処理装置であって、
    対象画像に対する領域抽出処理の結果を取得する結果取得手段と、
    前記取得した結果に基づいて、領域抽出処理により推定された推定前景領域、推定背景領域、又は、推定前景領域と推定背景領域の間の境界、を表す抽出結果画像を生成する抽出結果画像生成手段と、
    前記対象画像に前記抽出結果画像を合成した合成画像を生成し、前記合成画像を表示装置に出力する出力手段と、を有し、
    前記抽出結果画像生成手段は、
    推定前景領域と推定背景領域の間の境界を含み且つ推定前景領域と推定背景領域の両方にまたがる境界周辺領域内のピクセル群から、全ての又は代表的な複数の色を抽出する色抽出手段と、
    候補色のうち、所定の色空間における色差又は色相の差が前記色抽出手段で抽出された前記複数の色のいずれとも可及的に大きくなる色を、前記抽出結果画像の色として選択する色決定手段と、を有する
    ことを特徴とする画像処理装置。
JP2012057369A 2012-03-14 2012-03-14 領域抽出結果の表示方法及び画像処理装置 Active JP5962083B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012057369A JP5962083B2 (ja) 2012-03-14 2012-03-14 領域抽出結果の表示方法及び画像処理装置
CN201280071297.XA CN104160690B (zh) 2012-03-14 2012-11-16 区域提取结果的显示方法和图像处理装置
EP12871528.1A EP2827576A4 (en) 2012-03-14 2012-11-16 DISPLAY METHOD FOR AREA EXTRACTION RESULTS AND IMAGE PROCESSING DEVICE
US14/384,393 US9812086B2 (en) 2012-03-14 2012-11-16 Method for displaying by determined color result image of area extraction result
KR1020147024759A KR101658719B1 (ko) 2012-03-14 2012-11-16 영역 추출 결과의 표시 방법 및 화상 처리 장치
PCT/JP2012/079844 WO2013136593A1 (ja) 2012-03-14 2012-11-16 領域抽出結果の表示方法及び画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012057369A JP5962083B2 (ja) 2012-03-14 2012-03-14 領域抽出結果の表示方法及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2013191054A JP2013191054A (ja) 2013-09-26
JP5962083B2 true JP5962083B2 (ja) 2016-08-03

Family

ID=49160546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012057369A Active JP5962083B2 (ja) 2012-03-14 2012-03-14 領域抽出結果の表示方法及び画像処理装置

Country Status (6)

Country Link
US (1) US9812086B2 (ja)
EP (1) EP2827576A4 (ja)
JP (1) JP5962083B2 (ja)
KR (1) KR101658719B1 (ja)
CN (1) CN104160690B (ja)
WO (1) WO2013136593A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
US10318067B2 (en) * 2014-07-11 2019-06-11 Hewlett-Packard Development Company, L.P. Corner generation in a projector display area
JP6211484B2 (ja) * 2014-08-12 2017-10-11 東芝機械株式会社 画像処理装置
CN104486598A (zh) * 2014-12-31 2015-04-01 国家电网公司 一种视频监控方法及装置
JP6390474B2 (ja) * 2015-03-13 2018-09-19 オムロン株式会社 制御装置
CN105069453B (zh) * 2015-08-12 2019-03-05 青岛海信电器股份有限公司 一种图像校正方法及装置
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
CN107463544A (zh) * 2016-06-06 2017-12-12 汇仕电子商务（上海）有限公司 图形可视化配置方法
CN107918944B (zh) * 2016-10-09 2021-08-31 北京奇虎科技有限公司 一种图片色彩填充方法及装置
KR102267397B1 (ko) * 2016-10-25 2021-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
EP3319041B1 (en) 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6766715B2 (ja) * 2017-03-22 2020-10-14 トヨタ自動車株式会社 車両用表示制御装置
CN108055483A (zh) * 2017-11-30 2018-05-18 努比亚技术有限公司 一种照片合成方法、移动终端及计算机可读存储介质
KR102001944B1 (ko) * 2017-12-27 2019-07-19 충북대학교 산학협력단 색상 상호작용 네트워크 지도의 제작방법
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US10915995B2 (en) 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
KR102566738B1 (ko) * 2018-10-15 2023-08-16 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110502205B (zh) * 2019-08-29 2023-08-01 百度在线网络技术（北京）有限公司 图片显示边缘处理方法、装置、电子设备和可读存储介质
JP2022021836A (ja) 2020-07-22 2022-02-03 ブラザー工業株式会社 印字ラベル作成処理プログラム、記憶媒体、ラベル作成装置の制御装置、及び、印字ラベル作成処理方法
CN112181270A (zh) * 2020-09-29 2021-01-05 南方科技大学 图像分割标注方法、模型训练方法、装置及存储介质
CN112884867B (zh) * 2021-03-17 2022-03-11 杭州太火鸟科技有限公司 基于图片的组合模板生成方法、装置、设备及存储介质
CN113592773B (zh) * 2021-06-25 2023-07-25 东莞市鑫泰仪器仪表有限公司 一种阀门泄漏监测的无线声学成像方法及装置
CN113808235A (zh) * 2021-09-16 2021-12-17 平安普惠企业管理有限公司 颜色填充方法、装置、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JP2000030037A (ja) * 1998-07-10 2000-01-28 Casio Comput Co Ltd 撮影装置
JP2001043376A (ja) * 1999-07-30 2001-02-16 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP2001188910A (ja) * 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
US6839463B1 (en) * 2000-12-22 2005-01-04 Microsoft Corporation System and method providing subpixel-edge-offset-based determination of opacity
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
US7471815B2 (en) * 2004-08-31 2008-12-30 Siemens Medical Solutions Usa, Inc. Candidate generation for lung nodule detection
KR101194133B1 (ko) * 2005-03-31 2012-10-25 파나소닉 주식회사 화상 처리 방법, 표시 화상 처리 방법, 화상 처리 장치,화상 처리 프로그램 및 그 화상 처리 장치를 포함하는집적회로
US8456694B2 (en) * 2005-05-06 2013-06-04 Hewlett-Packard Development Company, L.P. System and method for proofing a page for color discriminability problems based on color names
GB0510793D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Segmentation of digital images
US7899258B2 (en) * 2005-08-12 2011-03-01 Seiko Epson Corporation Systems and methods to convert images into high-quality compressed documents
JP4167680B2 (ja) * 2005-09-14 2008-10-15 Ｎｅｃアクセステクニカ株式会社 原稿読取装置および原稿読取方法
US8013870B2 (en) * 2006-09-25 2011-09-06 Adobe Systems Incorporated Image masks generated from local color models
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
JP2009172970A (ja) * 2008-01-28 2009-08-06 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
US8218877B2 (en) * 2008-12-23 2012-07-10 National Chiao Tung University Tracking vehicle method by using image processing
JP5312166B2 (ja) * 2009-04-13 2013-10-09 キヤノン株式会社 画像処理装置及び制御方法及びプログラム
JP6489761B2 (ja) * 2014-05-14 2019-03-27 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
AU2015227469A1 (en) * 2015-09-17 2017-04-06 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data

Also Published As

Publication number Publication date
US20150138225A1 (en) 2015-05-21
EP2827576A1 (en) 2015-01-21
JP2013191054A (ja) 2013-09-26
WO2013136593A1 (ja) 2013-09-19
US9812086B2 (en) 2017-11-07
CN104160690B (zh) 2017-03-01
EP2827576A4 (en) 2016-09-28
KR20140133547A (ko) 2014-11-19
KR101658719B1 (ko) 2016-09-21
CN104160690A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
JP5962083B2 (ja) 領域抽出結果の表示方法及び画像処理装置
JP3539539B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
US8624922B2 (en) Image composition apparatus, and storage medium with program stored therein
US9292732B2 (en) Image processing apparatus, image processing method and computer program product
US9792695B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2012221117A (ja) 画像処理装置及びプログラム
JP2015041254A (ja) Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム
JP4963492B2 (ja) 画像セグメンテーション方法、プログラムおよび装置
JP5903315B2 (ja) 画像処理装置および画像処理プログラム
US10217245B2 (en) Method and system for chroma keying
JP5672168B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6711031B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6597518B2 (ja) 情報処理装置及びプログラム
JP7329964B2 (ja) 画像処理装置および画像処理方法およびプログラム
JP5070116B2 (ja) テーブルデータ生成装置及びテーブルデータ生成方法
KR102005526B1 (ko) 증강 현실 표시 방법 및 장치
KR20120128539A (ko) 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
JP2022087626A (ja) 画像処理装置、画像処理方法及びプログラム
JP7191514B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6347731B2 (ja) 画面パーツ生成装置
WO2013089051A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記憶した記録媒体
JP2016004309A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
WIN et al. Comparison between Edge Detection and K-Means Clustering Methods for Image Segmentation and Merging
KR100539940B1 (ko) 휴대용 단말기에서 촬영된 영상을 스케치효과로 표시하는방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R150 Certificate of patent or registration of utility model

Ref document number: 5962083

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250