JP6269323B2 - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

画像処理装置、画像処理方法、画像処理システムおよびプログラム Download PDF

Info

Publication number
JP6269323B2
JP6269323B2 JP2014113460A JP2014113460A JP6269323B2 JP 6269323 B2 JP6269323 B2 JP 6269323B2 JP 2014113460 A JP2014113460 A JP 2014113460A JP 2014113460 A JP2014113460 A JP 2014113460A JP 6269323 B2 JP6269323 B2 JP 6269323B2
Authority
JP
Japan
Prior art keywords
area
image
representative position
image processing
designated area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014113460A
Other languages
English (en)
Other versions
JP2015228594A (ja
Inventor
佐々木　信
信 佐々木
耕輔 丸山
耕輔 丸山
山本　隆之
隆之 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014113460A priority Critical patent/JP6269323B2/ja
Priority to US14/539,367 priority patent/US9652858B2/en
Priority to AU2014280985A priority patent/AU2014280985B2/en
Priority to CN201510009492.5A priority patent/CN105302431B/zh
Publication of JP2015228594A publication Critical patent/JP2015228594A/ja
Application granted granted Critical
Publication of JP6269323B2 publication Critical patent/JP6269323B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
特許文献１には、処理対象となる画像情報を表示し、表示した画像情報内の点の指定を少なくとも一つ受け入れ、受け入れた点ごとに、この点を含む所定形状の領域を画像情報内に形成して、形成した領域の情報を前景の初期領域として、セグメンテーション処理を実行し、画像情報を、前景と背景とに分離する画像処理装置が開示されている。
特開２０１３−２９９３０号公報
例えば、ユーザが画像処理を行なう際には、ユーザが画像処理を行なう特定の領域として指定する指定領域を切り出す処理が必要となる。
本発明は、指定領域の切り出しを行なう際におけるユーザの心理的負担を軽減することにある。
請求項１に記載の発明は、画像の画像情報を取得する画像情報取得部と、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定する第２の代表位置設定部と、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、を備えることを特徴とする画像処理装置である。
請求項２に記載の発明は、前記包含領域は、ユーザが前記画像上で複数の軌跡を描くことで入力され、前記第１の代表位置設定部は、入力された複数の前記包含領域が重複する頻度に応じて前記第１の代表位置を設定することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記包含領域は、ユーザが前記画像上で軌跡を描くことで入力され、前記第１の代表位置設定部は、前記軌跡の中心線の位置を前記第１の代表位置として設定することを特徴とする請求項１に記載の画像処理装置である。
請求項４に記載の発明は、前記画像処理装置は、前記中心線を前記画像上に表示するか否かを切り替える表示切替部をさらに備えることを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、前記位置情報取得部は、前記指定領域および前記指定領域外領域の位置の少なくとも一方を補足する補足位置情報をさらに取得し、前記領域検出部は、前記第１の代表位置および前記第２の代表位置に加え前記補足位置情報を使用して前記指定領域を検出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置である。
請求項６に記載の発明は、画像の画像情報を取得し、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得し、前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定し、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定し、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出することを特徴とする画像処理方法である。
請求項７に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、を備え、前記画像処理装置は、前記画像の画像情報を取得する画像情報取得部と、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定する第２の代表位置設定部と、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、前記指定領域に対し画像処理を行なう画像処理部と、を備えることを特徴とする画像処理システムである。
請求項８に記載の発明は、コンピュータに、画像の画像情報を取得する画像情報取得機能と、前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得機能と、前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定機能と、前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定する第２の代表位置設定機能と、前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出機能と、を実現させることを特徴とするプログラムである。
請求項１の発明によれば、指定領域の切り出しを行なう際におけるユーザの心理的負担を軽減することができるとともに、第２の位置情報をより簡単に設定することができる。
請求項２の発明によれば、よりユーザの意図に合致した第１の位置情報を抽出することができる。
請求項３の発明によれば、第１の位置情報をより簡単に設定することができる。
請求項４の発明によれば、ユーザが中心線の位置を確認することができる。
請求項５の発明によれば、指定領域の切り出しの精度がより向上する。
請求項６の発明によれば、指定領域の切り出しを行なう際に、ユーザにとって、より利便性が高い画像処理方法が提供できる。
請求項７の発明によれば、画像処理がより容易に行える画像処理システムが提供できる。
請求項８の発明によれば、指定領域の切り出しを行なう際におけるユーザの心理的負担を軽減することができるとともに、第２の位置情報をより簡単に設定することができる機能をコンピュータにより実現できる。
本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態における画像処理装置の機能構成例を表すブロック図である。 指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。 第１の代表位置および第２の代表位置の例について説明した概念図である。 図３に示した画像に対し、第１の代表位置であるシード１を図示した場合を示す。 第１の代表位置および第２の代表位置の他の例について説明した概念図である。 （ａ）〜（ｂ）は、図３に示した画像から、包含領域、シード１、シード２を抽出した場合を示した図である。 最大流量最小カットの原理を説明した図である。 （ａ）〜（ｅ）は、領域拡張方法を使用し、２つのシードが与えられた場合に、画像が２つの領域に分けられる様子を示した図である。 図３で示した画像について、指定領域として頭髪の部分が切り出された様子を示している。 （ａ）〜（ｃ）は、ユーザが指定領域の選択を行なうときに、表示装置の表示画面に表示される画面の例を示している。 画像処理を行なう際に、表示装置の表示画面に表示される画面の例を示している。 第１の実施形態における画像処理装置の動作について説明したフローチャートである。 本発明の第２の実施形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｂ）は、軌跡の中心線の表示を行なうか否かを決定するために表示装置の表示画面に表示される画面の例を示している。 第２の実施形態における画像処理装置の動作について説明したフローチャートである。 （ａ）〜（ｃ）は、第３の実施形態においてシード１を求める方法を説明した図である。 図１７で説明した方法でシード１を設定するとともに、頻度が０となる画素の位置をシード２とした場合を示した図である。 第４の実施形態による方法でシード１およびシード２を設定した場合を示した図である。 （ａ）〜（ｂ）は、第５の実施形態における補足位置情報について説明した図である。 （ａ）〜（ｃ）は、第６の実施形態における補足位置情報について説明した図である。 図２１（ｃ）に示した画像から、包含領域、補足位置情報を抽出した場合を示した図である。 第５の実施形態および第６の実施形態における画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜発明の背景＞
例えば、カラーの画像の画質調整を行なうときには、カラーの画像全体に対し行なう場合とカラーの画像中において領域別に行なう場合がある。カラーの画像を表現する要素は、一般にＲＧＢ等の色成分、Ｌ＊ａ＊ｂ＊等の輝度と色度、またはＨＳＶなどの輝度と色相と彩度により表すことができる。また画質を制御する代表例としては、色成分のヒストグラム制御、輝度のコントラスト制御、輝度のヒストグラム制御、輝度の帯域制御、色相制御、彩度制御などが挙げられる。また近年では、Retinex等のように視認性を表す画質についての制御も重要視されている。色や輝度の帯域に基づく画質を制御する場合、特に特定の領域に対してのみ画質調整を行うときは、この領域を切り出す処理が必要となる。
一方、近年のＩＣＴ（Information and Communication Technology）機器の増加に伴って、画像処理の幅が広がったことから、領域の切り出し処理・画像調整も様々なアプローチが考えられる。この場合、タブレット端末等に代表されるＩＣＴ機器の利点は、タッチパネル等による直観性であり、ユーザインタラクティブ性が高まった中での画像加工・画像編集が行えることが特徴である。
以上の状況を踏まえ、本実施の形態では、以下のような画像処理システム１を用いて、特定の領域の切り出しや画質調整を行なう。
＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。
画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。
入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。
画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
＜画像処理装置の説明＞
［第１の実施形態］
次に画像処理装置１０の第１の実施形態について説明を行なう。
図２は、本発明の第１の実施形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、第１の代表位置設定部１３と、第２の代表位置設定部１４と、領域検出部１５と、領域切替部１６と、画像処理部１７と、画像情報出力部１８とを備える。
画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。
ユーザ指示受付部１２は、位置情報取得部の一例であり、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像の中から、ユーザが画像処理を行なう画像領域として、指定領域を指定する指示をユーザ指示情報として受け付ける。より具体的には、本実施の形態では、ユーザ指示受付部１２は、ユーザ指示情報として、画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する。
また詳しくは後述するが、ユーザ指示受付部１２は、ユーザが、この指定領域の中から実際に画像処理を行なうものを選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部１２は、選択された指定領域に対し、ユーザが画像処理を行う処理項目や処理量等に関する指示をユーザ指示情報として受け付ける。これらの内容に関するさらに詳しい説明については後述する。
本実施の形態では、指定領域を指定する作業を下記に説明するユーザインタラクティブに行う方法を採用する。
図３は、指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。
ここでは、表示装置２０の表示画面２１で表示している画像が、前景として写る人物と、人物の背後に写る背景とからなる写真の画像Ｇである場合を示している。そしてユーザが、前景である人物の頭髪の部分を指定領域Ｓとして選択する場合を示している。なお以後、指定領域外の領域を「指定領域外領域」と言うことがある。
そしてユーザは、指定領域Ｓを包含する包含領域Ｈを画像Ｇに対し入力する。具体的には、画像Ｇ上で指定領域Ｓである頭髪の部分とそこからはみ出した周辺の部分について軌跡を描き、これにより指定領域Ｓを包含する包含領域Ｈを入力する。この場合、包含領域Ｈは、指定領域Ｓである頭髪の部分とそこからはみ出した周辺の部分の双方を合わせた領域となる。
この軌跡は、入力装置３０により描くことができる。例えば、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをなぞりスワイプすることで同様に軌跡を描く。
この軌跡は、１回で描く必要はなく、複数回に分けて描いてもよい。即ち、包含領域Ｈは、ユーザが画像Ｇ上で複数の軌跡を描くことで入力してもよい。
例えば、図３では、ユーザは、図中左方向から右方向に向けて描かれた円弧状の軌跡Ｋ１と、同様の方向で「Ｓ」の文字に近い曲線状に描かれた軌跡Ｋ２の２回に分けて軌跡を描いている。これにより指定領域Ｓを包含する包含領域Ｈを入力することができる。なお軌跡Ｋ１と軌跡Ｋ２は、画像Ｇ上において重複する領域があってもよい。図３では、２回描かれた軌跡が重複せず、１回だけ軌跡が通過した領域を薄く着色する表示を行ない、軌跡が重複し、２回とも軌跡が通過した領域を濃く着色する表示を行なっている。
また軌跡は、同方向で描く場合に限られるものではなく、往復動作を行い描いてもよい。またこの軌跡は細い線よりもより太い線にて描いた方が、包含領域Ｈの入力はより容易になる。これは例えば、画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中で太いサイズのものを実装する方法で実現してもよい。
第１の代表位置設定部１３は、包含領域の位置情報を基に、指定領域の代表位置である第１の代表位置を設定する。
また第２の代表位置設定部１４は、指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を設定する。
図４は、第１の代表位置および第２の代表位置の例について説明した概念図である。
ここでは指定領域の代表位置である第１の代表位置は、描かれた軌跡Ｋ（この場合、包含領域Ｈでもある）の中心線Ｃの位置として設定される。この場合「中心線」とは、軌跡Ｋの太さ方向（幅方向）の中央部を軌跡が描かれる方向に対し連続的に結ぶことにより得られる線である。
ユーザが、指定領域を指定するために軌跡Ｋを入力するときには、ユーザは、画像Ｇ上でこの中央部を描く動作を行なうため、ユーザの心理上、中心線Ｃを軌跡Ｋの代表位置とすることは妥当である。よってこの中心線Ｃを第１の代表位置とする。なおこの第１の代表位置を以後、図４に示すように、「シード１」と言うことがある。
図５は、図３に示した画像Ｇに対し、第１の代表位置であるシード１を図示した場合を示す。
上述したように図３では、包含領域Ｈを入力するために軌跡Ｋ１と軌跡Ｋ２を描いている。よってこの場合、軌跡の中心線であるシード１も２本の曲線となる。
また包含領域Ｈの外側の領域には指定領域は含まれないため、指定領域外領域は、包含領域Ｈの外側全ての領域が該当する。よって指定領域外領域の代表位置である第２の代表位置は、包含領域Ｈの外側に設定すればよく、特に限定されるものではない。
図４では、第２の代表位置は、包含領域Ｈの周囲に包含領域Ｈに沿って描かれるほぼ一定の太さの線状の領域により設定され、その結果、長方形に近い形状となった領域として設定されている。なおこの第２の代表位置を、以後、図４に示すように、「シード２」と言うことがある。
図６は、第１の代表位置および第２の代表位置の他の例について説明した概念図である。
図６に示した例では、第１の代表位置である「シード１」については、図４の場合と同様である。一方、第２の代表位置である「シード２」については、包含領域Ｈの外側の領域全体として設定している。
図４および図６の方法によれば、本実施の形態では、第２の代表位置設定部１４は、第２の代表位置であるシード２を包含領域Ｈ外の少なくとも一部の位置として設定する、と言うことができる。
図７（ａ）〜（ｂ）は、図３に示した画像Ｇから、包含領域Ｈ、シード１、シード２を抽出した場合を示した図である。
このうち図７（ａ）は、図４で説明した方法でシード１およびシード２を設定した場合である。図示するように軌跡Ｋ１と軌跡Ｋ２の中心線である２本の曲線で示したシード１と、包含領域Ｈに沿って設定される１本の直線で示したシード２が設定される。
また図７（ｂ）は、図６で説明した方法でシード１およびシード２を設定した場合である。図示するようにシード１については図７（ａ）の場合と同様である。一方、シード２は包含領域Ｈの外側の領域全体として設定される。
領域検出部１５は、第１の代表位置および第２の代表位置から指定領域を検出する。実際には、領域検出部１５は、表示装置２０で表示している画像の中から、指定領域を切り出す処理を行う。
領域検出部１５が指定領域の切り出しを行うには、例えば、画像Ｇをグラフと見立て、最大流量最小カットの原理を利用した方法が使用できる。
この原理は、図８に示すように前景の仮想ノードを始点、背景の仮想ノードを終点として設定し、前景の仮想ノードからユーザが指定した前景領域の代表位置をリンクし、ユーザが指定した背景領域の代表位置から終点へリンクさせる。そして始点から水を流した場合、最大流せる量はいくらかを計算する。前景から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている（流れにくい）箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と背景とを分離することになる（グラフカット）。
また領域検出部１５は、シードが描かれた画素と周辺の画素との間で画素値の近さ（ＲＧＢ値のユークリッド距離など）を基に、近ければ連結し、遠ければ連結しない作業を繰り返し、領域を拡張していく領域拡張方法により、指定領域を切り出していってもよい。
図９（ａ）〜（ｅ）は、領域拡張方法を使用し、２つのシードが与えられた場合に、画像が２つの領域に分けられる様子を示した図である。
図９（ａ）は、指定領域の切り出しが行なわれる原画像を示したものである。図示するように原画像は、全体が縦９画素、横７画素の９×７＝６３画素の領域からなり、図示するように画像領域Ｒ１と画像領域Ｒ２が含まれる。この画像領域Ｒ１に含まれる画素のそれぞれの画素値、また画像領域Ｒ２に含まれる画素のそれぞれの画素値は近い値を採る。そしてこの画像領域Ｒ１を指定領域として切り出すものとする。なおこの場合、画像領域Ｒ２はそれぞれ指定領域外領域となる。
また説明を簡単にするため、図９（ｂ）で示すように、シード１およびシード２は、画像領域Ｒ１と画像領域Ｒ２のそれぞれに設定された２箇所で、それぞれ１画素からなるものとする。
そして各々のシードを基点に領域を拡張していく。この場合、上述したように原画像における周辺画素の画素値との近さ等に応じて領域を拡張していくことができる。このとき図９（ｃ）に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の画素値との関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)
図９（ｄ）の例では、再判定の対象画素は、最終的にはシード２の領域として判定され、図９（ｅ）に示すように２つのシードを基に、２つの領域に切り分けられて収束する。
図１０は、図３で示した画像Ｇについて、指定領域Ｓとして頭髪の部分が切り出された様子を示している。
以上のような方法を採用することで、指定領域が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域が切り出せる。またユーザが、指定領域を包含する包含領域を画像に対し入力する作業を複数回繰り返すことで、複数の指定領域を切り出すことができる。
図２に戻り、領域切替部１６は、ユーザが複数の指定領域を切り出した場合に、これらの指定領域を切り替える。即ち、指定領域が複数存在した場合、ユーザが画像調整を行ないたい指定領域の選択を行ない、これに従い、領域切替部１６が指定領域を切り替える。
図１１（ａ）〜（ｃ）は、ユーザが指定領域の選択を行なうときに、表示装置２０の表示画面２１に表示される画面の例を示している。
図１１（ａ）〜（ｃ）に示した例では、ユーザが、画像Ｇの前景である人物の頭髪の部分、顔の部分、および頭髪や顔以外の部分をそれぞれ指定領域として選択する場合を示している。即ち、この場合指定領域は３つある。ここでは頭髪の部分の指定領域を「第１の指定領域（Ｓ１）」、顔の部分の指定領域を「第２の指定領域（Ｓ２）」、頭髪や顔以外の部分の指定領域を「第３の指定領域（Ｓ３）」とする。
図１１（ａ）〜（ｃ）に示した例では、表示画面２１の左側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右側に「領域１」、「領域２」、「領域３」の何れかを選択するラジオボタン２１２ａ、２１２ｂ、２１２ｃが表示される。この場合、「領域１」は、「第１の指定領域（Ｓ１）」に、「領域２」は、「第２の指定領域（Ｓ２）」に、「領域３」は、「第３の指定領域（Ｓ３）」に対応する。そしてユーザが入力装置３０を使用して、このラジオボタン２１２ａ、２１２ｂ、２１２ｃを選択すると、指定領域が切り替わる。
図１１（ａ）は、ラジオボタン２１２ａが選択されている状態であり、指定領域として、頭髪の部分の画像領域である「第１の指定領域（Ｓ１）」が選択されている。そしてユーザがラジオボタン２１２ｂを選択すると、図１１（ｂ）に示すように指定領域として、顔の部分の画像領域である「第２の指定領域（Ｓ２）」に切り替わる。そしてさらにユーザがラジオボタン２１２ｃを選択すると、図１１（ｃ）に示すように指定領域が、頭髪や顔以外の部分の画像領域である「第３の指定領域（Ｓ３）」に切り替わる。
実際には、図１１で説明を行なった操作の結果は、ユーザ指示情報としてユーザ指示受付部１２により取得され、さらに領域切替部１６により指定領域の切り替えが行なわれる。
画像処理部１７は、選択された指定領域に対し実際に画像処理を行なう。
図１２は、画像処理を行なう際に、表示装置２０の表示画面２１に表示される画面の例を示している。
ここでは、選択された指定領域に対し、色相、彩度、輝度の調整を行なう例を示している。この例では、表示画面２１の左上側に指定領域が選択された状態の画像Ｇが表示され、表示画面２１の右上側に「領域１」、「領域２」、「領域３」の何れかを選択するラジオボタン２１２ａ、２１２ｂ、２１２ｃが表示される。ここでは、ラジオボタンのうち２１２ａが選択されており、指定領域として、頭髪の部分の画像領域である「第１の指定領域（Ｓ１）」が選択されている。なおラジオボタン２１２ａ、２１２ｂ、２１２ｃを操作することで、指定領域の切り替えが可能であることは、図１１の場合と同様である。
また表示画面２１の下側には、「色相」、「彩度」、「輝度」の調整を行なうためのスライドバー２１３ａと、スライダ２１３ｂが表示される。スライダ２１３ｂは、入力装置３０の操作によりスライドバー２１３ａ上において図中左右に移動し、スライドが可能である。スライダ２１３ｂは、初期状態ではスライドバー２１３ａの中央に位置し、この位置において「色相」、「彩度」、「輝度」の調整前の状態を表す。
そしてユーザが、入力装置３０を使用して、「色相」、「彩度」、「輝度」の何れかのスライダ２１３ｂをスライドバー２１３ａ上で図中左右にスライドさせると、選択された指定領域に対し画像処理がなされ、表示画面２１で表示される画像Ｇもそれに対応して変化する。この場合、図中右方向にスライダ２１３ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを増加させる画像処理がなされる。対して図中左方向にスライダ２１３ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを減少させる画像処理がなされる。
再び図２に戻り、画像情報出力部１８は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。
図１３は、第１の実施形態における画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図１３を使用して、第１の実施形態の画像処理装置１０の動作について説明を行う。
まず画像情報取得部１１が、画像処理を行なう画像の画像情報としてＲＧＢデータを取得する（ステップ１０１）。このＲＧＢデータは、表示装置２０に送られ、画像処理を行う前の画像が表示される。
そしてユーザが、例えば、図３で説明した方法で、入力装置３０を使用して軌跡を描くことで指定領域を包含する包含領域を入力する。この包含領域の位置情報は、ユーザ指示受付部１２が受け付ける（ステップ１０２）。
次に第１の代表位置設定部１３が、例えば、図４で説明した方法を用い、包含領域の位置情報を基に、第１の代表位置であるシード１を設定する（ステップ１０３）。
さらに第２の代表位置設定部１４が、例えば、図４や図６で説明した方法を用い、第１の代表位置を基に、第２の代表位置であるシード２を設定する（ステップ１０４）。
そして領域検出部１５が、例えば、図８や図９で説明した方法により、シード１およびシード２から指定領域を切り出す処理を行う（ステップ１０５）。
次にユーザが、指定領域の選択を入力装置３０を使用して入力する。これは、例えば、図１１で説明した操作により入力することができる。
このユーザによる指定領域の選択の指示は、ユーザ指示受付部１２が受け付ける（ステップ１０６）。
そして領域切替部１６により指定領域の切り替えが行なわれる（ステップ１０７）。これは、例えば、図１１で説明したラジオボタン２１２ａ、２１２ｂ、２１２ｃ等を使用して切り替えることができる。
またユーザは、選択された指定領域について行なう画像処理の指示を入力装置３０を使用して入力する。これは、例えば、図１２で説明したスライダ２１３ｂ等を使用して入力することができる。
ユーザによる画像処理の指示は、ユーザ指示受付部１２が受け付ける（ステップ１０８）。
そして画像処理部１７が、ユーザの指示に基づき、選択された指定領域の画像処理を行なう（ステップ１０９）。
次に画像情報出力部１８が、画像処理がなされた後の画像情報を出力する（ステップ１１０）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。
［第２の実施形態］
次に画像処理装置１０の第２の実施形態について説明を行なう。
図１４は、本発明の第２の実施形態における画像処理装置１０の機能構成例を表すブロック図である。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、表示切替部１９と、第１の代表位置設定部１３と、第２の代表位置設定部１４と、領域検出部１５と、領域切替部１６と、画像処理部１７と、画像情報出力部１８とを備える。
第２の実施形態の画像処理装置１０は、図２で示した第１の実施形態の画像処理装置１０に対し、表示切替部１９を備えることが異なる。また他の機能部の動作については第１の実施形態とほぼ同様である。よってここでは、表示切替部１９について説明を行なう。
表示切替部１９は、軌跡Ｋの中心線を画像Ｇ上に表示するか否かを切り替える。
図１５（ａ）〜（ｂ）は、軌跡の中心線の表示を行なうか否かを決定するために表示装置２０の表示画面２１に表示される画面の例を示している。
この例では、表示画面２１の左側に軌跡が描かれた状態の画像Ｇが表示され、表示画面２１の右側に軌跡の中心線の表示を「ＯＮ」にするか、「ＯＦＦ」にするかの何れかを選択するラジオボタン２１４ａ、２１４ｂが表示される。
そしてユーザが入力装置３０を使用して、ラジオボタン２１４ａを選択すると、軌跡の中心線の表示が「ＯＮ」になり、ラジオボタン２１４ｂを選択すると、軌跡の中心線の表示が「ＯＦＦ」になる。
このとき図１５（ａ）は、ラジオボタン２１４ｂを選択した場合を示している。この場合、軌跡の中心線の表示が「ＯＦＦ」になるため軌跡の中心線の表示は行なわれず、図３に示したものと同様の画像Ｇが表示される。
一方、図１５（ｂ）は、ラジオボタン２１４ａを選択した場合を示している。この場合、軌跡の中心線の表示が「ＯＮ」になるため軌跡の中心線Ｃ（シード１）の表示が行なわれ、図５に示したものと同様に中心線Ｃ（シード１）が描かれた画像Ｇが表示される。この軌跡の表示は、画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中で細いサイズのものを実装する方法で実現してもよい。
図１６は、第２の実施形態における画像処理装置１０の動作について説明したフローチャートである。
以下、図１４および図１６を使用して、第２の実施形態の画像処理装置１０の動作について説明を行う。
図１６のうちステップ２０１〜ステップ２０２については、図１３のステップ１０１〜ステップ１０２と同様であるので説明を省略する。
次にユーザは、軌跡Ｋの中心線の表示を行なうか否かの指示を入力装置３０を使用して入力する。これは、例えば、図１５で説明したラジオボタン２１４ａ、２１４ｂを使用して入力することができる。
ユーザによる中心線表示の指示は、ユーザ指示受付部１２が受け付ける（ステップ２０３）。
そして表示切替部１９が、ユーザの指示により軌跡Ｋの中心線の表示の切り替えが行なわれる（ステップ２０４）。
なお以後、ステップ２０５〜ステップ２１２については、図１３のステップ１０３〜ステップ１１０と同様である。
［第３の実施形態］
次に画像処理装置１０の第３の実施形態について説明を行なう。
上述した第１の実施形態および第２の実施形態では、第１の代表位置であるシード１を軌跡の中心線としていたが、これに限られるものではない。
第３の実施形態では、第１の代表位置設定部１３において、以下の方法によりシード１を求める。
図１７（ａ）〜（ｃ）は、第３の実施形態においてシード１を求める方法を説明した図である。
図１７（ａ）では、画像Ｇ上でユーザが３回軌跡を描いた場合を示している。図では、この３本の軌跡を軌跡Ｋ１、軌跡Ｋ２、軌跡Ｋ３で図示している。また軌跡Ｋ１、軌跡Ｋ２、軌跡Ｋ３の中心線をそれぞれ中心線Ｃ１、中心線Ｃ２、中心線Ｃ３として図示している。
このとき画素の位置と３本の中心線の重なり度合い（頻度）との関係を求める。この頻度は、画像Ｇ上において中心線の通過した度合いを表す。つまり３本の中心線の何れも位置しない画素については、頻度は０である。また３本の中心線のうち１本のみが位置する画素については、頻度は１である。同様にして３本の中心線のうち２本が位置する画素については、頻度は２であり、３本の中心線の全てが位置する画素については、頻度は３となる。つまり頻度は０〜３の整数値を採る。
図１７（ｂ）は、画素の位置と頻度との関係を概念的に示した図である。
図中横軸は、画素の位置を表し、縦軸は、頻度を表す。なお横軸は便宜上一次元で記載しているが、実際には二次元の画像上の位置となるため二次元により表されるものとなる。
そして画素の位置を（ｘ、ｙ）、この画素の位置に対する頻度をｈ（ｘ、ｙ）とし、正規化した頻度ｈｎｏｒｍ（ｘ、ｙ）を下記数１式により求める。
Figure 0006269323
この場合、正規化した頻度ｈｎｏｒｍ（ｘ、ｙ）の最大値は、１となり正規化がなされる。
さらに画素値は、通常０〜２５５の整数値（階調値）で表されるため、この画素値と同等の扱いをするため、正規化した頻度ｈｎｏｒｍ（ｘ、ｙ）に２５５を乗じる。そしてこの結果算出された値をシード１として扱う。
図１７（ｃ）は、上記の方法で算出されたシード１を示した概念図である。
シード１は、画素の位置に対応して定まり、０〜２５５の何れかの整数値を採るものとなる。図１７（ｃ）の場合は、頻度は０〜３の４段階であったため、０、８５、１７０、２５５の何れかの値を有するものとなる。このようにシード１は一定値でなくとも指定領域の切り出しを行なう処理に支障はない。
また上記数１式において、閾値パラメータθ（０＜θ＜１）を用意し、正規化した頻度ｈｎｏｒｍ（ｘ、ｙ）を下記数２式のように変換して０または１の二値としてもよい。
Figure 0006269323
また第２の代表位置設定部１４では、軌跡の重なり度合いにより定義した頻度が０となる画素の位置を第２の代表位置であるシード２とする。つまり図１７で示した軌跡Ｋ１、軌跡Ｋ２、軌跡Ｋ３が全く描かれない箇所をシード２とする。
図１８は、図１７で説明した方法でシード１を設定するとともに、頻度が０となる画素の位置をシード２とした場合を示した図である。
この場合、シード１は、中心線の重なり度合いにより定義されたものとなり、シード２は、図１７の軌跡Ｋ１、軌跡Ｋ２、軌跡Ｋ３が描かれなかった位置全体として設定される。
［第４の実施形態］
次に画像処理装置１０の第４の実施形態について説明を行なう。
上述した第３の実施形態では、頻度の概念を使用し、これによりシード１を設定したが、第４の実施形態では、これに加えシード２についてもシード１と同様に頻度の概念を使用して設定を行なう。
本実施の形態では、軌跡の重なり度合いにより頻度ｈ（ｘ、ｙ）を定義する。そして数１式により正規化した頻度ｈｎｏｒｍ（ｘ、ｙ）を求め、さらに正規化した頻度ｈｎｏｒｍ（ｘ、ｙ）を数２式により変換して０または１の二値とする。そしてこの値が１となる画素の位置をシード１とし、この値が０となる画素の位置をシード２とする。
図１９は、第４の実施形態による方法でシード１およびシード２を設定した場合を示した図である。
この場合、シード１は、図１８で示した第３の実施形態と同様となる。対してシード２は、第３の実施形態では、軌跡Ｋ１、軌跡Ｋ２、軌跡Ｋ３が描かれなかった位置全体として設定されていたが、本実施の形態では、頻度に応じて設定されるものとなる。そのため軌跡Ｋ１、軌跡Ｋ２、軌跡Ｋ３が描かれた部分にまでシード２が拡張され、図１９で示すようにシード２の範囲がシード１側により近づくようになる。即ち、シード１とシード２の間の領域（図１８、図１９では、シード１とシード２の間の空白の部分として図示した領域）が図１８に対し、図１９では、より狭くなる。
第３の実施形態および第４の実施形態における画像処理装置１０の機能構成例は、図２で説明した第１の実施形態のものや、図１４で説明した第２の実施形態のものがそのまま適用できる。
また画像処理装置１０の動作についても、図１３で説明した第１の実施形態のものや、図１６で説明した第２の実施形態のものが、シード１およびシード２の設定の方法の箇所が、上述した場合になることを除き、そのまま適用できる。
［第５の実施形態］
次に画像処理装置１０の第５の実施形態について説明を行なう。
第５の実施形態では、指定領域の位置を補足する補足位置情報をさらに加えて指定領域の切り出しを行なう。
本実施の形態では、ユーザ指示受付部１２は、指定領域を包含するようにユーザが入力した包含領域の位置情報に加え、指定領域の位置を補足する補足位置情報をさらに取得する。
図２０（ａ）〜（ｂ）は、第５の実施形態における補足位置情報について説明した図である。
図２０（ａ）は、図３と同様の図であり、ユーザが指定領域Ｓを包含する包含領域Ｈを画像Ｇに対し入力した場合を示している。この包含領域Ｈの入力は、図３で説明したように、ユーザが２本の軌跡である軌跡Ｋ１、Ｋ２を画像Ｇ上で描くことで行なわれる。
本実施の形態では、図２０（ａ）の状態から、ユーザは、さらに指定領域Ｓの位置を補足する軌跡を描く。
図２０（ｂ）は、ユーザが、指定領域Ｓの位置を補足する軌跡を描いた場合を示している。
ここでは、この軌跡を軌跡Ｋ３および軌跡Ｋ４で示している。この軌跡Ｋ３、Ｋ４は、ユーザが、指定領域Ｓである頭髪の部分についてさらに詳しく規定したい場合に補足位置として描かれ、軌跡Ｋ１、Ｋ２の中心線とは異なるものである。
つまり軌跡Ｋ１、Ｋ２は、あくまで指定領域Ｓを大体の領域として大雑把に指定するものである。しかしながらこのときユーザが、さらに指定領域Ｓの領域を明確化したい場合がある。本実施の形態では、別途軌跡Ｋ３、Ｋ４を入力することでさらに指定領域Ｓを明確化する。そしてこの軌跡Ｋ３、Ｋ４の位置情報を指定領域Ｓの位置を補足する補足位置情報として使用する。例えば、軌跡Ｋ３、Ｋ４の位置情報をシード１とみなし、シード１と同様に扱ってもよい。
この補足情報としての軌跡は、１回で描く必要はなく、複数回に分けて描いてもよい。本実施の形態では、ユーザは、軌跡Ｋ３および軌跡Ｋ４の２本の軌跡を入力している。またこの軌跡Ｋ３、Ｋ４は、表示画面２１において画像Ｇ上に重ねて表示した方が好ましい。
この軌跡は太い線よりもより細い線にて描いた方が、入力はより容易になる。これは例えば、画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中で細いサイズのものを実装する方法で実現してもよい。
領域検出部１５は、第１の代表位置であるシード１および第２の代表位置であるシード２に加え、軌跡Ｋ３、Ｋ４の位置情報である補足位置情報を使用して指定領域Ｓを検出する。
［第６の実施形態］
次に画像処理装置１０の第６の実施形態について説明を行なう。
第６の実施形態では、指定領域外領域の位置を補足する補足位置情報をさらに加えて指定領域の切り出しを行なう。
本実施の形態では、ユーザ指示受付部１２は、第５の実施形態で説明した指定領域の位置を補足する補足位置情報に加え、指定領域外領域の位置を補足する補足位置情報についてもさらに取得する。
図２１（ａ）〜（ｃ）は、第６の実施形態における補足位置情報について説明した図である。
図２１（ａ）〜（ｂ）は、図２０（ａ）〜（ｂ）と同様の図であり、ユーザが指定領域Ｓを包含する包含領域Ｈを画像Ｇに対し入力し、さらに指定領域Ｓの位置を補足する軌跡として、軌跡Ｋ３、Ｋ４を入力したことを示している。そしてこの軌跡Ｋ３、Ｋ４の位置情報は、上述の通り指定領域Ｓの位置を補足する補足位置情報として使用される。
本実施の形態では、図２１（ｂ）の状態から、ユーザは、さらに指定領域外領域の位置を補足する軌跡を描く。
図２１（ｃ）は、ユーザが、指定領域外領域の位置を補足する軌跡を描いた場合を示している。
ここでは、この軌跡を軌跡Ｋ５で示している。この軌跡Ｋ５は、ユーザが、指定領域外領域である頭髪以外の部分についてさらに詳しく規定したい場合に補足位置として描かれる。本実施の形態では、軌跡Ｋ５は、人物の額の箇所に描かれている。
この軌跡Ｋ５は、ユーザが、さらに指定領域外領域を明確化したい場合、別途軌跡Ｋ５を入力することで、これを実現するものである。そしてこの軌跡Ｋ５の位置情報を指定領域外領域の位置を補足する補足位置情報として使用する。例えば、軌跡Ｋ５の位置情報をシード２とみなし、シード２と同様に扱ってもよい。
この補足情報としての軌跡は、１回で描く必要はなく、複数回に分けて描いてもよい。ただし図２１（ｃ）では、ユーザは、軌跡Ｋ５の１本の軌跡のみを入力している。またこの軌跡Ｋ５は、表示画面２１において画像Ｇ上に重ねて表示した方が好ましいのは第５の実施形態の場合と同様である。そしてこの場合も画像加工を行なう画像加工ソフトウェア等で用いられるブラシツールの中で細いサイズのものを実装する方法で実現できる。また指定領域の位置を補足する補足位置情報であるか、指定領域外領域の位置を補足する補足位置情報であるかを切り替えるには、例えば、図１１や図１５で例示したように、これらを切り替えるためのラジオボタンを表示画面２１に表示し、ユーザがこのラジオボタンを操作することで行なってもよい。
領域検出部１５は、第１の代表位置であるシード１および第２の代表位置であるシード２に加え、軌跡Ｋ３、Ｋ４、Ｋ５の位置情報である補足位置情報を使用して指定領域Ｓを検出する。
なお上述した例では、ユーザは、指定領域と指定領域外領域の双方について軌跡を描き、領域検出部１５では、この双方の補足位置情報を使用して指定領域Ｓを検出していたが、これに限られるものではない。つまり、ユーザは、指定領域外領域の一方のみについて軌跡を描き、領域検出部１５では、この指定領域外領域の補足位置情報を使用して指定領域Ｓを検出してもよい。
図２２は、図２１（ｃ）に示した画像Ｇから、包含領域Ｈ、補足位置情報を抽出した場合を示した図である。
図示するように軌跡Ｋ５は、包含領域Ｈ内にその一部が含まれるが、この部分は、指定領域外領域であることが明確化される。
第５の実施形態および第６の実施形態における画像処理装置１０の機能構成例は、図２で説明した第１の実施形態のものや、図１４で説明した第２の実施形態のものがそのまま適用できる。
一方、画像処理装置１０の動作は、以下のようになる。
図２３は、第５の実施形態および第６の実施形態における画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図２３を使用して、第５の実施形態および第６の実施形態の画像処理装置１０の動作について説明を行う。
図２３のうちステップ３０１〜ステップ３０２については、図１３のステップ１０１〜ステップ１０２と同様であるので説明を省略する。
次にユーザは、指定領域や指定領域外領域の位置を補足する軌跡を描くことで補足位置を入力する。これは、図２０〜図２２で説明した軌跡Ｋ３、Ｋ４、Ｋ５に例示されるものとなる。
ユーザによる軌跡の位置情報は、補足位置情報としてユーザ指示受付部１２が受け付ける（ステップ３０３）。
次に第１の代表位置設定部１３が、第１の代表位置であるシード１を設定する（ステップ３０４）。このとき指定領域についての補足位置情報についてもシード１として扱ってもよい。
さらに第２の代表位置設定部１４が、第２の代表位置であるシード２を設定する（ステップ３０５）。このとき指定領域外領域についての補足位置情報についてもシード２として扱ってもよい。
そして領域検出部１５が、シード１およびシード２から指定領域を切り出す処理を行う（ステップ３０６）。
なお以後、ステップ３０７〜ステップ３１１については、図１３のステップ１０６〜ステップ１１０と同様である。
以上詳述した第１の実施形態〜第６の実施形態によれば、ユーザは指定領域を含む包含領域を入力する作業を行なう。そして画像処理装置１０は、包含領域の位置情報を基に指定領域の切り出しを行なう。
この場合、指定領域と指定領域外領域の双方について入力する必要はなく、指定領域を含む包含領域についてだけ入力すればよい。またユーザにとっては、包含領域を入力する作業は、いわば指定領域を大雑把に塗りつぶす作業となり、ユーザにとって安心であり、心理的負担が軽減される。そのためユーザの入力作業の負担が軽減され、ユーザの利便性が向上する。また指定領域を切り出す処理速度が高速化しやすい。
また第２の実施形態によれば、軌跡の中心線の表示を「ＯＮ」とすることで、中心線が視認できる。この場合、ユーザはより使いやすいと感じることが多い。また中心線は、そのまま第１の代表位置であるシード１となり、指定領域の代表位置として使用されるため、この中心線が指定領域からはみ出していないかどうかの確認にも役立つ。よってユーザの利便性がさらに向上する。
さらに第３の実施形態および第４の実施形態によれば、ユーザが軌跡を描いたときに、複数回描く場合は、ユーザの心理上、指定領域の切り出しを高めたいと考えるときであり、中心線や軌跡が重複する領域は、その部分を間違えなく指定領域として切り出したいと考える領域と考えられる。よって頻度を基に第１の代表位置であるシード１を求めることで、よりユーザが意図するシード１が抽出できていると考えることができる。よって指定領域の切り出しの精度がより向上する。
またさらに第５の実施形態および第６の実施形態によれば、補足位置情報を使用することで、指定領域や指定領域外領域の範囲をさらに明確化することができ、指定領域の切り出しの精度がより向上する。
なお以上説明した領域検出部１５で行われる処理は、画像Ｇの画像情報を取得し、画像Ｇの中の特定の画像領域である指定領域Ｓを包含するようにユーザが入力した包含領域Ｈの位置情報を取得し、包含領域Ｈの位置情報を基に、指定領域Ｓの代表位置である第１の代表位置（シード１）を設定し、指定領域Ｓ外の領域である指定領域外領域の代表位置である第２の代表位置（シード２）を設定し、第１の代表位置（シード１）および第２の代表位置（シード２）から指定領域Ｓを検出することを特徴とする画像処理方法として捉えることもできる。
＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図２４は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、画像Ｇの画像情報を取得する画像情報取得機能と、画像Ｇの中の特定の画像領域である指定領域Ｓを包含するようにユーザが入力した包含領域Ｈの位置情報を取得する位置情報取得機能と、包含領域Ｈの位置情報を基に、指定領域Ｓの代表位置である第１の代表位置（シード１）を設定する第１の代表位置設定機能と、指定領域Ｓ外の領域である指定領域外領域の代表位置である第２の代表位置（シード２）を設定する第２の代表位置設定機能と、第１の代表位置（シード１）および第２の代表位置（シード２）から指定領域Ｓを検出する領域検出機能と、を実現させることを特徴とするプログラムとして捉えることもできる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…第１の代表位置設定部、１４…第２の代表位置設定部、１５…領域検出部、１６…領域切替部、１７…画像処理部、１８…画像情報出力部、１９…表示切替部、２０…表示装置、３０…入力装置

Claims (8)

  1. 画像の画像情報を取得する画像情報取得部と、
    前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、
    前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、
    前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定する第２の代表位置設定部と、
    前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、
    を備えることを特徴とする画像処理装置。
  2. 前記包含領域は、ユーザが前記画像上で複数の軌跡を描くことで入力され、
    前記第１の代表位置設定部は、入力された複数の前記包含領域が重複する頻度に応じて前記第１の代表位置を設定することを特徴とする請求項１に記載の画像処理装置。
  3. 前記包含領域は、ユーザが前記画像上で軌跡を描くことで入力され、
    前記第１の代表位置設定部は、前記軌跡の中心線の位置を前記第１の代表位置として設定することを特徴とする請求項１に記載の画像処理装置。
  4. 前記画像処理装置は、前記中心線を前記画像上に表示するか否かを切り替える表示切替部をさらに備えることを特徴とする請求項３に記載の画像処理装置。
  5. 前記位置情報取得部は、前記指定領域および前記指定領域外領域の位置の少なくとも一方を補足する補足位置情報をさらに取得し、
    前記領域検出部は、前記第１の代表位置および前記第２の代表位置に加え前記補足位置情報を使用して前記指定領域を検出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
  6. 画像の画像情報を取得し、
    前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得し、
    前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定し、
    前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定し、
    前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する
    ことを特徴とする画像処理方法。
  7. 画像を表示する表示装置と、
    前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
    ユーザが前記画像処理装置に対し画像処理を行なうための指示を入力する入力装置と、
    を備え、
    前記画像処理装置は、
    前記画像の画像情報を取得する画像情報取得部と、
    前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得部と、
    前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定部と、
    前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定する第２の代表位置設定部と、
    前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出部と、
    前記指定領域に対し画像処理を行なう画像処理部と、
    を備えることを特徴とする画像処理システム。
  8. コンピュータに、
    画像の画像情報を取得する画像情報取得機能と、
    前記画像の中の特定の画像領域である指定領域を包含するようにユーザが入力した包含領域の位置情報を取得する位置情報取得機能と、
    前記包含領域の位置情報を基に、前記指定領域の代表位置である第１の代表位置を設定する第１の代表位置設定機能と、
    前記指定領域外の領域である指定領域外領域の代表位置である第２の代表位置を前記包含領域外の少なくとも一部の位置として設定する第２の代表位置設定機能と、
    前記第１の代表位置および前記第２の代表位置から前記指定領域を検出する領域検出機能と、
    を実現させることを特徴とするプログラム。
JP2014113460A 2014-05-30 2014-05-30 画像処理装置、画像処理方法、画像処理システムおよびプログラム Active JP6269323B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014113460A JP6269323B2 (ja) 2014-05-30 2014-05-30 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US14/539,367 US9652858B2 (en) 2014-05-30 2014-11-12 Image processing apparatus, image processing method, and image processing system
AU2014280985A AU2014280985B2 (en) 2014-05-30 2014-12-30 Image processing apparatus, image processing method, image processing system, and program
CN201510009492.5A CN105302431B (zh) 2014-05-30 2015-01-08 图像处理设备、图像处理方法和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014113460A JP6269323B2 (ja) 2014-05-30 2014-05-30 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2015228594A JP2015228594A (ja) 2015-12-17
JP6269323B2 true JP6269323B2 (ja) 2018-01-31

Family

ID=54702171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014113460A Active JP6269323B2 (ja) 2014-05-30 2014-05-30 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Country Status (4)

Country Link
US (1) US9652858B2 (ja)
JP (1) JP6269323B2 (ja)
CN (1) CN105302431B (ja)
AU (1) AU2014280985B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126304A (ja) * 2016-01-15 2017-07-20 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN106570534B (zh) * 2016-11-15 2019-12-03 福建农林大学 全自动微小昆虫诱集检测方法及其系统
CN108010037B (zh) * 2017-11-29 2019-09-13 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN111383054A (zh) * 2020-03-10 2020-07-07 中国联合网络通信集团有限公司 广告检验方法和装置
CN111182351A (zh) * 2020-03-17 2020-05-19 惠州Tcl移动通信有限公司 一种视频播放处理方法、装置、存储介质及终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973212B2 (en) * 2000-09-01 2005-12-06 Siemens Corporate Research, Inc. Graph cuts for binary segmentation of n-dimensional images from object and background seeds
EP1217508A1 (en) * 2000-12-21 2002-06-26 Xerox Corporation Systems and computer program products for the display and operation of virtual three-dimensional books
US20040008886A1 (en) * 2002-07-02 2004-01-15 Yuri Boykov Using graph cuts for editing photographs
JP2005073817A (ja) * 2003-08-29 2005-03-24 Hitachi Medical Corp 医用画像表示装置
US7590268B1 (en) 2005-10-17 2009-09-15 Adobe Systems Incorporated Method and apparatus for representing an area of a raster image by a centerline
KR20100028344A (ko) 2008-09-04 2010-03-12 삼성전자주식회사 휴대단말의 영상 편집 방법 및 장치
WO2011084130A1 (en) * 2009-12-16 2011-07-14 Thomson Licensing Human interaction trajectory-based system
US8286102B1 (en) * 2010-05-27 2012-10-09 Adobe Systems Incorporated System and method for image processing using multi-touch gestures
CN101907923B (zh) * 2010-06-29 2012-02-22 汉王科技股份有限公司 信息提取方法、装置及系统
JP5269851B2 (ja) 2010-09-27 2013-08-21 富士フイルム株式会社 画像編集装置及びその画像編集方法並びにそのプログラム
US8610712B2 (en) * 2011-03-01 2013-12-17 Adobe Systems Incorporated Object selection in stereo image pairs
JP2013029930A (ja) 2011-07-27 2013-02-07 Univ Of Tokyo 画像処理装置
US20130335340A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Controlling display of images received from secondary display devices
JP5872395B2 (ja) * 2012-06-29 2016-03-01 セコム株式会社 領域分割装置

Also Published As

Publication number Publication date
CN105302431A (zh) 2016-02-03
AU2014280985A1 (en) 2015-12-17
CN105302431B (zh) 2019-05-14
US20150347863A1 (en) 2015-12-03
US9652858B2 (en) 2017-05-16
JP2015228594A (ja) 2015-12-17
AU2014280985B2 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
US11301200B2 (en) Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium
JP6269323B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US8542199B2 (en) Image processing apparatus, image processing method, and program
JP5858188B1 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US20130016246A1 (en) Image processing device and electronic apparatus
US20160283819A1 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium storing program
JP6287337B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP5907196B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2017126304A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6241320B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2013029930A (ja) 画像処理装置
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP2014029656A (ja) 画像処理装置および画像処理方法
JP6582472B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP6550819B2 (ja) 選択支援装置及びプログラム
Hartanto et al. Real time hand gesture movements tracking and recognizing system
JP2011014076A (ja) 情報処理装置、文書拡大表示方法、プログラム及び記録媒体
US20150324983A1 (en) Image display device, image display method, and computer-readable recording medium
JP2018081430A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
WO2023273462A1 (zh) 一种显示设备及填色方法
JP6930099B2 (ja) 画像処理装置
JP2018097415A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN105208183B (zh) 电子设备显示漫画的方法
JP2019101844A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171218

R150 Certificate of patent or registration of utility model

Ref document number: 6269323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350