JPH1173512A - 領域抽出装置および領域抽出方法 - Google Patents

領域抽出装置および領域抽出方法

Info

Publication number
JPH1173512A
JPH1173512A JP10057055A JP5705598A JPH1173512A JP H1173512 A JPH1173512 A JP H1173512A JP 10057055 A JP10057055 A JP 10057055A JP 5705598 A JP5705598 A JP 5705598A JP H1173512 A JPH1173512 A JP H1173512A
Authority
JP
Japan
Prior art keywords
image
color
area
value
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10057055A
Other languages
English (en)
Inventor
Seiji Inoki
誠二 猪木
Kazuyuki Imagawa
和幸 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communications Research Laboratory
Panasonic Holdings Corp
Original Assignee
Communications Research Laboratory
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communications Research Laboratory, Matsushita Electric Industrial Co Ltd filed Critical Communications Research Laboratory
Priority to JP10057055A priority Critical patent/JPH1173512A/ja
Publication of JPH1173512A publication Critical patent/JPH1173512A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 いろいろな照明条件のもとで撮像した人物画
像から所要の領域を抽出し、その抽出領域のみの動画像
を得る。 【解決手段】 静止画像取得部3と、画像記憶部4と、
画像表示部5と、抽出領域入力部6と、抽出領域情報記
憶部7と、LUT設定部8とからなる前処理系200
と、画像入力部1と、LUT参照部9と、画像出力部1
0とからなる本処理系100とを備え、前処理系200
により、抽出したい領域を入力して、これを反映するよ
うに三次元ルックアップテーブルを設定し、本処理系1
00はこの前処理系200により設定された三次元ルッ
クアップテーブルを参照して抽出したい領域を抽出し背
景領域を黒に塗りつぶす。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、領域抽出装置およ
び領域抽出方法に関し、特に抽出すべき領域の色特徴を
利用して、人物等を撮像した動画像から所要の領域を抽
出できるようにしたものに関する。
【0002】
【従来の技術】現在,新たなヒューマンインターフェー
スの手法として、また聴覚障害者と健常者との間のコミ
ュニケーション支援を目指して,人物を撮像した動画像
(以下、人物動画像と呼ぶ)から手領域および顔領域
(以下、手・顔領域と呼ぶ)を抽出し,手形状,手振
り,手話を認識する研究が盛んに行われている.その場
合に領域を抽出する手段として、抽出領域の色特徴を利
用することがよく行われている。また、人物の顔を撮像
した画像を個人識別等に利用するために、目や唇の色特
徴を利用して、目や口の位置を求めることがよく行われ
ている。上記の理由により、人物動画像から色特徴を利
用して領域を抽出する技術は産業上極めて重要で広いも
のであるといえる。
【0003】さて、従来の色特徴を用いた領域抽出方法
としては、例えば以下の2つのものがある。一つは、抽
出したい領域の色情報があらかじめわかっている場合で
ある。たとえば、人物を撮像した動画像から肌色成分を
用いて手や顔の領域を抽出する場合、肌色についての色
分布をあらかじめ定義しておき、その分布に注目して、
各色成分で閾値処理を行うことによって肌色領域を抽出
する。この場合、閾値によって抜き出された画素のみが
残り、それ以外の部分は階調値が“0”となる画像を得
ることができる。
【0004】もう一つは、吉野,真木,川嶋,青木によ
る論文“色特徴エネルギーによる対象物体の抽出" (電
子情報通信学会誌,Vol.J77−D−2,No.1
0,pp.1993−1999,1994)による手法
である。本手法では、対象物体を抽出する時に下記の手
法によって得られる画像を利用する。
【0005】まず、画像中から抽出したい領域と、画像
全体の領域にあるピクセルの色をもとに、それぞれの領
域に対してカラーヒストグラムTi,Iiを作成する。
但し、このカラーヒストグラムは、一般的な手法、例え
ば、256階調のR、G、B値をそれぞれ16階調毎に
区切り、それによってできる箱の中のピクセル数をカウ
ントすることにより作成したものである。ここで、i
(i=1,2,…,4096)は、RGBカラーヒスト
グラムのもっともRGBそれぞれの値が小さな箱から、
もっともRGBそれぞれの値が大きな箱までに順列をつ
けた場合の箱の順を表す。この時、抽出したい領域に含
まれている色が、画像全体にどれだけの割合で含まれて
いるかという比を求める評価関数Riを(式1)で定義
する。
【0006】
【数1】
【0007】この評価関数では、画像全体に対して、相
対的に抽出したい領域に多く含まれている色において
は、その評価値が高くなり、逆に、相対的に抽出したい
領域で少ない色においては、その評価値が低くなる。そ
こで、画像全体の各画素値を画素の色が所属する箱iの
評価関数の値に変換する。その結果、抽出したい領域に
多く存在する画素ほど高い階調値となる画像を得ること
ができる。
【0008】
【発明が解決しようとする課題】従来の色特徴を用いた
領域抽出方法は以上のように構成されているので、以下
のような問題があった。まず、肌色についての色分布を
あらかじめ定義しておく、第1の従来技術の場合、あら
かじめ与えた色情報をもとに処理を行っているため、照
明や撮影条件などの影響で画像の明るさや色合いが違っ
てくる場合にうまく処理できない。また、カラーヒスト
グラムを作成する、第2の従来技術の場合、背景領域の
色情報をまったく用いていないため、背景領域に抽出領
域と同様な色が存在する場合、その色の領域がそのまま
残ってしまう。
【0009】本発明は、上記の問題を解消するためにな
されたもので、背景領域の色情報をも利用して、いろい
ろな照明条件のもとで撮影した画像から抽出したい領域
のみを抽出することが可能な領域抽出装置および領域抽
出方法を提供することを目的とする。
【0010】
【課題を解決するための手段】本願の請求項1の発明に
係る領域抽出装置は、入力画像に対し抽出すべき領域を
指定する抽出領域指定手段と、該抽出領域指定手段によ
り指定された抽出領域の背景となる背景領域を構成する
色を一定色に変換し入力画像から背景領域を消去して抽
出領域を得る背景領域消去手段とを備えるようにしたも
のである。
【0011】また、本願の請求項2の発明に係る領域抽
出装置は、入力画像から静止画像を取得する静止画像取
得手段、該取得した静止画像を表示する画像表示手段、
該表示された静止画像上での抽出したい領域の位置情報
を入力するための抽出領域入力手段、前記静止画像の各
画素毎に画素の色をキーにして、色に対するデータ値の
初期値を記憶している三次元ルックアップテーブルを参
照し、該色と同一もしくは最近傍色となる位置のデータ
値を取得して、前記抽出領域の位置情報をもとに、前記
三次元ルックアップテーブルの設定値を、画素が抽出領
域内にあれば、出力画像としてあらかじめ定義されてい
る範囲の値とし、それ以外の領域にあれば、固定値とし
て、前記三次元ルックアップテーブルの参照箇所と同一
の箇所に設定するルックアップテーブル設定手段を有す
る前処理手段と、前記入力画像を得る画像入力手段、該
取得された入力画像の全ての画素に対し、画素の色をキ
ーにして前記三次元ルックアップテーブルを参照し、該
色に対し同一もしくは最近傍色となる位置のデータ値を
出力するルックアップテーブル参照手段、該参照処理の
結果生ずる画像を出力する画像出力手段を有する本処理
手段とを備えるようにしたものである。
【0012】また、本願の請求項3の発明に係る領域抽
出装置は、請求項2記載の領域抽出装置において、前記
ルックアップテーブル設定手段は、前記抽出領域の位置
情報をもとに、画素が抽出領域内にあれば正値を、それ
以外の領域にあれば負値を、該データ値に追加して該デ
ータ値を取得した前記三次元ルックアップテーブルの参
照箇所と同一の箇所に保存し、該画像の全ての画素に対
し前記処理を終了した後に、前記三次元ルックアップテ
ーブルの各データ値を、負値は零値とし、正値は出力画
像としてあらかじめ定義されている値の範囲に整形する
ことにより前記三次元ルックアップテーブルを設定する
ものとしたものである。
【0013】また、本願の請求項4の発明に係る領域抽
出装置は、請求項2記載の領域抽出装置において、前記
ルックアップテーブル参照手段は、前記三次元ルックア
ップテーブルを参照する際に、各画素の色と同一の色に
対するデータ値が前記三次元ルックアップテーブルに保
存されている場合に該データ値をそのまま出力し、それ
以外のときは該色の近傍色となる複数位置のデータ値か
らの補間演算の結果を出力するようにしたものである。
【0014】また、本願の請求項5の発明に係る領域抽
出装置は、入力画像から静止画像を取得する静止画像取
得手段、該静止画像取得手段が取得した静止画像の色彩
成分を取り出す色彩成分抽出手段、あらかじめ記憶した
抽出領域の標準的な色彩を記憶する抽出領域標準色彩記
憶手段、該抽出した色彩成分と画像から前記抽出領域の
標準色彩を比較して、前記静止画像での抽出したい領域
の位置情報を決定し静止画像上での抽出したい領域の位
置情報を入力する抽出領域情報設定手段、前記静止画像
の各画素毎に画素の色をキーにして、色に対するデータ
値の初期値を記憶している三次元ルックアップテーブル
を参照し、該色と同一もしくは最近傍色となる位置のデ
ータ値を取得して、前記抽出領域の位置情報をもとに、
前記三次元ルックアップテーブルの設定値を、画素が抽
出領域内にあれば、出力画像としてあらかじめ定義され
ている範囲の値とし、それ以外の領域にあれば、固定値
として、前記三次元ルックアップテーブルの参照箇所と
同一の箇所に設定するルックアップテーブル設定手段を
有する前処理手段と、前記入力画像を得る画像入力手
段、該取得された入力画像の全ての画素に対し、画素の
色をキーにして前記三次元ルックアップテーブルを参照
し、該色に対し同一もしくは最近傍色となる位置のデー
タ値を出力するルックアップテーブル参照手段、該参照
処理の結果生ずる画像を出力する画像出力手段を有する
本処理手段とを備えるようにしたものである。
【0015】また、本願の請求項6の発明に係る領域抽
出装置は、入力画像から静止画像を取得する静止画像取
得手段、該静止画像取得手段が取得した静止画像の明る
さ成分を取り出し前記静止画像の明るさ情報を取得する
明るさ情報取得手段、様々な明るさに応じたルックアッ
プテーブル設定内容を記憶するルックアップテーブル設
定内容記憶手段、前記明るさ情報をキーにして、前記ル
ックアップテーブル設定内容から明るさ情報に応じた設
定内容を取得するルックアップテーブル設定内容取得手
段、該取得したルックアップテーブル設定内容を前記三
次元ルックアップテーブルに設定するルックアップテー
ブル設定内容設定手段を有する前処理手段と、前記入力
画像を得る画像入力手段、該取得された入力画像の全て
の画素に対し、画素の色をキーにして前記三次元ルック
アップテーブルを参照し、該色に対し同一もしくは最近
傍色となる位置のデータ値を出力するルックアップテー
ブル参照手段、該参照処理の結果生ずる画像を出力する
画像出力手段を有する本処理手段とを備えるようにした
ものである。
【0016】また、本願の請求項7の発明に係る領域抽
出方法は、入力画像に対し抽出すべき領域を指定する抽
出領域指定工程と、該抽出領域指定工程により指定され
た抽出領域の背景となる背景領域を構成する色を一定色
に変換し入力画像から背景領域を消去して抽出領域を得
る背景領域消去工程とを含むようにしたものである。
【0017】また、本願の請求項8の発明に係る領域抽
出方法は、入力画像から静止画像を取得する静止画像取
得工程、該取得した静止画像を表示する画像表示工程、
該表示された静止画像上での抽出したい領域の位置情報
を入力するための抽出領域入力工程、前記静止画像の各
画素毎に画素の色をキーにして、色に対するデータ値の
初期値を記憶している三次元ルックアップテーブルを参
照し、該色と同一もしくは最近傍色となる位置のデータ
値を取得して、前記抽出領域の位置情報をもとに、前記
三次元ルックアップテーブルの設定値を、画素が抽出領
域内にあれば、出力画像としてあらかじめ定義されてい
る範囲の値とし、それ以外の領域にあれば、固定値とし
て、前記三次元ルックアップテーブルの参照箇所と同一
の箇所に設定するルックアップテーブル設定工程を含む
前処理工程と、前記入力画像を得る画像入力工程、該取
得された入力画像の全ての画素に対し、画素の色をキー
にして前記三次元ルックアップテーブルを参照し、該色
に対し同一もしくは最近傍色となる位置のデータ値を出
力するルックアップテーブル参照工程、該参照処理の結
果生ずる画像を出力する画像出力工程を含む本処理工程
とを含むようにしたものである。
【0018】また、本願の請求項9の発明に係る領域抽
出方法は、請求項8記載の領域抽出方法において、前記
ルックアップテーブル設定方法は、前記抽出領域の位置
情報をもとに、画素が抽出領域内であれば正値を、それ
以外の領域にあれば負値を、該データ値に追加して該デ
ータ値を取得した前記三次元ルックアップテーブルの参
照箇所と同一の箇所に保存し、該画像の全ての画素に対
し前記処理を終了した後に、前記三次元ルックアップテ
ーブルの各データ値を、負値は零値とし、正値は出力画
像としてあらかじめ定義されている値の範囲に整形する
ことにより前記三次元ルックアップテーブルを設定する
ものとしたものである。
【0019】また、本願の請求項10の発明に係る領域
抽出方法は、請求項8記載の領域抽出方法において、前
記三次元ルックアップテーブルを参照するときに、各画
素の色と同一の色に対するデータ値が前記三次元ルック
アップテーブルに保存されている場合に該データ値をそ
のまま出力し、それ以外のときは該色の近傍色となる複
数位置のデータ値からの補間演算の結果を出力するよう
にしたものである。
【0020】また、本願の請求項11の発明に係る領域
抽出方法は、入力画像から静止画像を取得する静止画像
取得工程、該静止画像取得工程が取得した静止画像の色
彩成分を取り出す色彩成分抽出工程、あらかじめ記憶し
た抽出領域の標準的な色彩を記憶する抽出領域標準色彩
記憶工程、該抽出した色彩成分と画像から前記抽出領域
の標準色彩を比較して、前記静止画像での抽出したい領
域の位置情報を決定する抽出領域情報設定工程、前記静
止画像の各画素毎に画素の色をキーにして、色に対する
データ値の初期値を記憶している三次元ルックアップテ
ーブルを参照し、該色と同一もしくは最近傍色となる位
置のデータ値を取得して、前記抽出領域の位置情報をも
とに、前記三次元ルックアップテーブルの設定値を、画
素が抽出領域内にあれば、出力画像としてあらかじめ定
義されている範囲の値とし、それ以外の領域にあれば、
固定値として、前記三次元ルックアップテーブルの参照
箇所と同一の箇所に設定するルックアップテーブル設定
工程を含む前処理工程と、前記入力画像を得る画像入力
工程、該取得された入力画像の全ての画素に対し、画素
の色をキーにして前記三次元ルックアップテーブルを参
照し、該色に対し同一もしくは最近傍色となる位置のデ
ータ値を出力するルックアップテーブル参照工程、該参
照処理の結果生ずる画像を出力する画像出力工程を含む
本処理工程とを含むようにしたものである。
【0021】また、本願の請求項12の発明に係る領域
抽出方法は、入力画像から静止画像を取得する静止画像
取得工程、該静止画像取得工程が取得した静止画像の明
るさ成分を取り出し前記静止画像の明るさ情報を取得す
る明るさ情報取得工程、様々な明るさに応じたルックア
ップテーブル設定内容を記憶するルックアップテーブル
設定内容記憶工程、前記明るさ情報をキーにして、前記
ルックアップテーブル設定内容から明るさ情報に応じた
設定内容を取得するルックアップテーブル設定内容取得
工程、該取得したルックアップテーブル設定内容を前記
三次元ルックアップテーブルに設定するルックアップテ
ーブル設定内容設定工程を含む前処理工程と、前記入力
画像を得る画像入力工程、該取得された入力画像の全て
の画素に対し、画素の色をキーにして前記三次元ルック
アップテーブルを参照し、該色に対し同一もしくは最近
傍色となる位置のデータ値を出力するルックアップテー
ブル参照工程、該参照処理の結果生ずる画像を出力する
画像出力工程を含む本処理工程とを含むようにしたもの
である。
【0022】
【発明の実施の形態】
実施の形態1.以下、図面を参照して本発明の実施の形
態1を詳細に説明する。この実施の形態1は、最初に、
抽出したい領域を入力することによって、いろいろな照
明条件のもとで撮影した動画像から抽出したい領域のみ
を抽出できるようにしたものである。なお、説明の簡略
化のため、ルックアップテーブルをLUTと表記する。
【0023】図1は、本発明の実施の形態1を実現する
領域抽出装置の構成図である。本領域抽出装置は、画像
入力部から入力される動画像の或る1フレームを用いて
三次元LUTを設定する前処理系と、三次元LUTを参
照して画像入力部から入力される動画像を領域抽出画像
に変換する本処理系の2種類の系から構成されている。
【0024】まず、最初に、図1の前処理系の構成につ
いて説明する。200は入力画像に対し抽出すべき領域
を指定する抽出領域指定手段としての前処理系であり、
この前処理系200において、3は画像入力部1から入
力される動画像の或る1フレーム(例えば最初の1フレ
ーム)の画像を取得する静止画像取得部、4は静止画像
取得部3が取得した静止画像を記憶する画像記憶部であ
り、これら静止画像取得部3および画像記憶部4により
入力画像から静止画像を取得する静止画像取得手段を構
成している。また、5は画像記憶部4が記憶した静止画
像を表示する画像表示部(画像表示手段)、6は画像表
示部5に表示された画像に従い、領域抽出を行う人物
(本領域抽出装置のオペレータ)が抽出領域の位置情報
を入力する抽出領域入力部、7は抽出領域入力部6によ
って入力された抽出領域の位置情報を記憶しておく抽出
領域情報記憶部であり、これら抽出領域入力部6および
抽出領域情報記憶部7により表示された静止画像上での
抽出したい領域の位置情報を入力するための抽出領域入
力手段を構成している。また、8は前記抽出領域情報記
憶部7に記憶した抽出領域の位置情報と、前記画像記憶
部4に記憶した画像から、三次元LUT2を設定するL
UT設定部(LUT設定手段)である。
【0025】次に、本処理系の構成について説明する。
100は前処理系200により指定された抽出領域の背
景となる背景領域を構成する色を一定色に変換し入力画
像から背景領域を消去して抽出領域を得る背景領域消去
手段としての本処理系であり、この本処理系100にお
いて、1は人物を撮像した動画像を入力する画像入力部
(画像入力手段)、9は画像入力部1より入力される動
画像のすべての画素に対し画素の色をキーにして三次元
LUT2を参照し、その背景から所要の領域が抽出され
た動画像に変換するLUT参照部(LUT参照手段)、
10はLUT参照部9による変換処理の結果生ずる領域
抽出動画像を出力する画像出力部(画像出力手段)であ
る。
【0026】さらに三次元LUT2の構造を説明する。
図2に三次元LUT2の構成を示す。この図2では、例
としてRGB色空間の三次元LUTを示す。三次元LU
T2は、各々離散値をとる3つの色値R,G,Bで構成
された三次元色空間CSを、各色を軸として、それぞれ
の軸に対しd1,d2,d3の幅で空間を分割し、この
分割した結果得られる個々の分割空間DSの重心位置の
色を格子点とし、各格子点に対応するデータ値を保持す
ることにより得られるテーブルである。換言すれば、三
次元LUT2は、各格子点の3次元座標(r,g,b)
をパラメータとする関数の値c(=f(r,g,b))
を記憶するものである。
【0027】さて、次に本実施の形態1の動作について
説明する。最初に前処理系200により三次元LUT2
を設定する。まず、静止画像取得部3が、画像入力部1
から入力される動画像のなかから或る1フレームを抜き
出し画像記憶部4に記憶する。図3に画像記憶部4に記
憶される画像例を示す。なお、この図3では、記憶され
る画像例として白黒画像を示したが、実際にはカラー画
像として記憶される。
【0028】次に、画像表示部5が画像記憶部4の画像
を表示する。ここで、領域抽出を行う人物(本領域抽出
装置のオペレータ)が、画像表示部5に表示された画像
に従い、抽出領域入力部6を用いて、表示された画像中
の、抽出したい領域の位置情報を入力する。図4にこの
抽出領域の入力例を示す。図4において、A1は図3の
人物画像Pの顔の部分に相当する抽出領域、A2はその
右手の部分に相当する抽出領域、A3はその左手の部分
に相当する抽出領域である。これらは例えば抽出領域入
力部6がマウスの場合、これらの各領域A1,A2,A
3をマウスでなぞること等により、入力するものであ
る。
【0029】そして、抽出領域入力部6によって設定さ
れた位置情報を抽出領域情報記憶部7に記憶する。抽出
領域情報記憶部7には、前記抽出領域入力部6が入力し
た抽出領域の座標値を格納する。最後に、LUT設定部
8が以下に示す方法により、三次元LUT2を設定す
る。但し、三次元LUT2は初期状態においてその全て
の格子点に対する変換結果の初期値として、“0”が書
き込まれているものとする。
【0030】まず、LUT設定部8が画像記憶部4に記
憶した画像をスキャンする。そして、画素の色と三次元
LUT2の格子点を示す色との間で、距離が最も近い格
子点のデータ値を得る。そして、今スキャンしている画
素が抽出領域情報記憶部7に記憶した抽出領域に存在す
るものであれば、そのデータ値に正値a(一定値)を足
し再度三次元LUT2に格納する。一方、今スキャンし
ている画素が背景領域、即ち入力画像の抽出領域以外の
領域に存在するものであれば、そのデータ値に負値b
(一定値)を足し再度三次元LUT2に格納する。この
操作を『投票』と呼ぶ。この投票を行うことにより、抽
出領域に存在する色はその出現頻度に応じて出力値が順
次高くなり、背景領域に存在する色はその出現頻度に応
じて出力値が順次低くなる。画像のスキャンが終了した
後、各格子点のデータ値としてスキャンした画像の全画
素の投票結果が格納される。そこで、各格子点の値を
V、格子点の値の最大値をVmax 、出力画像の明度の範
囲をDとした場合の出力値Rが(式2)となるように三
次元LUT2のデータ値を変換する。
【0031】
【数2】
【0032】これにより、三次元LUT2のデータ値は
抽出領域を構成する色に対しては正の値となり、背景領
域を構成する色に対してはこれが“0”となる。以上の
処理の結果、三次元LUT2は、抽出したい領域に多く
存在する色は、高い出力値をもつように設定される。ま
た、背景領域に存在する色はすべて黒(出力値“0”)
となるように設定される。
【0033】以上で、三次元LUT2の設定が終了し、
前処理が終了する。次に、本処理系の動作を説明する。
まず、画像入力部1から動画像が入力される。次に、L
UT参照部9が画像入力部1から入力される動画像を1
フレームごと、あらかじめ前処理系で設定した三次元L
UT2を参照し領域抽出動画像に変換する。なお、LU
T参照部9による領域抽出動画像への変換方法は以下の
通りである。まず、画像入力部1から入力される動画像
の1フレームをスキャンする。そして、画素の色と三次
元LUT2の格子点の色との間で、最も近い距離にある
格子点のデータ値を出力する。これにより、画素の色が
抽出したい領域に存在する色である場合、正の値が出力
され、画素の色が背景領域に存在する色である場合、
“0”が出力される。また、抽出領域に多く出現する色
ほど、正の値を出力する画素が多くなるため、抽出され
る領域はこれを構成する色の出現頻度に応じて濃淡が変
化するモノクロの濃淡画像として出力される。さらに、
背景となる領域はその出力値が強制的に、黒一色で塗り
つぶされた背景となる。
【0034】図6に入力画像の例と手・顔領域を抽出領
域とした場合の変換結果を示す。図より、変換結果EP
は入力画像例IPより手・顔領域が抽出されており、か
つ、同じ肌色領域となる顔と手の区別や、目や鼻、口の
位置もわかる画像が得られていることがわかる。これ
は、あらかじめ前処理系により、各入力動画像毎の明る
さや色合いに応じた設定を行っているため、常にコント
ラストの高い画像を得ることができるためである。
【0035】この結果、抽出領域の内部の構造に関する
情報が保存されているため、この抽出画像を用いて、抽
出領域内部の動き成分を抽出したり、抽出領域内部の形
状などがどのような状態にあるかを認識することが可能
になる。
【0036】また、背景に別の人物が急に現れて来た場
合などでも、予め設定した本来の人物の手・顔領域がコ
ントラストよく抽出され、別の人物は本来の人物よりも
不鮮明な感じで手・顔領域が抽出される。このため、別
途閾値を設定することにより、これらの判別が可能とな
る。これは、あらかじめ前処理系により、背景領域の色
情報をも利用して、背景を強制的に“0”とし、本来の
抽出領域を背景領域に対し際立たせるとともに、本来の
人物によって抽出領域の設定を行うため、本来の人物に
対し、別の人物よりも最適な抽出を実行することが可能
となるためである。
【0037】さらに、本処理系は、三次元LUT2を参
照するだけで領域抽出を行っているため、処理が簡単に
なり動画像処理のように速度を要求される場合にも適用
しやすい。
【0038】なお、本領域抽出方法を実現するハードウ
ェア構成の一例を図7に示す。図7において、11は、
図1の画像入力部1,LUT参照部9,画像出力部1
0,静止画像取得部3の機能をもつ制御プロセッサ、1
2は三次元LUT2を記憶するメモリ、13はLUT設
定部8の機能をもつCPU、14は画像記憶部4,抽出
領域情報記憶部7の機能をもつメモリ、15は画像表示
部5の機能をもつディスプレイ、16は抽出領域入力部
6の機能を持つキーボードやマウス等の入力装置であ
る。以上のハードウェア構成をとることにより、図1の
領域抽出装置を実現することができる。
【0039】このように、本実施の形態1によれば、前
処理として、画像入力部より入力される動画像の1フレ
ームの画像を利用して、領域抽出を行う人物が抽出領域
の位置情報を入力し、抽出領域と背景領域を構成するそ
れぞれの画素の色をもとに三次元ルックアップテーブル
を設定する。次に本処理として、画像入力部より入力さ
れる動画像の全ての画素に対し、前処理により設定した
三次元ルックアップテーブルのデータ値に変換するよう
にした。このため、画像入力部より入力される動画像に
おいて、照明や撮影条件などの影響で明るさや色合いが
違っている場合にも、それぞれの動画像毎に応じた設定
が可能になる。
【0040】また、抽出領域の色情報だけでなく背景領
域の色情報も利用して三次元ルックアップテーブルを設
定するため、抽出したい領域のみを抽出することが可能
になる。
【0041】なお、上記実施の形態1では、人物画像か
ら肌の色特徴を利用して手や顔の領域を抽出する場合を
示したが、背景とは異なる色を有する自動車等の物体を
固定した視点で撮像した動画像からこの物体を抽出する
場合などにも適用でき、上記実施の形態1と同様の効果
を奏する。また、上記実施の形態1では、入力画像が動
画像である場合を示したが、静止画像である場合にも適
用でき、上記実施の形態1と同様の効果を奏する。さら
に、上記実施の形態1では、3次元LUTの索引パラメ
ータとして、分割空間の重心に位置する格子点の座標を
用いるようにしたが、各分割空間内の所定の1点を代表
点としてその座標を用いることも可能であり、上記実施
の形態1と同様の効果を奏する。また、上記実施の形態
1では、3次元色空間をR,G、B座標で構成したが、
これはたとえばY,Cb,Cr座標などのほかの座標系
で構成することも可能であり、上記実施の形態1と同様
の効果を奏する。
【0042】実施の形態2.この実施の形態2は、実施
の形態1において、補間演算を行うことにより、3次元
LUTを記憶するのに要する記憶領域を節約する手法を
提供するものである。図5は記憶領域を節約するために
三次元LUT2を構成する格子点の数を少なくした場合
に、図1のLUT参照部9により実行する、補間演算を
示すものである。
【0043】図5(a)は図2に相当する三次元色空間
CSを示すものであり、図5(b)はこの図5(a)を
分割した6面体の分割空間DSを示す。図5(b)にお
いて、s,t,u,(v),w,x,y,(z)は入力
画素の色に最も近く、かっこの入力画素の色をその内部
に含む1つの分割空間DSの各頂点を構成する格子点で
ある。
【0044】まず、この格子点sを起点として、入力画
素の各座標軸R,G,Bに対する射影を求める。これら
の射影dr,db,dgは、それぞれ dr={r−(sのR座標)}/d1 db={b−(tのB座標)}/d3 dg={g−(uのG座標)}/d2 で定義される。但し、これらは各座標軸R,G,Bの分
割幅d1,d3,d2によって規格化されている。
【0045】次に、格子点sと入力画素cとを結ぶベク
トルの分割空間の底面、上面に対する射影を求める。こ
の射影N、Mは、それぞれ N=s+dr×(t−s)+db×(u−t) M=w+dr×(x−w)+db×(y−x) で定義される。
【0046】最後に、射影N,M間での入力画素cの位
置のずれを補正することにより最終的な出力を求める。
この出力値Oは、 O=N+dg×(M−N) で定義される。
【0047】このように、本実施の形態2によれば、入
力画素の色が格子点の色とは異なる場合、図5に示す補
間演算を計算し、その値を出力する。また、画素の色が
格子点の色と同一の場合は、データ値をそのまま出力す
る。これにより、格子点の数を少なくすることができ、
したがって、格子点を記憶するための記憶領域を節約す
ることが可能になる。
【0048】実施の形態3.この実施の形態3は、実施
の形態1において、取得した静止画像を色彩画像に変換
して、抽出したい領域の標準的な色彩に合致する領域を
抽出領域とすることにより、抽出したい領域もしくは物
体が決定しているときに、領域抽出を、人手(本領域抽
出装置のオペレータ)による操作を要することなく、か
つ、入力動画像を撮影したときの明るさとは関係なく、
自動的に、抽出領域を設定する手法を提供するものであ
る。
【0049】図8は本発明の実施の形態3を実現する領
域抽出装置の構成図である。本領域抽出装置は、図1の
前処理系200に属する画像表示部5と抽出領域入力部
6を、画像記憶部5が記憶した静止画像から明るさ成分
を除去して色彩画像に変換する色彩成分抽出部17、抽
出したい領域の標準的な色彩を記憶しておく抽出領域標
準色彩記憶部19、変換した色彩画像と抽出領域標準色
彩記憶部19に記憶している色彩情報とを比較し抽出領
域情報を設定する抽出領域情報設定部に置き換えて構成
したものである。なお、本領域抽出方法を実現するハー
ドウェア構成は、領域抽出を行う人手(本領域抽出装置
のオペレータ)による操作を必要としないため、ディス
プレイと入力装置とを除去した構成となる。
【0050】次に、これら図1の構成と置き換えた箇所
の動作について説明する。まず、事前に本装置のオペレ
ータもしくは本領域抽出装置を提供する提供者が、抽出
したい領域もしくは物体を決定し、その領域の標準的な
色彩を抽出領域標準色彩記憶部19に記憶させておく。
本実施の形態3では、例えば肌色領域を抽出したいとす
る。
【0051】さて、一般にカメラ等で取得したカラー画
像からは、色み(色彩)をあらわす成分と、明るさを
(明度)をあらわす成分を区別して抽出することが可能
である。また、多くの物体では、色みをあらわす成分
は、画像を撮影した時の明るさや露出の度合いによらず
ある程度一定であることが知られている。このことは、
特に光源の色温度が一定である場合は顕著である。肌色
領域の場合、人に応じてさまざまな色合いを持っている
が、その違いの多くは、明るさ成分によるものであり、
色みをあらわす成分ではあまり違いがないことが知られ
ている。また、色みをあらわす成分は、色相と彩度、も
しくは2つの色差成分によってあらわされる。
【0052】そこで、本実施の形態3では、多くの人物
の肌色画像から色彩をあらわす成分を抽出し、図9に示
すように縦軸,横軸にそれぞれ代表的な色差成分(C
b、Cr)を配した肌色に関する色彩マップを作成し、
そのなかで最も出現頻度の高い領域およびその周辺の領
域を抽出領域標準色彩記憶部19に記憶させる。なお、
本実施の形態3では、対象が肌色のため、このように多
くの人物の肌色画像を用いて色彩マップを作成したが、
人工物のような抽出したい領域の物体の色があらかじめ
わかっている場合は、その物体の色彩を抽出領域標準色
彩記憶部19に記憶させるだけでよい。
【0053】次に、色彩成分抽出部17が、画像記憶部
5に記憶した静止画像をスキャンして、各画素の色差成
分を抽出し、図9の色彩マップと比較し、その画素の色
彩の組が色彩マップの肌色を示す領域内部であれば抽出
領域の画素として“1”に置換し、それ以外であれば背
景領域の画素であるとして“0”に置換する。その結
果、図10のように抽出したい領域が1である抽出領域
の画像中の座標値を示すマップが生成され、この結果を
もとに、抽出領域情報記憶部7に抽出領域の座標値を抽
出領域情報記憶部7に格納する。
【0054】このように、本実施の形態3によれば、抽
出領域情報記憶部7に、抽出領域の座標値が格納され、
それをもとに実施の形態1と同様に三次元LUT設定部
8が三次元LUT2を設定する。そして、本処理系10
0では、実施の形態1と同様、三次元LUT2を参照し
て抽出領域動画像に変換する。この結果、抽出領域に対
する色彩をあらかじめ設定しておくことにより、いろい
ろな明るさのもとでも、自動的に三次元LUT2を設定
することが可能になる。
【0055】実施の形態4.この実施の形態4は、実施
の形態1において、入力画像の明るさに対応したLUT
設定内容を複数保持することにより、抽出したい領域も
しくは物体が決定しているときに、領域抽出を、人手
(本領域抽出装置のオペレータ)による操作を要するこ
となく、また、入力動画像を撮影したときの明るさとは
関係なく、自動的に、三次元LUTを設定する手法を提
供するものである。
【0056】図11は本発明の実施の形態4を実現する
領域抽出装置の構成図である。本領域抽出装置は、図1
の前処理系200に属する画像表示部5と抽出領域入力
部6と抽出領域情報記憶部7とLUT設定部8とを、画
像記憶部5が記憶した静止画像から明るさ成分を取り出
し静止画像の明るさ情報を取得する明るさ情報取得部2
0と、様々な明るさに応じたLUT設定内容を記憶する
LUT設定内容記憶部21と、明るさ情報をキーにし
て、LUT設定内容から明るさ情報に応じた設定内容を
取得するLUT設定内容取得部22と、取得したLUT
設定内容を三次元LUT2に設定するLUT設定内容設
定部とに置き換えて構成したものである。
【0057】なお、本領域抽出方法を実現するハードウ
ェア構成は、領域抽出を、人手(本領域抽出装置のオペ
レータ)による操作の必要がないため、ディスプレイと
入力装置とを除去した構成となる。
【0058】次に、図1の構成から置き換えた箇所の動
作について説明する。まず、事前に本装置のオペレータ
もしくは本領域抽出装置を提供する提供者が、実施の形
態1の領域抽出装置の前処理系200を用いて、入力画
像が様々な明るさをもつ時のLUT設定内容をその時の
入力画像の明るさとともに記憶しておく。本実施の形態
では、例えば肌色領域を抽出したいとする。なお、入力
画像が様々な明るさを持つ入力画像を用意する手法の一
例として、同じ場所でいろいろな時刻(朝、昼、夕方、
夜など)や天候(晴れ、曇り、雨など)のときに撮影し
た画像を準備することが考えられる。
【0059】また、これら様々な明るさを持つ入力画像
の明るさを取得する手段として、入力画像の中央部を重
点的にして周辺までの明るさ成分を抽出し平均する手法
や、被写体のある部分だけから明るさ成分を抽出する手
法などが考えられるが、ここでは、背景がそれほど変化
しない領域(例えば、右上と左上の領域)の明るさを平
均することによって入力画像の明るさを取得するものと
する。
【0060】次に、明るさ情報取得部20が、画像記憶
部5に記憶した静止画像の明るさ情報を取得する。そし
て、LUT設定内容取得部22は、取得した明るさにも
っとも近い明るさのときのLUT設定内容をLUT設定
内容記憶部21に存在するLUT設定内容から選び、L
UT設定内容設定部23は、取得したLUT設定内容を
三次元LUT2に設定する。以上の結果、三次元LUT
2が、その時の明るさに応じた設定内容に設定される。
【0061】このように、本実施の形態4によれば、本
処理系100では、実施の形態1と同様、三次元LUT
2を参照して抽出領域動画像に変換する。これにより、
領域抽出を、人手(本領域設定装置のオペレータ)によ
る操作を要することなく、また、入力動画像を撮影した
ときの明るさに関係なく自動的に三次元LUTを設定す
ることが可能になる。
【0062】
【発明の効果】以上のように、本願の請求項1の発明に
係る領域抽出装置によれば、入力画像に対し抽出すべき
領域を指定する抽出領域指定手段と、該抽出領域指定手
段により指定された抽出領域の背景となる背景領域を構
成する色を一定色に変換し入力画像から背景領域を消去
して抽出領域を得る背景領域消去手段とを備えるように
したので、各画像毎の明るさや色合いに応じた設定が可
能になり、常にコントラストが高い画像を得ることがで
き、同じ色領域となる領域内の区別もつけやすい画像が
得られる領域抽出装置が実現できる効果がある。
【0063】また、本願の請求項2の発明に係る領域抽
出装置によれば、入力画像から静止画像を取得する静止
画像取得手段、該取得した静止画像を表示する画像表示
手段、該表示された静止画像上での抽出したい領域の位
置情報を入力するための抽出領域入力手段、前記静止画
像の各画素毎に画素の色をキーにして、色に対するデー
タ値の初期値を記憶している三次元ルックアップテーブ
ルを参照し、該色と同一もしくは最近傍色となる位置の
データ値を取得して、前記抽出領域の位置情報をもと
に、前記三次元ルックアップテーブルの設定値を、画素
が抽出領域内にあれば、出力画像としてあらかじめ定義
されている範囲の値とし、それ以外の領域にあれば、固
定値として、前記三次元ルックアップテーブルの参照箇
所と同一の箇所に設定するルックアップテーブル設定手
段を有する前処理手段と、前記入力画像を得る画像入力
手段、該取得された入力画像の全ての画素に対し、画素
の色をキーにして前記三次元ルックアップテーブルを参
照し、該色に対し同一もしくは最近傍色となる位置のデ
ータ値を出力するルックアップテーブル参照手段、該参
照処理の結果生ずる画像を出力する画像出力手段を有す
る本処理手段とを備えるようにしたので、各画像毎の明
るさや色合いに応じた設定が可能になり、常にコントラ
ストが高い画像を得ることができ、同じ色領域となる領
域内の区別もつけやすい画像が得られるとともに、動画
像から領域抽出動画像への変換は三次元LUTを参照す
るだけで行われるため、処理が簡単になり、高速に処理
を行うことができる領域抽出装置が実現できる効果があ
る。
【0064】また、本願の請求項3の発明に係る領域抽
出装置によれば、請求項2記載の領域抽出装置におい
て、前記ルックアップテーブル設定手段は、前記抽出領
域の位置情報をもとに、画素が抽出領域内にあれば正値
を、それ以外の領域にあれば負値を、該データ値に追加
して該データ値を取得した前記三次元ルックアップテー
ブルの参照箇所と同一の箇所に保存し、該画像の全ての
画素に対し前記処理を終了した後に、前記三次元ルック
アップテーブルの各データ値を、負値は零値とし、正値
は出力画像としてあらかじめ定義されている値の範囲に
整形することにより前記三次元ルックアップテーブルを
設定するものとしたので、各画像毎の明るさや色合いに
応じた設定が可能になり、常にコントラストが高い画像
を得ることができ、同じ色領域となる領域内の区別もつ
けやすい画像が得られるとともに、動画像から領域抽出
動画像への変換は三次元LUTを参照するだけで行われ
るため、処理が簡単になり、高速に処理を行うことがで
き、しかも三次元LUTを小容量にできる領域抽出装置
が実現できる効果がある。
【0065】また、本願の請求項4の発明に係る領域抽
出装置によれば、請求項2記載の領域抽出装置におい
て、前記ルックアップテーブル参照手段は、前記三次元
ルックアップテーブルを参照する際に、各画素の色と同
一の色に対するデータ値が前記三次元ルックアップテー
ブルに保存されている場合に該データ値をそのまま出力
し、それ以外のときは該色の近傍色となる複数位置のデ
ータ値からの補間演算の結果を出力するようにしたの
で、各画像毎の明るさや色合いに応じた設定が可能にな
り、常にコントラストが高い画像を得ることができ、同
じ色領域となる領域内の区別もつけやすい画像が得られ
るとともに、三次元LUTの記憶に要する領域を削減で
き、しかも、動画像から領域抽出動画像への変換は三次
元LUTを参照するだけで行われるため、処理が簡単に
なり、高速に処理を行うことができる領域抽出装置が実
現できる効果がある。
【0066】また、本願の請求項5の発明に係る領域抽
出装置によれば、入力画像から静止画像を取得する静止
画像取得手段、該静止画像取得手段が取得した静止画像
の色彩成分を取り出す色彩成分抽出手段、あらかじめ記
憶した抽出領域の標準的な色彩を記憶する抽出領域標準
色彩記憶手段、該抽出した色彩成分と画像から前記抽出
領域の標準色彩を比較して、前記静止画像での抽出した
い領域の位置情報を決定し静止画像上での抽出したい領
域の位置情報を入力する抽出領域情報設定手段、前記静
止画像の各画素毎に画素の色をキーにして、色に対する
データ値の初期値を記憶している三次元ルックアップテ
ーブルを参照し、該色と同一もしくは最近傍色となる位
置のデータ値を取得して、前記抽出領域の位置情報をも
とに、前記三次元ルックアップテーブルの設定値を、画
素が抽出領域内にあれば、出力画像としてあらかじめ定
義されている範囲の値とし、それ以外の領域にあれば、
固定値として、前記三次元ルックアップテーブルの参照
箇所と同一の箇所に設定するルックアップテーブル設定
手段を有する前処理手段と、前記入力画像を得る画像入
力手段、該取得された入力画像の全ての画素に対し、画
素の色をキーにして前記三次元ルックアップテーブルを
参照し、該色に対し同一もしくは最近傍色となる位置の
データ値を出力するルックアップテーブル参照手段、該
参照処理の結果生ずる画像を出力する画像出力手段を有
する本処理手段とを備えるようにしたので、各画像毎の
色合いに応じた設定が可能になり、常にコントラストが
高い画像を得ることができ、同じ色領域となる領域内の
区別もつけやすい画像が得られるとともに、動画像から
領域抽出動画像への変換は三次元LUTを参照するだけ
で行われるため、処理が簡単になり、高速に処理を行う
ことができ、しかも、様々な明るさのもとでも、自動的
に三次元LUTを設定することができる効果がある。
【0067】また、本願の請求項6の発明に係る領域抽
出装置によれば、入力画像から静止画像を取得する静止
画像取得手段、該静止画像取得手段が取得した静止画像
の明るさ成分を取り出し前記静止画像の明るさ情報を取
得する明るさ情報取得手段、様々な明るさに応じたルッ
クアップテーブル設定内容を記憶するルックアップテー
ブル設定内容記憶手段、前記明るさ情報をキーにして、
前記ルックアップテーブル設定内容から明るさ情報に応
じた設定内容を取得するルックアップテーブル設定内容
取得手段、該取得したルックアップテーブル設定内容を
前記三次元ルックアップテーブルに設定するルックアッ
プテーブル設定内容設定手段を有する前処理手段と、前
記入力画像を得る画像入力手段、該取得された入力画像
の全ての画素に対し、画素の色をキーにして前記三次元
ルックアップテーブルを参照し、該色に対し同一もしく
は最近傍色となる位置のデータ値を出力するルックアッ
プテーブル参照手段、該参照処理の結果生ずる画像を出
力する画像出力手段を有する本処理手段とを備えるよう
にしたので、各画像毎の明るさに応じた設定が可能にな
り、常にコントラストが高い画像を得ることができ、同
じ色領域となる領域内の区別もつけやすい画像が得られ
るとともに、動画像から領域抽出動画像への変換は三次
元LUTを参照するだけで行われるため、処理が簡単に
なり、高速に処理を行うことができ、しかも、様々な明
るさのもとでも、自動的に三次元LUTを設定すること
ができる効果がある。
【0068】また、本願の請求項7の発明に係る領域抽
出方法によれば、入力画像に対し抽出すべき領域を指定
する抽出領域指定工程と、該抽出領域指定工程により指
定された抽出領域の背景となる背景領域を構成する色を
一定色に変換し入力画像から背景領域を消去して抽出領
域を得る背景領域消去工程とを含むようにしたので、各
動画像毎の明るさや色合いに応じた設定が可能になり、
常にコントラストが高い画像を得ることができ、同じ色
領域となる領域内の区別もつけやすい画像が得られる領
域抽出方法が実現できる効果がある。
【0069】また、本願の請求項8の発明に係る領域抽
出方法によれば、入力画像から静止画像を取得する静止
画像取得工程、該取得した静止画像を表示する画像表示
工程、該表示された静止画像上での抽出したい領域の位
置情報を入力するための抽出領域入力工程、前記静止画
像の各画素毎に画素の色をキーにして、色に対するデー
タ値の初期値を記憶している三次元ルックアップテーブ
ルを参照し、該色と同一もしくは最近傍色となる位置の
データ値を取得して、前記抽出領域の位置情報をもと
に、前記三次元ルックアップテーブルの設定値を、画素
が抽出領域内にあれば、出力画像としてあらかじめ定義
されている範囲の値とし、それ以外の領域にあれば、固
定値として、前記三次元ルックアップテーブルの参照箇
所と同一の箇所に設定するルックアップテーブル設定工
程を含む前処理工程と、前記入力画像を得る画像入力工
程、該取得された入力画像の全ての画素に対し、画素の
色をキーにして前記三次元ルックアップテーブルを参照
し、該色に対し同一もしくは最近傍色となる位置のデー
タ値を出力するルックアップテーブル参照工程、該参照
処理の結果生ずる画像を出力する画像出力工程を含む本
処理工程とを含むようにしたので、各動画像毎の明るさ
や色合いに応じた設定が可能になり、常にコントラスト
が高い画像を得ることができ、同じ色領域となる領域内
の区別もつけやすい画像が得られるとともに、動画像か
ら領域抽出動画像への変換は三次元LUTを参照するだ
けで行われるため、処理が簡単になり、高速に処理を行
うことができる領域抽出方法が実現できる効果がある。
【0070】また、本願の請求項9の発明に係る領域抽
出方法によれば、請求項8記載の領域抽出方法におい
て、前記ルックアップテーブル設定方法は、前記抽出領
域の位置情報をもとに、画素が抽出領域内であれば正値
を、それ以外の領域にあれば負値を、該データ値に追加
して該データ値を取得した前記三次元ルックアップテー
ブルの参照箇所と同一の箇所に保存し、該画像の全ての
画素に対し前記処各動画像毎の明るさや色合いに応じた
設定が可能になり、常にコントラストが高い画像を得る
ことができ、同じ色領域となる領域内の区別もつけやす
い画像が得られるとともに、動画像から領域抽出動画像
への変換は三次元LUTを参照するだけで行われるた
め、処理が簡単になり、高速に処理を行うことができる
領域抽出方法が実現できる効果がある。理を終了した後
に、前記三次元ルックアップテーブルの各データ値を、
負値は零値とし、正値は出力画像としてあらかじめ定義
されている値の範囲に整形することにより前記三次元ル
ックアップテーブルを設定するものとしたので、各動画
像毎の明るさや色合いに応じた設定が可能になり、常に
コントラストが高い画像を得ることができ、同じ色領域
となる領域内の区別もつけやすい画像が得られるととも
に、動画像から領域抽出動画像への変換は三次元LUT
を参照するだけで行われるため、処理が簡単になり、高
速に処理を行うことができる領域抽出方法が実現できる
効果がある。
【0071】また、本願の請求項10の発明に係る領域
抽出方法によれば、請求項8記載の領域抽出方法におい
て、前記三次元ルックアップテーブルを参照するとき
に、各画素の色と同一の色に対するデータ値が前記三次
元ルックアップテーブルに保存されている場合に該デー
タ値をそのまま出力し、それ以外のときは該色の近傍色
となる複数位置のデータ値からの補間演算の結果を出力
するようにしたので、各動画像毎の明るさや色合いに応
じた設定が可能になり、常にコントラストが高い画像を
得ることができ、同じ色領域となる領域内の区別もつけ
やすい画像が得られるとともに、三次元LUTの記憶に
要する領域を削減でき、しかも、動画像から領域抽出動
画像への変換は三次元LUTを参照するだけで行われる
ため、処理が簡単になり、高速に処理を行うことがで
き、しかも三次元LUTを小容量にできる領域抽出方法
が実現できる効果がある。
【0072】また、本願の請求項11の発明に係る領域
抽出方法によれば、入力画像から静止画像を取得する静
止画像取得工程、該静止画像取得工程が取得した静止画
像の色彩成分を取り出す色彩成分抽出工程、あらかじめ
記憶した抽出領域の標準的な色彩を記憶する抽出領域標
準色彩記憶工程、該抽出した色彩成分と画像から前記抽
出領域の標準色彩を比較して、前記静止画像での抽出し
たい領域の位置情報を決定する抽出領域情報設定工程、
前記静止画像の各画素毎に画素の色をキーにして、色に
対するデータ値の初期値を記憶している三次元ルックア
ップテーブルを参照し、該色と同一もしくは最近傍色と
なる位置のデータ値を取得して、前記抽出領域の位置情
報をもとに、前記三次元ルックアップテーブルの設定値
を、画素が抽出領域内にあれば、出力画像としてあらか
じめ定義されている範囲の値とし、それ以外の領域にあ
れば、固定値として、前記三次元ルックアップテーブル
の参照箇所と同一の箇所に設定するルックアップテーブ
ル設定工程を含む前処理工程と、前記入力画像を得る画
像入力工程、該取得された入力画像の全ての画素に対
し、画素の色をキーにして前記三次元ルックアップテー
ブルを参照し、該色に対し同一もしくは最近傍色となる
位置のデータ値を出力するルックアップテーブル参照工
程、該参照処理の結果生ずる画像を出力する画像出力工
程を含む本処理工程とを含むようにしたので、各動画像
毎の色合いに応じた設定が可能になり、常にコントラス
トが高い画像を得ることができ、同じ色領域となる領域
内の区別もつけやすい画像が得られるとともに、動画像
から領域抽出動画像への変換は三次元LUTを参照する
だけで行われるため、処理が簡単になり、高速に処理を
行うことができ、しかも、様々な明るさのもとでも、自
動的に三次元LUTを設定することができる領域抽出方
法が実現できる効果がある。
【0073】また、本願の請求項12の発明に係る領域
抽出方法によれば、入力画像から静止画像を取得する静
止画像取得工程、該静止画像取得工程が取得した静止画
像の明るさ成分を取り出し前記静止画像の明るさ情報を
取得する明るさ情報取得工程、様々な明るさに応じたル
ックアップテーブル設定内容を記憶するルックアップテ
ーブル設定内容記憶工程、前記明るさ情報をキーにし
て、前記ルックアップテーブル設定内容から明るさ情報
に応じた設定内容を取得するルックアップテーブル設定
内容取得工程、該取得したルックアップテーブル設定内
容を前記三次元ルックアップテーブルに設定するルック
アップテーブル設定内容設定工程を含む前処理工程と、
前記入力画像を得る画像入力工程、該取得された入力画
像の全ての画素に対し、画素の色をキーにして前記三次
元ルックアップテーブルを参照し、該色に対し同一もし
くは最近傍色となる位置のデータ値を出力するルックア
ップテーブル参照工程、該参照処理の結果生ずる画像を
出力する画像出力工程を含む本処理工程とを含むように
したので、各動画像毎の明るさに応じた設定が可能にな
り、常にコントラストが高い画像を得ることができ、同
じ色領域となる領域内の区別もつけやすい画像が得られ
るとともに、動画像から領域抽出動画像への変換は三次
元LUTを参照するだけで行われるため、処理が簡単に
なり、高速に処理を行うことができ、しかも、様々な明
るさのもとでも、自動的に三次元LUTを設定すること
ができる領域抽出方法が実現できる効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態1,2に係る領域抽出装
置の構成図。
【図2】 本発明の実施の形態1,2における三次元L
UTの構成図。
【図3】 本発明の実施の形態1,2における画像記憶
部に記憶した画像例をディスプレー上に表示した中間調
写真を示す図。
【図4】 本発明の実施の形態1,2における抽出領域
入力部による抽出領域入力例をディスプレー上に表示し
た中間調写真を示す図。
【図5】 本発明の実施の形態1,2におけるLUT参
照部による補間演算方法の概略図。
【図6】 本発明の実施の形態1,2におけるLUT参
照部に入力した入力画像例とその変換結果をディスプレ
ー上に表示した中間調写真を示す図。
【図7】 本発明の実施の形態1,2を実現するハード
ウェア構成図。
【図8】 本発明の実施の形態3に係る領域抽出装置の
構成図。
【図9】 本発明の実施の形態3の肌色に関する色彩マ
ップ例を示す図。
【図10】 本発明の実施の形態3の静止画像取得部が
取得した画像例とこれに色彩マップを適用した結果生じ
た領域をディスプレー上に表示した中間調写真を示す
図。
【図11】 本発明の実施の形態4に係る領域抽出装置
の構成図。
【符号の説明】
1 画像入力部 2 三次元LUT 3 静止画像取得部 4 画像記憶部 5 画像表示部 6 抽出領域入力部 7 抽出領域情報記憶部 8 LUT設定部 9 LUT参照部 10 画像出力部 11 制御プロセッサ 12 メモリ 13 CPU 14 メモリ 15 ディスプレイ 16 入力装置 17 色彩成分抽出部 18 抽出領域情報設定部 19 抽出領域標準色彩記憶部 20 明るさ情報取得部 21 LUT設定内容記憶部 22 LUT設定内容取得部 23 LUT設定内容設定部 100 本処理系 200 前処理系

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 入力画像に対し抽出すべき領域を指定す
    る抽出領域指定手段と、 該抽出領域指定手段により指定された抽出領域の背景と
    なる背景領域を構成する色を一定色に変換し入力画像か
    ら背景領域を消去して抽出領域を得る背景領域消去手段
    とを備えたことを特徴とする領域抽出装置。
  2. 【請求項2】 入力画像から静止画像を取得する静止画
    像取得手段、 該取得した静止画像を表示する画像表示手段、 該表示された静止画像上での抽出したい領域の位置情報
    を入力するための抽出領域入力手段、 前記静止画像の各画素毎に画素の色をキーにして、色に
    対するデータ値の初期値を記憶している三次元ルックア
    ップテーブルを参照し、該色と同一もしくは最近傍色と
    なる位置のデータ値を取得して、前記抽出領域の位置情
    報をもとに、前記三次元ルックアップテーブルの設定値
    を、画素が抽出領域内にあれば、出力画像としてあらか
    じめ定義されている範囲の値とし、それ以外の領域にあ
    れば、固定値として、前記三次元ルックアップテーブル
    の参照箇所と同一の箇所に設定するルックアップテーブ
    ル設定手段を有する前処理手段と、 前記入力画像を得る画像入力手段、 該取得された入力画像の全ての画素に対し、画素の色を
    キーにして前記三次元ルックアップテーブルを参照し、
    該色に対し同一もしくは最近傍色となる位置のデータ値
    を出力するルックアップテーブル参照手段、 該参照処理の結果生ずる画像を出力する画像出力手段を
    有する本処理手段とを備えたことを特徴とする領域抽出
    装置。
  3. 【請求項3】 請求項2記載の領域抽出装置において、 前記ルックアップテーブル設定手段は、 前記抽出領域の位置情報をもとに、画素が抽出領域内に
    あれば正値を、それ以外の領域にあれば負値を、該デー
    タ値に追加して該データ値を取得した前記三次元ルック
    アップテーブルの参照箇所と同一の箇所に保存し、該画
    像の全ての画素に対し前記処理を終了した後に、前記三
    次元ルックアップテーブルの各データ値を、負値は零値
    とし、正値は出力画像としてあらかじめ定義されている
    値の範囲に整形することにより前記三次元ルックアップ
    テーブルを設定するものであることを特徴とする領域抽
    出装置。
  4. 【請求項4】 請求項2記載の領域抽出装置において、 前記ルックアップテーブル参照手段は、前記三次元ルッ
    クアップテーブルを参照する際に、各画素の色と同一の
    色に対するデータ値が前記三次元ルックアップテーブル
    に保存されている場合に該データ値をそのまま出力し、
    それ以外のときは該色の近傍色となる複数位置のデータ
    値からの補間演算の結果を出力することを特徴とする領
    域抽出装置。
  5. 【請求項5】 入力画像から静止画像を取得する静止画
    像取得手段、 該静止画像取得手段が取得した静止画像の色彩成分を取
    り出す色彩成分抽出手段、 あらかじめ記憶した抽出領域の標準的な色彩を記憶する
    抽出領域標準色彩記憶手段、 該抽出した色彩成分と画像から前記抽出領域の標準色彩
    を比較して、前記静止画像での抽出したい領域の位置情
    報を決定し静止画像上での抽出したい領域の位置情報を
    入力する抽出領域情報設定手段、 前記静止画像の各画素毎に画素の色をキーにして、色に
    対するデータ値の初期値を記憶している三次元ルックア
    ップテーブルを参照し、該色と同一もしくは最近傍色と
    なる位置のデータ値を取得して、前記抽出領域の位置情
    報をもとに、前記三次元ルックアップテーブルの設定値
    を、画素が抽出領域内にあれば、出力画像としてあらか
    じめ定義されている範囲の値とし、それ以外の領域にあ
    れば、固定値として、前記三次元ルックアップテーブル
    の参照箇所と同一の箇所に設定するルックアップテーブ
    ル設定手段を有する前処理手段と、 前記入力画像を得る画像入力手段、 該取得された入力画像の全ての画素に対し、画素の色を
    キーにして前記三次元ルックアップテーブルを参照し、
    該色に対し同一もしくは最近傍色となる位置のデータ値
    を出力するルックアップテーブル参照手段、 該参照処理の結果生ずる画像を出力する画像出力手段を
    有する本処理手段とを備えたことを特徴とする領域抽出
    装置。
  6. 【請求項6】 入力画像から静止画像を取得する静止画
    像取得手段、 該静止画像取得手段が取得した静止画像の明るさ成分を
    取り出し前記静止画像の明るさ情報を取得する明るさ情
    報取得手段、 様々な明るさに応じたルックアップテーブル設定内容を
    記憶するルックアップテーブル設定内容記憶手段、 前記明るさ情報をキーにして、前記ルックアップテーブ
    ル設定内容から明るさ情報に応じた設定内容を取得する
    ルックアップテーブル設定内容取得手段、 該取得したルックアップテーブル設定内容を前記三次元
    ルックアップテーブルに設定するルックアップテーブル
    設定内容設定手段を有する前処理手段と、 前記入力画像を得る画像入力手段、 該取得された入力画像の全ての画素に対し、画素の色を
    キーにして前記三次元ルックアップテーブルを参照し、
    該色に対し同一もしくは最近傍色となる位置のデータ値
    を出力するルックアップテーブル参照手段、 該参照処理の結果生ずる画像を出力する画像出力手段を
    有する本処理手段とを備えたことを特徴とする領域抽出
    装置。
  7. 【請求項7】 入力画像に対し抽出すべき領域を指定す
    る抽出領域指定工程と、 該抽出領域指定工程により指定された抽出領域の背景と
    なる背景領域を構成する色を一定色に変換し入力画像か
    ら背景領域を消去して抽出領域を得る背景領域消去工程
    とを含むことを特徴とする領域抽出方法。
  8. 【請求項8】 入力画像から静止画像を取得する静止画
    像取得工程、 該取得した静止画像を表示する画像表示工程、 該表示された静止画像上での抽出したい領域の位置情報
    を入力するための抽出領域入力工程、 前記静止画像の各画素毎に画素の色をキーにして、色に
    対するデータ値の初期値を記憶している三次元ルックア
    ップテーブルを参照し、該色と同一もしくは最近傍色と
    なる位置のデータ値を取得して、前記抽出領域の位置情
    報をもとに、前記三次元ルックアップテーブルの設定値
    を、画素が抽出領域内にあれば、出力画像としてあらか
    じめ定義されている範囲の値とし、それ以外の領域にあ
    れば、固定値として、前記三次元ルックアップテーブル
    の参照箇所と同一の箇所に設定するルックアップテーブ
    ル設定工程を含む前処理工程と、 前記入力画像を得る画像入力工程、 該取得された入力画像の全ての画素に対し、画素の色を
    キーにして前記三次元ルックアップテーブルを参照し、
    該色に対し同一もしくは最近傍色となる位置のデータ値
    を出力するルックアップテーブル参照工程、 該参照処理の結果生ずる画像を出力する画像出力工程を
    含む本処理工程とを含むことを特徴とする領域抽出方
    法。
  9. 【請求項9】 請求項8記載の領域抽出方法において、 前記ルックアップテーブル設定方法は、 前記抽出領域の位置情報をもとに、画素が抽出領域内で
    あれば正値を、それ以外の領域にあれば負値を、該デー
    タ値に追加して該データ値を取得した前記三次元ルック
    アップテーブルの参照箇所と同一の箇所に保存し、該画
    像の全ての画素に対し前記処理を終了した後に、前記三
    次元ルックアップテーブルの各データ値を、負値は零値
    とし、正値は出力画像としてあらかじめ定義されている
    値の範囲に整形することにより前記三次元ルックアップ
    テーブルを設定するものであることを特徴とする領域抽
    出方法。
  10. 【請求項10】 請求項8記載の領域抽出方法におい
    て、 前記三次元ルックアップテーブルを参照するときに、各
    画素の色と同一の色に対するデータ値が前記三次元ルッ
    クアップテーブルに保存されている場合に該データ値を
    そのまま出力し、それ以外のときは該色の近傍色となる
    複数位置のデータ値からの補間演算の結果を出力するこ
    とを特徴とする領域抽出方法。
  11. 【請求項11】 入力画像から静止画像を取得する静止
    画像取得工程、 該静止画像取得工程が取得した静止画像の色彩成分を取
    り出す色彩成分抽出工程、 あらかじめ記憶した抽出領域の標準的な色彩を記憶する
    抽出領域標準色彩記憶工程、 該抽出した色彩成分と画像から前記抽出領域の標準色彩
    を比較して、前記静止画像での抽出したい領域の位置情
    報を決定する抽出領域情報設定工程、 前記静止画像の各画素毎に画素の色をキーにして、色に
    対するデータ値の初期値を記憶している三次元ルックア
    ップテーブルを参照し、該色と同一もしくは最近傍色と
    なる位置のデータ値を取得して、前記抽出領域の位置情
    報をもとに、前記三次元ルックアップテーブルの設定値
    を、画素が抽出領域内にあれば、出力画像としてあらか
    じめ定義されている範囲の値とし、それ以外の領域にあ
    れば、固定値として、前記三次元ルックアップテーブル
    の参照箇所と同一の箇所に設定するルックアップテーブ
    ル設定工程を含む前処理工程と、 前記入力画像を得る画像入力工程、 該取得された入力画像の全ての画素に対し、画素の色を
    キーにして前記三次元ルックアップテーブルを参照し、
    該色に対し同一もしくは最近傍色となる位置のデータ値
    を出力するルックアップテーブル参照工程、 該参照処理の結果生ずる画像を出力する画像出力工程を
    含む本処理工程とを含むことを特徴とする領域抽出方
    法。
  12. 【請求項12】 入力画像から静止画像を取得する静止
    画像取得工程、 該静止画像取得工程が取得した静止画像の明るさ成分を
    取り出し前記静止画像の明るさ情報を取得する明るさ情
    報取得工程、 様々な明るさに応じたルックアップテーブル設定内容を
    記憶するルックアップテーブル設定内容記憶工程、 前記明るさ情報をキーにして、前記ルックアップテーブ
    ル設定内容から明るさ情報に応じた設定内容を取得する
    ルックアップテーブル設定内容取得工程、 該取得したルックアップテーブル設定内容を前記三次元
    ルックアップテーブルに設定するルックアップテーブル
    設定内容設定工程を含む前処理工程と、 前記入力画像を得る画像入力工程、 該取得された入力画像の全ての画素に対し、画素の色を
    キーにして前記三次元ルックアップテーブルを参照し、
    該色に対し同一もしくは最近傍色となる位置のデータ値
    を出力するルックアップテーブル参照工程、 該参照処理の結果生ずる画像を出力する画像出力工程を
    含む本処理工程とを含むことを特徴とする領域抽出方
    法。
JP10057055A 1997-03-10 1998-03-09 領域抽出装置および領域抽出方法 Pending JPH1173512A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10057055A JPH1173512A (ja) 1997-03-10 1998-03-09 領域抽出装置および領域抽出方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-54492 1997-03-10
JP5449297 1997-03-10
JP10057055A JPH1173512A (ja) 1997-03-10 1998-03-09 領域抽出装置および領域抽出方法

Publications (1)

Publication Number Publication Date
JPH1173512A true JPH1173512A (ja) 1999-03-16

Family

ID=26395253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10057055A Pending JPH1173512A (ja) 1997-03-10 1998-03-09 領域抽出装置および領域抽出方法

Country Status (1)

Country Link
JP (1) JPH1173512A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007020789A1 (ja) * 2005-08-12 2007-02-22 Sony Computer Entertainment Inc. 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム
US7356190B2 (en) 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US11854120B2 (en) 2021-09-28 2023-12-26 Google Llc Techniques for reducing distractions in an image

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356190B2 (en) 2002-07-02 2008-04-08 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
US7542615B2 (en) 2002-07-02 2009-06-02 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
WO2007020789A1 (ja) * 2005-08-12 2007-02-22 Sony Computer Entertainment Inc. 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム
JPWO2007020789A1 (ja) * 2005-08-12 2009-02-19 株式会社ソニー・コンピュータエンタテインメント 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム
JP4538008B2 (ja) * 2005-08-12 2010-09-08 株式会社ソニー・コンピュータエンタテインメント 顔画像表示装置、顔画像表示方法及び顔画像表示プログラム
US8803886B2 (en) 2005-08-12 2014-08-12 Sony Corporation Face image display, face image display method, and face image display program
US9247156B2 (en) 2005-08-12 2016-01-26 Sony Corporation Facial image display apparatus, facial image display method, and facial image display program
US9852323B2 (en) 2005-08-12 2017-12-26 Sony Corporation Facial image display apparatus, facial image display method, and facial image display program
US11854120B2 (en) 2021-09-28 2023-12-26 Google Llc Techniques for reducing distractions in an image

Similar Documents

Publication Publication Date Title
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
US7747071B2 (en) Detecting and correcting peteye
KR101194133B1 (ko) 화상 처리 방법, 표시 화상 처리 방법, 화상 처리 장치,화상 처리 프로그램 및 그 화상 처리 장치를 포함하는집적회로
CN107507144B (zh) 肤色增强的处理方法、装置及图像处理装置
CN111127591B (zh) 图像染发处理方法、装置、终端和存储介质
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
JP3959909B2 (ja) ホワイトバランス調整方法及び調整装置
JP2004509486A (ja) 色かぶり検出及び除去方法
CN110248242B (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
CN106204470A (zh) 基于模糊理论的低照度成像方法
JP6771977B2 (ja) 画像処理装置および画像処理方法、プログラム
CN113132696A (zh) 图像色调映射方法、装置、电子设备和存储介质
CN113344836A (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
WO2022218082A1 (zh) 基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN109064431B (zh) 一种图片亮度调节方法、设备及其存储介质
CN113344837A (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
JP2013098681A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113450266A (zh) 图像处理装置、图像处理系统以及图像处理方法
JP4496005B2 (ja) 画像処理方法および画像処理装置
JPH1173512A (ja) 領域抽出装置および領域抽出方法
Cooper et al. Novel approach to color cast detection and removal in digital images
CN109102473B (zh) 一种改善彩色数字图像质量的方法