JP4004863B2 - クロマキー装置 - Google Patents
クロマキー装置 Download PDFInfo
- Publication number
- JP4004863B2 JP4004863B2 JP2002167378A JP2002167378A JP4004863B2 JP 4004863 B2 JP4004863 B2 JP 4004863B2 JP 2002167378 A JP2002167378 A JP 2002167378A JP 2002167378 A JP2002167378 A JP 2002167378A JP 4004863 B2 JP4004863 B2 JP 4004863B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- color coordinate
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像における被写体抽出技術に係わり、被写体の像を抽出するためのマスク画像を生成するクロマキー装置に関する。
【０００２】
【従来の技術】
従来、ブルーバック等、特定の色を背景とするスタジオなどで被写体を撮像し、撮像によって得られた画像から特定の色を背景とし、特定の色以外を被写体の像として、画像から被写体の像を抽出するクロマキー手法としては、例えば、文献「筒井他著、“レベル適応型ディジタルＲＧＢクロマキー”，ＮＨＫ技研月報，昭和６３．２」に開示された手法等が知られている。このクロマキー手法は、ブルーバックを背景として被写体にブルーとなる背景色を含めないという制限はあるが、被写体を人物とした場合、撮像によって得られた画像から肌色等の補色であるブルーとなる背景色を選択し、被写体の像を抽出できる。
【０００３】
また、類似のクロマキー手法として、文献「三須他著、“複数情報の融合によるサッカー選手のロバストな追跡法” ，IE2001-47, PRMU2001-67, MVE2001-46(2001-07)」に開示された技術等が知られている。この文献では、各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間をＲＧＢの軸に沿ったいくつかの小領域に分割し、撮像によって得られた画像に含まれる画素に基づいて、各画素を分割された小領域内の座標点に対応付けし、各小領域に対応付けられた座標点の数をカウントする。背景は被写体の像より面積が充分大きいことを前提として、３次元色空間内の最も座標点の多い小領域が背景色であると仮定し、さらに、この小領域に属する座標点の平均値と分散を求めて背景色を決定している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の技術では、照明の強弱、被写体の影により背景に濃淡が生じている画像、また、背景色が被写体に写り込む現象などが生じている画像から被写体の像を正確に抽出できないという問題があった。
【０００５】
本発明はかかる問題を解決するためになされたもので、その目的は、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供するものである。
【０００８】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記画素と対応づけられた座標点である色座標点の全てを対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記各色座標点についてのマハラノビス距離に関する情報を生成するマハラノビス距離生成手段と、前記各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断する閾値判断手段と、前記マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記各画素に２値化信号を割り当てることによって前記被写体の像を抽出するためのマスク画像を生成する構成を有するとともに、前記３次元色空間を所定の大きさの直方体に分割し、前記分割で得られた直方体であって予め決められた１以上の直方体である指定メッシュの各々に含まれる各色座標点と対応する画素については、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を行い、前記指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【０００９】
この構成により、請求項１記載のクロマキー装置は、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、色座標点を特定することで、背景か否かを判断する処理を軽減することが可能となる。
【００１０】
また、請求項２に係る発明は、請求項１において、さらに、前記各直方体に含まれる色座標点の個数が最も多い直方体を前記指定メッシュとして決定するメッシュ決定手段を備えた構成を有している。
【００１１】
この構成により、請求項２記載のクロマキー装置は、最も画素数の多いメッシュを指定メッシュとし、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、指定メッシュを予め決めることなく自動化して決定することが可能となる。
【００１２】
また、請求項３に係る発明は、単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画像を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記３次元色空間を所定の大きさの直方体に分割し、前記画素と対応づけられた座標点である色座標点を最も多く含む直方体を指定メッシュとして決定するメッシュ決定手段と、前記指定メッシュに含まれる色座標点を対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報である統計情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離に関する情報である距離情報を生成するマハラノビス距離生成手段と、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断である閾値判断をする閾値判断手段と、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記２値化信号割当処理後に、メッシュ決定手段に、前記指定メッシュを除く全直方体の中から次の指定メッシュを決定させ、前記次の指定メッシュを対象にして、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を所定回数行わせる手段とを備え、前記全指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【００１３】
この構成により、請求項３記載のクロマキー装置は、最も画素数の多いメッシュから順番に、指定メッシュとすることを所定回数繰り返し、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、背景色となる色座標点が複数メッシュに分布するような画像から、被写体の像を抽出することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１は、本発明の第１の実施の形態に係るクロマキー装置１００のブロック構成を示す図である。図１において、クロマキー装置は、座標対応付け手段１１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００１５】
座標対応付け手段１１０は、単一色を背景とする被写体を撮像することによって得られた画像を入力とし、入力された画像に含まれる各画素についてのＲＧＢ信号に基づいて、各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けし、対応付けされた座標点に関する情報を出力する手段である。
【００１６】
ここで、入力された画像に含まれる各画素の位置を２次元座標上の座標点に１対１に対応させ、上記の２次元座標における１の座標軸方向の位置を符号ｉで表し、残りの座標軸方向の位置を符号ｊで表す。この場合、入力された画像を構成する画素における座標点（ｉ，ｊ）の画素に対する上記対応付けは、この画素のＲＧＢ信号を構成するＲ信号成分ｒPij、Ｇ信号成分ｇPij、およびＢ信号成分ｂPijを用いて、Pixel(i,j)=(ｒPij，ｇPij，ｂPij)で表される。ここで、Ｒ信号成分ｒPij、Ｇ信号成分ｇPij、およびＢ信号成分ｂPijの値は、例えば、０から２５５までの整数値でも良い。以下では、上記３次元色空間内の座標点を色座標点という。
【００１７】
統計情報生成手段１２０は、上記の色座標点に関する情報を入力とし、入力された色座標点に関する情報に基づいて色座標点の座標についての平均値と、分散、および座標軸間における色座標点の座標についての共分散とを算出し、算出された平均値、分散、および共分散に関する情報である統計情報を生成し、生成された統計情報と入力された色座標点に関する情報とをマハラノビス距離生成手段１３０に出力する手段である。
【００１８】
ここで、色座標点の座標についての平均値、分散、および、座標軸間で色座標点の座標についての共分散について説明する。上記では、色座標点を座標によって識別していたが、説明の都合上、色座標点を番号によって識別することにする。識別された色座標点の集合を集合Ｒ（Ｐ（０）、Ｐ（１）、・・・、Ｐ（ｋ）、・・・、Ｐ（ｎ−１））とする。ただし、Ｐ（ｋ）は、ベクトルであり、Ｐ（ｋ）＝（ｒｋ、ｇｋ、ｂｋ）と表され、ｎは、集合Ｒに属する色座標点（画素に対応）の個数を示す整数である。
【００１９】
ＲＧＢ信号を構成する各信号成分の平均値をｒav、ｇavおよびｂavとして表すと、集合Ｒに含まれる色座標点の座標についての平均値ａｖは、（１）式により表される。
【数１】
また、ＲＧＢ信号を構成する各信号成分の平均値ｒav、ｇav、およびｂavの各々は、（２）式により計算される。ここで、平均値ｒav、ｇav、およびｂavは、変数ｃｏｌｏｒav（ｃｏｌｏｒ＝ｒ、ｇあるいはｂ）として表すこととする。
【数２】
【００２０】
ＲＧＢ信号を構成する各信号成分の分散σrr、σrg、σrb、σgr、σgg、σgb、σbr、σbg、およびσbbの各々は、（３）式により計算される。ここで、分散σrr、σrg、σrb、σgr、σgg、σgb、σbr、σbg、およびσbbの各々は、変数σcolor1color2（color1,color2＝ｒ、ｇあるいはｂ）として表すこととする。
【数３】
【００２１】
色座標点の座標についての共分散ｓｇは、上記で得られた各分散に基づいて（４）式により表される。ただし、ｓｇは３行３列の行列である。
【数４】
【００２２】
マハラノビス距離生成手段１３０は、統計情報生成手段１２０によって出力された統計情報と色座標点に関する情報とを入力とし、入力されたこれらの情報に基づいて、各色座標点についてのマハラノビス距離を測定し、測定された各色座標点についてのマハラノビス距離に関する情報を生成し、色座標点に関する情報に生成された各色座標点についてのマハラノビス距離に関する情報を含め、色座標点に関する情報を閾値判断手段１４０に出力する手段である。
【００２３】
なお、マハラノビス距離とは、例えば、空間内に存在する点が２つのグループ内に分布していた場合、ある点がどちらのグループ内に含まれるか否かを判断するための統計的推測等に用いられるものである。マハラノビス距離における１次元空間を例とした場合、この１次元空間を構成する集合Ｇにおいて、集合Ｇに含まれる点pointのマハラノビス距離 len は、集合Ｇの平均値をＡＶとし、集合Ｇの分散をＳＧとして、（５）式で表される。
【数５】
【００２４】
ここで、３次元色空間における各色座標点についてのマハラノビス距離ｄｍの算出方法を説明する。
まず、上記で説明した画素の座標点Pixel(i,j)のベクトルと平均値ａｖのベクトルを用いて、ベクトルｄを（６）式により求める。なお、Ｔは転置ベクトルを示す演算子であり、ベクトルｄは３行１列の行列となる。
【数６】
３次元色空間内の集合Ｒに含まれる各色座標点についてのマハラノビス距離ｄｍの自乗は、上記計算式で求めた平均値ａｖ、共分散ｓｇ、およびベクトルｄに基づいて（７）式により計算される。
【数７】
【００２５】
閾値判断手段１４０は、マハラノビス距離生成手段１３０によって出力された色座標点に関する情報を入力とし、入力された各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断し、これらの判断結果に関する情報と色座標点に関する情報とを２値化割当手段１５０に出力する手段である。
【００２６】
また、各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断は、上記のマハラノビス距離ｄｍとし、閾値ＴＨとして、（８）式により計算され、マハラノビス距離が閾値以内であった色座標点は、背景を構成する画素と特定される。
【００２７】
【数８】
【００２８】
２値化割当手段１５０は、閾値判断手段１４０によって出力された判断結果に関する情報と色座標点に関する情報を入力とし、判断結果に関する情報に基づいて、マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に２値化信号のうちのいずれかの信号である第１の信号を割り当て、マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に２値化信号の第１の信号以外の信号を割り当て、２値化信号を割り当てた画素に関する情報をマスク画像生成手段１６０に出力する手段である。
【００２９】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００３０】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に関する情報を入力とし、入力された２値化信号を割り当てた画素に関する情報に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成し、生成されたマスク画像を出力する手段である。
【００３１】
以上説明したように、本発明の第１の実施の形態に係るクロマキー装置は、画像に含まれる画素についてのマハラノビス距離に基づいて、各画素が背景か否かを判断する。従って、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出することが可能となる。
【００３２】
図２は、本発明の第２の実施の形態に係るクロマキー装置２００のブロック構成を示す図である。図２において、クロマキー装置は、座標対応付け手段１１０、指定メッシュ取得手段２１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００３３】
なお、本発明の第２の実施の形態に係るクロマキー装置２００を構成する手段のうち、本発明の第１の実施の形態に係るクロマキー装置１００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００３４】
指定メッシュ取得手段２１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、分割して得られた直方体の中から、背景色と推測される色座標を含む予め決められた１以上の直方体を指定メッシュとし、指定メッシュの各々に含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００３５】
ここで、図５は、指定メッシュ取得手段２１０によって上記各直方体に含まれる色座標点を示した図である。図５において、上記直方体は、立方体Cube(div_r,div_g,div_b)として表している。この立方体はＲ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間を各軸に沿ってＭ等分（Ｍは自然数）することによって得られることを表している。例えば、ｒPij、ｇPij、ｂPijの各々の値を０から２５５までの整数、Ｍ＝１６とし、ある画素をPixel(i,j)=(ｒPij，ｇPij，ｂPij)=(150,150,235)とすれば、この画素は立方体Cube(150/16,150/16,235/16)、すなわちCube(9,9,14)に含まれることを表している。
【００３６】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。２値化割当手段１５０は、指定メッシュの各々に含まれる色座標点と対応する画素に２値化信号割当処理を行い、指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てる。
【００３７】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００３８】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００３９】
以上説明したように、本発明の第２の実施の形態に係るクロマキー装置は、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、色座標点を特定することで、背景か否かを判断する処理を軽減することが可能となる。
【００４０】
図３は、本発明の第３の実施の形態に係るクロマキー装置３００のブロック構成を示す図である。図３において、クロマキー装置は、座標対応付け手段１１０、メッシュ決定手段３１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００４１】
なお、本発明の第３の実施の形態に係るクロマキー装置３００を構成する手段のうち、本発明の第２の実施の形態に係るクロマキー装置２００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００４２】
メッシュ決定手段３１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、各直方体に含まれる色座標点の個数が最も多い直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００４３】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。２値化割当手段１５０は、指定メッシュの各々に含まれる色座標点と対応する画素に２値化信号割当処理を行い、指定メッシュの各々に含まれない色座標点と対応する画素に第１の信号を割り当てる。
【００４４】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００４５】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００４６】
以上説明したように、本発明の第３の実施の形態に係るクロマキー装置は、最も画素数の多いメッシュを指定メッシュとし、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、指定メッシュを予め決めることなく自動化して決定することが可能となる。
【００４７】
図４は、本発明の第４の実施の形態に係るクロマキー装置４００のブロック構成を示す図である。図４において、クロマキー装置は、座標対応付け手段１１０、メッシュ決定手段４１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、マスク画像生成手段１６０、および繰り返し制御手段４０１によって構成される。
【００４８】
なお、本発明の第４の実施の形態に係るクロマキー装置４００を構成する手段のうち、本発明の第３の実施の形態に係るクロマキー装置３００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００４９】
メッシュ決定手段４１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、各直方体に含まれる色座標点の個数を調べ、最も多い順番に直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００５０】
また、メッシュ決定手段４１０は、後述の繰り返し制御手段４０１によって出力された色座標点に関する情報を入力とし、入力された色座標点に関する情報に基づいて前回出力した指定メッシュを特定し、次の順番となる直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００５１】
なお、メッシュ決定手段４１０が行う指定メッシュを決定する方法としては、上記に記載したように初回の入力で指定メッシュの順番を決定する方法ではなく、入力される毎に全直方体の中から前回出力した指定メッシュを除いて、直方体に含まれる最も多い色座標点の個数となる直方体を指定メッシュとしても良い。
【００５２】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。
【００５３】
繰り返し制御手段４０１は、２値化割当手段１５０によって出力された色座標点に関する情報を入力とし、入力回数が所定回数に達していない場合、色座標点に関する情報に２値化信号を割り当てた画素を含め、色座標点に関する情報をメッシュ決定手段４１０に出力する手段である。
【００５４】
また、繰り返し制御手段４０１は、所定回数繰り返した後に、上記指定メッシュ以外の直方体に含まれる色座標点と対応する画素に２値化信号の第１の信号以外の信号を割り当て、２値化信号を割り当てた画素に関する情報をマスク画像生成手段１６０に出力する手段である。
【００５５】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００５６】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００５７】
以上説明したように、本発明の第４の実施の形態に係るクロマキー装置は、最も画素数の多いメッシュから順番に、指定メッシュとすることを所定回数繰り返し、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、背景色となる色座標点が複数メッシュに分布するような画像から、被写体の像を抽出することが可能となる。
【００５８】
【発明の効果】
以上説明したように、本発明は、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るクロマキー装置のブロック構成を示す図
【図２】本発明の第２の実施の形態に係るクロマキー装置のブロック構成を示す図
【図３】本発明の第３の実施の形態に係るクロマキー装置のブロック構成を示す図
【図４】本発明の第４の実施の形態に係るクロマキー装置のブロック構成を示す図
【図５】３次元色空間内の立方体を示す図
【符号の説明】
１００、２００、３００、４００ クロマキー装置
１１０ 座標対応付け手段
１２０ 統計情報生成手段
１３０ マハラノビス距離生成手段
１４０ 閾値判断手段
１５０ ２値化割当手段
１６０ マスク画像生成手段
２１０ 指定メッシュ取得手段
３１０、４１０ メッシュ決定手段
４０１ 繰り返し制御手段
【発明の属する技術分野】
本発明は、画像における被写体抽出技術に係わり、被写体の像を抽出するためのマスク画像を生成するクロマキー装置に関する。
【０００２】
【従来の技術】
従来、ブルーバック等、特定の色を背景とするスタジオなどで被写体を撮像し、撮像によって得られた画像から特定の色を背景とし、特定の色以外を被写体の像として、画像から被写体の像を抽出するクロマキー手法としては、例えば、文献「筒井他著、“レベル適応型ディジタルＲＧＢクロマキー”，ＮＨＫ技研月報，昭和６３．２」に開示された手法等が知られている。このクロマキー手法は、ブルーバックを背景として被写体にブルーとなる背景色を含めないという制限はあるが、被写体を人物とした場合、撮像によって得られた画像から肌色等の補色であるブルーとなる背景色を選択し、被写体の像を抽出できる。
【０００３】
また、類似のクロマキー手法として、文献「三須他著、“複数情報の融合によるサッカー選手のロバストな追跡法” ，IE2001-47, PRMU2001-67, MVE2001-46(2001-07)」に開示された技術等が知られている。この文献では、各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間をＲＧＢの軸に沿ったいくつかの小領域に分割し、撮像によって得られた画像に含まれる画素に基づいて、各画素を分割された小領域内の座標点に対応付けし、各小領域に対応付けられた座標点の数をカウントする。背景は被写体の像より面積が充分大きいことを前提として、３次元色空間内の最も座標点の多い小領域が背景色であると仮定し、さらに、この小領域に属する座標点の平均値と分散を求めて背景色を決定している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の技術では、照明の強弱、被写体の影により背景に濃淡が生じている画像、また、背景色が被写体に写り込む現象などが生じている画像から被写体の像を正確に抽出できないという問題があった。
【０００５】
本発明はかかる問題を解決するためになされたもので、その目的は、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供するものである。
【０００８】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記画素と対応づけられた座標点である色座標点の全てを対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記各色座標点についてのマハラノビス距離に関する情報を生成するマハラノビス距離生成手段と、前記各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断する閾値判断手段と、前記マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記各画素に２値化信号を割り当てることによって前記被写体の像を抽出するためのマスク画像を生成する構成を有するとともに、前記３次元色空間を所定の大きさの直方体に分割し、前記分割で得られた直方体であって予め決められた１以上の直方体である指定メッシュの各々に含まれる各色座標点と対応する画素については、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を行い、前記指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【０００９】
この構成により、請求項１記載のクロマキー装置は、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、色座標点を特定することで、背景か否かを判断する処理を軽減することが可能となる。
【００１０】
また、請求項２に係る発明は、請求項１において、さらに、前記各直方体に含まれる色座標点の個数が最も多い直方体を前記指定メッシュとして決定するメッシュ決定手段を備えた構成を有している。
【００１１】
この構成により、請求項２記載のクロマキー装置は、最も画素数の多いメッシュを指定メッシュとし、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、指定メッシュを予め決めることなく自動化して決定することが可能となる。
【００１２】
また、請求項３に係る発明は、単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画像を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記３次元色空間を所定の大きさの直方体に分割し、前記画素と対応づけられた座標点である色座標点を最も多く含む直方体を指定メッシュとして決定するメッシュ決定手段と、前記指定メッシュに含まれる色座標点を対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報である統計情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離に関する情報である距離情報を生成するマハラノビス距離生成手段と、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断である閾値判断をする閾値判断手段と、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記２値化信号割当処理後に、メッシュ決定手段に、前記指定メッシュを除く全直方体の中から次の指定メッシュを決定させ、前記次の指定メッシュを対象にして、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を所定回数行わせる手段とを備え、前記全指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【００１３】
この構成により、請求項３記載のクロマキー装置は、最も画素数の多いメッシュから順番に、指定メッシュとすることを所定回数繰り返し、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、背景色となる色座標点が複数メッシュに分布するような画像から、被写体の像を抽出することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１は、本発明の第１の実施の形態に係るクロマキー装置１００のブロック構成を示す図である。図１において、クロマキー装置は、座標対応付け手段１１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００１５】
座標対応付け手段１１０は、単一色を背景とする被写体を撮像することによって得られた画像を入力とし、入力された画像に含まれる各画素についてのＲＧＢ信号に基づいて、各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けし、対応付けされた座標点に関する情報を出力する手段である。
【００１６】
ここで、入力された画像に含まれる各画素の位置を２次元座標上の座標点に１対１に対応させ、上記の２次元座標における１の座標軸方向の位置を符号ｉで表し、残りの座標軸方向の位置を符号ｊで表す。この場合、入力された画像を構成する画素における座標点（ｉ，ｊ）の画素に対する上記対応付けは、この画素のＲＧＢ信号を構成するＲ信号成分ｒPij、Ｇ信号成分ｇPij、およびＢ信号成分ｂPijを用いて、Pixel(i,j)=(ｒPij，ｇPij，ｂPij)で表される。ここで、Ｒ信号成分ｒPij、Ｇ信号成分ｇPij、およびＢ信号成分ｂPijの値は、例えば、０から２５５までの整数値でも良い。以下では、上記３次元色空間内の座標点を色座標点という。
【００１７】
統計情報生成手段１２０は、上記の色座標点に関する情報を入力とし、入力された色座標点に関する情報に基づいて色座標点の座標についての平均値と、分散、および座標軸間における色座標点の座標についての共分散とを算出し、算出された平均値、分散、および共分散に関する情報である統計情報を生成し、生成された統計情報と入力された色座標点に関する情報とをマハラノビス距離生成手段１３０に出力する手段である。
【００１８】
ここで、色座標点の座標についての平均値、分散、および、座標軸間で色座標点の座標についての共分散について説明する。上記では、色座標点を座標によって識別していたが、説明の都合上、色座標点を番号によって識別することにする。識別された色座標点の集合を集合Ｒ（Ｐ（０）、Ｐ（１）、・・・、Ｐ（ｋ）、・・・、Ｐ（ｎ−１））とする。ただし、Ｐ（ｋ）は、ベクトルであり、Ｐ（ｋ）＝（ｒｋ、ｇｋ、ｂｋ）と表され、ｎは、集合Ｒに属する色座標点（画素に対応）の個数を示す整数である。
【００１９】
ＲＧＢ信号を構成する各信号成分の平均値をｒav、ｇavおよびｂavとして表すと、集合Ｒに含まれる色座標点の座標についての平均値ａｖは、（１）式により表される。
【数１】
【数２】
ＲＧＢ信号を構成する各信号成分の分散σrr、σrg、σrb、σgr、σgg、σgb、σbr、σbg、およびσbbの各々は、（３）式により計算される。ここで、分散σrr、σrg、σrb、σgr、σgg、σgb、σbr、σbg、およびσbbの各々は、変数σcolor1color2（color1,color2＝ｒ、ｇあるいはｂ）として表すこととする。
【数３】
色座標点の座標についての共分散ｓｇは、上記で得られた各分散に基づいて（４）式により表される。ただし、ｓｇは３行３列の行列である。
【数４】
マハラノビス距離生成手段１３０は、統計情報生成手段１２０によって出力された統計情報と色座標点に関する情報とを入力とし、入力されたこれらの情報に基づいて、各色座標点についてのマハラノビス距離を測定し、測定された各色座標点についてのマハラノビス距離に関する情報を生成し、色座標点に関する情報に生成された各色座標点についてのマハラノビス距離に関する情報を含め、色座標点に関する情報を閾値判断手段１４０に出力する手段である。
【００２３】
なお、マハラノビス距離とは、例えば、空間内に存在する点が２つのグループ内に分布していた場合、ある点がどちらのグループ内に含まれるか否かを判断するための統計的推測等に用いられるものである。マハラノビス距離における１次元空間を例とした場合、この１次元空間を構成する集合Ｇにおいて、集合Ｇに含まれる点pointのマハラノビス距離 len は、集合Ｇの平均値をＡＶとし、集合Ｇの分散をＳＧとして、（５）式で表される。
【数５】
ここで、３次元色空間における各色座標点についてのマハラノビス距離ｄｍの算出方法を説明する。
まず、上記で説明した画素の座標点Pixel(i,j)のベクトルと平均値ａｖのベクトルを用いて、ベクトルｄを（６）式により求める。なお、Ｔは転置ベクトルを示す演算子であり、ベクトルｄは３行１列の行列となる。
【数６】
【数７】
閾値判断手段１４０は、マハラノビス距離生成手段１３０によって出力された色座標点に関する情報を入力とし、入力された各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断し、これらの判断結果に関する情報と色座標点に関する情報とを２値化割当手段１５０に出力する手段である。
【００２６】
また、各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断は、上記のマハラノビス距離ｄｍとし、閾値ＴＨとして、（８）式により計算され、マハラノビス距離が閾値以内であった色座標点は、背景を構成する画素と特定される。
【００２７】
【数８】
２値化割当手段１５０は、閾値判断手段１４０によって出力された判断結果に関する情報と色座標点に関する情報を入力とし、判断結果に関する情報に基づいて、マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に２値化信号のうちのいずれかの信号である第１の信号を割り当て、マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に２値化信号の第１の信号以外の信号を割り当て、２値化信号を割り当てた画素に関する情報をマスク画像生成手段１６０に出力する手段である。
【００２９】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００３０】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に関する情報を入力とし、入力された２値化信号を割り当てた画素に関する情報に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成し、生成されたマスク画像を出力する手段である。
【００３１】
以上説明したように、本発明の第１の実施の形態に係るクロマキー装置は、画像に含まれる画素についてのマハラノビス距離に基づいて、各画素が背景か否かを判断する。従って、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出することが可能となる。
【００３２】
図２は、本発明の第２の実施の形態に係るクロマキー装置２００のブロック構成を示す図である。図２において、クロマキー装置は、座標対応付け手段１１０、指定メッシュ取得手段２１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００３３】
なお、本発明の第２の実施の形態に係るクロマキー装置２００を構成する手段のうち、本発明の第１の実施の形態に係るクロマキー装置１００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００３４】
指定メッシュ取得手段２１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、分割して得られた直方体の中から、背景色と推測される色座標を含む予め決められた１以上の直方体を指定メッシュとし、指定メッシュの各々に含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００３５】
ここで、図５は、指定メッシュ取得手段２１０によって上記各直方体に含まれる色座標点を示した図である。図５において、上記直方体は、立方体Cube(div_r,div_g,div_b)として表している。この立方体はＲ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間を各軸に沿ってＭ等分（Ｍは自然数）することによって得られることを表している。例えば、ｒPij、ｇPij、ｂPijの各々の値を０から２５５までの整数、Ｍ＝１６とし、ある画素をPixel(i,j)=(ｒPij，ｇPij，ｂPij)=(150,150,235)とすれば、この画素は立方体Cube(150/16,150/16,235/16)、すなわちCube(9,9,14)に含まれることを表している。
【００３６】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。２値化割当手段１５０は、指定メッシュの各々に含まれる色座標点と対応する画素に２値化信号割当処理を行い、指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てる。
【００３７】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００３８】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００３９】
以上説明したように、本発明の第２の実施の形態に係るクロマキー装置は、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、色座標点を特定することで、背景か否かを判断する処理を軽減することが可能となる。
【００４０】
図３は、本発明の第３の実施の形態に係るクロマキー装置３００のブロック構成を示す図である。図３において、クロマキー装置は、座標対応付け手段１１０、メッシュ決定手段３１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００４１】
なお、本発明の第３の実施の形態に係るクロマキー装置３００を構成する手段のうち、本発明の第２の実施の形態に係るクロマキー装置２００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００４２】
メッシュ決定手段３１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、各直方体に含まれる色座標点の個数が最も多い直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００４３】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。２値化割当手段１５０は、指定メッシュの各々に含まれる色座標点と対応する画素に２値化信号割当処理を行い、指定メッシュの各々に含まれない色座標点と対応する画素に第１の信号を割り当てる。
【００４４】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００４５】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００４６】
以上説明したように、本発明の第３の実施の形態に係るクロマキー装置は、最も画素数の多いメッシュを指定メッシュとし、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、指定メッシュを予め決めることなく自動化して決定することが可能となる。
【００４７】
図４は、本発明の第４の実施の形態に係るクロマキー装置４００のブロック構成を示す図である。図４において、クロマキー装置は、座標対応付け手段１１０、メッシュ決定手段４１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、マスク画像生成手段１６０、および繰り返し制御手段４０１によって構成される。
【００４８】
なお、本発明の第４の実施の形態に係るクロマキー装置４００を構成する手段のうち、本発明の第３の実施の形態に係るクロマキー装置３００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００４９】
メッシュ決定手段４１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、各直方体に含まれる色座標点の個数を調べ、最も多い順番に直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００５０】
また、メッシュ決定手段４１０は、後述の繰り返し制御手段４０１によって出力された色座標点に関する情報を入力とし、入力された色座標点に関する情報に基づいて前回出力した指定メッシュを特定し、次の順番となる直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００５１】
なお、メッシュ決定手段４１０が行う指定メッシュを決定する方法としては、上記に記載したように初回の入力で指定メッシュの順番を決定する方法ではなく、入力される毎に全直方体の中から前回出力した指定メッシュを除いて、直方体に含まれる最も多い色座標点の個数となる直方体を指定メッシュとしても良い。
【００５２】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。
【００５３】
繰り返し制御手段４０１は、２値化割当手段１５０によって出力された色座標点に関する情報を入力とし、入力回数が所定回数に達していない場合、色座標点に関する情報に２値化信号を割り当てた画素を含め、色座標点に関する情報をメッシュ決定手段４１０に出力する手段である。
【００５４】
また、繰り返し制御手段４０１は、所定回数繰り返した後に、上記指定メッシュ以外の直方体に含まれる色座標点と対応する画素に２値化信号の第１の信号以外の信号を割り当て、２値化信号を割り当てた画素に関する情報をマスク画像生成手段１６０に出力する手段である。
【００５５】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００５６】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００５７】
以上説明したように、本発明の第４の実施の形態に係るクロマキー装置は、最も画素数の多いメッシュから順番に、指定メッシュとすることを所定回数繰り返し、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、背景色となる色座標点が複数メッシュに分布するような画像から、被写体の像を抽出することが可能となる。
【００５８】
【発明の効果】
以上説明したように、本発明は、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るクロマキー装置のブロック構成を示す図
【図２】本発明の第２の実施の形態に係るクロマキー装置のブロック構成を示す図
【図３】本発明の第３の実施の形態に係るクロマキー装置のブロック構成を示す図
【図４】本発明の第４の実施の形態に係るクロマキー装置のブロック構成を示す図
【図５】３次元色空間内の立方体を示す図
【符号の説明】
１００、２００、３００、４００ クロマキー装置
１１０ 座標対応付け手段
１２０ 統計情報生成手段
１３０ マハラノビス距離生成手段
１４０ 閾値判断手段
１５０ ２値化割当手段
１６０ マスク画像生成手段
２１０ 指定メッシュ取得手段
３１０、４１０ メッシュ決定手段
４０１ 繰り返し制御手段
Claims (3)
- 単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記画素と対応づけられた座標点である色座標点の全てを対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記各色座標点についてのマハラノビス距離に関する情報を生成するマハラノビス距離生成手段と、前記各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断する閾値判断手段と、前記マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段とを備え、前記各画素に２値化信号を割り当てることによって前記被写体の像を抽出するためのマスク画像を生成するクロマキー装置であって、
前記クロマキー装置は、前記３次元色空間を所定の大きさの直方体に分割し、前記分割で得られた直方体であって予め決められた１以上の直方体である指定メッシュの各々に含まれる各色座標点と対応する画素については、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を行い、前記指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成することを特徴とするクロマキー装置。 - 前記クロマキー装置は、さらに、前記各直方体に含まれる色座標点の個数が最も多い直方体を前記指定メッシュとして決定するメッシュ決定手段を備えたことを特徴とする請求項１記載のクロマキー装置。
- 単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画像を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記３次元色空間を所定の大きさの直方体に分割し、前記画素と対応づけられた座標点である色座標点を最も多く含む直方体を指定メッシュとして決定するメッシュ決定手段と、前記指定メッシュに含まれる色座標点を対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報である統計情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離に関する情報である距離情報を生成するマハラノビス距離生成手段と、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断である閾値判断をする閾値判断手段と、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記２値化信号割当処理後に、メッシュ決定手段に、前記指定メッシュを除く全直方体の中から次の指定メッシュを決定させ、前記次の指定メッシュを対象にして、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を所定回数行わせる手段とを備え、前記全指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成することを特徴とするクロマキー装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167378A JP4004863B2 (ja) | 2002-06-07 | 2002-06-07 | クロマキー装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167378A JP4004863B2 (ja) | 2002-06-07 | 2002-06-07 | クロマキー装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015520A JP2004015520A (ja) | 2004-01-15 |
| JP4004863B2 true JP4004863B2 (ja) | 2007-11-07 |
Family
ID=30434641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002167378A Expired - Lifetime JP4004863B2 (ja) | 2002-06-07 | 2002-06-07 | クロマキー装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4004863B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4866065B2 (ja) * | 2005-11-17 | 2012-02-01 | 日本放送協会 | クロマキー装置 |
| CN101056199B (zh) * | 2006-04-10 | 2012-04-25 | 华为技术有限公司 | 一种点对多点接入网的上行突发性能监控方法，头端设备和接入网系统 |
-
2002
- 2002-06-07 JP JP2002167378A patent/JP4004863B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004015520A (ja) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378945B (zh) | 深度图处理方法、装置和电子设备 | |
| JP3114668B2 (ja) | 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体 | |
| US11122180B2 (en) | Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan | |
| EP3432213A1 (en) | Channel-based binarization of color | |
| JP6458570B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| KR20120090491A (ko) | 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법 | |
| KR100694153B1 (ko) | 매핑 함수에 기반한 이미지 처리 방법 및 장치 | |
| WO2007006114A1 (en) | Methods for silhouette extraction | |
| TW201705088A (zh) | 基於場景之立體影像所產生之差異圖 | |
| CN110390645A (zh) | 用于立体瞬时图像序列的改善3d数据重构的系统和方法 | |
| CN113362365A (zh) | 视频处理方法、系统、装置及介质 | |
| CN111583357A (zh) | 一种基于matlab系统的物体运动图像捕捉合成方法 | |
| JP2002271638A (ja) | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 | |
| JP7144678B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP4004863B2 (ja) | クロマキー装置 | |
| KR20170047780A (ko) | 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법 | |
| JP2010237976A (ja) | 光源情報取得装置、陰影検出装置、陰影除去装置、それらの方法、及びプログラム | |
| JP2011076302A (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| KR20160132209A (ko) | 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치 | |
| CN114327038A (zh) | 一种基于人工智能技术的虚拟现实人机交互系统 | |
| JP2002015311A (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| JP2004062604A (ja) | 画像処理方法および装置 | |
| JP2000270343A (ja) | 画像合成用識別パタンパネルを備えた仮想スタジオシステム及び画像合成用識別パタンパネルを用いた識別方法 | |
| JP7421273B2 (ja) | 画像処理装置及びその制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4004863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140831 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |