JP6677222B2 - 検出装置、画像処理装置、検出方法、及び画像処理方法 - Google Patents
検出装置、画像処理装置、検出方法、及び画像処理方法 Download PDFInfo
- Publication number
- JP6677222B2 JP6677222B2 JP2017121412A JP2017121412A JP6677222B2 JP 6677222 B2 JP6677222 B2 JP 6677222B2 JP 2017121412 A JP2017121412 A JP 2017121412A JP 2017121412 A JP2017121412 A JP 2017121412A JP 6677222 B2 JP6677222 B2 JP 6677222B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- white balance
- balance adjustment
- specific color
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 155
- 238000001514 detection method Methods 0.000 title claims description 80
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 94
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003702 image correction Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000011161 development Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Description
なお、被写体となった人物における特定の色領域を抽出する技術は、例えば、特許文献1に記載されている。
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像から特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする。
撮影装置1は、例えば、デジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号(RAWデータまたは所定の画像形式のデータ)として、CPU11や図示しない画像処理部等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
RGB信号から彩度Satを算出する場合、以下の変換式を用いることができる。ただし、以下の式は彩度Satの算出式の一例であり、色空間毎に定義された彩度Satの算出式を用いることができる。
Sat(x,y)=(RGBmax(x,y)−RGBmin(x,y))/RGBmax(x,y)
この結果、処理対象の画像のデータにおいて、肌色らしい画素ほど彩度Satが低い画素として表された状態となる。即ち、肌色らしさが1次元のデータとして表された状態となる。
そして、彩度Satの閾値を設定しておき、彩度Satが閾値以下の領域を肌色部分として検出することができる。
さらに、本実施形態では、処理対象の画像のデータにおいて、彩度Satを肌色の尤度に変換する。
なお、彩度Satを肌色の尤度に変換する場合には、肌色領域として活用する際の目的に応じて、換算式を設定することができる。
図2に示すように、彩度Satを肌色の尤度に変換する換算式では、彩度Satが最低値(0)から所定値(core)までは肌色の尤度が最大値(1)となっており、彩度Satが所定値(core)を超えると、肌色の尤度が所定の傾き(slope)で単調減少する。そして、肌色の尤度が最小値(0)に達した後は、彩度Satの値に関わらず、肌色の尤度は最小値(0)に維持される。
なお、図2に示す具体的な換算式の特性は、適宜変更することが可能であり、単調減少する特性であれば、S字特性等の曲線からなる特性とすることも可能である。
このような処理によって、人物が被写体となっている画像において、被写体の顔領域から肌色部分を抽出することができる。
図3は、人物が被写体となっている処理対象の画像を示す模式図である。
図3においては、被写体の顔が大きく写されており、顔及び首以外の領域(服や背景等)は、肌色とは大きく異なる色であるものとする。
このような処理対象の画像に対し、顔検出が行われ、顔領域内の各画素のR値、B値、G値がそれぞれ積分される。そして、処理対象となる画像の各画素のR値、G値、B値それぞれに、R値、G値、B値の積分値の比の逆数が乗算されると、肌色に近い部分ほど、無彩色(グレー)化された状態となる。
処理対象となる画像の各画素のR値、G値、B値それぞれに、R値、G値、B値の積分値の比の逆数が乗算された結果、肌色に近い部分ほど、無彩色(グレー)化された状態となっている。
肌色部分が無彩色(グレー)化された処理対象の画像のデータにおいて、所定の換算式により、各画素の彩度Satが算出される。
図5においては、肌色に近い部分(無彩色に近い部分)ほど、彩度Satが低い(即ち、黒色に近い)部分となっている。
このように、各画素の彩度Satが取得されることで、肌色部分が検出される。
そして、彩度Satをパラメータとして、上記換算式により、各画素における肌色の尤度を得ることができる。
図6に示す画像は、処理対象となる画像の肌マップ(各部分の肌色らしさを表すマップ)を表しており、肌色の尤度が高い部分ほど、白色に近い色で表されている。本実施形態において、肌マップは、処理対象となる画像内で、肌を白くしたり、滑らかにしたりするメイクアップ効果の画像処理を施すための位置、及び、メイクアップ効果の強度を表すマップ情報として用いられる。
図7は、図1の撮影装置1の機能的構成のうち、メイクアップ処理を実行するための機能的構成を示す機能ブロック図である。
メイクアップ処理とは、被写体における肌色部分を無彩色(グレー)化するホワイトバランス処理を行うことにより、肌色部分の特定を低処理負荷で実行し、特定した肌色部分にメイクアップ効果を施す一連の処理をいう。
メイクアップ処理が実行される場合には、図7に示すように、CPU11において、画像取得部51と、顔検出処理部52と、ホワイトバランス調整部53と、制御部54と、領域検出部55と、尤度算出部56と、画像処理部57と、が機能する。
画像記憶部71には、撮像部16によって取得された撮像画像や、通信部20あるいはドライブ21を介して取得された画像のデータが記憶される。
画像処理部57は、処理対象となる画像から表示(再生あるいはライブビュー表示等)または記録(記録媒体への保存等)用の画像を生成する画像処理を実行する。
本実施形態において、画像処理部57は、処理対象となる画像に人物の顔が含まれていない場合、処理対象となる画像を現像処理して表示または記録用の画像を生成する。
そして、画像処理部57は、肌マップに基づいて、背景用の画像と、メイクアップ効果が施されたメイクアップ処理用の画像とを合成(αブレンド)することにより、表示または記録用の画像を生成する。
なお、現像処理によって、表示または記録用の画像、あるいは、背景用の画像及びメイクアップ処理用の画像が生成される場合、現像用ホワイトバランス処理あるいは画像形式の変換処理等が実行される。このとき、本実施形態においては、画像処理部57がホワイトバランス調整部53を制御することにより、現像用ホワイトバランス処理が実行される。
次に、動作を説明する。
[メイクアップ処理]
図8は、図7の機能的構成を有する図1の撮影装置1が実行するメイクアップ処理の流れを説明するフローチャートである。
メイクアップ処理は、ユーザにより入力部17にメイクアップ処理の実行を指示する操作が入力されることに対応して開始される。例えば、メイクアップ処理は、ユーザによって、撮像画像に対してメイクアップ処理を施すモードに設定されている場合に、撮像画像が取得される毎に実行される。
ステップS2において、顔検出処理部52は、処理対象となる画像のデータにおいて顔検出処理を実行する。
ステップS4において、ホワイトバランス調整部53は、制御部54の指示に従って、メイクアップ効果を施す部分を抽出するために特定の色(肌色)を無彩色(グレー)化する検出用ホワイトバランス処理を実行する。即ち、ホワイトバランス調整部53は、特定された顔領域内の各画素のR値、G値、B値それぞれに、制御部54によって取得されるR値、G値、B値の積分値の比の逆数を乗算する。
ステップS6において、尤度算出部56は、彩度Satを肌色の尤度に変換し、肌マップを生成する。
ステップS7において、画像処理部57は、処理対象となる画像を現像処理して背景用の画像とメイクアップ処理用の画像とを生成する。このとき実行される現像処理には、通常の現像処理の場合と同様の現像用ホワイトバランス処理が含まれている。
ステップS9において、画像処理部57は、肌マップに基づいて、背景用の画像と、メイクアップ効果が施されたメイクアップ処理用の画像とを合成(αブレンド)することにより、表示または記録用の画像を生成する。
ステップS10において、画像処理部57は、生成した画像を出力部18のディスプレイあるいは記憶部19に出力する。
メイクアップ処理の終了条件が充足されていない場合、ステップS11においてNOと判定されて、処理はステップS1に移行する。
一方、メイクアップ処理の終了条件が充足された場合、ステップS11においてYESと判定されて、メイクアップ処理は終了となる。
そのため、肌色らしさを表す肌色の尤度を算出する際に、2次元あるいは3次元における領域の囲い込みといった複雑な演算を行うことなく、1次元のパラメータで肌色の尤度を算出することが可能となる。
したがって、画像内に含まれる人物の特定の色(肌色)の部分を検出する処理負荷を軽減することができる。また、画像内に含まれる人物の特定の色(肌色)の部分に画像処理を施す際の処理負荷を軽減することができる。
さらに、上述のメイクアップ処理においては、被写体の画像から抽出した特定の色(肌色)を基準として、特定の色の部分(肌色部分)を抽出するため、画像における特定の色の部分(肌色部分)を検出する際に、被写体の相違による影響を抑制することができる。
上述の実施形態においては、肌マップを作成し、作成した肌マップを用いてメイクアップ処理用の画像を背景用の画像に合成することにより、メイクアップ効果を施す処理を実行することとした。
これに対し、メイクアップ効果を施す処理を行うことなく、特定の色(肌色)が無彩色(グレー)化された画像を生成することで、処理対象の画像における特定の色の部分を検出するために本発明を用いることが可能である。
例えば、処理対象の画像において、特定の色の部分の比率を検出するために本発明を用いることができる。一例として、シーン判定等に本発明を適用することが可能であり、ヒストグラムを生成すること等により、肌色の部分の比率から、処理対象の画像が人物を優先すべきシーンであるか否かを判定することができる。
上述の実施形態においては、RGB色空間において、肌色部分を無彩色(グレー)化する場合を例に挙げて説明した。
これに対し、RGB色空間以外の各種色空間において、肌色部分を無彩色(グレー)化する処理を行い、肌色らしさを無彩色の度合いを表す1次元のデータとして取り扱うことができる。
この場合、処理対象とする線形な特性が維持された画像のデータとしては、上述のように、画素のRGB値の比(即ち、RGB色空間における輝度の線形性)が維持された画像のデータの他、種々の色空間において、彩度に影響する要素の特性が維持された画像のデータとすることができる。このような画像データを入力とし、上述の実施形態のように、特定の色を基準として、色空間における彩度を表すパラメータに各画素の値を変換することで、本発明を適用することができる。
即ち、本発明は、特定の色空間に限られることなく、画像内に含まれる特定色の部分を検出する処理あるいは、特定色の部分に施す画像処理の負荷を軽減することが可能である。
画像取得部51は、画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像のホワイトバランスを調整する。
制御部54は、基準となる特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
領域検出部55は、制御部54によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、ホワイトバランス処理のアルゴリズムによって、処理対象の画像における特定の色の部分を検出することができる。
したがって、画像内に含まれる人物の特定の色の部分を検出する処理負荷を軽減することができる。
領域検出部55は、ホワイトバランスの調整内容が制御された画像から、画像内の複数の部分毎の彩度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、特定色らしい部分を、彩度をパラメータとして検出できるため、特定色に係る所定の条件を満たす部分を検出する処理負荷を軽減することができる。
制御部54は、特定色が無彩色となるように、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、特定色らしさである特定色尤度を算出する。
領域検出部55は、尤度算出部56により算出された特定色尤度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、特定色らしさを表す特定色尤度を参照することで、画像における特定色らしい部分を簡単に検出することができる。
画像処理部57は、領域検出部55により検出された特定色に係る所定の条件を満たす部分に所定の画像処理を施す。
これにより、特定色に係る所定の条件を満たす部分を簡単に抽出して、所定の画像処理を施すことができる。
画像取得部51は、画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像のホワイトバランスを調整する。
制御部54は、基準となる特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、制御部54によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する。
これにより、ホワイトバランス処理のアルゴリズムによって、処理対象の画像における特定の色の部分を検出し、所定の画像処理を施すための画像内における位置と強度を設定ことができる。
したがって、画像内に含まれる人物の特定の色の部分に画像処理を施す際の処理負荷を軽減することができる。
尤度算出部56は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、マップ情報を生成する。
これにより、特定色らしい部分を表すマップ情報を、彩度をパラメータとして生成できるため、所定の画像処理を施すための画像内における位置と強度を設定する処理負荷を軽減することができる。
制御部54は、特定色が無彩色となるように、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
尤度算出部56は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、特定色らしさである特定色尤度を算出する。
尤度算出部56は、算出した特定色尤度に基づき、マップ情報を生成する。
これにより、マップ情報を参照することで、画像における特定色らしい部分を簡単に検出することができる。
画像処理部57は、尤度算出部56により生成されたマップ情報を使用して、取得された画像に所定の画像処理を施す。
これにより、画像における特定色らしい部分を簡単に抽出して、所定の画像処理を施すことができる。
これにより、所定の画像処理を行う際に、撮影時の環境の差の影響を抑制することができる。
顔検出処理部52は、画像に含まれる顔領域を検出する。
制御部54は、顔検出処理部52により検出された顔領域から特定色を取得する。
制御部54は、取得した特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
これにより、画像における特定の色の部分を検出する際に、被写体の相違による影響を抑制することができる。
画像取得部51は、画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、画像における色のバランスを変換する。
領域検出部55は、ホワイトバランス調整部53により色のバランスが変換された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する。
これにより、基準となる特定色を無彩色(グレー)化することにより、処理対象の画像における特定の色の部分を検出することができる。
したがって、画像内に含まれる人物の特定の色の部分を検出する処理負荷を軽減することができる。
画像取得部51は、第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する。
ホワイトバランス調整部53は、画像取得部51により取得された画像のホワイトバランスを調整する。
制御部54は、基準となる特定色に基づき、ホワイトバランス調整部53によるホワイトバランスの調整内容を制御する。
ホワイトバランス調整部53は、制御部54によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する。
画像処理部57は、ホワイトバランス調整部53により変換される情報を使用して、取得された画像に所定の画像処理を施す。
これにより、画像における特定色らしい部分を簡単に抽出して、所定の画像処理を施すことができる。
したがって、画像内に含まれる人物の特定の色の部分に画像処理を施す際の処理負荷を軽減することができる。
これにより、第1の色空間における基準となる特定色を、第2の色空間のうちの1の要素に関する条件として取り扱うことが可能となる。
したがって、画像内に含まれる人物の特定の色の部分に画像処理を施す際の処理負荷を軽減することができる。
例えば、上述の実施形態において、制御部54が顔領域内の各画素のR値、B値、G値をそれぞれ積分する場合、顔領域における口や目の部分を除外して、肌色である可能性の高い部分のみの画素を対象とすることとしてもよい。
例えば、本発明は、メイクアップ処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮影装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする検出装置。
[付記2]
前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
前記検出手段は、ホワイトバランスの調整内容が制御された画像から、画像内の複数の部分毎の彩度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする付記1に記載の検出装置。
[付記3]
前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
前記検出手段は、前記算出手段により算出された特定色尤度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする付記1または2に記載の検出装置。
[付記4]
前記検出手段により検出された特定色に係る所定の条件を満たす部分に所定の画像処理を施す画像処理手段を、更に備えることを特徴とする付記1から3のいずれか1つに記載の検出装置。
[付記5]
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成手段と、
を備えることを特徴とする検出装置。
[付記6]
前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
前記生成手段は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、マップ情報を生成することを特徴とする付記5に記載の検出装置。
[付記7]
前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
前記生成手段は、前記算出手段により算出される特定色尤度に基づき、マップ情報を生成することを特徴とする付記5または6に記載の検出装置。
[付記8]
前記生成手段により生成されたマップ情報を使用して、取得された画像に所定の画像処理を施す画像処理手段を更に備えることを特徴とする付記5から7のいずれか1つに記載の検出装置。
[付記9]
前記画像取得手段は、線形な特性を有する画像を取得することを特徴とする付記1から8のいずれか1つに記載の検出装置。
[付記10]
画像に含まれる顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域から特定色を取得する特定色取得手段と、を更に備え、
前記制御手段は、前記特定色取得手段により取得された前記特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする付記1から9のいずれか1つに記載の検出装置。
[付記11]
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換手段と、
前記変換手段により色のバランスが変換された画像に基づき、取得された画像から前記特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする検出装置。
[付記12]
第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換手段と、
前記変換手段により変換される情報を使用して、取得された画像に所定の画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
[付記13]
前記制御手段は、画像内の特定色の部分が、第2の色空間のうちの1の要素が所定の条件を満たすように前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする付記12に記載の画像処理装置。
[付記14]
画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出する検出処理と、
を含むことを特徴とする検出方法。
[付記15]
画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、取得された画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成処理と、
を含むことを特徴とする検出方法。
[付記16]
画像を取得する画像取得処理と、
前記画像取得処理により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換処理と、
前記変換処理により色のバランスが変換された画像に基づき、取得された画像から前記特定色に係る所定の条件を満たす部分を検出する検出処理と、
を含むことを特徴とする検出方法。
[付記17]
第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換処理と、
前記変換処理により変換される情報を使用して、取得された画像に所定の画像処理を施す画像補正処理と、
を含むことを特徴とする画像処理方法。
Claims (17)
- 画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像から特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする検出装置。 - 前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
前記検出手段は、ホワイトバランスの調整内容が制御された画像から、画像内の複数の部分毎の彩度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする請求項1に記載の検出装置。 - 前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
前記検出手段は、前記算出手段により算出された特定色尤度に基づき、取得された画像から特定色に係る所定の条件を満たす部分を検出することを特徴とする請求項1または2に記載の検出装置。 - 前記検出手段により検出された特定色に係る所定の条件を満たす部分に所定の画像処理を施す画像処理手段を、更に備えることを特徴とする請求項1から3のいずれか1項に記載の検出装置。
- 画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成手段と、
を備えることを特徴とする検出装置。 - 前記制御手段は、前記特定色が所定の彩度となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
前記生成手段は、ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、マップ情報を生成することを特徴とする請求項5に記載の検出装置。 - 前記制御手段は、前記特定色が無彩色となるように、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御し、
ホワイトバランスの調整内容が制御された画像内の複数の部分毎の彩度に基づき、前記特定色らしさである特定色尤度を算出する算出手段を、更に備え、
前記生成手段は、前記算出手段により算出される特定色尤度に基づき、マップ情報を生成することを特徴とする請求項5または6に記載の検出装置。 - 前記生成手段により生成されたマップ情報を使用して、取得された画像に所定の画像処理を施す画像処理手段を更に備えることを特徴とする請求項5から7のいずれか1項に記載の検出装置。
- 前記画像取得手段は、線形な特性を有する画像を取得することを特徴とする請求項1から8のいずれか1項に記載の検出装置。
- 画像に含まれる顔領域を検出する顔検出手段と、
前記顔検出手段により検出された顔領域から特定色を取得する特定色取得手段と、を更に備え、
前記制御手段は、前記特定色取得手段により取得された前記特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする請求項1から9のいずれか1項に記載の検出装置。 - 画像を取得する画像取得手段と、
前記画像取得手段により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換手段と、
前記変換手段により色のバランスが変換された画像に基づき、前記画像取得手段によって取得され、前記変換手段によって変換されていない画像から前記特定色に係る所定の条件を満たす部分を検出する検出手段と、
を備えることを特徴とする検出装置。 - 第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得手段と、
前記画像取得手段により取得された画像のホワイトバランスを調整するホワイトバランス調整手段と、
基準となる特定色に基づき、前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御する制御手段と、
前記制御手段によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換手段と、
前記変換手段により変換される情報を使用して、前記画像取得手段によって取得され、前記ホワイトバランス調整手段によって調整されていない画像に所定の画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。 - 前記制御手段は、画像内の特定色の部分が、第2の色空間のうちの1の要素が所定の条件を満たすように前記ホワイトバランス調整手段によるホワイトバランスの調整内容を制御することを特徴とする請求項12に記載の画像処理装置。
- 画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得処理にて取得され、前記ホワイトバランス調整処理にて調整されていない画像から特定色に係る所定の条件を満たす部分を検出する検出処理と、
を含むことを特徴とする検出方法。 - 画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像に基づき、前記画像取得処理にて取得され、前記ホワイトバランス調整処理にて調整されていない画像に所定の画像処理を施すための画像内における位置と強度を設定するマップ情報を生成する生成処理と、
を含むことを特徴とする検出方法。 - 画像を取得する画像取得処理と、
前記画像取得処理により取得された画像において、基準となる特定色のRGB値それぞれの比が同一となるように、前記画像における色のバランスを変換する変換処理と、
前記変換処理により色のバランスが変換された画像に基づき、前記画像取得処理にて取得され、前記変換処理にて変換されていない画像から前記特定色に係る所定の条件を満たす部分を検出する検出処理と、
を含むことを特徴とする検出方法。 - 第1の色空間のうちの少なくとも1の要素が線形な特性を有する画像を取得する画像取得処理と、
前記画像取得処理により取得された画像のホワイトバランスを調整するホワイトバランス調整処理と、
基準となる特定色に基づき、前記ホワイトバランス調整処理によるホワイトバランスの調整内容を制御する制御処理と、
前記制御処理によりホワイトバランスの調整内容が制御された画像内の複数の部分各々を、第2の色空間のうちの1の要素に変換する変換処理と、
前記変換処理により変換される情報を使用して、前記画像取得処理にて取得され、前記ホワイトバランス調整処理にて調整されていない画像に所定の画像処理を施す画像補正処理と、
を含むことを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017121412A JP6677222B2 (ja) | 2017-06-21 | 2017-06-21 | 検出装置、画像処理装置、検出方法、及び画像処理方法 |
CN201810597485.5A CN109104601B (zh) | 2017-06-21 | 2018-06-11 | 检测装置、图像处理装置、检测方法以及图像处理方法 |
KR1020180069313A KR102562720B1 (ko) | 2017-06-21 | 2018-06-15 | 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법 |
US16/012,212 US10757321B2 (en) | 2017-06-21 | 2018-06-19 | Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method |
US16/928,073 US11272095B2 (en) | 2017-06-21 | 2020-07-14 | Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017121412A JP6677222B2 (ja) | 2017-06-21 | 2017-06-21 | 検出装置、画像処理装置、検出方法、及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019008408A JP2019008408A (ja) | 2019-01-17 |
JP2019008408A5 JP2019008408A5 (ja) | 2019-03-28 |
JP6677222B2 true JP6677222B2 (ja) | 2020-04-08 |
Family
ID=64693795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017121412A Active JP6677222B2 (ja) | 2017-06-21 | 2017-06-21 | 検出装置、画像処理装置、検出方法、及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10757321B2 (ja) |
JP (1) | JP6677222B2 (ja) |
KR (1) | KR102562720B1 (ja) |
CN (1) | CN109104601B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200036888A1 (en) * | 2018-07-26 | 2020-01-30 | Qualcomm Incorporated | Calibration of Automatic White Balancing using Facial Images |
CN110310268A (zh) * | 2019-06-26 | 2019-10-08 | 深圳市同为数码科技股份有限公司 | 基于白平衡统计分区信息的肤色检测方法及系统 |
CN112686820A (zh) * | 2020-12-29 | 2021-04-20 | 北京旷视科技有限公司 | 虚拟美妆方法、装置和电子设备 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0678320A (ja) * | 1992-08-25 | 1994-03-18 | Matsushita Electric Ind Co Ltd | 色調整装置 |
KR20070084293A (ko) * | 2004-12-02 | 2007-08-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 색채 조정 장치 및 방법 |
JP5354842B2 (ja) * | 2006-05-26 | 2013-11-27 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
JP2008042694A (ja) | 2006-08-09 | 2008-02-21 | Canon Inc | 画像処理装置、撮像装置及び画像処理方法 |
JP5066398B2 (ja) * | 2007-06-29 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP4702635B2 (ja) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置 |
JP5113514B2 (ja) * | 2007-12-27 | 2013-01-09 | キヤノン株式会社 | ホワイトバランス制御装置およびホワイトバランス制御方法 |
JP5167886B2 (ja) * | 2008-03-18 | 2013-03-21 | 株式会社リコー | 画像処理装置と表示方法とプログラム |
JP2009302700A (ja) * | 2008-06-11 | 2009-12-24 | Sony Corp | 撮像装置、画像処理装置およびプログラム |
KR101516963B1 (ko) * | 2008-12-11 | 2015-05-04 | 삼성전자주식회사 | 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법 |
JP4983962B2 (ja) | 2009-07-23 | 2012-07-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
KR101666009B1 (ko) | 2009-10-22 | 2016-10-14 | 삼성전자주식회사 | 다중 셀 환경에서 피간섭 단말을 검출하고 간섭 제어를 수행하는 통신 시스템 |
JP5804856B2 (ja) * | 2011-09-07 | 2015-11-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6083974B2 (ja) * | 2012-04-24 | 2017-02-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9449412B1 (en) * | 2012-05-22 | 2016-09-20 | Image Metrics Limited | Adaptive, calibrated simulation of cosmetic products on consumer devices |
JP5921983B2 (ja) * | 2012-08-03 | 2016-05-24 | クラリオン株式会社 | 車載撮像装置 |
CN105229673B (zh) * | 2013-04-03 | 2021-12-03 | 诺基亚技术有限公司 | 一种装置和相关联的方法 |
WO2015030705A1 (en) * | 2013-08-26 | 2015-03-05 | Intel Corporation | Automatic white balancing with skin tone correction for image processing |
CN104468578B (zh) * | 2014-12-10 | 2017-12-26 | 怀效宁 | 一种无线通讯的优先通讯系统和通讯方法 |
JP6369246B2 (ja) * | 2014-09-08 | 2018-08-08 | オムロン株式会社 | 似顔絵生成装置、似顔絵生成方法 |
JP6569263B2 (ja) * | 2015-03-27 | 2019-09-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP3423990A1 (en) * | 2016-03-02 | 2019-01-09 | Holition Limited | Locating and augmenting object features in images |
CN106845455B (zh) * | 2017-03-01 | 2021-03-12 | 中国科学院上海高等研究院 | 基于肤色检测的图像处理方法、系统及服务器 |
JP6677221B2 (ja) * | 2017-06-06 | 2020-04-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-06-21 JP JP2017121412A patent/JP6677222B2/ja active Active
-
2018
- 2018-06-11 CN CN201810597485.5A patent/CN109104601B/zh active Active
- 2018-06-15 KR KR1020180069313A patent/KR102562720B1/ko active IP Right Grant
- 2018-06-19 US US16/012,212 patent/US10757321B2/en active Active
-
2020
- 2020-07-14 US US16/928,073 patent/US11272095B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR102562720B1 (ko) | 2023-08-01 |
US10757321B2 (en) | 2020-08-25 |
US11272095B2 (en) | 2022-03-08 |
JP2019008408A (ja) | 2019-01-17 |
CN109104601A (zh) | 2018-12-28 |
CN109104601B (zh) | 2021-02-12 |
US20200344410A1 (en) | 2020-10-29 |
US20180376056A1 (en) | 2018-12-27 |
KR20180138530A (ko) | 2018-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6421794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6677221B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11272095B2 (en) | Detection apparatus for detecting portion satisfying predetermined condition from image, image processing apparatus for applying predetermined image processing on image, detection method, and image processing method | |
JP2018049564A (ja) | 検出装置、及び検出方法 | |
JP2018117289A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6904788B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6423668B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
US11069031B2 (en) | Image processing apparatus, control method for image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium to control reflected color components of input image | |
JP6795062B2 (ja) | 検出装置、検出方法及びプログラム | |
JP2018093359A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
JP7400196B2 (ja) | 電子機器、画像処理方法、及び画像処理プログラム | |
JP7318251B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9135687B2 (en) | Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored | |
JP7375313B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20200118304A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP2020074100A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6361204B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5518150B2 (ja) | 画像処理方法、撮像装置、その制御方法およびプログラム | |
JP5084821B2 (ja) | 画像処理方法、撮像装置、その制御方法およびプログラム | |
JP2016170626A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |