WO2016152414A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2016152414A1 WO2016152414A1 PCT/JP2016/056352 JP2016056352W WO2016152414A1 WO 2016152414 A1 WO2016152414 A1 WO 2016152414A1 JP 2016056352 W JP2016056352 W JP 2016056352W WO 2016152414 A1 WO2016152414 A1 WO 2016152414A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixel value
- pixel
- processing
- image processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 329
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 175
- 230000008569 process Effects 0.000 claims abstract description 167
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims description 23
- 239000003086 colorant Substances 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
Description
上記のように複数画像の合成処理を行なって表示すると表示画像に時間遅れが発生することになり、内視鏡などリアルタイム表示が要求される場合には、複数画像の合成処理を適用することはできない。
撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理部と、
前記デモザイク処理部の生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定部を有し、
前記画素値推定部は、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行する画像処理装置にある。
画像処理装置において、画像処理を実行する画像処理方法であり、
前記画像処理装置は、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定処理を実行し、
前記画像処理部は、前記画素値推定処理において、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行する画像処理方法にある。
画像処理装置において、画像処理を実行させるプログラムであり、
前記画像処理装置は、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定処理を実行させ、
前記プログラムは、前記画素値推定処理において、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行させるプログラムにある。
具体的には、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有する。画像処理部は、RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、デモザイク処理後のRGB各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用した画素値推定処理を実行する。
本開示の処理により、白とび領域が減少し、被写体の色、階調を高精度に表現した画像を生成、出力することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.本開示の画像処理装置が実行する処理の概要について
2.画素値推定処理を実行して白とび領域を削減する実施例について
3.画像処理装置の実行する処理の処理シーケンスについて
4.画像処理装置の構成例について
5.本開示の構成のまとめ
まず、図1以下を参照して本開示の画像処理装置が実行する処理の概要について説明する。
図1は、画像処理装置の一例である撮像装置によって撮影されたリンゴの画像の一例を示している。
図に示すリンゴの前面上部から光が照射され、反射光が多い部分が「白とび」領域となっている。
「白とび」領域は、本来の被写体の色や階調が失われ、まっ白に出力、表示される領域である。
図2に、撮像装置の撮像素子の例を示す。
図2に示す撮像素子は、RGBの各画素が規則的に並んだ配列であり、ベイヤ配列と呼ばれる。
撮像素子は、光量に応じて電荷を蓄積する半導体素子上にRGBの各色を選択的に透過するフィルタが設けられた構成を持つ。
RAW画像には、1画素に1つの色、すなわちRGBいずれか一色に対応する画素値が記録される。
図3を参照してデモザイク処理について説明する。
このデモザイク処理では、例えば図3(2)に示すR画像を生成する場合、RAW画像中のG,B画素位置のR画素値を、周囲のR画素の画素値を用いた補間処理によって算出する処理が行われる。
図3(4)に示すB画像を生成する場合には、RAW画像中のR,G画素位置のB画素値を、周囲のB画素の画素値を用いた補間処理によって算出する処理が行われる。
このような処理によって、RAW画像に基づいて、全ての画素にRGB各画素値を設定するデモザイク処理が実行される。
図4(a)は、図1を参照して説明した白とび領域を持つりんごの画像の例と、白とび領域の拡大図を模式的に示した図である。
図4(b)に示すRGB各画像は、図3を参照して説明したデモザイク処理によってRAW画像から生成した画像である。
図4(b)に示すRGB各画像の上から3番目の白い矩形領域の画素領域P~Qが、図4(a)に示す白とび領域の拡大図内の水平ラインPQに対応する。
図5(b)は、図4(b)と同じ図である。
図5(c)は、RGB各画像のラインP~Qにおける画素値を示す図である。
RGB、各々についてP~Q間の画素値を示している。
縦軸は、各画素の画素値に相当する。100%は、撮像素子の蓄積電荷率=100%を意味し、飽和画素値に相当する。例えば画素値を8ビットデジタルデータ(0~255)で表見した場合、ビット値=255(11111111)に相当する。
しかし、G画像は、P~Q間の中心部の所定範囲で100%となっている。この区間は画素値が飽和状態であることを示している。
ホワイトバランス(WB)処理の例について図6を参照して説明する。
図6(c)は、図5(c)と同じ図である。
図6(d)は、ホワイトバランス(WB)処理によるRGB各画像のラインP~Qにおける画素値の補正例を示す図である。
このホワイトバランス処理は、例えば撮像素子の特性に応じてRGB各画素値に所定のWBパラメータを乗ずる処理として実行される。
図6(d)に示す例では、
R画素値に乗算パラメータ2.5を乗じてWB処理後のR画素値を算出している。
さらに、B画素値に乗算パラメータ2.0を乗じてWB処理後のB画素値を算出している。
一般的にWB処理は、G画素を基準としてR,Bのみに所定のパラメータを乗じてRB各画素値を変更する処理として実行される。
なお、200%とは、撮像素子の蓄積電荷率=100%の2倍の電荷蓄積量に相当し、8ビットデジタルデータ(0~255)で表見した場合、ビット値=255(11111111)の2倍、すなわちビット値=510に相当し、8ビットデータでは表現できない値となる。
この処理について、図7を参照して説明する。
図7(e)は、図7(d)に示すホワイトバランス処理後の画像(RGB画像)に基づく表示部出力、または記憶部格納用の画像データを生成する処理例について説明する図である。
従って、ホワイトバランス処理後の画像(RGB画像)に基づく表示部出力、または記憶部格納用の画像データを生成する場合、RGB各画素値の100%以上の画素値を全て100%に設定するクリップ処理を実行する。
R画像とB画像は、先に図6を参照して説明したホワイトバランス(WB)処理によって100%以上の画素値の設定領域が発生したが、この100%以上の画素領域をすべて100%に設定するクリップ処理を実行する。
図7(e)に示すRGB各画素値は、図4(a)に示す白とび領域の一ラインP~Q区間の出力画素値RGBである。
図7(e)に示すように、RGBの全てにおいて、P~Q区間の中心部が飽和画素値となっている。
8ビットデジタルデータ(0~255)を出力する表示装置では、R=G=B=255の最大出力がなされる。
白とび領域では、被写体の本来の色や階調が全く識別することができず、画像の品質を低下させる大きな要因となる。
次に、G画素の画素値推定処理を実行して、白とび領域を削減する実施例について説明する。
図7を参照して説明したように、このホワイトバランス(WB)処理後のRGB画像の100%以上の画素領域を切り取るクリップ処理を実行してしまうと、区間P~Qの中心領域において、所定長のR=G=B=100%の画素値飽和領域が発生し、これが白とび領域となってしまう。
図8(f)には、ホワイトバランス(WB)処理後のRGB画像を利用して、G画像の100%以上の飽和画素領域における被写体の画素値を推定する処理例を示している。
しかし、G画像はホワイトバランス処理に際して、画素値変換が行われないことが多く、そのため、100%以上の画素値は発生しない。
ホワイトバランス処理後のR画像の同一の画素位置(x,y)の画素値R(x,y)と、
ホワイトバランス処理後のR画像の同一の画素位置(x,y)の画素値B(x,y)、
これらを用いて推定する。
この画素区間G1~G2のG画素値をホワイトバランス処理後のRB画像の同一の画素位置(x,y)の画素値R(x,y)、画素値B(x,y)を用いて推定する。
図9には、従来の撮影画像における(a)白とび領域の発生部位、(b)G画素値の推定処理に適用するRGB画像の対応画素位置の例を示している。
図9(a)の白とび領域を含む1つの画素ラインの区間をP~Qとしている。図9(b)に示すRGB各画像の上から3番目の白い矩形領域の画素領域P~Qが、図9(a)に示す白とび領域の拡大図内の水平ラインPQに対応する。
具体的には、座標位置(2,3)と同一位置のホワイトバランス(WB)処理後のRB画像の画素値R(2,3)とB(2,3)を用いて、画素値G(2,3)の本来の画素値、すなわち100%以上の本来の画素値を推定する。
図10を参照して、被写体から観察される色について説明する。
図10に示すように、被写体から観察される色は以下の算出式によって規定される。
色=光源特性×物体の反射率×視覚特性
図10(a)には光源の一例として太陽を示している。
太陽の光源S(λ)は、可視光範囲の光として、約400nm~760nmの波長光を有する。
図10(b)には物体の例として赤いりんごを示している。赤いりんごの反射率は、すに示すように、長波長領域の赤い部分で高くなるが、青色領域に相当する短波長領域でも、反射率=0にはならず、所定量の反射率を有する。
人の眼は、RGBそれぞれの波長光の入力に応じた信号を伝達する個別の細胞を有している。
図10(c)下段に示すグラフのR,G,Bの各曲線のような3つの異なる視覚感度特性を持つ細胞を有しており、これらの出力に基づいて色を判断している。
光源特性、
物体の反射率、
視覚特性
これらの3要素に依存することになり、例えば、以下の式によって表すことができるる。
色=光源特性×物体の反射率×視覚特性
中波長領域のGの反射率は、短波長光(B)の反射率と、長波長光(R)の反射率から簡易的に求めても、大きくずれることは少ないと予測される。
このような予測に基づいて、白とび領域に相当する画素値飽和領域のG画素の本来の画素値をRB画素の実画素値から推定しようとする処理が本開示の処理である。
画素値飽和領域のG画素の画素値は、図11に示すように、以下の2つのステップに従って算出する。
G(x,y)の値が有効な範囲で、以下の式に従って、R(x,y),B(x,y)との比率(ratio)を求める。
GR_ratio(x,y)=G(x,y)/R(x,y)
GB_ratio(x,y)=G(x,y)/B(x,y)
G(x,y)の値が有効でない範囲で、GR_ratio,GB_ratioを用いて、以下の式に従って、画素値G(x,y)を推定する。
G(x,y)=max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
なお、max(a,b)はa,bから最大値を選択する処理を示す。
G(x,y)の値が有効値を持つ範囲のRGB各画素値を用いた処理である。例えば図11において、G画像のP~Q区間のP~G1区間や、G2~Q区間が、飽和画素値(100%)以下の有効な画素値を持つ区間であり、これらの区間の画素値を用いてR(x,y),B(x,y)との比率(ratio)を求める。
比率(ratio)算出式、すなわち、
GR_ratio(x,y)=G(x,y)/R(x,y)
GB_ratio(x,y)=G(x,y)/B(x,y)
上記各式において利用するRGBの画素位置は、すべて同一の座標位置である。
ステップ1で算出したGR比率(GR_ratio)と、GB比率(GB_ratio)を用いて、以下の式に従って、飽和画素値(100%)領域の推定画素値G(x,y)を算出する。
G(x,y)=max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
上記式において利用するRGBの画素位置は、すべて同一の座標位置である。
この結果が、図11に示すG画像の100%~200%の範囲に示す点線の画素値である。
しかし、この0~200%の画素値からなねるRGB画像は、表示装置が高ダイナミックレンジ画像を出力可能なHDR(High Dynamic Range)表示装置では表示可能であるが、一般的なSDR(Standard Dynamic Range)表示装置では表示することができない。
このトーンマッピング処理について図12を参照して説明する。
RGB各画像の画素値は、0~200%の範囲にあり、通常のSDR表示装置では表現できないダイナミックレンジを持つHDR画像に相当する。
8ビットデータを出力できるSDR表示装置は、0~255の画素値を出力できるが、0~511の画素値の出力ができない、
トーンマッピング処理の一例について説明する。
トーンマッピング処理は、例えば、光電変換関数(OETF:Optical-Electro Transfer Function)を用いた処理として実行可能である。具体的には、例えば以下の式に従って、画素値を変換する処理として実行される。
V:出力電圧
L:輝度(Luminance)
a,b,c,d,e:変換係数(変換パラメータ)
なお、a,b,c,d,eは、例えば表示部の特性等に応じて適宜、設定する。
トーンマッピング処理における画素値変換式は、上記式に限らず表示装置の特性に応じて、様々な変換式が適用可能である。
トーンマッピング処理により、図12(2)に示すように、0~200%の画素値を持つHDR相当の画像が0~100%の画素値からなるSDR相当画像に変換される。
この変換後の画像信号は画素値が全て100%以下、例えば8ビットデジタルデータの0~255の範囲の画素値によって構成されね画像信号であり、SDR表示装置に表示することができる。
RGB画像信号はいずれも、SDR表示装置に有効画素値として出力可能な例えば8ビットデータで表現可能な画素値(0~100%)の範囲に収まっている。
このRGB画像信号をSDR表示装置に表示すると、図13(4)に示すように、白とび領域が消失、または減少した画像を表示、出力することが可能となる。
先に静止画に対するダイナミックレンジ拡張処理として説明した長露光画像と短露光画像の複数画像の合成処理は、処理時間を要し、動画に適用することは困難である。
しかし、上述したG画素値の推定処理を用いた構成は、動画を構成する撮影画像(フレーム)単位の処理として実行することが可能であり、処理時間に大きな遅延を発生させることなく撮影動画の表示を行うことが可能となる。
具体例の1つとして内視鏡がある。内視鏡を使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求される。
上述したG画素値の推定処理を用いた構成は、撮影画像を即座に補正して表示することが可能であり、リアルタイム性が要求される撮影表示処理に最適である。
次に、本開示の画像処理装置の実行する処理のシーケンスについて、図14に示すフローチャートを参照して説明する。
以下、図14に示すフローの各ステップの処理について、順次、説明する。
まず、ステップS101において、画像処理装置の画像処理部は、撮像素子の出力として得られるRAW画像を入力する。
RAW画像は、先に図2等を参照して説明したように、各画素位置にRGBのいずれかの画素値のみが設定された画像データである。
次に、ステップS102において、画像処理部は、RAW画像に対するデモザイク処理を実行する。
G画像、B画像についても、それぞれ各画素値の設定されていない画素について周囲のG画素値、B画素値を用いた補間処理が実行され、G画像、B画像の生成が行われる。
次に、ステップS103において、画像処理部はホワイトバランス(WB)処理を実行する。
ホワイトバランス処理は、出力画像の白領域を実際の白色に近づけるために実行される。
図6(d)に示す例では、
R画素値に乗算パラメータ2.5を乗じてWB処理後のR画素値を算出している。
さらに、B画素値に乗算パラメータ2.0を乗じてWB処理後のB画素値を算出している。
一般的にWB処理は、G画素を基準としてR,Bのみに所定のパラメータを乗じてRB各画素値を変更する処理として実行される。
図6(d)に示すように、WB処理後の画素値は、R画素値の最大値がほぼ200%、B画素についても最大値がほぼ200%に達する値となっている。
次に、ステップS104において、画像処理部は、飽和画素値(100%)を持つG画素の画素値の推定処理を実行する。
この処理は、先に図8~図11を参照して説明した処理である。
(ステップS1)
G(x,y)の値が有効な範囲で、以下の式に従って、R(x,y),B(x,y)との比率(ratio)を求める。
GR_ratio(x,y)=G(x,y)/R(x,y)
GB_ratio(x,y)=G(x,y)/B(x,y)
G(x,y)の値が有効でない範囲で、GR_ratio,GB_ratioを用いて、以下の式に従って、画素値G(x,y)を推定する。
G(x,y)=max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
なお、max(a,b)はa,bから最大値を選択する処理を示す。
この結果が、図11に示すG画像の100%~200%の範囲に示す点線の画素値である。
次に、ステップS105において、画像処理部は、出力する表示部の特性に応じた信号変換処理、すなわちトーンマッピング処理を実行する。
撮像素子の出力画素値範囲である0~100%の画素値が、例えば0~255の8ビット画素値であるとすると、0~200%の画素値は0~511の画素値に相当する。
8ビットデータを出力できるSDR表示装置は、0~255の画素値を出力できるが、0~511の画素値の出力ができない、
なお、先に説明したように、トーンマッピンングは、光電変換関数(OETF:Optical-Electro Transfer Function)を用いた処理として実行可能である。
この処理は、先に図12、図13を参照して説明した処理に相当する。
最後に、ステップS106において、画像処理装置の画像処理部は、ステップS105のトーンマッピング処理によって生成した生成信号を表示部、あるいは出力部を介して外部に出力する。あるいはメモリに格納する。
表示部に表示される画像は、先に図13を参照して説明したように、白とび領域が消滅、あるいは減少した画像となる。
図14に示すフローに従った処理は、動画を構成する撮影画像(フレーム)単位の処理として実行可能であり、処理時間に大きな遅延を発生させることなく撮影動画の表示を行うことが可能となる。
次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図15以下を参照して説明する。
なお、上述した実施例に従った処理は撮像装置に限らず、例えばRAW画像を入力して画像処理を実行するPC等においても実行可能である。
図15は、撮像装置10の構成例を示す図である。撮像装置10は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
撮像素子13は、例えばCCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
各画素には、色フィルタの配列に応じたRGBいずれかの色に対応する画素値が設定されることになる。
なお、図2に示す配列は撮像素子13の画素配列の一例であり、撮像素子13は、この他の様々な設定の配列とすることが可能である。
信号処理系は、サンプリング回路14、A/D(Analog/Digital)変換部15、および画像処理部(DSP)16から構成される。
画像処理部16は、A/D変換部15から入力されるデジタル信号に所定の画像処理を施す。
具体的には、先に図2を参照して説明した各画素単位でRGBのいずれかの一色の画素値データからなる画像データ(RAW画像)を入力し、入力したRAW画像に含まれるノイズを低減するノイズ低減処理などを実行する。
さらに、上述した飽和画素値を持つG画素の推定処理や、その後のトーンマッピング処理等を実行する。
符号化/復号部17は、画像処理部16によって処理されたデジタル信号である画像信号を符号化してメモリ18に記録する。また、メモリ18から画像信号を読み出して復号し、画像処理部16に供給する。
D/A変換部19は、画像処理部16によって処理された画像信号をアナログ化してビデオエンコーダ20に供給し、ビデオエンコーダ20は、D/A変換部19からの画像信号を表示部21に適合する形式のビデオ信号にエンコードする。
表示部21は、例えば、LCD(Liquid Crystal Display)等により実現され、ビデオエンコーダ20におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部21は、被写体の撮像時にはファインダとしても機能する。
デモザイク処理実行部31は、例えば図2を参照して説明した配列からなる色フィルタ配列の撮像素子(イメージセンサ)13で撮像された画像(RAW画像)を入力し、各画素に全色を信号処理によって復元するデモザイク処理を実行する。
図6(d)に示す例では、R画素値に乗算パラメータ2.5を乗じてWB処理後のR画素値を算出している。さらに、B画素値に乗算パラメータ2.0を乗じてWB処理後のB画素値を算出している。
この処理は、先に図8~図11を参照して説明した処理である。
具体的には、以下のステップ1~2の処理を実行する。
(ステップS1)
G(x,y)の値が有効な範囲で、以下の式に従って、R(x,y),B(x,y)との比率(ratio)を求める。
GR_ratio(x,y)=G(x,y)/R(x,y)
GB_ratio(x,y)=G(x,y)/B(x,y)
G(x,y)の値が有効でない範囲で、GR_ratio,GB_ratioを用いて、以下の式に従って、画素値G(x,y)を推定する。
G(x,y)=max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
なお、max(a,b)はa,bから最大値を選択する処理を示す。
前述したように、ホワイトバランス処理とG画素値推定処理によって生成した画像データは、先に図8~図11を参照して説明したように、撮像素子の出力画素値範囲である0~100%を増大させた0~200%の画素値を有する。
8ビットデータを出力できるSDR表示装置は、0~255の画素値を出力できるが、0~511の画素値の出力ができない、
なお、先に説明したように、トーンマッピンングは、光電変換関数(OETF:Optical-Electro Transfer Function)を用いた処理として実行可能である。
この処理は、先に図12、図13を参照して説明した処理に相当する。
PC等の画像処理装置のハードウェア構成例について、図17を参照して説明する。
CPU(Central Processing Unit)71は、ROM(Read Only Memory)72、または記憶部78に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)73には、CPU71が実行するプログラムやデータなどが記憶される。これらのCPU71、ROM72、およびRAM73は、バス74により相互に接続されている。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理部と、
前記デモザイク処理部の生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定部を有し、
前記画素値推定部は、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行する画像処理装置。
前記ホワイトバランス処理後のG画像の飽和画素領域以外の有効画素領域の画素位置(x,y)において、
G画素値とR画素値との比率GR_ratio(x,y)、
G画素値とB画素値との比率GB_ratio(x,y)、
上記2つの画素値比率を算出し、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値に対して前記画素値比率を適用して、飽和画素領域におけるG画素値を推定する(1)に記載の画像処理装置。
前記画素値比率の算出に適用するG画像の有効画素位置を、G画素値推定対象となる画素位置に近接する有効画素領域から選択する(2)に記載の画像処理装置。
前記ホワイトバランス処理後のG画像の飽和画素領域の画素位置(x,y)の画素値G(x,y)を、
G(x,y)=max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
ただし、max(a,b)はa,bから最大値を選択する処理、
上記式に従って算出する(2)または(3)に記載の画像処理装置。
ホワイトバランス処理後のR画像、B画像、および、前記画素値推定部の算出したG画素値を持つG画像に対して、トーンマッピング処理を実行して画素値補正を実行し出力画像を生成する出力信号生成部を有する(1)~(4)いずれかに記載の画像処理装置。
OETF(Optical-Electro Transfer Function)を用いて画素値補正を実行する(5)に記載の画像処理装置。
前記画像処理装置は、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定処理を実行し、
前記画像処理部は、前記画素値推定処理において、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行する画像処理方法。
前記画像処理装置は、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定処理を実行させ、
前記プログラムは、前記画素値推定処理において、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行させるプログラム。
具体的には、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有する。画像処理部は、RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、デモザイク処理後のRGB各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用した画素値推定処理を実行する。
本開示の処理により、白とび領域が減少し、被写体の色、階調を高精度に表現した画像を生成、出力することが可能となる。
11 レンズ
12 絞り
13 撮像素子
14 サンプリング回路
15 A/D(Analog/Digital)変換部
16 画像処理部(DSP)
17 符号化/復号部
18 メモリ
19 D/A(Digital/Analog)変換部
20 ビデオエンコーダ
21 表示部
22 タイミング生成部
23 操作入力部
24 ドライバ
25 制御部
31 デモザイク処理実行部
32 ホワイトバランス(WB)処理実行部
33 画素値推定部
34 出力信号生成部
71 CPU
72 ROM
73 RAM
74 バス
75 入出力インタフェース
76 入力部
77 出力部
78 記憶部
79 通信部
80 ドライブ
81 リムーバブルメディア
Claims (12)
- 撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理部と、
前記デモザイク処理部の生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定部を有し、
前記画素値推定部は、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行する画像処理装置。 - 前記画素値推定部は、
前記ホワイトバランス処理後のG画像の飽和画素領域以外の有効画素領域の画素位置(x,y)において、
G画素値とR画素値との比率GR_ratio(x,y)、
G画素値とB画素値との比率GB_ratio(x,y)、
上記2つの画素値比率を算出し、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値に対して前記画素値比率を適用して、飽和画素領域におけるG画素値を推定する請求項1に記載の画像処理装置。 - 前記画素値推定部は、
前記画素値比率の算出に適用するG画像の有効画素位置を、G画素値推定対象となる画素位置に近接する有効画素領域から選択する請求項2に記載の画像処理装置。 - 前記画素値推定部は、
前記ホワイトバランス処理後のG画像の飽和画素領域の画素位置(x,y)の画素値G(x,y)を、
G(x,y)=max(G(x,y),(GR_ratio×R(x,y)+GB_ratio×G(x,y))/2.0)
ただし、max(a,b)はa,bから最大値を選択する処理、
上記式に従って算出する請求項2に記載の画像処理装置。 - 前記画像処理部は、さらに、
ホワイトバランス処理後のR画像、B画像、および、前記画素値推定部の算出したG画素値を持つG画像に対して、トーンマッピング処理を実行して画素値補正を実行し出力画像を生成する出力信号生成部を有する請求項1に記載の画像処理装置。 - 前記出力信号生成部は、
OETF(Optical-Electro Transfer Function)を用いて画素値補正を実行する請求項5に記載の画像処理装置。 - 前記ホワイトバランス処理実行部は、前記デモザイク処理部の生成したR画像と、B画像に対して、予め規定した乗算係数を適用した乗算処理を実行して画素値補正を実行する請求項1に記載の画像処理装置。
- 前記撮像素子はベイヤ配列を有する請求項1に記載の画像処理装置。
- 前記画像処理装置は、撮像素子を有する撮像装置である請求項1に記載の画像処理装置。
- 前記画像処理装置は、撮像装置の撮影画像であるRAW画像を入力する入力部を有する請求項1に記載の画像処理装置。
- 画像処理装置において、画像処理を実行する画像処理方法であり、
前記画像処理装置は、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定処理を実行し、
前記画像処理部は、前記画素値推定処理において、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行する画像処理方法。 - 画像処理装置において、画像処理を実行させるプログラムであり、
前記画像処理装置は、撮像素子の出力画像に相当するRAW画像を入力し、入力RAW画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記RAW画像に対するデモザイク処理により、全画素にRGBの各色を設定したR画像、G画像、B画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したRGB各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のG画像の飽和画素領域におけるG画素の画素値推定処理を実行する画素値推定処理を実行させ、
前記プログラムは、前記画素値推定処理において、
画素値推定対象となるG画素の画素位置と同じ位置のホワイトバランス処理後のR画像とB画像の画素値を適用して画素値推定処理を実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/559,399 US10412356B2 (en) | 2015-03-26 | 2016-03-02 | Image processing apparatus and image processing method |
CN201680016399.XA CN107431793A (zh) | 2015-03-26 | 2016-03-02 | 图像处理装置和图像处理方法以及程序 |
EP16768317.6A EP3276956B1 (en) | 2015-03-26 | 2016-03-02 | Image processing device and image processing method, and program |
JP2017508140A JP6702306B2 (ja) | 2015-03-26 | 2016-03-02 | 画像処理装置、および画像処理方法、並びにプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-063983 | 2015-03-26 | ||
JP2015063983 | 2015-03-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016152414A1 true WO2016152414A1 (ja) | 2016-09-29 |
Family
ID=56978737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/056352 WO2016152414A1 (ja) | 2015-03-26 | 2016-03-02 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10412356B2 (ja) |
EP (1) | EP3276956B1 (ja) |
JP (1) | JP6702306B2 (ja) |
CN (1) | CN107431793A (ja) |
WO (1) | WO2016152414A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107369145A (zh) * | 2017-06-16 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端设备 |
JP2022553909A (ja) * | 2019-11-05 | 2022-12-27 | グーグル エルエルシー | 画像処理パイプラインのハイライト復元 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3424403B1 (en) * | 2016-03-03 | 2024-04-24 | Sony Group Corporation | Medical image processing device, system, method, and program |
CN110009587B (zh) * | 2019-04-09 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
RU2712436C1 (ru) | 2019-08-09 | 2020-01-28 | Самсунг Электроникс Ко., Лтд. | Способ обработки rccb-изображения |
JP7437921B2 (ja) * | 2019-11-22 | 2024-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR20220010285A (ko) | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법 |
CN115426449B (zh) * | 2022-07-30 | 2023-07-11 | 荣耀终端有限公司 | 一种拍照方法和终端 |
CN116091364B (zh) * | 2023-04-07 | 2023-06-06 | 天津汉云工业互联网有限公司 | 图像模糊处理方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008177872A (ja) * | 2007-01-18 | 2008-07-31 | Fujifilm Corp | 画像処理方法、装置及びプログラム並びに撮像装置 |
JP2010068064A (ja) * | 2008-09-09 | 2010-03-25 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
JP2010103700A (ja) * | 2008-10-22 | 2010-05-06 | Ricoh Co Ltd | 撮像装置および撮像方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000050151A (ja) | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
JP4121493B2 (ja) * | 2004-11-12 | 2008-07-23 | 富士フイルム株式会社 | デジタルカメラとその信号処理方法及び信号処理装置 |
JP5803233B2 (ja) * | 2011-02-14 | 2015-11-04 | 株式会社リコー | 撮像装置および撮像方法 |
BR112012027309A2 (pt) * | 2011-02-28 | 2016-08-02 | Fujifilm Corp | aparelho de geração de imagens coloridas |
US8842912B2 (en) | 2011-05-19 | 2014-09-23 | Foveon, Inc. | Method for processing highlights and saturated regions in a digital image |
-
2016
- 2016-03-02 EP EP16768317.6A patent/EP3276956B1/en active Active
- 2016-03-02 JP JP2017508140A patent/JP6702306B2/ja active Active
- 2016-03-02 CN CN201680016399.XA patent/CN107431793A/zh active Pending
- 2016-03-02 US US15/559,399 patent/US10412356B2/en active Active
- 2016-03-02 WO PCT/JP2016/056352 patent/WO2016152414A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008177872A (ja) * | 2007-01-18 | 2008-07-31 | Fujifilm Corp | 画像処理方法、装置及びプログラム並びに撮像装置 |
JP2010068064A (ja) * | 2008-09-09 | 2010-03-25 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
JP2010103700A (ja) * | 2008-10-22 | 2010-05-06 | Ricoh Co Ltd | 撮像装置および撮像方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3276956A4 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107369145A (zh) * | 2017-06-16 | 2017-11-21 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及终端设备 |
JP2022553909A (ja) * | 2019-11-05 | 2022-12-27 | グーグル エルエルシー | 画像処理パイプラインのハイライト復元 |
JP7426480B2 (ja) | 2019-11-05 | 2024-02-01 | グーグル エルエルシー | 画像処理パイプラインのハイライト復元 |
Also Published As
Publication number | Publication date |
---|---|
EP3276956B1 (en) | 2021-07-21 |
US10412356B2 (en) | 2019-09-10 |
EP3276956A4 (en) | 2018-10-31 |
CN107431793A (zh) | 2017-12-01 |
US20180077397A1 (en) | 2018-03-15 |
JP6702306B2 (ja) | 2020-06-03 |
JPWO2016152414A1 (ja) | 2018-01-18 |
EP3276956A1 (en) | 2018-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6702306B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
JP4293174B2 (ja) | 撮像装置および画像処理装置 | |
JP5321163B2 (ja) | 撮像装置及び撮像方法 | |
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
JP6019964B2 (ja) | 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法 | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
JP4736792B2 (ja) | 撮像装置及びそれに用いる画像処理方法 | |
JP5948997B2 (ja) | 撮像装置及び撮像方法 | |
JP5609788B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5146015B2 (ja) | 撮像装置及び撮像方法 | |
JP4687454B2 (ja) | 画像処理装置および撮像装置 | |
JP2006333113A (ja) | 撮像装置 | |
EP2515543B1 (en) | Image capturing apparatus and image capturing method | |
JP2012134745A (ja) | 画像信号処理装置 | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
JP5609787B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2020036162A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5091734B2 (ja) | 撮像装置および撮像方法 | |
JP5145876B2 (ja) | 撮像装置および撮像方法 | |
JP5169540B2 (ja) | 撮像装置および撮像方法 | |
JP2008306326A (ja) | 画像処理装置および画像処理方法 | |
JP2010035120A (ja) | ビデオカメラ撮像装置 | |
JP2022119630A (ja) | 画像処理装置、画像処理方法、および撮像装置、ならびにそれらの制御方法 | |
JP2004297433A (ja) | 合成画像データ調整装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16768317 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017508140 Country of ref document: JP Kind code of ref document: A |
|
REEP | Request for entry into the european phase |
Ref document number: 2016768317 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15559399 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |