JP6478499B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6478499B2 JP6478499B2 JP2014139478A JP2014139478A JP6478499B2 JP 6478499 B2 JP6478499 B2 JP 6478499B2 JP 2014139478 A JP2014139478 A JP 2014139478A JP 2014139478 A JP2014139478 A JP 2014139478A JP 6478499 B2 JP6478499 B2 JP 6478499B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correspondence relationship
- gradation value
- data
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 293
- 238000000034 method Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 57
- 239000002131 composite material Substances 0.000 claims description 32
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 235000019557 luminance Nutrition 0.000 description 289
- 230000008859 change Effects 0.000 description 20
- 239000000203 mixture Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
そこで、合成画像を生成する(簡易的に生成する)合成装置を撮影現場に持ち込み、撮影現場で合成画像を生成し確認する方法がよく採用されている。合成装置としては、例えば、PCなどを使用することができる。
このような方法によれば、撮影工程で合成画像を確認する(簡易的に確認する)ことができ、撮影工程への手戻り回数を低減することができる。
ポストプロダクションでは、編集者によって、撮影画像の表示輝度がCG画像の表示輝度に合うように、撮影画像とCG画像の少なくとも一方の表示輝度が細かく調整される。
しかし、撮影現場に編集者がいるとは限らないため、撮影現場では画像の表示輝度が自動で調整される(簡易的に調整される)ことが好ましい。
画像の表示輝度を自動で調整する技術は、例えば、特許文献1に開示されている。特許文献1に開示の技術では、複数の画像を合成する際に、1つの画像の平均階調値に基づいて、各画像の表示輝度が調整される。
一方、CG画像は、一般的に、狭いダイナミックレンジを有する。例えば、静止画であるCG画像のデータフォーマットとしては、BMPやJPEGが使用され、動画であるCG画像のデータフォーマットとしては、JPEG2000が使用される。これらのデータフォーマットでは、階調値のビット数は8ビットとなるため、広ダイナミックレンジの画像を扱うことはできない。
そのため、撮影画像のダイナミックレンジがCG画像のダイナミックレンジと大きく異なる場合がある。
しかしながら、撮影画像とCG画像のダイナミックレンジが異なる場合には、特許文献1の技術を使用したとしても、好適な調整結果を得ることはできない。例えば、HDR画像とLDR画像とを合成した合成画像を表示する場合には、特許文献1の技術を用いたとしても、HDR画像の表示輝度をLDR画像の表示輝度に合わせることはできない。HD
R画像は、ダイナミックレンジが広い画像であり、例えば、撮影画像である。LDR画像は、ダイナミックレンジが狭い画像であり、例えば、CG画像である。
LDR画像は、図9に示すように、階調値(LDR階調値)の変化に対して表示輝度が線形に変化する表示特性(線形特性)を有する。
一方、HDR画像は、図10に示すように、階調値(HDR階調値)の変化に対して表示輝度が対数的に変化する表示特性(Log特性)を有する。そして、HDR画像のダイナミックレンジは、LDR画像よりも広い。人間の視覚は暗部に対して敏感であり、低い表示輝度の範囲に対して狭い階調範囲(階調値の範囲)を割り当てることが好ましいため、HDR画像の表示特性としてLog特性が使用されることが多い。
図9,10では、HDR画像とLDR画像のダイナミックレンジの違いを明確にするために、階調値として、光強度値に相当する階調値が使用されている。光強度値は、光強度値の変化に対する階調値の変化である階調特性の逆特性に従って、階調値を変換した値である。画像が撮影画像である場合、光強度値は、撮影装置のイメージセンサ(CMOSセンサ等)で受光された光の明るさ(撮影シーンの明るさ)を表す値である。階調特性がガンマ特性である場合には、逆ガンマ特性に従って階調値を変換した値が光強度値に一致する。
第1画像を取得する第1取得手段と、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得手段と、
前記第1画像の領域であり且つ階調値が第1閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第1画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換手段と、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置である。
本発明の第2の態様は、
第1画像を取得する第1取得手段と、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得手段と、
前記第1画像の階調値に関する特徴情報を、前記第1画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換手段と、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成手段と、
を有し、
前記第1取得手段は、フレーム毎に第1画像を取得し、
前記第1画像の対応関係は、当該第1画像のダイナミックレンジに依存して変化し、
前記第1変換手段は、
階調値と表示輝度の対応関係が現在のフレームの1つ前のフレームの第3画像と等しい第3画像に現在のフレームの第1画像を変換する第1変換処理と、現在のフレームの第1画像の対応関係と前記第2画像の対応関係とを重みづけ合成した対応関係を有する第3画像に現在のフレームの第1画像を変換する第2変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第1画像を第3画像に変換し、
前記合成手段は、前記フレーム毎に合成画像を生成する
ことを特徴とする画像処理装置である。
本発明の第3の態様は、
撮影画像を取得する撮影画像取得手段と、
ダイナミックレンジが前記撮影画像より狭いCG画像を取得するCG画像取得手段と、
前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記CG画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換手段と、
前記CG画像と前記変換画像を合成することにより合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置である。
第1画像を取得する第1取得ステップと、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得ステップと、
前記第1画像の領域であり且つ階調値が第1閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第1画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換ステップと、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法である。
本発明の第5の態様は、
第1画像を取得する第1取得ステップと、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得ステップと、
前記第1画像の階調値に関する特徴情報を、前記第1画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換ステップと、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成ステップと、
を有し、
前記第1取得ステップでは、フレーム毎に第1画像を取得し、
前記第1画像の対応関係は、当該第1画像のダイナミックレンジに依存して変化し、
前記第1変換ステップでは、
階調値と表示輝度の対応関係が現在のフレームの1つ前のフレームの第3画像と等しい第3画像に現在のフレームの第1画像を変換する第1変換処理と、現在のフレームの第1画像の対応関係と前記第2画像の対応関係とを重みづけ合成した対応関係を有する第3画像に現在のフレームの第1画像を変換する第2変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第1画像を第3画像に変換し、
前記合成ステップでは、前記フレーム毎に合成画像を生成する
ことを特徴とする画像処理方法。
本発明の第6の態様は、
撮影画像を取得する撮影画像取得ステップと、
ダイナミックレンジが前記撮影画像より狭いCG画像を取得するCG画像取得ステップ
と、
前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記CG画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換ステップと、
前記CG画像と前記変換画像を合成することにより合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法である。
以下、図面を参照しながら、本発明の実施例1に係る画像処理装置及び画像処理方法について説明する。
なお、以下では、本実施例に係る画像処理装置を画像表示装置が有する場合の例を説明するが、本実施例に係る画像処理装置は画像表示装置とは別体の装置であってもよい。
図1は、本実施例に係る画像表示装置100の機能構成の一例を示すブロック図である。図1に示すように、画像表示装置100は、制御部116、第1階調変換部103、第2階調変換部104、データ選択部106、色空間変換部107、オーバーホワイト領域検出部108、重み決定部109、輝度変換データ生成部110、第1輝度変換部111、第2輝度変換部112、画像合成部113、ガンマ変換部114、表示部115、等を有する。
図1に示すように、画像表示装置100は、撮影装置180と録画装置181に接続されている。
Log変換された値を使用することにより、ダイナミックレンジが広いHDR画像データの伝送を容易に実現することができる。
第1画像データ101及び第1線形画像データ153は、いずれも、第1画像を表す画像データである。
生成されたコンピューターグラフィック画像データ(CG画像データ)である。第2画像データ102の画素値はRGB値である。第2画像データ102の階調値は、ガンマ値が1/2.2のガンマ特性(1/2.2ガンマ特性)で変換された8ビットの値である。
“1/2.2ガンマ特性で変換された値”とは、線形単位の階調値を1/2.2ガンマ特性に従って変換した階調値である。
第2画像データ102が、ダイナミックレンジが狭いLDR画像データであり、且つ、静止画像のデータである場合には、第2画像データ102のデータフォーマットとして、BMPやJPEGを使用することができる。第2画像データ102が、LDR画像データであり、且つ、動画像のデータである場合、第2画像データ102のデータフォーマットとして、JPEG2000を使用することができる。
第2画像データ102及び第2線形画像データ154は、いずれも、第2画像を表す画像データである。本実施例では、第2画像のダイナミックレンジは、第1画像のダイナミックレンジと異なる。具体的には、第2画像のダイナミックレンジは、第1画像のダイナミックレンジよりも狭く、且つ、第1画像のダイナミックレンジの一部である。
なお、第2画像のダイナミックレンジは、第1画像のダイナミックレンジよりも広くてもよい。また、第2画像のダイナミックレンジは、第1画像のダイナミックレンジに含まれない階調範囲を含んでいてもよい。
輝度データ156から取得する(特徴取得処理)。本実施例では、オーバーホワイト領域のサイズとして、第1画像の総画素数に対するオーバーホワイト領域の総画素数の割合を表すオーバーホワイト面積率データ158が、特徴情報として取得される。そして、オーバーホワイト領域検出部108は、オーバーホワイト面積率データ158を出力する。
次に、オーバーホワイト領域検出部108は、輝度データ156の複数の画素の中から、輝度値(データ輝度値)が基準白輝度値157以上である画素を検出する。
そして、オーバーホワイト領域検出部108は、輝度データ156の総画素数に対する上記検出された画素の総数の割合を、オーバーホワイト面積率として算出する。
次に、オーバーホワイト領域検出部108は、上記算出したオーバーホワイト面積率を表すオーバーホワイト面積率データ158を生成し、オーバーホワイト面積率データ158を出力する。
なお、基準白輝度値157は、メーカー等によって予め設定された固定値であってもよいし、ユーザーが変更可能な値であってもよい。
なお、特徴情報は、オーバーホワイト面積率を表す情報でなくてもよい。例えば、特徴情報は、データ輝度値が基準白輝度値157以上である画素の総数を表す情報であってもよい。
LDR輝度変換データ162と、を制御部116から取得する。HDR輝度変換データ161は、第1画像の階調値と表示輝度の対応関係を表すデータであり、LDR輝度変換データ162は、第2画像の階調値と表示輝度の対応関係を表すデータである。
輝度変換データ生成部110は、重み情報160によって表された重みでHDR輝度変換データ161とLDR輝度変換データ162を重みづけ合成することにより、第1輝度変換データ164を生成する。具体的には、重み情報160によって表された重みは、HDR輝度変換データ161の重みとして使用される。そして、輝度変換データ生成部110は、第1輝度変換データ164を出力する。
また、輝度変換データ生成部110は、LDR輝度変換データ162を第2輝度変換データ165として出力する。
まず、グリーンバック(緑の布などの背景)の前にいる被写体(人物など)を撮影することにより、撮影画像が生成される(図2の符号201)。
次に、PCなどによってCG画像が生成される(図2の符号202)。
そして、撮影画像の画素値のうちグリーンバックの領域の画素値をCG画像の画素値に置き換えることにより、合成画像が生成される(図2の符号203)。
る階調値)と表示輝度の対応関係)に従って合成画像データ168の階調値を駆動階調値に変換することにより、表示用画像データ170を生成する。具体的には、ガンマ変換部114は、表示部115の駆動特性を表す駆動特性情報169を制御部116から取得する。そして、ガンマ変換部114は、駆動特性情報169によって表された駆動特性に従って合成画像データ168の階調値を駆動階調値に変換することにより、表示用画像データ170を生成する。
表示用画像データ170も、上記合成画像を表す画像データである。
なお、表示部115の駆動特性は、表示部115が有する表示素子の種類等に依存して変化する。
以下、本実施例で使用される各画像データの階調特性について説明する。
本実施例では、第1画像データ101と第2画像データ102は、いずれも、光強度値の変化に対して階調値が非線形に変化する非線形特性を有する。具体的には、第1画像データ101は、光強度値の変化に対して階調値が対数的に変化する階調特性(Log特性)を有する。第2画像データ102は、光強度値の変化に対する階調値の変化が1/2.2ガンマ特性である階調特性を有する。光強度値は、階調特性の逆特性に従って階調値を変換した値である。画像データが撮影画像データである場合、光強度値は、撮影装置180のイメージセンサ(CMOSセンサ等)で受光された光の明るさ(撮影シーンの明るさ)を表す値である。
本実施例では、第1画像データ101で表現可能な光強度値の範囲(ダイナミックレンジ)は、第2画像データ102で表現可能な光強度値の範囲よりも広い。
本実施例では、第1線形画像データ153と第2線形画像データ154は、いずれも、光強度値の変化に対して階調値が線形に変化する線形特性を有する。
本実施例では、第1輝度変換画像データ166、第2輝度変換画像データ167、及び、合成画像データ168は、いずれも、階調値が表示輝度と一致する階調特性を有する。換言すれば、第1輝度変換画像データ166、第2輝度変換画像データ167、及び、合成画像データ168は、いずれも、階調値の変化に対して表示輝度が線形に変化する表示特性を有する。
そして、本実施例では、表示用画像データ170は、階調値の変化に対する表示輝度の変化が1/2.2ガンマ特性である表示特性を有する。
オーバーホワイト面積率の具体的な決定方法について説明する。
説明の便宜上、以下では、第1画像データ101のダイナミックレンジが、0〜800%の光強度値に対応するダイナミックレンジであり、且つ、第1画像データ101の階調値が、10ビットの値であるものとする。また、第2画像データ102のダイナミックレンジが、0〜100%の光強度値に対応するダイナミックレンジであり、且つ、第2画像データ102の階調値が、8ビットの値であるものとする。そして、基準白輝度値が100%の光強度値に対応するデータ輝度値であるものとする。
なお、第1画像データ101、第2画像データ102、及び、基準白輝度値は、上述したデータに限らない。
る。具体的には、階調特性がLog特性であり、且つ、階調値のビット数が10ビットである階調値(第1画像データ101の階調値)が、階調特性が線形特性であり、且つ、階調値のビット数が12ビットである階調値に変換される。それにより、第1画像データ101が第1線形画像データ153に変換される。
Y=0.299×R+0.587×G+0.114×B ・・・(式1)
本実施例では、12ビットのR値、G値、及び、B値が、12ビットのY値に変換される。
上述したように、本実施例では、100%の光強度値に対応するデータ輝度値が、基準白輝度値として使用される。そのため、0%の光強度値に対応するY値が0であり、且つ、800%の光強度値に対応するY値が4095である輝度データ156が生成される場合、基準白輝度値として512が使用される。
オーバーホワイト領域検出部108は、輝度データ156の複数の画素の中から、Y値が512以上であり且つ4095以下である画素を、オーバーホワイト画素(オーバーホワイト領域の画素)として検出する。
そして、オーバーホワイト領域検出部108は、以下の式2を用いて、オーバーホワイト面積率を決定(算出)する。式2において、“A”は輝度データ156の総画素数、“B”はオーバーホワイト画素の総数、“C”はオーバーホワイト面積率である。
C=(B/A)×100 ・・・(式2)
オーバーホワイト面積率Cとして、0%以上且つ100%以下の値が得られる。
撮影画像情報105は、例えば、第1画像データ101とは別の伝送路を用いて取得される。例えば、第1画像データ101はSDIケーブルを用いて取得され、撮影画像情報105はUSB(Universal Serial Bus)ケーブルを用いて取得される。図3に、撮影装置180、録画装置181、及び、画像表示装置100の接続方法の一例を示す。図3の例では、SDIケーブルを用いて録画装置181と画像表示装置100とが互いに接続されている。また、SDIケーブルを用いて撮影装置180と画像表示装置100とが互いに接続されている。そして、USBケーブルを用いて撮影装置180と画像表示装置100とが互いに接続されている。
なお、USBケーブル以外のケーブルを用いて撮影画像情報105が取得されてもよいし、撮影画像情報105が無線で取得されてもよい。撮影画像情報105は、第1画像データ101と同じ伝送路を用いて取得されてもよい。
次に、第1輝度変換データ164と第2輝度変換データ165の具体的な生成方法について説明する。
本実施例では、HDR輝度変換データ161の重みが決定される。具体的には、図4に示す対応関係に基づいて、オーバーホワイト面積率データ158によって表されたオーバーホワイト面積率から、HDR輝度変換データ161の重みが決定される。図4は、オーバーホワイト面積率と、HDR輝度変換データ161の重みと、の対応関係の一例を示す。オーバーホワイト面積率がリミット閾値159以下の値である場合には、オーバーホワイト面積率が大きいほど大きい値が、HDR輝度変換データ161の重みとして取得される。そして、オーバーホワイト面積率がリミット閾値159以上の値である場合には、100%がHDR輝度変換データ161の重みとして取得される。図4の例では、リミット閾値159は75%である。そのため、オーバーホワイト面積率が0%以上且つ75%以下の値である場合には、オーバーホワイト面積率の増加に伴いHDR輝度変換データ161の重みが0%から100%に線形に増加するように、HDR輝度変換データ161の重みが決定される。換言すれば、オーバーホワイト面積率の増加に伴いLDR輝度変換データ162の重みが100%から0%に線形に低下するように、LDR輝度変換データ162の重みが決定される。そして、オーバーホワイト面積率が75%以上且つ100%以下の値である場合には、100%がHDR輝度変換データ161の重みとして取得される。換言すれば、0%がLDR輝度変換データ162の重みとして取得される。
なお、リミット閾値159は、75%より大きくても小さくてもよい。リミット閾値159は、メーカー等によって予め設定された固定値であってもよいし、ユーザーが変更可能な値であってもよい。
なお、オーバーホワイト面積率と、HDR輝度変換データ161の重みと、の対応関係は、図4に示す対応関係に限らない。例えば、オーバーホワイト面積率の増加に伴いHDR輝度変換データ161の重みが非線形に増加してもよい。
なお、撮影画像情報105にHDR輝度変換データ161が含まれていてもよい。そして、撮影画像情報105からHDR輝度変換データ161が取得されてもよい。
図5の符号402,403は、第1画像の階調値(第1線形画像データ153の階調値)と、表示輝度と、の対応関係の一例を示す。対応関係402は、第1画像のダイナミックレンジが0%以上且つ800%以下の光強度値の範囲である場合の対応関係(HDR輝度変換データ)を示す。対応関係403は、第1画像のダイナミックレンジが0%以上且つ300%以下の光強度値の範囲である場合の対応関係(HDR輝度変換データ)を示す。
人間の視覚は暗部に対して敏感であり、低い表示輝度の範囲に対して狭い階調範囲(階調値の範囲)を割り当てることが好ましい。そのため、図5の例では、第1画像の表示特性(階調値と表示輝度との対応関係)として、階調値の増加に対して表示輝度が対数的に増加するLog特性が使用されている。
図5に示すように、対応関係403は対応関係402と異なる。具体的には、対応関係403では、閾値以下の階調値の範囲である暗部(0%以上且つ100%以下の階調範囲)に対して対応関係402よりも多くの表示輝度が割り当てられている。このように、本実施例では、第1画像のダイナミックレンジに応じてHDR輝度変換データが切り替えられて使用される。即ち、第1画像のダイナミックレンジに依存してHDR輝度変換データは変化する。
なお、第2画像のダイナミックレンジは予め定められていてもよい。その場合には、LDR輝度変換データ162を予め用意することができる。
また、暗部に対応する表示輝度がLDR輝度変換データ162から遠すぎる(HDR輝度変換データ161に近すぎる)と、暗部の表示輝度が第2画像に比べ非常に暗い第3画像が生成されてしまう。
そこで、本実施例では、重み情報160によって表された重みで、HDR輝度変換データ161とLDR輝度変換データ162を重みづけ合成する。それにより、暗部に対応する表示輝度がLDR輝度変換データ162に適切に近づけられた第1輝度変換データ164を得ることができる。
図6を用いて、第1輝度変換データ164の生成方法について詳しく説明する。
そして、輝度変換データ生成部110は、非暗部輝度変換データ502を暗部輝度変換データ501に付加することにより、第1輝度変換データ164を生成する。
ガンマ変換部114の具体的な処理について説明する。
ガンマ変換部114は、制御部116から駆動特性情報169を取得する。そして、ガンマ変換部114は、駆動特性情報169によって表された駆動特性(駆動階調値の変化に対する表示輝度の変化)に従って合成画像データ168の各画素の階調値を変換する。それにより、合成画像データ168が表示用画像データ170に変換される。表示部115の駆動特性が1/2.2ガンマ特性である場合、表示用画像データの階調値の変化に対する表示輝度の変化である表示特性が1/2.2ガンマ特性となるように、合成画像データ168の各画素の階調値が変換される。
とにより合成画像が生成され、合成画像が表示される。それにより、合成画像を生成するために使用する複数の画像のダイナミックレンジが互いに異なる場合にも、複数の画像の表示輝度が好適に調整可能となる。具体的には、明部領域のサイズが大きい場合には、明部領域の階調性(明部に割り当てる表示輝度の数)の低下が抑制された第3画像を生成することができる。それにより、第3画像の白とびを抑制することができ、第3画像の表示輝度が好適に調整可能となる。また、明部領域のサイズが小さい場合には、見え(暗部の見え)が第2画像に近い第3画像を生成することができる。それにより、第2画像と第3画像が容易に比較可能となり、それらの画像の表示輝度が好適に調整可能となる。そして、第3画像の対応関係(階調値と表示輝度の対応関係)として、第1画像の対応関係と第2画像の対応関係を重みづけ合成した対応関係が決定される。それにより、第1画像や第2画像のダイナミックレンジの変化などによって第1画像や第2画像の対応関係が変化した場合にも、表示輝度の調整に適した対応関係を有する第3画像を生成することができる。
また、第2階調変換部104は、第2輝度変換部112の後段に配置されてもよい。その場合には、第2輝度変換部112では、第2画像データ102の階調特性が1/2.2ガンマ特性であることを考慮して第2画像データ102の階調値が変換されればよい。
それにより、階調値と表示輝度の対応関係が第1画像の明部領域が暗いほど第2画像の対応関係に近い第3画像に、第1画像を変換することができる。また、階調値と表示輝度の対応関係が明部領域が明るいほど第1画像の対応関係に近い第3画像に、第1画像を変換することができる。
なお、第1画像の明部領域のサイズと、第1画像の明部領域を代表する階調値と、の両方を用いて第3画像の対応関係が決定されてもよい。
以下、図面を参照しながら、本発明の実施例2に係る画像処理装置及び画像処理方法について説明する。
実施例2では、第1画像が動画像であり、且つ、第1画像のフレーム間で第1画像のダイナミックレンジが変化する場合に好適な処理方法について説明する。第1画像のダイナミックレンジは、例えば、撮影装置180の撮影モードの切り替え等によって変化する。
第1画像のダイナミックレンジは、撮影装置180の撮影モードに依存して変化し、狭いダイナミックレンジから広いダイナミックレンジまでの様々なダイナミックレンジを取り得る。
第1画像のダイナミックレンジが変化すると、HDR輝度変換データ161が変化し、第1輝度変換データ164も変化する。そして、動画像の途中で第1輝度変換データ164が急激に変化すると、第3画像の表示輝度が急激に変化し、合成画像の表示輝度も急激に変化してしまう。その結果、画面にちらつきが発せしてしまう。
本実施例では、合成画像を生成するために使用する複数の画像の表示輝度を好適に調整することを可能とし、且つ、上記ちらつきの発生を抑制することができる方法を説明する。
なお、以下では、実施例1と異なる点(構成や処理)について詳しく説明し、実施例1と同じ点については説明を省略する。
但し、本実施例では、第1階調変換部103は、フレーム毎に第1画像データ101を取得する。以下では、現在(処理対象)のフレームを“現フレーム”と記載し、現フレームの1つ前のフレームを“前フレーム”と記載する。
タが、現フレーム用の第1輝度変換データとして出力される。第1出力処理が行われた場合、第1変換処理が行われる。第2出力処理では、LDR輝度変換データと、現フレームの第1画像のダイナミックレンジに対応するHDR輝度変換データと、を重みづけ合成することにより、第1輝度変換データが生成される。そして、生成された第1輝度変換データが、現フレーム用の第1輝度変換データとして出力される。第2出力処理が行われた場合、第2変換処理が行われる。
図8において、符号801は、前フレームの第1画像に対応するHDR輝度変換データを示し、符号802は、前フレーム用の第1輝度変換データを示す。符号803は、LDR輝度変換データを示す。前フレームの第1画像のダイナミックレンジは、0%以上且つ800%以下の階調範囲である。第1輝度変換データ802は、実施例1と同様の方法で生成された第1輝度変換データ(HDR輝度変換データ801とLDR輝度変換データ803から生成された第1輝度変換データ)である。
図8において、符号804は、現フレームの第1画像に対応するHDR輝度変換データを示し、符号805は、現フレーム用の第1輝度変換データを示す。現フレームの第1画像のダイナミックレンジは、0%以上且つ300%以下の階調範囲である。
なお、図8の例では、暗部の対応関係のみが維持されているが、全階調範囲について対応関係が維持されてもよい。但し、全階調範囲について対応関係を維持すると、非暗部に割り当てる表示輝度の数が低下してしまうことがある。
記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータ(又はCPU、MPU等のデバイス)によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。したがって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュー
タ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
106:データ選択部 107:色空間変換部 108:オーバーホワイト領域検出部
109:重み決定部 110:輝度変換データ生成部 111:第1輝度変換部
112:第2輝度変換部 113:画像合成部 114:ガンマ変換部
115:表示部 116:制御部
Claims (19)
- 第1画像を取得する第1取得手段と、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得手段と、
前記第1画像の領域であり且つ階調値が第1閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第1画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換手段と、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置。 - 前記第1変換手段は、階調値と表示輝度の対応関係が前記明部領域を代表する階調値が小さいほど前記第2画像の対応関係に近い第3画像に、前記第1画像を変換する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1変換手段は、階調値と表示輝度の対応関係が前記明部領域のサイズが小さいほど前記第2画像の対応関係に近い第3画像に、前記第1画像を変換する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記特徴情報は、前記明部領域のサイズとして、前記第1画像の総画素数に対する前記明部領域の総画素数の割合を表す
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記特徴情報は、前記明部領域を代表する階調値として、前記明部領域の階調値の平均値を表す
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 階調値と表示輝度の対応関係が前記第3画像の対応関係と等しい第4画像に、前記第2画像を変換する第2変換手段をさらに有し、
前記合成手段は、前記第3画像と前記第4画像を合成することにより合成画像を生成する
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。 - 前記第1変換手段は、前記第1画像の対応関係と前記第2画像の対応関係と、を重みづけ合成することにより、前記第3画像の対応関係を決定する
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。 - 第1画像を取得する第1取得手段と、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得手段と、
前記第1画像の階調値に関する特徴情報を、前記第1画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換手段と、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成手段と、
を有し、
前記第1取得手段は、フレーム毎に第1画像を取得し、
前記第1画像の対応関係は、当該第1画像のダイナミックレンジに依存して変化し、
前記第1変換手段は、
階調値と表示輝度の対応関係が現在のフレームの1つ前のフレームの第3画像と等しい第3画像に現在のフレームの第1画像を変換する第1変換処理と、現在のフレームの第1画像の対応関係と前記第2画像の対応関係とを重みづけ合成した対応関係を有する第3画像に現在のフレームの第1画像を変換する第2変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第1画像を第3画像に変換し、
前記合成手段は、前記フレーム毎に合成画像を生成する
ことを特徴とする画像処理装置。 - 前記対応関係は、第2閾値以下の階調値と表示輝度の対応関係である暗部対応関係である
ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。 - 前記第1変換手段は、前記第3画像の暗部対応関係と滑らかに繋がる、前記第2閾値以上の階調値と表示輝度の対応関係である非暗部対応関係を、前記第3画像の非暗部対応関係として決定する
ことを特徴とする請求項9に記載の画像処理装置。 - 前記第2画像のダイナミックレンジは、前記第1画像のダイナミックレンジよりも狭いことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
- 前記第2画像のダイナミックレンジは、前記第1画像のダイナミックレンジの一部である
ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理装置。 - 第1画像を取得する第1取得ステップと、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得ステップと、
前記第1画像の領域であり且つ階調値が第1閾値以上の画素からなる領域である明部領域を代表する階調値と、前記明部領域のサイズと、の少なくとも一方を表す特徴情報を、前記第1画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて
前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換ステップと、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法。 - 前記第1変換ステップでは、階調値と表示輝度の対応関係が前記明部領域を代表する階調値が小さいほど前記第2画像の対応関係に近い第3画像に、前記第1画像を変換する
ことを特徴とする請求項13に記載の画像処理方法。 - 前記第1変換ステップでは、階調値と表示輝度の対応関係が前記明部領域のサイズが小さいほど前記第2画像の対応関係に近い第3画像に、前記第1画像を変換する
ことを特徴とする請求項13に記載の画像処理方法。 - 第1画像を取得する第1取得ステップと、
ダイナミックレンジが前記第1画像と異なる第2画像を取得する第2取得ステップと、
前記第1画像の階調値に関する特徴情報を、前記第1画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記第2画像の対応関係に近づける画像処理を行うことにより、前記第1画像を第3画像に変換する第1変換ステップと、
前記第2画像と前記第3画像を合成することにより合成画像を生成する合成ステップと、
を有し、
前記第1取得ステップでは、フレーム毎に第1画像を取得し、
前記第1画像の対応関係は、当該第1画像のダイナミックレンジに依存して変化し、
前記第1変換ステップでは、
階調値と表示輝度の対応関係が現在のフレームの1つ前のフレームの第3画像と等しい第3画像に現在のフレームの第1画像を変換する第1変換処理と、現在のフレームの第1画像の対応関係と前記第2画像の対応関係とを重みづけ合成した対応関係を有する第3画像に現在のフレームの第1画像を変換する第2変換処理と、を任意のタイミングで切り替えて実行することにより、前記フレーム毎に第1画像を第3画像に変換し、
前記合成ステップでは、前記フレーム毎に合成画像を生成する
ことを特徴とする画像処理方法。 - 撮影画像を取得する撮影画像取得手段と、
ダイナミックレンジが前記撮影画像より狭いCG画像を取得するCG画像取得手段と、
前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得手段と、
階調値と表示輝度の対応関係を前記特徴取得手段で取得された特徴情報に基づいて前記CG画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換手段と、
前記CG画像と前記変換画像を合成することにより合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置。 - 撮影画像を取得する撮影画像取得ステップと、
ダイナミックレンジが前記撮影画像より狭いCG画像を取得するCG画像取得ステップと、
前記撮影画像の階調値に関する特徴情報を、前記撮影画像から取得する特徴取得ステップと、
階調値と表示輝度の対応関係を前記特徴取得ステップで取得された特徴情報に基づいて前記CG画像の対応関係に近づける画像処理を行うことにより、前記撮影画像を変換画像に変換する変換ステップと、
前記CG画像と前記変換画像を合成することにより合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法。 - 請求項13〜16,18のいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014139478A JP6478499B2 (ja) | 2014-07-07 | 2014-07-07 | 画像処理装置、画像処理方法、及び、プログラム |
US14/788,883 US9736390B2 (en) | 2014-07-07 | 2015-07-01 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014139478A JP6478499B2 (ja) | 2014-07-07 | 2014-07-07 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016018309A JP2016018309A (ja) | 2016-02-01 |
JP2016018309A5 JP2016018309A5 (ja) | 2017-08-03 |
JP6478499B2 true JP6478499B2 (ja) | 2019-03-06 |
Family
ID=55017920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014139478A Expired - Fee Related JP6478499B2 (ja) | 2014-07-07 | 2014-07-07 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9736390B2 (ja) |
JP (1) | JP6478499B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6739257B2 (ja) * | 2016-07-06 | 2020-08-12 | キヤノン株式会社 | 画像処理装置とその制御方法及びプログラム |
JP6779695B2 (ja) * | 2016-07-28 | 2020-11-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、表示装置 |
JP2018050154A (ja) * | 2016-09-21 | 2018-03-29 | 三菱電機株式会社 | 画像合成装置および画像合成方法 |
CN106504215A (zh) * | 2016-11-10 | 2017-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种图像增强的方法及装置 |
WO2018110051A1 (ja) * | 2016-12-14 | 2018-06-21 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
EP3373585A1 (en) * | 2017-03-09 | 2018-09-12 | Thomson Licensing | Method for inverse tone mapping of an image with visual effects |
US10742899B1 (en) | 2017-08-30 | 2020-08-11 | Snap Inc. | Systems, devices, and methods for image enhancement |
KR102525560B1 (ko) * | 2017-11-10 | 2023-04-26 | 삼성디스플레이 주식회사 | 영상 신호 처리 회로, 그것을 포함하는 표시 장치 및 영상 신호 처리 방법 |
CN108495041B (zh) * | 2018-04-18 | 2020-09-29 | 国之云(山东)信息科技有限公司 | 一种用于电子终端的图像处理和显示方法、装置 |
CN108668090B (zh) * | 2018-07-03 | 2020-07-24 | 赛诺微医疗科技(浙江)有限公司 | 光学设备及其自动曝光方法 |
CN110569840B (zh) * | 2019-08-13 | 2023-05-16 | 浙江大华技术股份有限公司 | 目标检测方法及相关装置 |
JP7291808B2 (ja) * | 2020-01-14 | 2023-06-15 | 株式会社エビデント | 画像処理システム、画像処理方法 |
CN113870368A (zh) * | 2020-06-30 | 2021-12-31 | 北京小米移动软件有限公司 | 终端设备的图像处理方法、装置、电子设备及存储介质 |
US11790041B2 (en) * | 2021-12-01 | 2023-10-17 | Midea Group Co., Ltd. | Method and system for reducing false positives in object detection neural networks caused by novel objects |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100363826B1 (ko) * | 1999-06-07 | 2002-12-06 | 히다치덴시 가부시키가이샤 | 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법 |
JP3907173B2 (ja) * | 2002-02-20 | 2007-04-18 | 富士フイルム株式会社 | 画像合成方法及びその装置並びにデジタルスチルカメラ |
US7508421B2 (en) * | 2002-06-24 | 2009-03-24 | Fujifilm Corporation | Image pickup apparatus and image processing method |
JP2005142680A (ja) | 2003-11-04 | 2005-06-02 | Olympus Corp | 画像処理装置 |
JP4812282B2 (ja) * | 2004-11-05 | 2011-11-09 | 富士フイルム株式会社 | 画像処理方法及び装置並びに撮像装置 |
JP5317825B2 (ja) * | 2009-05-18 | 2013-10-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US11640656B2 (en) * | 2011-09-27 | 2023-05-02 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
CN104981861B (zh) * | 2013-02-14 | 2017-04-12 | 三菱电机株式会社 | 信号转换装置和方法 |
PT3324629T (pt) * | 2014-05-28 | 2019-10-08 | Koninklijke Philips Nv | Métodos e aparelhos para codificação de imagens hdr e métodos e aparelhos para utilização de tais imagens codificadas |
-
2014
- 2014-07-07 JP JP2014139478A patent/JP6478499B2/ja not_active Expired - Fee Related
-
2015
- 2015-07-01 US US14/788,883 patent/US9736390B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160006939A1 (en) | 2016-01-07 |
JP2016018309A (ja) | 2016-02-01 |
US9736390B2 (en) | 2017-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6478499B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US9997133B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
EP2538661A1 (en) | Image processing apparatus and image processing method | |
JP6700880B2 (ja) | 情報処理装置および情報処理方法 | |
JP2009044208A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP4479527B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
JP2018013696A (ja) | 画像処理装置および表示装置 | |
JP2016173477A (ja) | 画像表示装置及びその制御方法 | |
JP2016126617A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
JP6808762B2 (ja) | 情報処理装置および情報処理方法 | |
JP6611543B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5315125B2 (ja) | 画像処理装置、撮像装置、および合成画像の生成方法 | |
JP5127638B2 (ja) | 画像処理装置およびその方法 | |
CN110278386B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP2011199785A (ja) | 撮像装置及び方法 | |
JP2006333113A (ja) | 撮像装置 | |
JP5609787B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP5743456B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP7507554B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2021057060A (ja) | 情報処理装置および情報処理方法 | |
US10277826B2 (en) | Image processing apparatus and image processing method | |
JP2015126416A (ja) | 画像処理装置、制御方法およびプログラム | |
JP2018077488A (ja) | 表示装置、及び、表示装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6478499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |