JP6769466B2 - Image pickup device and image processing method - Google Patents
Image pickup device and image processing method Download PDFInfo
- Publication number
- JP6769466B2 JP6769466B2 JP2018181748A JP2018181748A JP6769466B2 JP 6769466 B2 JP6769466 B2 JP 6769466B2 JP 2018181748 A JP2018181748 A JP 2018181748A JP 2018181748 A JP2018181748 A JP 2018181748A JP 6769466 B2 JP6769466 B2 JP 6769466B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- unit
- raw data
- imaging
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本技術は、RAW撮影を行う撮像装置およびこの撮像装置により撮影されたRAWデータに対するポストプロダクションを行うポストプロダクション装置に関する。 The present technology relates to an imaging apparatus that performs RAW imaging and a post-production apparatus that performs post-production on RAW data captured by the imaging apparatus.
撮影された映像素材を含む様々な映像シーンが連結して構成される映像コンテンツの作成工程では、カメラを用いてシーンを撮像する作業、撮像された画像ソースを後処理(ポストプロダクション処理)する作業が順次行われる。これらの作業を効率的に行うためのコンテンツ作成システムが提案されている(たとえば、特許文献1参照)。 In the process of creating video content that consists of connecting various video scenes including captured video materials, the work of capturing the scene using a camera and the work of post-processing (post-production processing) the captured image source. Are performed in sequence. A content creation system for efficiently performing these operations has been proposed (see, for example, Patent Document 1).
特許文献1に記載のコンテンツ作成システムでは、ポストプロダクション処理において、撮影時に設定されるカメラ設定値と、映像を調整する効果補正値との2種類の補正パラメータが用いられる。カメラ設定値は、撮影時における設定値で、たとえば、露出、ホワイトバランス、ガンマ補正、カラー調整など、カメラの各機能を設定する値を含む。一方、効果補正値は、所望の画質を得るために撮影後の映像の補正に用いられる設定値である。たとえば、露出、ホワイトバランス、ガンマ補正、3D効果、トリミング、ズームなど、映像の効果に関する属性を調整する値を含む。ポストプロダクション処理時には、ユーザが操作入力部を介して設定した補正パラメータ値や、データベースに蓄積されている過去の編集情報に設定されている補正パラメータ値などが使われる。 In the content creation system described in Patent Document 1, two types of correction parameters, a camera setting value set at the time of shooting and an effect correction value for adjusting an image, are used in post-production processing. The camera setting value is a setting value at the time of shooting, and includes a value for setting each function of the camera such as exposure, white balance, gamma correction, and color adjustment. On the other hand, the effect correction value is a set value used for correcting an image after shooting in order to obtain a desired image quality. Includes values that adjust attributes related to video effects, such as exposure, white balance, gamma correction, 3D effects, cropping, and zoom. At the time of post-production processing, the correction parameter value set by the user via the operation input unit, the correction parameter value set in the past editing information stored in the database, and the like are used.
近年、撮影現場において撮像装置に各種のパラメータを与えることで、現像後の画像を確認することができるようになってきている。さらには、撮像装置で用いたパラメータをポストプロダクション装置の側にRAWデータと共にメタデータとして伝送してポストプロダクションでの現像に反映させる仕組みが検討されている。 In recent years, it has become possible to confirm the developed image by giving various parameters to the image pickup apparatus at the shooting site. Further, a mechanism is being studied in which the parameters used in the imaging device are transmitted to the post-production device side together with the RAW data as metadata and reflected in the development in the post-production.
本技術は、撮像装置で用いたパラメータをポストプロダクション装置の側にRAWデータと共にメタデータとして伝送してポストプロダクションでの現像に反映させる仕組みのさらなる高機能化を実現して、撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現することができ、ポストプロダクションの作業効率の向上を図ることのできる撮像装置および画像処理装置を提供することにある。 This technology realizes even higher functionality of the mechanism that transmits the parameters used in the image pickup device to the post-production device as metadata together with the RAW data and reflects it in the development in post-production, and realizes the photographer and cinematographer. It is an object of the present invention to provide an imaging device and an image processing device capable of reproducing an image intended by a person or the like more quickly and accurately in a post-production field and improving the work efficiency of post-production.
上記の課題を解決するために、本技術に係る撮像装置は、
撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部とを具備する。
In order to solve the above problems, the imaging device according to this technology is
An imaging unit that performs imaging and generates RAW data,
A first conversion unit that converts the generated RAW data into image data by interpolation, and
An acquisition unit that acquires the exposure index value corresponding to the illuminance of the shooting environment,
A first correction unit that corrects the value of the image data based on the exposure index value, and
It includes an output unit that outputs the RAW data and the acquired exposure index value in association with each other.
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有するものであってよい。 The acquisition unit may have an illuminance acquisition unit that acquires a measured value from the illuminometer and converts it into the exposure index value.
前記取得部は、画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力するようにしてもよい。
The acquisition unit further acquires information on the effective area for post-production of image data, and obtains information.
The output unit may output the RAW data and the acquired information about the effective area in association with each other.
前記取得部は、画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力するようにしてもよい。
The acquisition unit further acquires information for color correction of image data, and obtains information.
The output unit may output the RAW data and the acquired information for color correction in association with each other.
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)とすることができる。 The information for color correction can be ASC-CDL (The American Society of Cinematographers Color Decision List).
上記の課題を解決するために、本技術に係る画像処理装置は、
撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する。
In order to solve the above problems, the image processing device according to this technology is
An input unit for inputting RAW data output from the image pickup device and an exposure index value related to this RAW data,
A second conversion unit that converts the RAW data into image data by interpolation,
It is provided with a second correction unit that corrects the value of the image data based on the exposure index value.
前記入力部は、画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
上記の画像処理装置は、前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部をさらに具備するものであってよい。
The input unit further inputs information about an effective area for post-production of image data.
The image processing apparatus may further include a cutting portion for cutting out a portion corresponding to the effective area from the image data based on the information regarding the effective area.
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
上記の画像処理装置は、前記色修正のための情報をもとに前記画像データの色修正を行う色修正部をさらに具備するものであってよい。
The input unit further inputs information for color correction of the image data.
The image processing apparatus may further include a color correction unit that corrects the color of the image data based on the information for color correction.
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)とすることができる。 The information for color correction can be ASC-CDL (The American Society of Cinematographers Color Decision List).
以上のように、本技術によれば、撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現することができ、ポストプロダクションの作業効率の向上を図ることができる。 As described above, according to this technology, the image intended by the photographer, the cinematographer, etc. can be reproduced more quickly and accurately in the post-production field, and the work efficiency of the post-production can be improved. Can be done.
以下、本技術に係る実施形態を説明する。
本実施形態は、RAW撮像記録を行う撮像装置と、この撮像装置によって撮像されたRAWデータとこのRAWデータに対する現像用のメタデータを取得してポストプロダクションを行うポストプロダクション装置に関する。
Hereinafter, embodiments relating to the present technology will be described.
The present embodiment relates to an imaging apparatus that performs RAW imaging recording, and a post-production apparatus that acquires RAW data imaged by the imaging apparatus and metadata for development of the RAW data and performs post-production.
この撮像装置では、カメライメージャにより撮像されたRAWデータに対して色補間処理、増感/減感処理、ゲイン調整、色調整などが行われることによって得られた画像データを撮影現場の撮影者や撮影監督者等がリアルタイムで確認することができるように、当該画像データを撮像装置に接続されたモニターや、撮像装置に設けられたビューファインダに表示させることができる。撮影者や撮影監督者等は、モニターやビューファインダに表示された画像データを確認しつつ、当該画像データに対する現像用の各種のパラメータをメタデータの一部として設定することができる。 In this image pickup device, the image data obtained by performing color interpolation processing, sensitization / desensitization processing, gain adjustment, color adjustment, etc. on the RAW data captured by the camera imager is used by the photographer at the shooting site. The image data can be displayed on a monitor connected to the image pickup device or a view finder provided in the image pickup device so that the cinematographer or the like can check the image data in real time. The photographer, the cinematographer, and the like can set various parameters for development with respect to the image data as a part of the metadata while checking the image data displayed on the monitor or the view finder.
ここで、メタデータには、
1.ポストプロダクション装置において自動的に画像データに反映されるもの。
2.ポストプロダクション装置において画像データに対して任意に反映されるもの。すなわち、撮影現場の撮影者や撮影監督者等がポストプロダクションを行う作業者に対して「このように現像して欲しい」といった推奨的なメタデータとがある。
前者を「第1のメタデータ」、後者を「第2のメタデータ」と呼び分けることとする。
Here, in the metadata,
1. 1. What is automatically reflected in image data in post-production equipment.
2. What is arbitrarily reflected in the image data in the post-production device. That is, there is recommended metadata such as "I want you to develop in this way" for workers who perform post-production by photographers and cinematographers at the shooting site.
The former will be referred to as "first metadata" and the latter will be referred to as "second metadata".
第1のメタデータには、さらに、使用するカメライメージャの種類に対応して一意に決まるパラメータと、撮影時に人為的に設定されたパラメータとがある。 The first metadata further includes parameters that are uniquely determined according to the type of camera imager used and parameters that are artificially set at the time of shooting.
そして撮像装置は、RAWデータと上記のメタデータとを互いに関連付けてポストプロダクション装置に伝送する。 Then, the imaging device associates the RAW data and the above metadata with each other and transmits the RAW data to the post-production device.
ポストプロダクション装置では、撮像装置より伝送されたRAWデータとメタデータを取得し、RAWデータの現像に対して第1のメタデータが自動的に反映され、その結果がポストプロダクション装置に接続されたモニターに表示される。また、第2のメタデータは、ポストプロダクションの作業者からの指示のもとRAWデータの現像に適宜反映される。これにより撮影者や撮影監督者等が意図する画像データおよび推奨される画像データをポストプロダクションの場において再現することができる。 In the post-production device, the RAW data and metadata transmitted from the imaging device are acquired, the first metadata is automatically reflected for the development of the RAW data, and the result is a monitor connected to the post-production device. Is displayed in. Further, the second metadata is appropriately reflected in the development of the RAW data under the instruction from the post-production worker. As a result, the image data intended by the photographer, the cinematographer, etc. and the recommended image data can be reproduced in the post-production setting.
上記の第1のメタデータとしては、例えば以下がある。
1.撮影ガンマ(Capture Gamma Equation)
撮影ガンマには、例えば、Scene Linear、Cine-Log、そしてソニーが開発したS-Logなどがある。
2.ホワイトバランス(White Balance)
3.イメージャ感度(ISO Sensitivity)
4.RAWデータのブラック/グレー/ホワイトの値(RAW Code Value)
5.CDL適用ガンマ(Gamma For CDL)
ここで撮影ガンマ、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマは、撮像装置に使用されたカメライメージャの種類によって一意に決まるパラメータである。ホワイトバランスとイメージャ感度は撮影時に撮影者等によって選択されたデータである。
Examples of the above-mentioned first metadata include the following.
1. 1. Shooting Gamma Equation
Shooting gamma includes, for example, Scene Linear, Cine-Log, and S-Log developed by Sony.
2. White Balance
3. 3. Image speed (ISO Sensitivity)
4. RAW data black / gray / white value (RAW Code Value)
5. CDL Applicable Gamma (Gamma For CDL)
Here, the shooting gamma, the black / gray / white value of the RAW data, and the CDR applied gamma are parameters uniquely determined by the type of camera imager used in the imaging device. White balance and imager sensitivity are data selected by the photographer or the like at the time of shooting.
上記の第2のメタデータとしては、例えば以下がある。
1.EI(Exposure Index Of Photo Meter)
EIは、照度計から得られた照度に対応する露出指標値である。このEIとイメージャ感度の値をもとに画像データに対するゲイン調整などの処理が行われる。
Examples of the above-mentioned second metadata include the following.
1. 1. EI (Exposure Index Of Photo Meter)
EI is an exposure index value corresponding to the illuminance obtained from the illuminometer. Based on the values of EI and imager sensitivity, processing such as gain adjustment for image data is performed.
2.エフェクティブマーカ(Effective Marker)
エフェクティブマーカは、撮影された画像データの中で撮影現場の撮影者や撮影監督者等が意図する有効エリアを特定するための情報である。ポストプロダクション装置では、このエフェクティブマーカの情報をもとに画像データから有効な領域の切り出しなどが行われる。
2. Effective Marker
The effective marker is information for identifying an effective area intended by a photographer, a cinematographer, or the like at a shooting site in the captured image data. In the post-production device, an effective region is cut out from the image data based on the information of this effective marker.
3.ASC−CDL(The American Society of Cinematographers Color Decision List)
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色修正のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。
3. 3. ASC-CDL (The American Society of Cinematographers Color Decision List)
ASC-CDL is information for color correction defined by the American Society of Cinematographers (ASC). In ASC-CDL, the color is defined for each RGB by three parameters of offset (output value at zero input), slope (input / output gain), and power (input / output gun marker characteristic).
これらの第2のメタデータは、いずれも撮影現場の撮影者や撮影監督者等によって適宜選択される。撮像装置では、これら第2のメタデータが反映された画像をモニターを通して見ることができる。 All of these second metadatas are appropriately selected by the photographer at the shooting site, the cinematographer, and the like. In the imaging device, an image reflecting these second metadata can be viewed through a monitor.
撮像装置で設定された第1のメタデータおよび第2のメタデータは、例えば、XML(Extensible Markup Language)形式などのファイルとしてまとめられ、RAWデータのファイルと関連付けて、ストレージに保存、あるいは通信媒体を通じてポストプロダクション装置などに伝送される。 The first metadata and the second metadata set by the image pickup device are collected as a file such as XML (Extensible Markup Language) format, associated with the RAW data file, stored in the storage, or a communication medium. It is transmitted to post-production equipment through.
以下、本技術に係る第1の実施形態を図面をもとに説明する。
[撮像装置]
図1は本技術に係る一実施形態の撮像装置100の構成を示すブロック図である。
同図に示すように、本実施形態の撮像装置100は、カメライメージャ101、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT(Input Device Transform)処理部105、第1の色修正部106、第1のODT(Onput Device Transform)処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111を有する。
Hereinafter, the first embodiment according to the present technology will be described with reference to the drawings.
[Imaging device]
FIG. 1 is a block diagram showing a configuration of an
As shown in the figure, the
撮像装置100は、その他のハードウェア的な構成として、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ、ストレージ、ネットワークI/Fなどのコンピュータシステムを有する。メインメモリおよびストレージには、CPUにより実行されるプログラムが格納される。CPUはそのプログラムを実行することで、コンピュータシステムを、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT処理部105、第1の色修正部106、第1のODT処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111として動作させる。
The
カメライメージャ101(撮像部)は、RAW撮影用のイメージャであり、例えばCMOS(Complementary Metal Oxide Semiconductor)などである。
RAWファイル書き出し部102は、カメライメージャ101により得られたRAWデータをそのままファイル120に書き出す。
The camera imager 101 (imaging unit) is an imager for RAW photography, and is, for example, CMOS (Complementary Metal Oxide Semiconductor).
The RAW
第1のディベイヤ処理部103(第1の変換部)は、RAWデータに対して色補間などを行うことによってRGB画像(画像データ)を生成する。 The first debayer processing unit 103 (first conversion unit) generates an RGB image (image data) by performing color interpolation or the like on the RAW data.
第1の増感/減感・ゲイン調整・カラースペース変換部104(第1の補正部)は、第1のディベイヤ処理部103により変換された画像データに対して増感処理及び減感処理などを行う。第1の増感/減感・ゲイン調整・カラースペース変換部104は、増感処理及び減感処理が施された画像データに対して、第1のメタデータ取得部109より取得された第1のメタデータに属するホワイトバランス(White Balance)およびイメージャ感度(ISO Sensitivity)と、第2のメタデータ取得部110にて取得された第2のメタデータに属するEI(Exposure Index Of Photo Meter)をもとにゲイン調整を行い、画像データのカラースペースをカメライメージャ101のカラースペースから標準のカラースペースに変換する。
The first sensitization / desensitization / gain adjustment / color space conversion unit 104 (first correction unit) sensitizes and desensitizes the image data converted by the first
第1のIDT処理部105は、第1の増感/減感・ゲイン調整・カラースペース変換部104より出力された画像データを、第1のメタデータ取得部109より取得された第1のメタデータにそれぞれ属する撮影ガンマ(Capture Gamma Equation)およびCDL適用ガンマ(Gamma For CDL)をもとに、ASC−CDLを用いた色調整のための値に変換する。
The first
第1の色修正部106は、第1のIDT処理部105によって変換された画像データに第2のメタデータ取得部110により取得したASC−CDLを適用して色の修正を行う。
The first
第1のODT処理部107は、第1の色修正部106により色修正された画像データのカラースペースを撮像装置100に接続されたモニターのカラースペースに変換して当該モニターに出力する。
The first
エフェクティブマーカ合成部108は、第1の増感/減感・ゲイン調整・カラースペース変換部104より出力された画像データに、第2のメタデータ取得部110により取得されたエフェクティブマーカ(Effective Marker)のグラフィックスを合成してビューファインダに出力する。
The effective
第1のメタデータ取得部109は、第1のメタデータである撮影ガンマ、ホワイトバランス、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマを取得して、カメライメージャ101、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT処理部105、第1の色修正部106に供給する。
The first
第2のメタデータ取得部110は、第2のメタデータであるEI、エフェクティブマーカ(Effective Marker)、ASC−CDLを取得して、第1の増感/減感・ゲイン調整・カラースペース変換部104、エフェクティブマーカ合成部108、第1の色修正部106に供給する。
The second
第2のメタデータ取得部110は、EIを取得するEI取得部112(照度取得部)を有する。EI取得部112は、照度計113より有線または無線で送信された測定値をリアルタイムに取得し、露出指標値であるEI(Exposure Index of Photo Meter)の値に変換する。また、第2のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を有する。グラフィカルユーザインタフェース(GUI)114を通じて撮影者や撮影監督などより入力されたエフェクティブマーカ(Effective Marker)およびASC−CDLを受け付けることによってこれらを取得する。
The second
伝送部111(出力部)は、撮像装置100にて得られたRAWデータおよびメタデータとを互いに関連付けて後段の処理環境(ポストプロダクション装置200など)へ伝送する。
The transmission unit 111 (output unit) associates the RAW data and the metadata obtained by the
[ポストプロダクション装置]
図2は本技術に係る一実施形態のポストプロダクション装置200の構成を示すブロック図である。
同図に示すように、本実施形態のポストプロダクション装置200(画像処理装置)は、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207を有する。
[Post-production equipment]
FIG. 2 is a block diagram showing a configuration of a
As shown in the figure, the post-production device 200 (image processing device) of the present embodiment includes a RAW data /
ポストプロダクション装置200は、その他のハードウェア的な構成として、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ、ストレージ、ネットワークI/F、モニター、マウスやキーボードなどの入力装置などのコンピュータシステムを有する。メインメモリおよびストレージには、CPUにより実行されるプログラムが格納される。CPUはそのプログラムを実行することで、コンピュータシステムを、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207として動作させる。
The
RAWデータ・メタデータ取得部201(入力部)は、撮像装置100より伝送されたRAWファイルおよびメタデータを取得する。
The RAW data / metadata acquisition unit 201 (input unit) acquires the RAW file and metadata transmitted from the
第2のディベイヤ処理部202(第2の変換部)は、撮像装置100と同様、RAWデータに対して色補間などを行うことによってRGB画像(画像データ)を生成する。
The second debayer processing unit 202 (second conversion unit) generates an RGB image (image data) by performing color interpolation or the like on the RAW data as in the
第2の増感/減感・ゲイン調整・カラースペース変換部203(第2の補正部)は、第2のディベイヤ処理部202により変換されたRGB画像(画像データ)に対して増感処理及び減感処理などを行う。第2の増感/減感・ゲイン調整・カラースペース変換部203は、増感処理及び減感処理が施された画像データに対して、RAWデータ・メタデータ取得部201によって取得された第1のメタデータに属するホワイトバランス(White Balance)およびイメージャ感度(ISO Sensitivity)と、第2のメタデータに属するEI(Exposure Index Of Photo Meter)をもとにゲイン調整を行い、画像データのカラースペースを撮像装置100のカメライメージャ101のカラースペースから標準のカラースペースに変換する。
The second sensitization / desensitization / gain adjustment / color space conversion unit 203 (second correction unit) sensitizes and performs sensitization processing on the RGB image (image data) converted by the second
第2のIDT処理部204は、第2の増感/減感・ゲイン調整・カラースペース変換部203より出力された画像データを、RAWデータ・メタデータ取得部201によって取得された第1のメタデータにそれぞれ属する撮影ガンマ(Capture Gamma Equation)およびCDL適用ガンマ(Gamma For CDL)をもとに、ASC−CDLを用いた色修正のための値に変換する。
The second
第2の色修正部205(色修正部)は、第2のIDT処理部204によって変換された画像データにRAWデータ・メタデータ取得部201により取得したASC−CDLを適用して色の修正を行う。
The second color correction unit 205 (color correction unit) corrects the color by applying the ASC-CDL acquired by the RAW data /
エフェクティブマーカ処理部206(切り出し部)は、第2の色修正部205によって色修正が施された画像データから、RAWデータ・メタデータ取得部201により取得された第2のメタデータに属するエフェクティブマーカ(Effective Marker)をもとに有効エリアの切り出し、リサイズなどの処理を行う。
The effective marker processing unit 206 (cutout unit) is an effective marker belonging to the second metadata acquired by the RAW data /
第2のODT処理部207は、エフェクティブマーカ処理部206によって切り出し、リサイズなどが施された画像データのカラースペースをポストプロダクション装置200に接続されたモニターのカラースペースに変換して当該モニターに出力する。
The second
[第2のメタデータに基づく処理について]
本実施形態では、撮像装置100において、EI、エフェクティブマーカ、ASC−CDLが、RAWデータの現像処理に反映させることを推奨する目的の第2のメタデータとして設定され、RAWデータおよび第1のメタデータと共にポストプロダクション装置200に伝送される。したがって、撮像装置100とポストプロダクション装置200のそれぞれにおいて、同一の第2のメタデータを共有することができ、撮影者や撮影監督者等が推奨する画像データをポストプロダクションの場において再現することができる。
[Processing based on the second metadata]
In the present embodiment, in the
次に、EI、エフェクティブマーカ、ASC−CDLに基づく処理について説明する。但し、本技術は以下の処理そのものに特徴を有するものではない。 Next, processing based on EI, effective markers, and ASC-CDL will be described. However, this technology does not have the characteristics of the following processing itself.
(EIを用いたゲイン調整)
次に、撮像装置100およびポストプロダクション装置200でのEIに基づく処理の例を説明する。
撮像装置100において、第2のメタデータ取得部110のEI取得部112は、照度計113より有線または無線で送信された測定値(dB)をリアルタイムに受信し、これを図3に示す表を用いてEI(Exposure Index of Photo Meter)の値に変換する。表に示されるように、EIは、"200"から"3200"までの範囲において決められる複数の整数値を少なくともカバーし、"800"を基準値とする。
(Gain adjustment using EI)
Next, an example of processing based on EI in the
In the
撮像装置100およびポストプロダクション装置200において増感/減感・ゲイン調整・カラースペース変換部(103,203)は、以下の式によってRAWデータのホワイトの値に適用するゲインを算出する。
EI/イメージャ感度 ・・・(1)
したがって、第1のメタデータとして与えられたイメージャ感度(ISO Sensitivity)の値を"800"、EIを"1600"としたとき、RAWデータのホワイトの値に適用するゲインの値として"2"が求められる。
In the
EI / Imager Sensitivity ・ ・ ・ (1)
Therefore, when the value of the imager sensitivity (ISO Sensitivity) given as the first metadata is "800" and the EI is "1600", "2" is set as the gain value applied to the white value of the RAW data. Desired.
図4は、増感/減感・ゲイン調整・カラースペース変換部(103,203)が画像データに割り当てるゲインを示すグラフである。RAWデータのブラックの値はカメライメージャ101のシャッタオフ時の値であることから照度依存性は無視することができるとしてゲインは"1"で固定である。RAWデータのホワイトの値に適用するゲインの値として"2"が上記の計算方法によって算出された場合、ブラックからホワイトまでの範囲のRAWデータの値に対して"1"から"2"までの範囲のゲインが比例的に割り当てられる。
FIG. 4 is a graph showing the gain assigned to the image data by the sensitization / desensitization / gain adjustment / color space conversion unit (103, 203). Since the black value of the RAW data is the value at the time of shutter off of the
より具体的には、RAW Code Valueのブラックの値(固定値)が"512"、RAW Code Valueのホワイトの値(測定値)が"2992"とした場合、(2992−512)×2=5472がゲイン調整されたホワイトの値となる。 More specifically, when the black value (fixed value) of RAW Code Value is "512" and the white value (measured value) of RAW Code Value is "2992", (2922-512) x 2 = 5472. Is the gain-adjusted white value.
以上のように本実施形態では、EIを第2のメタデータとしてポストプロダクション装置200に伝送するようにしたことによって、撮影者や撮影監督等が撮像装置100に接続されたモニターで見ていた明るさの画像をポストプロダクション装置200において再現することができる。これにより、ポストプロダクションの作業効率を向上させることができる。
As described above, in the present embodiment, the EI is transmitted to the
[エフェクティブマーカを用いた処理]
次に、撮像装置100およびポストプロダクション装置200でのエフェクティブマーカに基づく処理を説明する。
エフェクティブマーカは、撮影者が意図したフレーミングを表現することを目的とするメタデータである。エフェクティブマーカは、図5に示すように、有効エリアマーカのペイロードの画枠に対する縮小率(長片の比率)を示すEffective Marker Coverageと、有効エリアマーカのアスペクト比を示すEffective Marker Aspect Ratioとからなる。第1のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を通じてユーザより、マーカの縮小率の値を取得し、モニターの画面のアスペクト比との相関により、Effective Marker CoverageとEffective Marker Aspect Ratioを決定する。このエフェクティブマーカは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。
[Processing using effective markers]
Next, processing based on the effective marker in the
Effective markers are metadata that are intended to represent the framing intended by the photographer. As shown in FIG. 5, the effective marker includes an Effective Marker Coverage indicating the reduction ratio (ratio of long pieces) of the payload of the effective area marker to the image frame, and an Effective Marker Aspect Ratio indicating the aspect ratio of the effective area marker. .. The first
図6に示すように、撮像装置100では、エフェクティブマーカ合成部108が、第1のメタデータ取得部110によって取得されたエフェクティブマーカのメタデータをもとにビューファインダに表示された画像125にエフェクティブマーカのグラフィックス130を合成して表示させる。
一方、ポストプロダクション装置200では、エフェクティブマーカ処理部206が、RAWデータ・メタデータ取得部201によって取得されたエフェクティブマーカのメタデータをもとに、画像データから有効エリアを切り出し、切り出された画像データをもとの解像度まで拡大する。
As shown in FIG. 6, in the
On the other hand, in the
このように、エフェクティブマーカを第2のメタデータとしてポストロダクション装置200に伝送するようにしたことによって、撮影者や撮影監督等が意図する有効エリアの切り出し処理などをポストプロダクション装置200において迅速に行うことができる。これにより、ポストプロダクションの作業効率を向上させることができる。
By transmitting the effective marker as the second metadata to the
[ASC−CDLに基づく色修正]
次に、撮像装置100およびポストプロダクション装置200でのASC−CDLに基づく色修正について説明する。
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色調整のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。なお、ASC−CDLに基づく色修正の詳細については、"ASC Color Decision List (ASC CDL) Transfer Functions and Interchange Syntax,ASC-CDL_Release1.2,Joshua Pines and David Reisner,2009-05-04"などに開示される。
[Color correction based on ASC-CDL]
Next, color correction based on ASC-CDL in the
ASC-CDL is information for color adjustment defined by the American Society of Cinematographers (ASC). In ASC-CDL, the color is defined for each RGB by three parameters of offset (output value at zero input), slope (input / output gain), and power (input / output gun marker characteristic). Details of color correction based on ASC-CDL are disclosed in "ASC Color Decision List (ASC CDL) Transfer Functions and Interchange Syntax, ASC-CDL_Release1.2, Joshua Pines and David Reisner, 2009-05-04". Will be done.
撮像装置100において、第1のメタデータ取得部110は、例えば、図7に示すように、グラフィカルユーザインタフェース(GUI)114を用いてユーザより与えられた、RGB毎のオフセット、スロープ、パワーの各値を取得し、これらを1つのまとめてASC−CDLを作成する。図7のグラフィカルユーザインタフェース(GUI)114においては、RGB毎のオフセット、スロープ、パワーの各値は、スライドゲージまたはアップ/ダウンボタンを操作することによってそれぞれ個別にユーザが選択することができる。設定されたASC−CDLは、画像表示エリア131に表示された画像にリアルタイムに反映されることで、ユーザは画像の色の変化を確認しながらASC−CDLの設定を行うことができる。
In the
このASC−CDLは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。これにより、撮影者や撮影監督等が意図する色修正をポストプロダクション装置200の第2の色修正部205にて実行させることができ、この結果、ポストプロダクションの作業効率を向上させることができる。
This ASC-CDL is transmitted as the second metadata to the
以上、本技術に係る一実施形態を説明したが、本技術は次のような変形も可能である。
照度計113と撮像装置100との通信にはワイヤレス通信を採用することが有益である。また、照度計113は撮像装置100に一体に設けられていてもよい。
Although one embodiment of the present technology has been described above, the present technology can be modified as follows.
It is beneficial to employ wireless communication for communication between the
上記の一実施形態では、EI、エフェクティブマーカ、ASC−CDLを第2のメタデータとして撮像装置100からポストプロダクション装置200に伝送することとしたが、EI、エフェクティブマーカ、ASC−CDLのうち少なくともいずれか1つを第2のメタデータとして伝送するようにしてもよい。さらに、上記の一実施形態では、EI、エフェクティブマーカ、ASC−CDLをポストプロダクション装置200において自動的に現像に反映されることのないメタデータとして扱うこととしたが、EI、エフェクティブマーカ、ASC−CDLのうち少なくともいずれか1つはポストプロダクション装置200において自動的に現像に反映されるメタデータとして扱うように変更してもよい。
In the above embodiment, the EI, the effective marker, and the ASC-CDL are transmitted as the second metadata from the
なお、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 It should be noted that the present technology is not limited to the above-described embodiment, and it goes without saying that various modifications can be made without departing from the gist of the present invention.
本技術は以下のような構成も採ることができる。
(1)撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部と
を具備する撮像装置。
(2)前記(1)に記載の撮像装置であって、
請求項1に記載の撮像装置であって、
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有する
撮像装置。
(3)前記(1)から(2)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力する
撮像装置。
(4)前記(1)から(3)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力する
撮像装置。
(5)前記(1)から(4)のうちいずれか1つに記載の撮像装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
撮像装置。
(6)撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する画像処理装置。
(7)前記(6)に記載の画像処理装置であって、
前記入力部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部を
さらに具備する画像処理装置。
(8)前記(6)から(7)のうちいずれか1つに記載の画像処理装置であって、
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
前記色修正のための情報をもとに前記画像データの色修正を行う色修正部を
さらに具備する画像処理装置。
(9)前記(6)から(8)のうちいずれか1つに記載の画像処理装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
画像処理装置。
The present technology can also adopt the following configurations.
(1) An imaging unit that performs imaging and generates RAW data,
A first conversion unit that converts the generated RAW data into image data by interpolation, and
An acquisition unit that acquires the exposure index value corresponding to the illuminance of the shooting environment,
A first correction unit that corrects the value of the image data based on the exposure index value, and
An imaging device including an output unit that outputs the RAW data and the acquired exposure index value in association with each other.
(2) The image pickup apparatus according to (1) above.
The imaging device according to claim 1.
The acquisition unit is an imaging device having an illuminance acquisition unit that acquires a measured value from an illuminometer and converts it into the exposure index value.
(3) The imaging apparatus according to any one of (1) to (2) above.
The acquisition unit further acquires information regarding an effective area for post-production of the image data.
The output unit is an imaging device that outputs the RAW data and the acquired information about the effective area in association with each other.
(4) The imaging apparatus according to any one of (1) to (3) above.
The acquisition unit further acquires information for color correction of the image data, and obtains the information.
The output unit is an imaging device that outputs the RAW data and the acquired information for color correction in association with each other.
(5) The imaging apparatus according to any one of (1) to (4) above.
The information for color correction is an imaging device called ASC-CDL (The American Society of Cinematographers Color Decision List).
(6) An input unit for inputting RAW data output from the imaging device and an exposure index value related to the RAW data, and
A second conversion unit that converts the RAW data into image data by interpolation,
An image processing apparatus including a second correction unit that corrects the value of the image data based on the exposure index value.
(7) The image processing apparatus according to (6) above.
The input unit further inputs information regarding an effective area for post-production of the image data.
An image processing apparatus further comprising a cutout portion for cutting out a portion corresponding to the effective area from the image data based on the information regarding the effective area.
(8) The image processing apparatus according to any one of (6) to (7) above.
The input unit further inputs information for color correction of the image data.
An image processing apparatus further comprising a color correction unit that performs color correction of the image data based on the information for color correction.
(9) The image processing apparatus according to any one of (6) to (8) above.
The information for color correction is an image processing apparatus called ASC-CDL (The American Society of Cinematographers Color Decision List).
100…撮像装置
101…カメライメージャ
102…RAWファイル書き出し部
103…第1のディベイヤ処理部
104…増感/減感・ゲイン調整・カラースペース変換部
105…第1のIDT処理部
106…第1の色修正部
107…第1のODT処理部
108…エフェクティブマーカ合成部
109…第1のメタデータ取得部
110…第2のメタデータ取得部
111…伝送部
112…EI取得部
113…照度計
114…グラフィカルユーザインタフェース
200…ポストプロダクション装置
201…RAWデータ・メタデータ取得部
202…第2のディベイヤ処理部
203…増感/減感・ゲイン調整・カラースペース変換部
204…第2のIDT処理部
205…第2の色修正部
206…エフェクティブマーカ処理部
207…第2のODT処理部
100 ...
Claims (12)
前記撮像時に自動的に生成される第1のメタデータを取得する第1のメタデータ取得部と、
前記撮像後に表示部に表示された前記RAWデータに基づく画像に対してユーザにより設定されたASC−CDL(The American Society of Cinematographers Color Decision List)を含む第2のメタデータを取得する第2のメタデータ取得部と、
前記RAWデータに基づく画像であって、前記ユーザにより設定されたASC−CDLが反映された画像を表示部に表示させる表示制御部と、
前記取得された第1のメタデータおよび前記第2のメタデータを前記RAWデータと関連付けて保存する保存部とを備える
撮像装置。 An imaging unit that performs imaging and generates RAW data,
A first metadata acquisition unit that acquires the first metadata that is automatically generated at the time of imaging, and
A second metadata for acquiring a second metadata including an ASC-CDL (The American Society of Cinematographers Color Decision List) set by the user for an image based on the RAW data displayed on the display unit after the imaging. Data acquisition department and
A display control unit that displays an image based on the RAW data on the display unit that reflects the ASC-CDL set by the user.
An imaging device including a storage unit that stores the acquired first metadata and the second metadata in association with the RAW data.
請求項1に記載の撮像装置。 The imaging device according to claim 1, wherein information for the user to select as a setting for an image based on the RAW data is displayed on the display unit together with the image based on the RAW data.
請求項2に記載の撮像装置。 The imaging device according to claim 2, wherein an image reflecting the user operation in real time is displayed on the display unit in response to the user operation for the information to be selected by the user.
請求項1から3のうちいずれかの1つに記載の撮像装置。 The imaging device according to any one of claims 1 to 3, wherein the second metadata acquisition unit acquires the second metadata by a button operation by the user.
請求項4に記載の撮像装置。 The imaging device according to claim 4, wherein the second metadata acquisition unit acquires the second metadata by operating an up / down button by the user.
請求項1から5のうちいずれかの1つに記載の撮像装置。 The imaging device according to any one of claims 1 to 5, wherein the second metadata is information for image processing by an external image processing device.
請求項1から6のうちいずれかの1つに記載の撮像装置。 The imaging device according to any one of claims 1 to 6 , wherein the second metadata acquisition unit further acquires information about an effective area of an image based on the RAW data as the second metadata. ..
請求項1から7のうちいずれかの1つに記載の撮像装置。 The imaging device according to any one of claims 1 to 7 , wherein the second metadata acquisition unit has an illuminance acquisition unit that acquires a measured value from a illuminometer and converts it into an exposure index value.
請求項6に記載の撮像装置。 The imaging device according to claim 6, wherein the second metadata is automatically reflected in the image data to be displayed in the external image processing device.
請求項1から9のうちいずれかの1つに記載の撮像装置。 The imaging device according to any one of claims 1 to 9 , further comprising a conversion unit that performs interpolation processing on the RAW data.
請求項1から10のうちいずれかの1つに記載の撮像装置。 Any of claims 1 to 10, further comprising a color correction unit that performs processing for correcting the color of the image based on the RAW data based on the second metadata including the ASC-CDL set by the user. The imaging device according to one of the above.
第1のメタデータ取得部が、前記撮像時に自動的に生成される第1のメタデータを取得し、
第2のメタデータ取得部が、前記撮像後に表示部に表示された前記RAWデータに基づく画像に対してユーザにより設定されたASC−CDL(The American Society of Cinematographers Color Decision List)を含む第2のメタデータとして取得し、
表示制御部が、前記RAWデータに基づく画像であって、前記ユーザにより設定されたASC−CDLが反映された画像を表示部に表示させ、
前記取得された第1のメタデータおよび前記第2のメタデータを前記RAWデータと関連付けて保存する
画像処理方法。 Acquire the RAW data generated by the imaging of the imaging unit,
The first metadata acquisition unit acquires the first metadata automatically generated at the time of the imaging, and obtains the first metadata.
The second metadata acquisition unit includes the ASC-CDL (The American Society of Cinematographers Color Decision List) set by the user for the image based on the RAW data displayed on the display unit after the imaging. Get as metadata,
The display control unit displays on the display unit an image based on the RAW data and reflecting the ASC-CDL set by the user.
An image processing method for storing the acquired first metadata and the second metadata in association with the RAW data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181748A JP6769466B2 (en) | 2018-09-27 | 2018-09-27 | Image pickup device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181748A JP6769466B2 (en) | 2018-09-27 | 2018-09-27 | Image pickup device and image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017199688A Division JP6409938B2 (en) | 2017-10-13 | 2017-10-13 | Imaging apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018201250A JP2018201250A (en) | 2018-12-20 |
JP6769466B2 true JP6769466B2 (en) | 2020-10-14 |
Family
ID=64667382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181748A Active JP6769466B2 (en) | 2018-09-27 | 2018-09-27 | Image pickup device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6769466B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4369585B2 (en) * | 2000-02-07 | 2009-11-25 | 富士フイルム株式会社 | Image processing device |
JP2005070862A (en) * | 2003-08-27 | 2005-03-17 | Canon Inc | Print control device, data processor, print system, print control method, storage medium storing computer-readable program, and program |
JP2007141152A (en) * | 2005-11-22 | 2007-06-07 | Canon Inc | Digital camera, printing device, and image supply device |
JP5311937B2 (en) * | 2008-09-05 | 2013-10-09 | キヤノン株式会社 | Imaging apparatus and image display method |
-
2018
- 2018-09-27 JP JP2018181748A patent/JP6769466B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018201250A (en) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11785349B2 (en) | Imaging apparatus and image processing apparatus | |
JP3974964B2 (en) | Image processing device | |
CN103179341A (en) | Image processing device, image processing method, and program | |
JP2005252711A (en) | Photographing system using digital still camera and photographing control method | |
EP2866434A1 (en) | Imaging apparatus | |
JP6409938B2 (en) | Imaging apparatus and image processing method | |
JP6049425B2 (en) | Imaging apparatus, image processing apparatus, and control method | |
JP6008716B2 (en) | Imaging apparatus, image processing apparatus, image processing system, and control method | |
JP6769466B2 (en) | Image pickup device and image processing method | |
JP6229809B2 (en) | Imaging apparatus and image processing method | |
US9413974B2 (en) | Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing | |
US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2004220438A (en) | Image processing program and method | |
JP7378963B2 (en) | Image processing device, image processing method, and computer program | |
JP7395258B2 (en) | Image processing device, image processing method, computer program and storage medium | |
JP7224826B2 (en) | Imaging control device, imaging control method, and program | |
JP2019033470A (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and program | |
US20230209176A1 (en) | Imaging apparatus | |
JP2004222076A (en) | Image processing program and method | |
KR20140071519A (en) | System and method for the profiling and calibration of film scanners | |
JP6039726B2 (en) | Imaging apparatus and control method thereof | |
JP5725821B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2018093327A (en) | Image control system, electronic apparatus, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200728 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200728 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200806 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200907 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6769466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |