JP6093679B2 - 映像変換システム、撮影システムおよびルックアップテーブル生成サーバ - Google Patents
映像変換システム、撮影システムおよびルックアップテーブル生成サーバ Download PDFInfo
- Publication number
- JP6093679B2 JP6093679B2 JP2013206347A JP2013206347A JP6093679B2 JP 6093679 B2 JP6093679 B2 JP 6093679B2 JP 2013206347 A JP2013206347 A JP 2013206347A JP 2013206347 A JP2013206347 A JP 2013206347A JP 6093679 B2 JP6093679 B2 JP 6093679B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- video
- conversion
- camera
- lookup table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
しかしながら、データフォーマットや画像変換ワークフローには標準が無いため、フォーマット変換や色空間の変換等の付帯作業が必要であり、作業の煩雑化、画像品質の低下、作業工数の増大を招いていた。
図7に示すAMPAS−IIFの色変換アーキテクチャは、基本的に、入力色空間ACES(Academy Color Encoding Specification)100および出力色空間OCES(Output Color Encoding Specification)102の2つの共通色空間と、両者間を対応つける共通変換RRT(Reference Rendering Transform)104および入出力デバイスと共通空間を変換する入力デバイス変換IDT(Input Device Transform)106/出力デバイス変換ODT(Output Device Transform)108とによりデジタル映像データ変換が定義されている。
即ち、デジタル映像データ変換系では、デジタルカメラ110の撮影映像データがIDT106によってACES100に変換され、又コンピュータグラフィックス(CG)114の映像データも直接ACES100に変換され、ACES100で色調整等の編集加工が行われた後、RRT104によってOCES102に変換され、OCES102からRDT/ODT108によってデジタルプロジェクタ112の出力映像データに変換される。
この銀塩フィルム系では、フィルムカメラで撮影されたフィルムからフィルムスキャナ122によって読み取られた画像濃度データは、標準ネガフィルム濃度APD116の濃度データに変換され、さらに、ADXコード118に変換された後、UB変換120によってACES100に変換され、ACES100で色調整等の編集加工が行われ、ACES100から、逆変換120によって再びADXコード118に変換され、フィルムレコーダ124によってインターネガ126が作成され、光学プリント128によって映画用ポジフィルムが作成され、フィルムプロジェクタ130に供される。
このように、広大な色空間であるACES100は、フィルムカメラおよびデジタルカメラで撮影された画像とCG画像とを、原画マスターとして保管するための共通色空間でもあり、色調整も、ACES空間で行われる。
一方、OCES102は、1,000,000:1以上のダイナミックレンジを有する理想的なディスプレイデバイスを想定した出力色空間であり、RRT変換104を介してACES色空間100と1対1で対応付けられている。OCES102は、AMPASIIFの内部色空間として位置付けられ、一般ユーザがOCES画像データを直接ハンドリングすることは想定されていない。
このように、ポストプロダクションでは、この標準ワークフローに従うことで、標準データフォーマット、かつ標準色空間で作業を行うことができ、画像交換における付帯作業が解消され、色調整作業の効率化、画像品質の向上、および工数削減の効果を上げることができる。
この色調整作業は、通常、試行錯誤の後、完了する工程であるため、全部の映像を見なくてはならないし、色調整をするカットやフレームを何回も繰り返して見ることになるので、非常に長い時間が掛かる作業になっているという問題があり、また、人件費の高い撮影監督やカラリストによる作業のため、映画制作のコストを引き上げる結果となっているという問題を招いていた。
また、特許文献1に記載の映像変換装置を含め、映画等の撮影の際に用いられる撮影機器は、レンタルされているのが一般的であり、撮影現場での色調整が間に合わず、撮影終了後、編集工程に進む前段階として撮影された映像の色調整を行いたい場合がある。
また、撮影後の編集工程において、時間帯や場所を問わず、撮影現場における監督等のユーザの意向を反映した色変換ルックアップテーブルを取得でき、映像編集機器において、生の映像データに対して色変換ルックアップテーブルを適用することで撮影現場でなされた最終出力デバイスの映像の色再現・色調整を行うことができる。
図1の映画の撮影・編集システムは、本発明の実施の形態1〜4に係る映像変換システム1A、1B、これらを用いる本発明の好適態様に係る撮影システム(プロダクション、撮影現場)2、および編集システム(ポストプロダクション、編集工程)3において利用される本発明の実施の形態5に係るルックアップテーブル生成サーバ(以下、LUT生成サーバ)4を備える。
また、副映像変換装置A12、副映像変換装置B22、および主映像変換装置32とこれらに接続されたルータ61およびネットワーク62とからなる映像変換システム1Aおよび主映像変換装置32とそれにそれぞれ接続された副映像変換装置E42および副映像変換装置D52とからなる映像変換システム1Bには、コントローラ81が接続される。
また、撮影システム2と編集システム3とは、主映像変換装置32、撮影映像記憶装置70、編集情報データ生成装置72、またはLUT生成サーバ4を介した携帯記憶装置72を通じて接続される。
このようなカメラとしては、カメラ映像データが取得できればどのようなカメラでもよいが、デジタル映像データが取得できるデジタルビデオカメラまたはデジタルカメラであるのが好ましい。なお、図示例の撮影システム2では3台のカメラを備えるが、4台以上のカメラを備えていてもよい。
本発明で用いられるカメラは、異なるメーカや異なる機種であってもよく、異なるメーカや異なる機種であると本発明はより高い効果を発揮する。
カメラA11〜C31には、撮影映像記憶装置70が接続され、カメラA11〜C31で撮影されたカメラ映像データが記憶される。
副映像変換装置A12、B22は、カメラA11、B21からのそれぞれのカメラ映像データをモニタA13、B23の表示色空間に合わせてそれぞれ変換し、映像の最終出力となる最終出力デバイス、例えば、デジタルプロジェクタやフィルムプロジェクタで用いる上映ポジフィルムの色空間へ変換した際に得られる、上映システムのデジタルプロジェクタやフィルムプロジェクタ等の映写機で再現される色、上映される映像の色を事前に映写機とは異なる表示デバイスであるモニタA13、B23でそれぞれ確認させるようにするためのものである。
主映像変換装置32は、副映像変換装置A12、B22と同様に、カメラC31に接続され、また、主映像変換装置32には、副映像変換装置A12、B22と同様にモニタC33が接続される。
主映像変換装置32は、副映像変換装置A12、B22と同様に、カメラC31からのカメラ映像データをモニタC33に合わせて変換し、映像の最終出力となる最終出力デバイス、例えば、デジタルプロジェクタやフィルムプロジェクタで用いる上映ポジフィルムの色空間へ変換した際に得られる、上映システムのデジタルプロジェクタやフィルムプロジェクタ等の映写機で再現される色、上映される映像の色を事前に映写機とは異なる表示デバイスであるモニタC33で確認させるようにするためのものである。
また、モニタの色再現情報とは、モニタ毎にキャリブレーションを行って得られるモニタの表示色空間の情報であり、撮影監督等のユーザによってコントローラ81から入力される。
副映像変換装置C42、D52は、カメラC31から出力され、主映像変換部32において色調整され、映像の出力の標準色空間へ変換された映像データをモニタD43、E53に合わせてそれぞれ変換し、映像の最終出力となる最終出力デバイス、例えば、デジタルプロジェクタやフィルムプロジェクタで用いる上映ポジフィルムの色空間へ変換した際に得られる、上映システムのデジタルプロジェクタやフィルムプロジェクタ等の映写機で再現される色、上映される映像の色を事前に映写機とは異なる表示デバイスであるモニタD43、E53でそれぞれ確認させるようにするためのものである。
また、モニタC33は、主映像変換装置32に1対1対応で設けられるもので、また、モニタD43、E53は、主映像変換装置32にそれぞれ接続された副映像変換装置C42、D52にそれぞれ1対1対応で設けられるもので、上述の副映像変換装置A12、B22と同様、色調整の結果をそれぞれ表示するための表示デバイスであって、撮影監督等が撮影後直ちに映写機で上映される映像の色を撮影現場で確認するためのモニタであり、撮影現場において映像の色調整を行った場合には、直ちに色調整された映像の色を確認するためのモニタである。
例えば、副映像変換装置および主映像変換装置を含め5台以上の映像変換装置を備えている場合には、副映像変換装置および主映像変換装置それぞれに対応して5台以上のモニタを備えるのがよい。
また、本発明で用いられるモニタは、上映システムの映写機で上映される映像の色を再現し、表示できれば特に制限はなく、従来公知の表示デバイスを用いることができる。なお、本発明で用いられるモニタは、上述のカメラと同様に、異なるメーカや異なる機種であってもよく、その場合には、本発明は、より高い効果を発揮することができる。
ルータ61は、ネットワーク62の中継器であり、ネットワーク62によって接続された副映像変換装置A12、B22、および主映像変換装置32間のデータの送受信を中継する。また、ネットワーク62は、撮影現場のみで利用されるイントラネットであり、例えば、ツイストペアケーブルや光ファイバ等によって構成され、各種端末器およびルータから送受信されるデータを伝達する。
ルータ61およびネットワーク62を通じて、副映像変換装置A12、B22から主映像変換装置32へカメラの機種情報および撮影設定情報、カメラ映像データおよびモニタの表示色空間に対応した色再現情報が出力され、また、主映像変換装置32から副映像変換装置A12、B22へ色変換LUTが出力される。
また、編集映像記憶装置71は、主映像変換装置32において、色調整され、映像の出力の標準色空間へ変換された映像データ(または、モニタA13〜モニタE53で確認された表示確認用の映像データ)、撮影シーン毎のカメラの機種情報、撮影設定情報および後述する色調整パラメータなどの色処理の情報(後述する色処理パラメータ)、モニタの機種情報、モニタの表示色空間に対応した色再現情報、および主映像変換装置32において編集加工された映像データの撮影シーン毎に対応したシーン番号やシーンに対応したカメラのタイムコードなどの編集加工の内容を記載した編集情報ファイル(XMLファイルやEDLファイルなど)等を記憶するものであり、上述の撮影映像記憶装置70と同様に、HDDやメモリ等によって構成される。
また、携帯記憶装置72は、主映像変換装置32から出力された撮影シーン毎のカメラの機種情報、撮影設定情報および後述する色調整パラメータなどの色処理の情報、モニタの機種情報、モニタの表示色空間に対応した色再現情報、および編集情報ファイルを記憶するものであり、ポータブルのHDDや、USBメモリ等によって構成され、撮影システム2から切り離して、持ち運びが可能なものである。
図1では、コントローラ81は映像変換システム1Aに接続されているが、実際は、例えば、副映像変換システムA12に接続されてもよく、副映像変換システムB22に接続されてもよく、主映像変換装置32に接続されてもよく、また、ルータ61およびネットワーク62を介して映像変換システム1A全体に接続されてもよい。同様に、コントローラ81は、映像変換システム1Bの副映像変換システムC42、D52に接続されてもよい。また、コントローラ81は、有線接続されていてもよく、また、無線接続されていてもよい。
コントローラ81は、映像変換システム1A、1Bを制御できれば、どのようなものでもよく、例えば、ルータ61およびネットワーク62を介して接続されるパソコン(PC)、例えば、ノート型PCや、デスクトップ型PCや、iPad(商品名)等のタブレット型PC等を用いることができる。
編集システム3は、LUT生成サーバ4から色変換LUTを取得し、撮影映像記憶装置70から予め取得したカメラ映像データを色変換LUTに基づいて色変換することで、撮影現場でなされた最終出力デバイスの映像の色再現を行うことができる。
カメラA11〜カメラC31で撮影されたカメラ映像データ(生の映像データ)は、撮影映像記憶装置70に出力され、映像変換システム1A、1Bへ出力される。映像変換システム1A、1Bは、ユーザによる撮影現場での色調整を可能とし、モニタA13〜E53において、最終出力デバイスでの映像の色再現を行い、カメラの機種情報および撮影設定情報、ユーザによる色調整の情報である色調整パラメータを出力し、また、映像データの編集加工等を行って、編集情報ファイル(XMLファイルやEDLファイル等)を出力する。
また、映像変換システム1A、1Bは、上述の色調整パラメータ等に対応した色変換後の静止画像または色変換前の静止画像および色変換後の静止画像を静止画像データとして色調整パラメータ等とともに記憶し、上述の色調整パラメータ等とともに外部に出力してもよく、また、撮影または色調整の際のユーザにコメントを入力させ、入力させたコメントを上述の色調整パラメータ等とともに記憶し、上述の色調整パラメータ等とともに外部に出力してもよい。
図2は、本発明の実施の形態1に係る映像変換システム1Aの構成の一部を示すブロック図である。実施の形態1に係る映像変換システム1Aは、副映像変換装置A12と主映像変換装置32とからなる。
副映像変換装置A12は、カメラA11に接続され、また、副映像変換装置A12には、モニタA13が接続されている。
副映像変換装置A12は、副本体制御部14、ルックアップテーブル変換部(以下、LUT変換部)15、LUTメモリ16、および副データ送受信部17からなり、カメラA11は、副映像変換装置A12のLUT変換部15に接続され、また、LUT変換部15には、モニタA13が接続される。なお、副本体制御部14は、本発明の接続情報取得部を兼ねる。
また、副本体制御部14には、コントローラ81が接続され、副本体制御部14は、コントローラ81によって撮影監督等により入力された色調整パラメータを取得し、副データ送受信部17を通じて、色調整パラメータをルータ61およびネットワーク62を介して主映像変換装置32へ出力するとともに、色調整パラメータに基づいて主映像変換装置32のLUT生成部35で再度生成された色変換LUTを上述と同様に取得し、LUT変換部15へ出力する。
LUTメモリ16は、LUT変換部15内に設置され、色変換LUTを記憶し、LUT変換部15によるカメラ映像データの色変換の際に色変換LUTを提供し、また、LUT変換部15により色変換LUTが書き換えられる。
また、主本体制御部34は、LUT生成部35および主データ送受信部37と相互に接続され、LUT生成部35および主データ送受信部37を制御するための指示を出す。
また、LUT生成部35は、主本体制御部34の指示により、カメラ映像データに標準的な色空間への変換とガンマ変換(例えばrec709やsRGB等)のみを施した後述する出力の標準の色空間(出力標準色空間)の映像データを主データ送受信部37を通じて編集加工映像記憶装置71および携帯記憶装置72に出力してもよく、また、この出力の標準の色空間の映像データに更に対応する信号処理等を施したうえで、編集システム3の各種編集機器に直接出力してもよい。ここで対応する信号処理等とは、編集システム3の各種編集機器の要求に基づく画像変換である。
カメラキャリブレーション部92は、IDT変換部91で入力色空間ACES(の映像データ)に変換された映像データを、カメラの機種情報および撮影設定情報に応じて補正するものである。
こうすることにより、メーカや機種の異なる複数台のカメラで撮影されたカメラ映像データは、シーン基準の色空間として定義される入力色空間ACES(の映像データ)に変換されるので、同一シーンであれば、同一の色の映像データに変換される。
こうして、メーカや機種の異なる複数台のカメラで撮影されたカメラ映像データであっても、高精度にマッチングの取れた入力色空間ACESの映像データとすることができる。
レンダリング変換部94は、ACES映像を、予め指定されている、映像コンテンツの出力ターゲット(映画館向けなのかTV放送向けなのか? デジタル上映なのかフィルム映写なのか? フィルムの種類は何なのか?等)に応じたレンダリング(編集加工)を施し、ターゲット出力デバイスの、出力デバイスに依存しない出力標準色空間内に変換する。即ち、レンダリング変換部94は、入力色空間ACESを、出力デバイスに依存しない出力標準色空間(DIC:Device Independent Color:デバイスインディペンデントカラー)に色変換するためのもので、入力色空間ACESの映像データを、出力色に編集加工して、出力標準色空間DICの編集加工された映像データとする。
この他、例えば、レンダリング変換部94を、RDT変換部、映画用フィルムのためのフィルムプレビューのための変換部等で構成してもよい。
したがって、出力標準色空間(DIC)は、理想的な出力デバイスのダイナミックレンジを、確認用表示デバイス(確認用モニタ)への色空間変換を行った後の、表示品質を低下させない範囲で削減した色空間でも良く、10000:1以上のダイナミックレンジに削減した色空間でもよい。
また、出力標準色空間(DIC)は、標準出力デバイス(標準出力モニタ)を想定した出力色空間、または映画システムにおいて映写機で上映される映写用フィルムのプレビューを想定した出力色空間であってもよい。
モニタキャリブレーション部96は、モニタ色空間変換部95でモニタの色空間に変換された映像データを、コントローラ81によって入力されたモニタの表示色空間に対応した色再現情報に応じて補正するものである。
こうすることにより、メーカや機種の異なる複数台のモニタで表示される映像であっても、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色と同じ色を表示することができる。
こうして、メーカや機種の異なる複数台のモニタで表示された映像であっても、高精度にマッチングの取れた映像とすることができる。
また、LUT生成部35は、主本体制御部34の指示により、主映像変換装置32に直接接続されたカメラC31により撮影されたカメラ映像データをモニタC33に出力する場合には、カメラC31により撮影されたカメラ映像データを、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタC33で表示するためのモニタ映像データをモニタC33へ出力する。
本発明の実施の形態1に係る映像変換システム1Aは、基本的に以上のように構成される。
副映像変換装置A12は、カメラA11およびモニタA13が接続されると、副本体制御部14により、カメラA11の機種情報および撮影設定情報と、カメラA11によって撮影されたカメラ映像データと、モニタA13の色再現情報とがそれぞれ取得され、副本体制御部14は、これらの情報を副データ送受信部17へ出力し、副データ送受信部17、ルータ61およびネットワーク62を通じて、これらの情報を主映像変換装置32へ出力する。
LMT変換部93は、詳細は後述するが、入力色空間ACESにおいて、映像データを色調整済映像データに変換し、レンダリング変換部94は、入力色空間ACESの映像データを、出力色に編集加工して、出力標準色空間DICの編集加工された映像データとする。
LUT生成部35は、主本体制御部34の指示に基づいて、このようにカメラA11の機種情報および撮影設定情報、カメラA11で撮影されたカメラ映像データ、およびモニタA13の色再現情報をもとに、カメラA11で撮影されたカメラ映像データを、モニタA13に対応したモニタ映像データに変換するとともに、カメラA11のカメラ映像データをモニタA13に対応したモニタ映像データに変換するための色変換LUTを生成する。
副映像変換装置A12は、主映像変換装置32のLUT生成部35で生成された色変換LUTを使って、LUT変換部15においてカメラA11からのカメラ映像データを色変換することにより、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色をモニタA13で表示することができる。
以上が、本発明の実施の形態1に係る映像変換システム1Aの基本動作である。
最初に、カメラA11によって撮影されたカメラ映像データが、副映像変換装置A12のLMT変換部15において主映像変換装置32より出力された色変換LUTにより色変換され、モニタ映像データとされてモニタA13へ出力され、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像がモニタA13に表示される。
主映像変換装置37は、主本体制御部34の指示に基づいてLUT生成部35のLMT変換部93へコントローラ81によって入力された色調整パラメータを出力し、LUT生成部35は、色調整パラメータを考慮して副映像変換装置AのLUT変換部15において用いられる色変換LUTを生成し直す。
LUT生成部35において色調整パラメータを考慮して生成された新たな色変換LUTは、主本体制御部34の指示に基づいて主データ送受信部37より副本体制御部A12の副データ送受信部17へ出力され、LUT変換部15のLUTメモリ16に記憶される。
以上が、本発明の実施の形態1に係る映像変換システム1Aの色調整動作である。
なお、主映像変換装置32のLUT生成部35は、コントローラ81により入力された色調整パラメータに基づいて、カメラA11からのカメラ映像データをモニタA13に表示するためのモニタ映像データに変換する色変換LUTを生成すると同時に、カメラC31からのカメラ映像データを、入力された色調整パラメータに基づいてモニタC33に対応するモニタ映像データに直接変換し、モニタC33へリアルタイムに出力してもよく、また、ユーザがモニタA13に表示された色調整後のモニタ映像を確認の後、ユーザによるコントローラ81からの指示によりモニタC33に表示されるモニタ映像データに色調整パラメータを反映し、モニタC33に表示してもよい。
図3は、本発明の実施の形態2に係る映像変換システム1Aの構成の一部を示すブロック図である。なお、実施の形態1と同様の構成は説明を省略する。
実施の形態2に係る映像変換システム1Aは、実施の形態1の構成に加えて、更に、カメラB21に接続される副映像変換装置B22と、副映像変換装置B22に接続されるモニタB23とを備える。副映像変換装置B22は、副映像変換装置A12と同様に、ルータ61およびネットワーク62を通じて主映像変換装置32と接続される。
副映像変換装置A12と同様に、副映像変換装置B22においても、カメラB21の機種情報および撮影設定情報、カメラB21によるカメラ映像データ、およびモニタB23の色再現情報が主映像変換装置32に出力され、LUT生成部35において副映像変換装置B22対する色変換LUTが生成され、副映像変換装置B22に出力され、LUT変換部25のLUTメモリ26に記憶される。副映像変換装置B22は、カメラB21からのカメラ映像データをLUT変換部25においてLUTメモリ26に記憶された色変換LUTに基づいて色変換を行い、モニタ映像データをモニタB23へ出力する。こうして、モニタB23では、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像を表示することができる。
以上が、本発明の実施の形態2に係る映像変換システム1Aの基本動作である。
例えば、最初に、カメラA11によって撮影されたカメラ映像データが、副映像変換装置A12のLMT変換部15において主映像変換装置32より出力された色変換LUTにより色変換され、モニタ映像データとされてモニタA13へ出力され、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像がモニタA13に表示される。同様に、モニタB23、モニタC33でも映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像が表示される。
主映像変換装置32は、主本体制御部34の指示に基づいてLUT生成部35のLMT変換部93へコントローラ81によって入力された色調整パラメータを出力し、LUT生成部35は、色調整パラメータを考慮して副映像変換装置A12のLUT変換部15および副映像変換装置B22のLUT変換部25において用いられる色変換LUTをそれぞれ生成し直す。
以上が、本発明の実施の形態2に係る映像変換システム1Aの色調整動作である。
なお、実施の形態2において、主映像変換装置32にルータ61およびネットワーク62を通じて接続される副映像変換装置の数は、特に制限がなく、主映像変換装置32が現実的に対応できる数まで増えてもよく、また、コントローラ81は、副映像変換装置A12に設置されるだけでなく、他の副映像変換装置に設置されてもよく、また、主映像変換装置32に設置されてもよい。
また、上述の記載では、コントローラ81において色調整パラメータが入力されると、副映像変換装置A12、B22、および主映像変換装置32に接続された全てのモニタにおいて色調整がリアルタイムに反映されているが、実施の形態1と同様、ユーザがモニタA13に表示された映像において色調整の影響を確認後、コントローラ81を指示して、全てのモニタに色調整を反映させてもよい。
以上のように、実施の形態2に係る映像変換システムも実施の形態1と同様の効果が得られる。
図4は、本発明の実施の形態3に係る映像変換システム1Bの構成の一部を示すブロック図である。なお、実施の形態1と同様の構成は説明を省略する。
実施の形態3に係る映像変換システム1Bは、主映像変換装置32に直接接続される副映像変換装置C42、D52をそれぞれ備え、副映像変換装置C42には、モニタD43が、副映像変換装置D52には、モニタE53がそれぞれ接続される。
また、コントローラ81は、主映像変換装置32の主本体制御部34に直接接続される。
副映像変換装置A12、B22と同様に、副映像変換装置C42、D52は、LUT変換部45、55をそれぞれ備え、LUT変換部45、55は、それぞれの色変換LUTを記憶するLUTメモリ46、56をそれぞれ備える。また、モニタD43、E53は、それぞれの表示色空間が異なり、色再現情報は異なるが、モニタA13〜C33と同様のものである。
主映像変換装置32は、主本体制御部34の指示に基づいて、カメラC31の機種情報および撮影設定情報、カメラC31によって撮影されたカメラ映像データ、および、モニタC33の色再現情報、ならびに、副映像変換装置C42に接続されたモニタD43の色再現情報および副映像変換装置D52に接続されたモニタE53の色再現情報をそれぞれ取得する。
以上が、本発明の実施の形態3に係る映像変換システム1Bの基本動作である。
最初に、カメラC31によって撮影されたカメラ映像データが、主映像変換装置32のLMT生成部35において色変換され、モニタ映像データとされてモニタC33へ出力され、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像がモニタC33に表示される。
また、カメラC31によって撮影されたカメラ映像データが、主本体制御部34の指示によりLMT生成部35において出力標準色空間DICの映像データとされ、主データ送受信部37を通じて副映像変換装置C42、D52にそれぞれ出力され、また、副映像変換装置C42、D52のLUT変換部45、55においてそれぞれ色変換され、モニタD53、モニタC23のそれぞれにおいて、映画システムの最終出力デバイスであるデジタルプロジェクタで再現される色の映像が表示される。
以上が、本発明の実施の形態2に係る映像変換システム1Aの色調整動作である。
また、上述の記載では、コントローラ81において色調整パラメータが入力されると、副映像変換装置C42、D52、および主映像変換装置32に接続された全てのモニタにおいて色調整がリアルタイムに反映されているが、実施の形態1、2と同様、ユーザがモニタC33に表示された映像において色調整の影響を確認後、コントローラ81を指示して、全てのモニタに色調整を反映させてもよい。
以上のように、実施の形態3に係る映像変換システムも実施の形態1、2と同様の効果が得られる。
図5は、本発明の実施の形態4に係る映像変換システム1A、1Bを含む撮影・編集システムを示すブロック図である。なお、実施の形態1と同様の構成は説明を省略する。
実施の形態4に係る映像変換システム1A、1Bは、携帯記憶装置72を備え、また、携帯記憶装置72は、撮影中または撮影終了後において、LUT生成サーバ4に接続され、LUT生成サーバ4は、編集システム3に関わる種々の編集機器に接続される。
携帯記憶装置72は、USBメモリや外付けHDD等であり、比較的大容量のデータを記憶することができる。携帯記憶装置72は、主映像変換装置32の指示により、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータおよび編集情報ファイル等を記憶する。
主映像変換装置32は、主本体制御部34の指示により主データ送受信部37より、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータおよび編集情報ファイル等を携帯記憶装置72に出力する。なお、カメラの機種情報および撮影シーン毎の撮影設定情報は、カメラ映像データが撮影されたカメラの情報であり、カメラ映像データは、カメラC31によって撮影されたものでもよく、また、図示しないカメラA11、B21等によって撮影されたものでもよい。
携帯記憶装置72は、LUT生成サーバ4に接続され、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータがLUT生成サーバ4へ出力される。
LUT生成サーバ4は、カメラの機種情報、撮影シーン毎の撮影設定情報、映像データの色調整を行う色調整パラメータ、ならびに編集システム3からの要求とに基づいて色変換LUTを生成し、編集システム3へ出力する。編集システム3は、撮影映像記憶装置70から予め取得したカメラ映像データを色変換LUTに基づいて色変換し、撮影現場における最終出力デバイスの映像の色再現を行うとともに、色再現のなされた映像データに対して各種編集を行う。
図6は、本発明の実施の形態5に係るLUT生成サーバ4の構成を示すブロック図である。
図6に示すように、LUT生成サーバ4は、データ受信部131と、データ受信部131に接続されるLUT生成部132、データ受信部131およびLUT生成部132に接続されるデータ送信部133を備え、また、データ受信部131、LUT生成部132およびデータ送信部133のそれぞれに接続される内部メモリ134を備える。また、また、データ受信部131、LUT生成部132、データ送信部133および内部メモリ134のそれぞれに接続される制御部135を備える。
LUT生成部132は、映像変換システム1A、1Bにおける主映像変換装置32のLUT生成部35と同様の構成であり、色処理パラメータと、上述の映像編集機器の出力色空間の情報とに基づいて色変換LUTを生成する。
内部メモリ134は、データ受信部131の受信した色処理パラメータや映像編集機器の出力色空間の情報を含む受信データ、LUT生成部が生成した色変換LUTを記憶する。
LUT生成サーバ4は、制御部135の指示に基づいて、データ受信部131において、映像変換システム1A、1Bから色処理パラメータを取得し、また、編集システム3から色変換LUTの生成要請を受け、編集システム3から編集システム3の映像編集機器の出力色空間の情報を取得する。データ受信部131で取得された色処理パラメータ、映像編集機器の出力色空間の情報は、LUT生成部132および内部メモリ134へそれぞれ出力される。
データ送信部133は、制御部135の指示により、LUT生成部132で生成された色変換LUTを取得し、色変換LUTの生成要請を出した編集システム3の映像編集機器へ、色変換LUTを出力する。
図示しないコントローラによって出力色空間の情報が指定された場合、上述の出力色空間の情報が取得された場合と同様に、色処理パラメータおよび指定された出力色空間の情報に基づいて色変換LUTが生成され、編集システム3の映像編集機器へ出力される。
編集システム3の映像編集機器において、撮影シーンに対応した色変換LUTに限らず、複数の色変換LUTによる色変換を試す場合に有効である。
また、実施の形態5のLUT生成サーバ4において、色処理パラメータは、撮影シーン毎に変更されたものであり、編集情報ファイルのシーン番号およびシーンに対応したカメラのタイムコードと関連付けられて記憶・管理されてもよい。
よって、LUT生成サーバ4において生成された色変換LUTは、シーン番号およびシーンに対応したカメラのタイムコードに対応して生成されたものであり、編集システム3の映像編集機器において、編集情報ファイルとともに用いられ、生の映像データに対して対応する色変換LUTを適用することで、適切な色再現を行うことができる。
また、データ受信部131において色処理パラメータとともに受信され、また、色変換LUTとともに出力される上述の撮影シーンの静止画像データは、映像変換システム1A、1Bでの色調整後の静止画像データだけでなく、色調整前の静止画像データおよび色調整後の静止画像データの2種類の静止画像データであってもよい。
ユーザは編集システム3の映像編集機器において、生の映像データの色変換の前に、撮影シーンに対応した色変換LUTが反映され、色変換のなされた静止画像を確認することができ、また、色調整前の静止画像と色調整後の静止画像とを比較することで、色変換LUTによる色変換の影響を検証することができる。
編集システム3の映像編集機器において、撮影時のコメントを確認することで、シーン毎の監督の撮影意図を把握することができる。
例えば、LUT生成サーバ4が、外部のクライアントである映像変換システム1A、1Bに接続された場合、データ受信部131は制御部135からの指示によりデータ送信部133を通じて映像変換システム1A、1Bへパスワードの入力要求を出力する。
データ受信部131は、入力されたパスワードが記録されたパスワードと一致した場合には、データ送信部133を通じて映像変換システム1A、1Bへ色処理パラメータの出力指示を出し、入力されたパスワードが記録されたパスワードと一致しない場合には、データ送信部133を通じて映像変換システム1A、1Bへパスワード不一致を通知し、映像変換システム1A、1BとLUT生成サーバ4との接続を遮断する。
なお、編集システム3の映像編集機器から映像編集機器の出力色空間の情報を取得する場合も同様である。すなわち、色変換LUTの生成要請を受けた際に、映像編集機器へパスワードの入力を求め、パスワードが一致した場合に、映像編集機器の出力色空間の情報を取得し、パスワードが一致しない場合には、パスワードの不一致を通知し、映像編集機器とLUT生成サーバ4との接続を遮断する。
上述のとおりパスワード認証を行うことで、不正ユーザによる色変換LUTの取得を防ぐことができる。
Claims (18)
- カメラの機種特性の除去、色調整を含む最終出力デバイスに対応した入力共通色空間から出力共通色空間への色変換、および確認用表示デバイスの機種特性に応じた色変換からなる映像データの色処理を行い、前記確認用表示デバイスによって撮影現場での色処理後の映像を確認可能な映像変換装置と、カメラによって撮影された生の映像データから上映用の最終映像データを制作する編集システムの映像編集機器とに接続されるルックアップテーブル生成サーバであって、
前記色処理された映像データの前記色処理の情報を記載した色処理パラメータと、前記映像編集機器の出力色空間の情報とを受信するデータ受信部と、
前記データ受信部により受信された前記色処理パラメータと、前記映像編集機器の出力色空間の情報とに基づいて色変換ルックアップテーブルを生成する色変換ルックアップテーブル生成部と、
前記色変換ルックアップテーブルを前記映像編集機器に送信するデータ送信部とを備え、
前記色変換ルックアップテーブル生成部は、前記生の映像データに適用することで、前記映像編集機器において前記色処理後の映像を再現する色変換ルックアップテーブルを生成することを特徴とするルックアップテーブル生成サーバ。 - 前記色処理パラメータは、撮影するシーン毎に変更されたものであり、シーン番号またはシーンに対応した前記カメラのタイムコードと対応付けられたものであることを特徴とする請求項1に記載のルックアップテーブル生成サーバ。
- 前記データ受信部は、前記色処理パラメータとともに、前記色処理パラメータに対応するシーンの静止画像データを取得し、
前記データ送信部は、前記色処理パラメータに基づく色変換ルックアップテーブルを送信する際、前記静止画像データを合わせて送信することを特徴とする請求項1または2に記載のルックアップテーブル生成サーバ。 - 前記静止画像データは、色変換前の静止画像データと前記色変換ルックアップテーブルに基づく色変換後の静止画像データとを含むことを特徴とする請求項3に記載のルックアップテーブル生成サーバ。
- 前記データ受信部は、外部のクライアントからアクセスされた際、前記クライアントに対してパスワードの入力を要求し、
入力されたパスワードが、予め設定されたパスワードと一致しない場合には、前記クライアントからのアクセスを遮断することを特徴とする請求項1〜4のいずれか一項に記載のルックアップテーブル生成サーバ。 - 前記データ受信部は、前記色処理パラメータに対応して、撮影または色調整の際にユーザが入力したコメントを受信し、
前記データ送信部は、前記色処理パラメータに基づく前記色変換ルックアップテーブルを送信する際、前記色処理パラメータに対応する前記コメントを送信することを特徴とする請求項1〜5のいずれか一項に記載のルックアップテーブル生成サーバ。 - カメラで撮影されたカメラ映像データから映写用画像を作成する映画システムで、前記カメラによる撮影が行われる撮影システムに用いられる、映像変換システムであって、
前記映像変換システムは、主映像変換装置と、前記主映像変換装置と相互に接続される少なくとも1つの副映像変換装置と、前記主映像変換装置および前記副映像変換装置の少なくとも一方に接続されるコントローラとからなり、
前記コントローラには、映像の最終出力となる最終出力デバイスの色を事前に異なる表示デバイスで確認させるための確認用表示デバイスの色空間に応じて設定される色再現情報が入力され、
前記副映像変換装置は、
前記カメラ映像データおよび前記カメラの機種情報および撮影設定情報をそれぞれ取得し、前記コントローラにおいて入力された前記確認用表示デバイスの色再現情報を取得する情報取得部と、
前記情報取得部が取得した前記カメラ映像データ、前記カメラの機種情報および撮影設定情報、ならびに前記確認用表示デバイスの色再現情報を前記主映像変換装置へ出力して、前記主映像変換装置からこれらに対応した色変換ルックアップテーブルを取得する副データ送受信部と、
前記副データ送受信部が取得した前記色変換ルックアップテーブルに基づいて前記カメラ映像データを前記確認用表示デバイスの色空間に変換して前記確認用表示デバイスの色空間の映像データを求めるルックアップテーブル変換部とを備え、
前記主映像変換装置は、
前記副映像変換装置から前記カメラ映像データ、前記カメラの機種情報および撮影設定情報、ならびに前記確認用表示デバイスの色再現情報を取得し、これらに対応した前記色変換ルックアップテーブルを前記副映像変換装置へ出力する主データ送受信部と、
前記主データ送受信部が取得した前記カメラ映像データ、前記カメラの機種情報および撮影設定情報、ならびに前記確認用表示デバイスの色再現情報からこれらに対応した前記色変換ルックアップテーブルを生成し、前記主データ送受信部へ出力する色変換ルックアップテーブル生成部とを備え、
前記副映像変換装置の前記ルックアップテーブル変換部は、前記主映像変換装置の前記色変換ルックアップテーブル生成部において生成された前記色変換ルックアップテーブルを用いて前記カメラ映像データを前記確認用表示デバイスの色空間の映像データに変換することを特徴とする映像変換システム。 - 前記コントローラにおいて、前記確認用表示デバイスの色空間の映像データの色調整を行うための色調整パラメータが入力され、
前記主映像変換装置の前記主データ送受信部は、前記コントローラにおいて入力された前記色調整パラメータを取得し、
前記主映像変換装置の前記色変換ルックアップテーブル生成部は、前記色調整パラメータに基づいて前記色変換ルックアップテーブルを再度生成し、
前記副映像変換装置の前記副データ送受信部は、再度生成された前記色変換ルックアップテーブルを再度取得し、
前記副映像変換装置の前記ルックアップテーブル変換部は、前記主映像変換装置の前記色変換ルックアップテーブル生成部において前記色調整パラメータに基づいて再度生成された前記色変換ルックアップテーブルに基づいて前記カメラ映像データを前記確認用表示デバイスの色空間の映像データに変換することで色調整を行うことを特徴とする請求項7に記載の映像変換システム。 - 前記主映像変換装置の前記色変換ルックアップテーブル生成部は、前記カメラ映像データを出力の標準の色空間の映像データに変換し、
前記主映像変換装置の前記主データ送受信部は、前記出力の標準の色空間の映像データを前記副映像変換装置に出力し、
前記副映像変換装置の前記ルックアップテーブル変換部は、前記主映像変換装置の前記色変換ルックアップテーブル生成部において生成された前記色変換ルックアップテーブルを用いて、前記主映像変換装置の前記色変換ルックアップテーブル生成部において変換された前記出力の標準の色空間の映像データを、映画システムの最終出力デバイスで再現される色を前記確認用表示デバイスで表示するための前記確認用表示デバイスの色空間の映像データに変換することを特徴とする請求項7または8に記載の映像変換システム。 - 前記コントローラには、前記確認用表示デバイスの色空間の映像データおよび前記出力の標準の色空間の映像データの色調整を行うための色調整パラメータが入力され、
前記主映像変換装置の前記主データ送受信部は、前記コントローラにおいて入力された前記色調整パラメータを取得し、
前記主映像変換装置の前記色変換ルックアップテーブル生成部は、前記カメラ映像データを前記色調整パラメータに基づいて前記出力の標準の色空間の映像データに再度変換し、
前記副映像変換装置の前記副データ送受信部は、前記色変換ルックアップテーブル生成部において前記色調整パラメータに基づいて再度変換された前記出力の標準の色空間の映像データを再度取得し、
前記副映像変換装置の前記ルックアップテーブル変換部は、前記主映像変換装置の前記色変換ルックアップテーブル生成部において生成された前記色変換ルックアップテーブルを用いて、前記主映像変換装置の前記色変換ルックアップテーブル生成部において前記色調整パラメータに基づいて再度変換された前記出力の標準の色空間の映像データを、映画システムの最終出力デバイスで再現される色を前記確認用表示デバイスで表示するための前記確認用表示デバイスの色空間の映像データに変換することで、色調整を行うことを特徴とする請求項9に記載の映像変換システム。 - 前記カメラ映像データは、前記カメラで撮影された際に映像記憶装置に記憶され、
前記カメラの機種情報および撮影設定情報は、前記カメラ映像データのメタデータから取得されることを特徴とする請求項7〜10のいずれか一項に記載の映像変換システム。 - 前記確認用表示デバイスの色再現情報は、前記確認用表示デバイスをキャリブレーションすることで算出される請求項7〜11のいずれか一項に記載の映像変換システム。
- 前記最終出力デバイスは、複数台の前記カメラで撮影された複数種類の前記カメラ映像データから前記映写用画像を作成する前記映画システムで前記映写用画像を上映するための映写機であり、
前記映像変換システムは、複数台の前記カメラに、または前記複数台の前記カメラのそれぞれに対応して接続され、また、複数台の前記確認用表示デバイスに、または前記複数台の前記確認用表示デバイスのそれぞれに対応して接続されるものであり、
前記確認用表示デバイスは、前記映画システムの撮影側で、前記最終出力デバイスの色を確認させるためのものである請求項7〜12のいずれか一項に記載の映像変換システム。 - 前記カメラは、被写体を撮影して前記カメラ映像データを取得するデジタルビデオカメラまたはデジタルカメラである請求項7〜13のいずれか一項に記載の映像変換システム。
- 前記出力の標準の色空間は、出力デバイスに依存しない色空間である請求項9または10に記載の映像変換システム。
- 前記出力の標準の色空間は、10000:1以上のダイナミックレンジを有する理想的な出力デバイスを想定した出力色空間、標準出力デバイスを想定した出力色空間、または映画システムの映写機で上映される映写用フィルムのプレビューを想定した出力色空間である請求項9または10に記載の映像変換システム。
- 複数台のカメラと、
前記複数台のカメラに対応してそれぞれ配置された請求項7〜16にいずれか一項に記載の映像変換システムと、
前記映像変換システムの少なくとも1つの副映像変換装置および主映像変換装置に対応してそれぞれ配置された確認用表示デバイスと、
前記映像変換システムの前記主映像変換装置に接続され、前記複数台のカメラで撮影された前記カメラ映像データ、または、前記主映像変換装置の前記色変換ルックアップテーブル生成部において前記カメラ映像データから変換された出力の標準の色空間の映像データを格納する映像記憶装置、または携帯記憶装置とを備えることを特徴とする映画システムの撮影システム。 - ルックアップテーブル生成サーバを更に備え、
前記ルックアップテーブル生成サーバは、少なくとも1つの映像編集機器を備える編集システムに接続され、前記カメラ映像データの撮影シーン毎の前記カメラの機種情報および撮影設定情報と、前記カメラ映像データの色調整を行う色調整パラメータとを記憶し、編集システムからの要求に応じて、前記カメラの機種情報および撮影設定情報と前記色調整パラメータとに基づいて前記編集システムが使用する色変換ルックアップテーブルを生成し、前記編集システムへ出力することを特徴とする請求項17に記載の映画システムの撮影システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013206347A JP6093679B2 (ja) | 2013-05-02 | 2013-10-01 | 映像変換システム、撮影システムおよびルックアップテーブル生成サーバ |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013096811 | 2013-05-02 | ||
JP2013096811 | 2013-05-02 | ||
JP2013206347A JP6093679B2 (ja) | 2013-05-02 | 2013-10-01 | 映像変換システム、撮影システムおよびルックアップテーブル生成サーバ |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014233064A JP2014233064A (ja) | 2014-12-11 |
JP2014233064A5 JP2014233064A5 (ja) | 2016-01-07 |
JP6093679B2 true JP6093679B2 (ja) | 2017-03-08 |
Family
ID=52126203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013206347A Expired - Fee Related JP6093679B2 (ja) | 2013-05-02 | 2013-10-01 | 映像変換システム、撮影システムおよびルックアップテーブル生成サーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6093679B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199367A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、方法、プログラム、およびモデル |
EP4203467A4 (en) | 2020-09-08 | 2024-01-24 | Sony Group Corporation | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM |
CN114449354B (zh) * | 2022-02-07 | 2023-12-08 | 上海幻电信息科技有限公司 | 视频编辑方法和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002369024A (ja) * | 2001-06-11 | 2002-12-20 | Hitachi Ltd | 画像作成システム及び画像配信方法 |
JP4086580B2 (ja) * | 2002-07-30 | 2008-05-14 | キヤノン株式会社 | 画像処理装置、プログラム及び方法 |
JP2005024654A (ja) * | 2003-06-30 | 2005-01-27 | Toppan Printing Co Ltd | 色変換システム及び色変換方法 |
JP2006042294A (ja) * | 2003-09-11 | 2006-02-09 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
JP5877038B2 (ja) * | 2010-11-19 | 2016-03-02 | 富士フイルム株式会社 | 映写用画像の試し表示方法並びに装置、上映用フィルム、その作製方法並びに装置、映写用画像の映写方法、プログラム、及び、映画システム |
WO2012141179A1 (ja) * | 2011-04-11 | 2012-10-18 | 富士フイルム株式会社 | 映像変換装置、これを用いる映画システムの撮影システム、映像変換方法、及び映像変換プログラム |
-
2013
- 2013-10-01 JP JP2013206347A patent/JP6093679B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014233064A (ja) | 2014-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784541B2 (ja) | 映像変換装置、これを用いる映画システムの撮影システム、映像変換方法、及び映像変換プログラム | |
US7053927B2 (en) | System for optimizing the display and rendering of digital images for digital mastering | |
US6972828B2 (en) | Method and system for preserving the creative intent within a motion picture production chain | |
JP5094739B2 (ja) | 連続的なカラーグレーディングの方法 | |
US6987586B2 (en) | Method of digital processing for digital cinema projection of tone scale and color | |
JP5230433B2 (ja) | ビデオイメージについての修正情報を決定および通信するシステムおよび方法 | |
US20070211074A1 (en) | System and Method for Color Management | |
AU2006229744C1 (en) | Emulation of film image's tonescale and color | |
JP6093679B2 (ja) | 映像変換システム、撮影システムおよびルックアップテーブル生成サーバ | |
US20080007748A1 (en) | Compositing image data in a linear-light color space that preserves a desired look | |
JP6055964B2 (ja) | 映像制作システムおよび映像制作方法 | |
US9894315B2 (en) | Image capturing apparatus, image processing apparatus and method, image processing system, and control method for image capturing apparatus | |
WO2009078915A2 (en) | Wide gamut film system for motion image capture | |
JP6355431B2 (ja) | 画像処理装置およびシステム | |
Kainz | Using OpenEXR and the Color Transformation Language in Digital Motion Picture Production | |
JP2004159241A (ja) | 画像処理方法およびプリンタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151112 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160927 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161201 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6093679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |