JP5893476B2 - 画像表示システム及びその制御方法 - Google Patents
画像表示システム及びその制御方法 Download PDFInfo
- Publication number
- JP5893476B2 JP5893476B2 JP2012081127A JP2012081127A JP5893476B2 JP 5893476 B2 JP5893476 B2 JP 5893476B2 JP 2012081127 A JP2012081127 A JP 2012081127A JP 2012081127 A JP2012081127 A JP 2012081127A JP 5893476 B2 JP5893476 B2 JP 5893476B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- image data
- parameter value
- illumination spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
- G09G2320/062—Adjustment of illumination source parameters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
Description
上記課題を解決する方法は、例えば特許文献1に開示されている。具体的には、特許文献1には、マルチバンドカメラで得られる画像データから、撮影条件に基づいて被写体の分光反射率を推定し、これに任意の照明光のスペクトルデータを乗じることにより、任意の照明下での被写体の色を正確に再現する方法が開示されている。
マルチバンドカメラは、被写体を撮像し、一般的なRGB三原色よりも多くの原色についての情報を取得するカメラである。
一方、被写体の色を忠実に再現するには(モニタ上に被写体の色が忠実に再現された画像を表示するには)、モニタの表示特性が画像データ配信者が画像データ作成時に想定した表示特性と一致している必要がある。モニタの表示特性をユーザが変更した場合、モニタの表示特性が画像データ配信者が想定した表示特性と一致しなくなるため、被写体の色を忠実に再現することができなくなってしまう。
また、上述したように、被写体の分光反射率に任意の照明光のスペクトルデータを乗じることにより、任意の照明下での被写体の色が正確に再現可能な画像データを得ることができる。しかし、多種多様な照明の中から所望の照明を選択することは、ユーザの負担を招いてしまう。
画像データを配信するサーバと、配信された画像データに基づく画像を表示する表示装置とからなる画像表示システムであって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバは、
複数の照明スペクトルデータを、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記表示装置の現在の設定パラメータ値を取得する取得手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得手段で取得された設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データを前記表示装置に配信する配信手段と、
を有する
ことを特徴とする画像表示システムである。
画素毎の分光反射率のデータを配信するサーバと、配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置とからなる画像表示システムであって、
前記表示装置は、
設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整手段と、
複数の照明スペクトルデータを、設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、配信された画素毎の分光反射率の
データとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする画像表示システムである。
配信された画像データに基づく画像を表示する表示装置に画像データを配信するサーバであって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバは、
複数の照明スペクトルデータを、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記表示装置の現在の設定パラメータ値を取得する取得手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得手段で取得された設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データを前記表示装置に配信する配信手段と、
を有する
ことを特徴とするサーバである。
配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置であって、
設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整手段と、
複数の照明スペクトルデータを、設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする表示装置である。
画像データを配信するサーバと、配信された画像データに基づく画像を表示する表示装置とからなる画像表示システムの制御方法であって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバが、前記表示装置の現在の設定パラメータ値を取得する取得ステップと、
前記サーバが、記憶部に記憶された複数の照明スペクトルデータであって、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得ステップで取得された設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記サーバが、前記選択ステップで選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記サーバが、前記生成ステップで生成された画像データを前記表示装置に配信する配信ステップと、
を有する
ことを特徴とする画像表示システムの制御方法である。
画素毎の分光反射率のデータを配信するサーバと、配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置とからなる画像表示システムの制御方法であって、
前記表示装置が、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整ステップと、
前記表示装置が、記憶部に記憶された複数の照明スペクトルデータであって、設定可能な調整パラメータの値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記表示装置が、前記選択ステップで選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記表示装置が、前記生成ステップで生成された画像データに基づく画像を表示する表示ステップと、
を有する
ことを特徴とする画像表示システムの制御方法である。
本発明の第7の態様は、
配信された画像データに基づく画像を表示する表示装置に画像データを配信するサーバの制御方法であって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバの制御方法は、
前記表示装置の現在の設定パラメータ値を取得する取得ステップと、
記憶部に記憶された複数の照明スペクトルデータであって、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得ステップで取得された設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記選択ステップで選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記生成ステップで生成された画像データを前記表示装置に配信する配信ステップと、を有する
ことを特徴とするサーバの制御方法である。
本発明の第8の態様は、
配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置の制御方法であって、
設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整ステップと、
記憶部に記憶された複数の照明スペクトルデータであって、設定可能な調整パラメータの値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記選択ステップで選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記生成ステップで生成された画像データに基づく画像を表示する表示ステップと、
を有する
ことを特徴とする表示装置の制御方法である。
以下、本発明の実施例1に係る画像表示システム及びその制御方法について説明する。本実施例に係る画像表示システムは、画像データを配信するサーバと、配信された画像データに基づく画像を表示するクライアント装置とからなる。本実施例に係るクライアント装置は、設定された調整パラメータの値を用いて表示特性(表示輝度や表示色(表示色バランスや色温度))を調整する機能を有する。
マルチバンドカメラ1000は、被写体を撮像しマルチバンド画像データを生成するカメラであり、撮像素子とマルチバンドフィルタを用いて構成される。
マルチバンド画像データは、画素毎の反射スペクトルデータである。具体的には、マルチバンド画像データは、RGB三原色よりも多くの原色について被写体の反射光を測定することで取得される被写体の分光スペクトルデータ(反射スペクトルデータ)を、画素毎に表現したデータである。
また、マルチバンドカメラ1000は、撮影条件情報として、被写体に照射されている照明のスペクトルデータ(分光照射率のデータ;照明スペクトルデータ)、被写体と照明とマルチバンドカメラ1000との位置関係の情報などを取得する。
マルチバンドカメラ1000は、マルチバンド画像データ及びそれに対応する撮影条件情報を記憶し、出力する。
コントローラ1010は、以下に述べる構成要素を制御することでサーバ1001の一連の機能を達成する。
分光反射率データ生成部1012は、マルチバンド画像データと照明スペクトルデータをストレージ1011から読み出し、照明スペクトルデータを用いてマルチバンド画像データから照明成分をキャンセルする演算を行う。具体的には、分光反射率データ生成部1012は、画素毎の反射スペクトルデータを照明スペクトルデータで除算することにより、画素毎の分光反射率のデータ(分光反射率データ)を生成する。
なお、本実施例では、サーバ1001がマルチバンド画像データを記憶する構成としたが、画素毎の分光反射率のデータを記憶する構成であってもよい。
また、本実施例では、サーバ1001がマルチバンド画像データを取得する構成としたが、画素毎の分光反射率のデータを取得する構成であってもよい。
また、レンダリング照明データベース1019は、パラメータ値取得部1018から受信した調整パラメータの値を用いて、記憶する複数の照明スペクトルデータのうち1つを選択し、出力する。具体的には、レンダリング照明データベース1019は、パラメータ値取得部1018から受信した調整パラメータの値と、インデックスとして付加された調整パラメータの値とを比較する。そして、レンダリング照明データベース1019は、記憶する複数の照明スペクトルデータのうち、対応する調整パラメータの値とパラメータ値取得部1018から受信した調整パラメータの値との差が最も小さい照明スペクトルデータを選択し、出力する。以後、レンダリング照明データベース1019で選択された照明スペクトルデータをレンダリング照明スペクトルデータ、レンダリング照明スペクトルデータの照明をレンダリング照明と呼ぶ。
ンド画像データを生成する。
ユーザの希望に応じた照明スペクトルデータを用いることにより、所望の照明下におけるマルチバンド画像データを生成することができる。
ユーザが自室の照明下における被写体の見え方を再現したい場合には、レンダリング照明スペクトルデータとして自室の照明の照明スペクトルデータと同じものを選択すればよい。ユーザは、例えば、明るい照明、暗い照明、太陽光、人工光などの照明スペクトルデータの中から所望の照明スペクトルデータを選択すればよい。しかし、多種多様な照明スペクトルデータから所望の照明スペクトルデータを選択することはユーザにとって困難である。また、ユーザが所望するレンダリング照明スペクトルデータは、記憶する複数の照明スペクトルデータのうち、画像データの輝度がモニタの表示輝度と近くなるような(即ち、表示輝度の変化が最小限となるような)照明スペクトルデータである可能性が高い。そこで、本実施例では、上述したように、モニタの現在の調整パラメータの設定値を用いて、レンダリング照明スペクトルデータが決定(選択)される。それにより、ユーザの負担を招くことなく所望の照明下での被写体の見え方を表すマルチバンド画像データを得ることができる。なお、その後ユーザがレンダリング照明スペクトルデータの変更を望む場合には、ユーザの要求に従ってレンダリング照明スペクトルデータの変更が行われる。
テーブル値は二つの変換を達成する値である。変換の一つはマルチバンド画像データからRGB画像データへの変換である。もうひとつはRGB画像データに基づく画像をモニタ1021で表示した際に、被写体の色が忠実に再現されるように、RGB画像データのRGB値をモニタ1021のプロファイルデータを用いて補正する変換である。
プロファイルデータを用いてバンド変換(マルチバンド画像データからRGB画像データへの変換)を行うことで、期待される表示色とモニタの実際の表示色との差異を打ち消すことができる。それにより、モニタ1021に被写体の色が忠実に再現された画像を表示することができる。
通信インターフェース1015は、サーバ1001とネットワーク回線1003とを有
線または無線で接続するインターフェースである。
PC1020は、サーバ1001に対してユーザが閲覧を希望する画像データを要求し、サーバ1001が送信するRGB画像データを受信し、受信したRGB画像データに基づく画像をモニタ1021に表示する。
例えば、PC1020は、閲覧ソフトを備える。ユーザは、閲覧ソフトを使用して一般のWEBサイトやマルチバンドカメラで撮影した画像が掲載されたサイト、及び、これらに含まれる動画などを閲覧することができる。
モニタ1021は、液晶ディスプレイ等を用いて画像を表示する装置であり、表示輝度や表示色を調整可能に構成されている。
なお、PC1020とモニタ1021は一体の装置であってもよいし、別体の装置であってもよい。
コントローラ1031は、モニタ1021の動作を制御する。
輝度調整部1032、色調整部1033、及び、バックライト制御部1035は、設定された調整パラメータの値を用いて表示特性を調整する。調整パラメータは、PC1020で設定されてもよいし、モニタ1021に設けられた調整部で設定されてもよい。
輝度調整部1032は、PCから入力されたRGB画像データに対し、ゲイン値の乗算やオフセットの加算を行うことで、表示画像の輝度(表示輝度)を調整する。
色調整部1033は、PCから入力されたRGB画像データに対し、RGB個別にゲイン値の乗算やオフセットの加算を行うことで、表示画像のRGBのバランス(表示色)を調整する。色バランスを調整することにより、白色の色温度も調整される。
バックライト制御部1035は、表示部1034が備えるバックライトの光量を調整する。
UI部1030は、ユーザの操作を受け付ける。UI部1030は、スイッチとスイッチの状態を伝達する回路によって構成される。
通信インターフェース1037は、モニタ1021とPC1020とを有線または無線で接続するインターフェースである。
コントローラ1031は、UI部1030の状態や通信インターフェース1037からの情報を取得し、モニタの動作を制御する。
面が暗いと感じる場合に表示輝度を高くすることができる。表示画像の色がユーザが意図した色と異なる場合に、表示画像の色がユーザの意図した色と近くなるように、RGB各色の表示輝度を調整することができる。表示画像の色をプリンタの印刷結果(プリンタで印刷された画像の色)に近づけたい場合も、表示画像とプリンタの印刷結果とを比較しながら、それらの差異が小さくなるように、表示輝度と色バランスを調整することができる。
そこで、本実施例では、配信された忠実再現画像データに基づく画像を表示する際に、調整パラメータの設定値を初期値に変更する。それにより、被写体の色が忠実に再現された画像を表示することができる(期待されている色をモニタが表示する色を一致させることができる)。
PC1002は、ユーザ操作に応じて、サーバ1001から所望の画像データを取得する。そして、PC1002は、取得した画像データに基づく画像をモニタ1021に表示する。
このとき、PC1002は、モニタ1021のプロファイルデータと現在の調整パラメータの設定値をサーバ1001に転送する。サーバ1001は、これらの値を用いて、クライアント装置1002に対して送信する画像データを生成する。
まず、コントローラ1010は、クライアント装置1002に対してモニタのプロファイルデータを要求する(S1101)。PC1020は、当該要求に応じて、モニタ1021のプロファイルデータをサーバ1001に対して送信する。送信されたプロファイルデータは、プロファイル処理部1016に記憶される。そして、コントローラ1010がテーブル値生成部1017を制御することにより、プロファイル処理部1016に記憶されたプロファイルデータを用いたテーブル値の生成が行われる。
具体的には、パラメータ値取得部1018に記憶された調整パラメータの値に最も近い調整パラメータの値が対応付けられた照明スペクトルデータがレンダリング照明スペクトルデータとして選択される。
それにより、例えば、輝度調整値が高い場合はレンダリング照明スペクトルデータとして明るい照明の照明スペクトルデータが選択される。輝度調整値が低い場合は暗い照明の照明スペクトルデータが選択される。色温度調整値が高い場合は青みが強い照明の照明スペクトルデータが選択される。色温度調整値が低い場合は赤みが強い照明の照明スペクトルデータが選択される。
そして、コントローラ1010は、忠実再現フラグに「true」をセットし、忠実再現フラグ「true」をS1104で生成されたRGB画像データ(忠実再現画像データ)に付加する(S1105)。忠実再現フラグは、画像データが忠実再現画像データか否かを示すフラグである。なお、送信対象の画像データが被写体の色を忠実に再現する必要のない画像データである場合には、忠実再現フラグに「false」がセットされ、画像データに付加される。
次に、コントローラ1010が通信インターフェース1015を制御することにより、クライアント装置に対して、S1105で忠実再現フラグが付加されたRGB画像データが送信される(S1106)。
先に説明したように、サーバ1001はクライアント装置から画像データの要求を受けた場合、モニタのプロファイルデータとモニタの現在の調整パラメータの設定値を送信することをクライアント装置に対して要求する。
PC1020はS1202においてサーバからの要求を待つ。
サーバからプロファイルデータの送信要求があった場合は、PCはプロファイルデータをサーバ1001に対して送信する(S1204)。
サーバから現在の調整パラメータの設定値の送信要求があった場合は、PC1020は現在の調整パラメータの設定値をサーバ1001に対して送信する(S1205)。
サーバから画像データの受信要求があった場合は、PCはサーバ1001からの画像データを受信する(S1203)。
しかしながら、画像全体に対して調整パラメータの設定値の初期化を行うと、サーバから受信した画像データに基づく画像の表示領域以外の領域の表示特性が突然変化してしまうため、ユーザに不快感を与えてしまう虞がある。
そこで、本実施例では、コントローラ1031が忠実再現画像データの表示領域(またはそれ以外の領域)を判断する。そして、調整値制御部1038が、忠実再現画像データの表示領域に対してのみ、調整パラメータの設定値の初期化を行う。図4の符号1501は忠実再現画像データに基づく画像の表示領域で、調整パラメータの設定値の初期化が行われる領域(初期化領域)である。図4の符号1502はGUIの表示領域で、調整パラメータの設定値の初期化が行われない領域(非初期化領域)である。
忠実再現フラグ「false」が付加されていた場合は、PC1020は、モニタ1021に対してユーザ調整の有効化を指示する(S1208)。ユーザ調整の有効化が指示された場合には、調整パラメータの設定値はそのままとされる。
そして、PC1020は、ユーザによる表示輝度や表示色の再調整を受け付ける(S1210)。例えば、ユーザは、表示された画像の輝度や色が期待通りとなるように、表示された画像を確認しながら調整パラメータの設定値を変更する。
調整パラメータの設定値の変更が無かった場合、PC1020は、S1212でユーザから画像の表示の終了が指示されるまで、画像の表示を行う。画像の表示の終了が指示された場合には、PCは、本フローを終了する。
することができる。具体的には、本実施例では、クライアント装置の色再現特性を表すプロファイルデータを用いて、画素毎の反射スペクトルデータから、クライアント装置で表示するための画像データが生成され、該生成された画像データに基づく画像が表示される。それにより、被写体の色が忠実に再現された画像を表示することができる。
また、本実施例によれば、記憶された複数の照明スペクトルデータのうち、対応する調整パラメータの値とモニタの現在の調整パラメータの値との差がもっとも小さい照明スペクトルデータが、レンダリング照明スペクトルデータとして選択される。それにより、ユーザが所望のレンダリング照明スペクトルデータを選択する手間を省略することができ、ユーザの負担を招くことなく、所望の照明下での被写体の色が忠実に再現された画像をモニタに表示することができる。
本実施例によれば、クライアント装置の現在の調整パラメータの設定値をもとに、レンダリング照明スペクトルデータが決定される。そして、レンダリング照明下での被写体の見え方を表す画像データが生成され、表示される。具体的には、調整パラメータの設定値が暗めの値であった場合には、暗い照明下での被写体の見え方を表す画像データが生成され表示される。調整パラメータの設定値が表示色の赤のレベルを相対的に高くするような値であった場合には、赤色が強い照明下での被写体の見え方を表す画像データが生成され表示される。それにより、モニタの表示特性の急激な変化を抑制することができる。例えば、表示対象として、明るい照明の下で撮影することにより得られたマルチバンド画像データが選択された場合に、高輝度の画像が突然表示されることを抑制することができる。ひいては、ユーザに不快感を与えることを抑制することができる。
なお、本実施例では、調整パラメータの設定値が初期値であるときのクライアント装置の色再現特性を表すプロファイルデータを用いる構成としたが、プロファイルデータはこれに限らない。例えば、現在の調整パラメータの設定値のときのクライアント装置の色再現特性を表すプロファイルデータを用いる構成であってもよい。そのような構成の場合には、忠実再現画像データを表示する際に調整パラメータの設定値を初期値に変更する処理は行わない。
なお、本実施例では、色バランスを調整することによりモニタの表示色が調整される場合について説明したが、白色の色温度を調整することによりモニタの表示色が調整される構成であってもよい。
以下、本発明の実施例2に係る画像表示システム及びその制御方法について説明する。実施例1では、サーバが忠実再現画像データの補正(照明成分の変更)を行うものとしたが、本実施例では、クライアント装置が忠実再現画像データの補正を行う。
マルチバンドカメラ1000、ネットワーク回線1003、モニタ1021は実施例1と同様であるため説明を省略する。
サーバ2001は、画素毎の分光反射率データを配信する。
PC2002は、配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像をモニタ1021に表示する。具体的には、PC2002は、ユーザ操作に応じてサーバに対して分光反射率データを要求する。そして、サーバから受信した分光反射率データからRGB画像データを生成し、生成したRGB画像データに基づく画像をモニタ1021に表示する。
分光反射率データ生成部2011は、分光反射率データ生成部1012と同様に、マルチバンドカメラから取得したマルチバンド画像データと撮影条件データ(照明スペクトルデータ)とから、画素毎の分光反射率データを生成する。
ストレージ2012は、分光反射率データ生成部2011で生成された分光反射率データを記憶する。ストレージ2012は、クライアント装置から要求を受けた場合に、記憶した分光反射率データを出力する。ストレージ2012から出力された分光反射率データは、通信インターフェース2013からクライアント装置へ配信される。
通信インターフェース2013は、サーバとネットワーク回線とを有線または無線で接続するインターフェースであり、クライアント装置からの要求を受信し、クライアント装置に対して分光反射率データを配信する。具体的には、画素毎の分光反射率データは、所定のフラグが付加されて配信される。
コントローラ2010はサーバの各機能部(構成要素)を制御する。
通信インターフェース2021は、PCとネットワーク回線とを有線または無線で接続するインターフェースである。通信インターフェース2021は、サーバ2001に対して分光反射率データの送信を要求し、サーバ2001が送信する分光反射率データを受信する。
通信インターフェース2024は、PCとモニタを有線または無線で接続するインターフェースである。
また、レンダリング照明データベース2028は、パラメータ値取得部2027から受信した調整パラメータの値を用いて、記憶する複数の照明スペクトルデータのうち1つを選択し、出力する。具体的には、レンダリング照明データベース2028は、パラメータ値取得部2027から受信した調整パラメータの値と、インデックスとして付加された調整パラメータの値とを比較する。そして、レンダリング照明データベース2028は、記憶する複数の照明スペクトルデータのうち、対応する調整パラメータの値とパラメータ値取得部2027から受信した調整パラメータの値との差が最も小さい照明スペクトルデータを選択し、出力する。
。生成された画像データはモニタへ出力される。それにより、モニタにおいて、上記生成された画像データに基づく画像が表示される。
テーブル値生成部2026は、後述するプロファイル処理部2025が記憶するモニタ1021のプロファイルデータを参照し、バンド変換部2023が有する変換テーブルにセットするテーブル値を生成する。
PC2002は、ユーザ操作に応じて、サーバ2001から所望の分光反射率データを取得する。そして、PC2002は、取得した分光反射率データからRGB画像データを生成し、生成した画像データに基づく画像をモニタ1021に表示する。
コントローラ2010は、忠実再現フラグに「true」をセットし、画素毎の分光反射率データ(クライアント装置から要求されたデータ)に付加する(S2101)。
そして、コントローラ2010は、忠実再生フラグ「true」が付加された画素毎の分光反射率データをクライアント装置へ送信する(S2102)。データの送信が完了すると、コントローラ2010は本フロー(画像配信処理)を終了する。
まず、コントローラ2020は、モニタ1021に対してモニタのプロファイルデータを要求する(S2201)。モニタ1021は、当該要求に応じて、モニタ1021のプロファイルデータをPC2002に対して送信する。送信されたプロファイルデータは、プロファイル処理部2025に記憶される。
次に、コントローラ2020は、モニタ1021に対して現在の調整パラメータの設定値の送信を要求する(S2203)。モニタ1021は、当該要求に応じて、現在の調整パラメータの設定値を、PC2002に対して送信する。送信された値は、パラメータ値取得部2027に記憶される。
次に、コントローラ2020は、サーバ2001に対して分光反射率データの送信を要求し(S2205)、サーバ2001が分光反射率データの送信準備を完了することを待つ(S2206)。
サーバ2001の分光反射率データの送信準備が完了すると、PC2002には、画素毎の分光反射率データが入力される(S2207)。
忠実再現フラグ「false」が付加されていた場合は、コントローラ2020は、モニタ1021に対してユーザ調整の有効化を指示する(S2210)。
調整パラメータの設定値の変更があった場合、コントローラ2020は、変更後の値をパラメータ値取得部2027に記憶し、処理を2204に進める。それにより、新たに設定された調整パラメータの値を用いてレンダリング照明スペクトルデータが選択され、該デーの照明下での被写体の見え方を表す画像データが生成される。
S2212からS2214を経由してS2211に至る処理ループにより、更新された調整パラメータの設定値に応じた画像(期待通りの画像)を表示することができる。
調整パラメータの設定値の変更が無かった場合、コントローラ2020は、S2213でユーザから画像の表示の終了が指示されるまで、画像の表示を行う。画像の表示の終了が指示された場合には、コントローラ2020は、本フローを終了する。
く、所望の照明下での被写体の色が忠実に再現された画像をモニタに表示することができる。また、モニタの表示特性の急激な変化を抑制することができる。
1002 クライアント装置
1013,2022 レンダリング照明演算部
1014,2023 バンド変換部
1015 通信インターフェース
1017,2026 テーブル値生成部
1018 パラメータ値取得部
1019,2028 レンダリング照明データベース
1032 輝度調整部
1033 色調整部
1034 表示部
1035 バックライト制御部
Claims (18)
- 画像データを配信するサーバと、配信された画像データに基づく画像を表示する表示装置とからなる画像表示システムであって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバは、
複数の照明スペクトルデータを、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記表示装置の現在の設定パラメータ値を取得する取得手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得手段で取得された設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データを前記表示装置に配信する配信手段と、
を有する
ことを特徴とする画像表示システム。 - 前記選択手段は、対応する調整パラメータ値と前記取得手段で取得された設定パラメータ値との差がもっとも小さい照明スペクトルデータを選択する
ことを特徴とする請求項1に記載の画像表示システム。 - 前記生成手段は、
前記選択手段で選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、画素毎の反射スペクトルデータを生成し、
前記表示装置の色再現特性を表すプロファイルデータを用いて、前記画素毎の反射スペクトルデータから、前記表示装置で表示するための画像データを生成する
ことを特徴とする請求項1または2に記載の画像表示システム。 - 前記プロファイルデータは、設定パラメータ値が初期値であるときの表示装置の色再現特性を表すプロファイルデータであり、
前記表示装置は、
前記配信手段で配信された画像データに基づく画像を表示する際に、設定パラメータ値を初期値に変更する変更手段
を有する
ことを特徴とする請求項3に記載の画像表示システム。 - 前記配信手段は、前記生成手段で生成された画像データを、所定の情報を付加して配信し、
前記変更手段は、配信された画像データに前記所定の情報が付加されていた場合に、設定パラメータ値を初期値に変更する
ことを特徴とする請求項4に記載の画像表示システム。 - 前記所定の情報は、当該所定の情報が付加された画像データが色を忠実に再現する必要がある画像データであることを示す情報である
ことを特徴とする請求項5に記載の画像表示システム。 - 画素毎の分光反射率のデータを配信するサーバと、配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置とからなる画像表示システムであって、
前記表示装置は、
設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整手段と、
複数の照明スペクトルデータを、設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする画像表示システム。 - 前記選択手段は、対応する調整パラメータ値と現在の設定パラメータ値との差がもっとも小さい照明スペクトルデータを選択する
ことを特徴とする請求項7に記載の画像表示システム。 - 前記生成手段は、
前記選択手段で選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、画素毎の反射スペクトルデータを生成し、
色再現特性を表すプロファイルデータを用いて、前記画素毎の反射スペクトルデータから、前記表示手段で表示するための画像データを生成する
ことを特徴とする請求項7または8に記載の画像表示システム。 - 前記プロファイルデータは、設定パラメータ値が初期値であるときの色再現特性を表すプロファイルデータであり、
前記表示装置は、
前記表示手段が前記生成手段で生成された画像データに基づく画像を表示する際に、設定パラメータ値を初期値に変更する変更手段
を更に有する
ことを特徴とする請求項9に記載の画像表示システム。 - 前記サーバは、画素毎の分光反射率のデータを、所定の情報を付加して配信し、
前記変更手段は、配信された画素毎の分光反射率のデータに前記所定の情報が付加されていた場合に、設定パラメータ値を初期値に変更する
ことを特徴とする請求項10に記載の画像表示システム。 - 前記所定の情報は、当該所定の情報が付加された画像データが色を忠実に再現する必要がある画像データであることを示す情報である
ことを特徴とする請求項11に記載の画像表示システム。 - 配信された画像データに基づく画像を表示する表示装置に画像データを配信するサーバであって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバは、
複数の照明スペクトルデータを、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記表示装置の現在の設定パラメータ値を取得する取得手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得手段で取得された設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データを前記表示装置に配信する配信手段と、
を有する
ことを特徴とするサーバ。 - 配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置であって、
設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整手段と、
複数の照明スペクトルデータを、設定可能な調整パラメータ値と対応付けて記憶する記憶手段と、
前記記憶手段に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて、前記記憶手段に記憶された複数の照明スペクトルデータのうちの1つを選択する選択手段と、
前記選択手段で選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成手段と、
前記生成手段で生成された画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする表示装置。 - 画像データを配信するサーバと、配信された画像データに基づく画像を表示する表示装
置とからなる画像表示システムの制御方法であって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバが、前記表示装置の現在の設定パラメータ値を取得する取得ステップと、
前記サーバが、記憶部に記憶された複数の照明スペクトルデータであって、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得ステップで取得された設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記サーバが、前記選択ステップで選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記サーバが、前記生成ステップで生成された画像データを前記表示装置に配信する配信ステップと、
を有する
ことを特徴とする画像表示システムの制御方法。 - 画素毎の分光反射率のデータを配信するサーバと、配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置とからなる画像表示システムの制御方法であって、
前記表示装置が、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整ステップと、
前記表示装置が、記憶部に記憶された複数の照明スペクトルデータであって、設定可能な調整パラメータの値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記表示装置が、前記選択ステップで選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記表示装置が、前記生成ステップで生成された画像データに基づく画像を表示する表示ステップと、
を有する
ことを特徴とする画像表示システムの制御方法。 - 配信された画像データに基づく画像を表示する表示装置に画像データを配信するサーバの制御方法であって、
前記表示装置は、設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する機能を有するものであり、
前記サーバの制御方法は、
前記表示装置の現在の設定パラメータ値を取得する取得ステップと、
記憶部に記憶された複数の照明スペクトルデータであって、前記表示装置に設定可能な調整パラメータ値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、前記取得ステップで取得された設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記選択ステップで選択された照明スペクトルデータと、画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記生成ステップで生成された画像データを前記表示装置に配信する配信ステップと、を有する
ことを特徴とするサーバの制御方法。 - 配信された画素毎の分光反射率のデータから画像データを生成し、生成した画像データに基づく画像を表示する表示装置の制御方法であって、
設定された調整パラメータ値である設定パラメータ値を用いて表示特性を調整する調整ステップと、
記憶部に記憶された複数の照明スペクトルデータであって、設定可能な調整パラメータの値と対応付けて記憶された複数の照明スペクトルデータのうちの1つを、前記記憶部に記憶された複数の照明スペクトルデータにそれぞれ対応する複数の調整パラメータ値と、現在の設定パラメータ値と、の差に基づいて選択する選択ステップと、
前記選択ステップで選択された照明スペクトルデータと、配信された画素毎の分光反射率のデータとを用いて、該照明スペクトルデータの照明下での被写体の見え方を表す画像データを生成する生成ステップと、
前記生成ステップで生成された画像データに基づく画像を表示する表示ステップと、
を有する
ことを特徴とする表示装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012081127A JP5893476B2 (ja) | 2011-05-10 | 2012-03-30 | 画像表示システム及びその制御方法 |
US13/462,193 US8884843B2 (en) | 2011-05-10 | 2012-05-02 | Image display system and control method therefor |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011105321 | 2011-05-10 | ||
JP2011105321 | 2011-05-10 | ||
JP2012081127A JP5893476B2 (ja) | 2011-05-10 | 2012-03-30 | 画像表示システム及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012253745A JP2012253745A (ja) | 2012-12-20 |
JP2012253745A5 JP2012253745A5 (ja) | 2015-05-14 |
JP5893476B2 true JP5893476B2 (ja) | 2016-03-23 |
Family
ID=47141603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012081127A Expired - Fee Related JP5893476B2 (ja) | 2011-05-10 | 2012-03-30 | 画像表示システム及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8884843B2 (ja) |
JP (1) | JP5893476B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6373135B2 (ja) * | 2014-09-12 | 2018-08-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、および、画像配信システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07135594A (ja) * | 1993-11-11 | 1995-05-23 | Canon Inc | 撮像制御装置 |
US20020169805A1 (en) * | 2001-03-15 | 2002-11-14 | Imation Corp. | Web page color accuracy with image supervision |
JP3814494B2 (ja) * | 2001-04-27 | 2006-08-30 | 松下電器産業株式会社 | 色管理装置及び色管理システム |
JP4231661B2 (ja) * | 2002-05-23 | 2009-03-04 | オリンパス株式会社 | 色再現装置 |
US7535466B2 (en) * | 2004-09-27 | 2009-05-19 | Idc, Llc | System with server based control of client device display features |
KR100689849B1 (ko) * | 2005-10-05 | 2007-03-08 | 삼성전자주식회사 | 원격조정제어장치, 영상처리장치, 이를 포함하는 영상시스템 및 그 제어방법 |
JP4934487B2 (ja) * | 2007-04-26 | 2012-05-16 | キヤノン株式会社 | 色処理装置およびその方法 |
JP2008288859A (ja) * | 2007-05-17 | 2008-11-27 | Olympus Corp | 高度な色再現が可能な映像表示システム |
JP2009005004A (ja) * | 2007-06-20 | 2009-01-08 | Olympus Corp | 映像表示システム |
US8429750B2 (en) * | 2007-08-29 | 2013-04-23 | Enpulz, L.L.C. | Search engine with webpage rating feedback based Internet search operation |
JP5122920B2 (ja) * | 2007-11-19 | 2013-01-16 | オリンパス株式会社 | 色再現システム、色再現装置、色再現方法、および、色再現プログラム |
US7940423B2 (en) * | 2007-11-30 | 2011-05-10 | Canon Kabushiki Kaisha | Generating a device independent interim connection space for spectral data |
US20120054664A1 (en) * | 2009-05-06 | 2012-03-01 | Thomson Licensing | Method and systems for delivering multimedia content optimized in accordance with presentation device capabilities |
-
2012
- 2012-03-30 JP JP2012081127A patent/JP5893476B2/ja not_active Expired - Fee Related
- 2012-05-02 US US13/462,193 patent/US8884843B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20120287176A1 (en) | 2012-11-15 |
US8884843B2 (en) | 2014-11-11 |
JP2012253745A (ja) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2158059C1 (ru) | Устройство и способ автоматического регулирования параметров изображения на экране дисплея | |
US10373583B2 (en) | Image transforming vision enhancement device | |
JP4419393B2 (ja) | 情報表示装置及び情報処理装置 | |
US8130235B2 (en) | Apparatus and method of automatically adjusting a display experiencing varying lighting conditions | |
RU2649950C2 (ru) | Устройство отображения изображения и способ отображения изображения, оконечное устройство передачи информации и способ передачи информации и система отображения изображения | |
CN101866621A (zh) | 一种led显示屏校正系统和方法 | |
JP2007306259A (ja) | 設定画面表示制御装置、サーバー装置、画像処理システム、印刷装置、撮像装置、表示装置、設定画面表示制御方法、プログラム及びデータ構造 | |
JP2023525191A (ja) | 環境的に整合した人工現実コンテンツを生成するために光センサーを使用するディスプレイ | |
JP2000138948A (ja) | カラ―映像処理装置及び方法 | |
WO2014130575A1 (en) | Image appearance framework and applications for digital image creation and display | |
TW545069B (en) | Image processing method and image processing system | |
JP5893476B2 (ja) | 画像表示システム及びその制御方法 | |
JP2004032399A (ja) | 画像色再現システム、画像色再現プログラム、画像色再現方法 | |
JP5725271B2 (ja) | 色補正システム | |
JP2009081725A (ja) | 色処理装置およびその方法 | |
EP3827410A1 (en) | Color conversion for ambient-adaptive digital content | |
JP2011165091A (ja) | 色調調整装置、色調調整方法およびプログラム | |
JP2012195760A (ja) | 撮影設定調整システム、情報処理装置、およびその制御方法、並びに制御プログラム | |
JP2021089654A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2019092132A (ja) | 表示制御装置及び表示制御システム | |
JP2020067715A (ja) | 情報処理装置、情報処理装置の制御方法、コンピュータプログラム | |
JP6355431B2 (ja) | 画像処理装置およびシステム | |
JP2002247401A (ja) | 画像表示システム、画像処理方法、プログラムおよび情報記憶媒体 | |
US10609290B2 (en) | Video communication network with augmented reality eyewear | |
TW200935875A (en) | Camera and method of personality thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150326 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5893476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |