JP5659623B2 - 露出属性の設定方法およびコンピューター読み取り可能な記憶媒体 - Google Patents

露出属性の設定方法およびコンピューター読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP5659623B2
JP5659623B2 JP2010184754A JP2010184754A JP5659623B2 JP 5659623 B2 JP5659623 B2 JP 5659623B2 JP 2010184754 A JP2010184754 A JP 2010184754A JP 2010184754 A JP2010184754 A JP 2010184754A JP 5659623 B2 JP5659623 B2 JP 5659623B2
Authority
JP
Japan
Prior art keywords
exposure
setting
interest
image
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010184754A
Other languages
English (en)
Other versions
JP2011061773A (ja
Inventor
ビクター アイバシン
アイバシン ビクター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2011061773A publication Critical patent/JP2011061773A/ja
Application granted granted Critical
Publication of JP5659623B2 publication Critical patent/JP5659623B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Exposure Control For Cameras (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は露出属性を設定する方法およびコンピューター読み取り可能な記憶媒体に関する。
通常、一般的なデジタルカメラの露出設定は、(1)絞り、(2)シャッター速度、およ
び(3)ISO設定、の3つの調節可能な属性を含む。絞りはデジタルカメラの開口のサイズ
を決定する測定単位である。絞りが大きければ大きい程レンズを通過してカメラのデジタ
ルセンサーに向かう光の量が多くなる。シャッター速度はカメラにより画像が取り込まれ
る際、デジタルカメラのシャッターがどれだけの長さ開いているかを決定する測定単位で
ある。シャッター速度が遅ければ遅い程、露出時間が長くなる。ISO設定はカメラにおけ
るデジタルセンサーの光感度の測定単位である。ISO設定が高ければ高い程、デジタルセ
ンサーの感度が良くなる。
米国特許第7038727号明細書
現在、これらの露出設定を自動的に設定する一般的なデジタルカメラが入手可能である
。しかし、以下に説明するいくつかの一般的プロジェクターから比較的シームレスな表示
を作成するシステムを含み、一般的なデジタルカメラを自動化構成要素として含むいくつ
かのシステムにおいては、このような自動露出設定は充分の画質の画像取り込みができな
いことが多い。もちろん、露出設定を手動で行なうことはできる。しかし、満足できる露
出設定はしばしば画像毎に異なる。従って、露出設定の手動設定は時間を取りエラーを起
こしがちなプロセスとなる。
本発明の露出属性の設定方法は、取り込み装置で表面上のプレビュー画像の投影を取り
込むステップと、
前記取り込んだプレビュー画像において1つ以上の興味領域を特定する入力を受信する
ステップと、
較正プロセスに関連している露出画像を前記表面上に投影するステップと、
前記取り込み装置に対する露出属性の設定を演算するステップと、
前記露出属性の設定に基づき露出設定を記憶するステップとを有し、
前記各ステップの各操作はプロセッサーにより実行されるものであり、
前記演算するステップは、
(a)前記露出属性の設定を用いて前記取り込み装置で前記露出画像の投影を取り込む
ステップと、
(b)前記プレビュー画像を取り込むステップにおいて、前記特定された興味領域に対
応する興味領域におけるピクセルに関する1つ以上の記述統計を測定するステップと、
(c)前記1つ以上の記述統計を前記較正プロセスにより決定される評価関数で評価す
るステップと、
(d)前記取り込み装置に対する前記露出属性の改定設定を確立するステップとを反復
的に行なうことを含むことを特徴とする。
また、本発明の露出属性の設定方法において、前記記述統計は、前記プレビュー画像の
取り込みにおいて特定された前記興味領域に対応する前記露出画像の取り込みの前記興味
領域における前記ピクセルの1つ以上の色チャンネルに関連することを特徴とする。
また、本発明の露出属性の設定方法において、前記露出属性は、シャッター速度、絞り
、およびISO設定からなるグループから選択される1つ以上の属性を含むことを特徴と
する。
また、本発明の露出属性の設定方法において、前記色チャンネルは、赤の色チャンネル
、緑の色チャンネル、および青の色チャンネルを含むことを特徴とする。
また、本発明の露出属性の設定方法において、前記露出画像は、グレースケール画像、
赤画像、緑画像、または青画像の1つであることを特徴とする。
また、本発明の露出属性の設定方法において、前記記述統計は、中央値の最小、中央値
の最大、中央値の中央、および中央値の平均からなるグループから選択される1つ以上の
統計を含むことを特徴とする。
また、本発明の露出属性の設定方法において、前記露出属性の設定は、複数のプロジェ
クターから表示を作成するシステムの入力であることを特徴とする。
また、本発明の露出属性の設定方法において、前記露出画像は、前記較正プロセスにお
ける較正画像と実質的に類似していることを特徴とする。
また、本発明の露出属性の設定方法において、前記興味領域に関する入力は、グラフィ
カルユーザーインターフェイスにおけるビューにより受信されることを特徴とする。
また、本発明の露出属性の設定方法において、前記興味領域は実質的に同じサイズであ
ることを特徴とする。
また、本発明の露出属性の設定方法において、前記取り込み装置に対する前記露出属性
の初期設定を確立するステップと、
前記表面上にプレビュー画像を投影するステップとをさらに有し、
前記初期設定は少なくとも一部1つ以上のユーザー入力に依存し、前記ユーザー入力は
位置、向き、視野、視界の深度、シャッター速度、およびISO設定に対する調節からなる
グループから選択される調節を含むことを特徴とする。
また、本発明の露出属性の設定方法において、前記1つ以上の記述統計を測定するステ
ップは、前記露出画像の取り込みの興味領域における各ピクセルにメディアンフィルター
を適用することを含むことを特徴とする。
ここで、本発明のコンピューター読み取り可能な記憶媒体は、1つ以上のプロセッサー
によって方法が実行される有形の1つまたは複数のコンピューター読み取り可能な記憶媒
体であって、
前記方法は、
デジタルカメラ用に露出属性の第1設定を確立するステップと、
表面上にプレビュー画像を投影するステップと、
前記デジタルカメラで投影された前記プレビュー画像を取り込むステップと、
前記プレビュー画像を取り込むステップにおいて1つ以上の興味領域を特定する入力を
受信するステップと、
前記表面上に較正プロセスに関連する露出画像を投影するステップと、
前記デジタルカメラに対する露出属性の第2設定を演算するステップと、
前記露出属性の第2設定に基づく露出設定を記憶するステップとを有し、
前記第2設定を演算するステップは、
(a)前記露出属性の第1設定を用いて前記デジタルカメラで前記露出画像の投影を取
り込むステップと、
(b)前記プレビュー画像を取り込むステップにおいて特定された前記興味領域に対応
する興味領域におけるピクセルに関する1つ以上の記述統計を測定するステップと、
(c)前記1つ以上の記述統計を前記較正プロセスにより決定される評価関数で評価す
るステップと、
(d)前記デジタルカメラに対する露出属性の改定設定を確立するステップとを反復的
に行なうことを含むことを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記記述統計は、前
記プレビュー画像を取り込むステップにおいて特定された前記興味領域に対応する前記露
出画像の取り込みの興味領域におけるピクセルの1つ以上の色チャンネルに関連すること
を特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記露出属性は、シ
ャッター速度、絞り、およびISO設定からなるグループから選択される1つ以上の属性
を含むことを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記露出属性の最終
設定は、複数のプロジェクターからの比較的シームレスな表示を作成するシステムに対す
る入力であることを特徴とする。
また、本発明のコンピューター読み取り可能な記憶媒体において、前記興味領域に関す
る入力はユーザーから来ることを特徴とする。
一方、本発明の画像投影の設定方法は、
(a)較正プロセスの画像を複数の投影装置から表面上に表示するステップと、
(b)前記表面上の画像を初期露出設定を有する取り込み装置で取り込むステップと、
(c)特定された興味領域における各色チャンネルについて中央値を計算するステップ
であって、前記中央値は、露出設定が前記較正プロセスに対し満足できるものかを判定す
る評価関数に対する入力となるものであるステップと、
(d)追加画像に対し前記ステップ(a)乃至(c)を繰り返すステップとを有するこ
とを特徴とする。
また、本発明の画像投影の設定方法において、前記色チャンネルは赤の色チャンネル、
緑の色チャンネル、または青の色チャンネルの1つであることを特徴とする。
また、本発明の画像投影の設定方法において、前記画像は、グレースケール画像、赤画
像、緑画像、または青画像の1つであることを特徴とする。
また、本発明の画像投影の設定方法において、前記露出属性は、シャッター速度、絞り
、およびISO設定からなるグループから選択される1つ以上の属性を含むことを特徴と
する。
また、本発明の画像投影の設定方法において、さらに露出設定が不充分であると判定さ
れた場合に、前記露出設定を調節するステップを有することを特徴とする。
また、本発明の画像投影の設定方法において、さらに露出設定が満足できると判定され
た場合に、前記露出設定を記憶するステップを有することを特徴とする。
一実施形態例によりいくつかのプロジェクターから比較的シームレスな表示を作成するシステムにおけるハードウェア構成要素の概略図である。 一実施形態例によりいくつかのプロジェクターから比較的シームレスな表示を作成するシステムにおける高レベル機能モジュールの概略図である。 一実施形態例により較正プロセス用の露出属性の設定を得るモジュールにおける機能構成要素の概略図である。 一実施形態例によりいくつかのプロジェクターから比較的シームレスな表示を作成するシステムを較正するのに用い得る較正画像を記載する表を示す。 一実施形態例により較正プロセス用の露出属性の設定を得るプロセスを示すフローチャート図である。 一実施形態例により露出画像の取り込みにおいてユーザーにより特定された興味領域を評価するプロセスを図示するフローチャート図である。 一実施形態例により露出画像の取り込みにおける興味領域を特定するために用い得るGUIのダイアログを示す図である。
一実施形態例を要約すると、プロジェクタープラットフォームにおける較正モジュール
は第1操作がデジタルカメラの設定可能な露出属性の初期設定を確立する方法を含む。
次の操作で、較正モジュールはプレビュー画像を表面上に投影する。
較正モジュールはデジタルカメラでプレビュー画像の投影を取り込み、プレビュー画像
の取り込みにおいて興味領域を特定する入力を受信する。
次に、較正モジュールは表面上に露出画像を投影する。露出画像は較正プロセスを通じ
1つ以上の較正画像(またはテストパターン)に関係している。
較正モジュールは次に反復的に、(a)デジタルカメラで露出画像の投影を取り込むこ
と、(b)露出画像の取り込みにおける興味領域のピクセルの色チャンネルに関する記述
統計(例、最大、最小、中央値、および/または平均)を測定すること、(c)記述統計
を較正プロセスにより決定される評価関数で評価すること、(d)デジタルカメラにおけ
る露出属性の修正設定を確立すること、によりデジタルカメラの露出属性の最終設定を演
算する。
較正モジュールが露出属性の最終設定を演算した後、較正モジュールは露出画像に関係
する較正画像を表示する際プロジェクタープラットフォームが後に使用するために最終設
定を記憶する。
クレームされる発明のこれらおよび他の態様および利点は、添付図面と併せて発明の原
則を例示する以下の詳細な説明から明らかになろう。
以下の説明において、典型的な実施形態の充分な理解を提供するために多数の具体的な
詳細が記述される。しかし当業者であれば実施形態例はこれら具体的な詳細のいくつかが
なくても実施できることが明らかであろう。別の場合、既に周知の場合プロセス操作およ
び実施の詳細は詳しく説明されていない。
マルチプロジェクター表示システムの設定用に較正画像のセットを取り込むための較正
プロセスで利用されるデジタルカメラなどの取り込み装置の最適な露出設定を決定する方
法が説明される。方法は領域特定インターフェイス、露出画像の自動取り込み、測定およ
び評価機能、およびシステムの較正プロセスにより参照される露出設定手法を含む。以下
に説明する実施形態において、複数の露出画像が取り込まれ分析される。当業者であれば
、露出画像の正しい露出は取り込み内容の画質に直接的な影響があり、これは続いて処理
に送り込まれ、続くプロジェクターシステムの較正結果を決定することを理解しよう。
図1は一実施形態例によりいくつかのプロジェクターから比較的シームレスな表示を作
成するシステムにおけるハードウェア構成要素の概略図である。この実施形態において、
システム100はプロジェクタープラットフォーム102を含み、これは中央演算装置(CPU)
およびいくつかの図形処理装置(GPU)とともにメモリー、記憶装置、およびLinux(登録
商標)またはWindows(登録商標)のバージョンなどのオペレーティングシステムで構成
される汎用コンピューターであることができる。例えば、CPUはIntel(登録商標)Quad‐
CoreQ6600マイクロプロセッサーで、GPUはNVIDIA(登録商標)GeForce(登録商標)9800G
TXカードなど、Peripheral Component Interconnect Express(PCIe)規格に準拠する2つ
のグラフィックスカードであることができる。2つのグラフィックスカードはプロジェク
タープラットフォーム102が表面上の投影にビデオ出力を4台のビデオプロジェクター101a
、101b、101c、および101dに送信することを可能にする。
本明細書で説明される実施形態例は平坦な表面または平坦性の点で不規則な表面上への
投影に対応し得ることが理解されよう。一実施形態において、システム100の較正の際デ
ジタルスチールカメラ103(またはスチール写真を撮ることのできるデジタルカメラ)がU
SB(ユニバーサルシリアルバス)ケーブルを用いてプロジェクタープラットフォーム102
に取り付けられる。別の実施形態例において、システム100の較正にデジタルビデオカメ
ラを用い得る。較正に続き、デジタルカメラ103は取り除いても良い。オプションとして
取り込みカードはラップトップ106、メディアプレーヤー107、および/またはLAN(構内
ネットワーク)、WAN(広域ネットワーク)、インターネット、等々であり得るネットワ
ーク108からプロジェクタープラットフォーム102へのビデオ入力を可能にする。オプショ
ンとしてのセンサーバー104はプロジェクタープラットフォーム102へビデオでない入力を
可能にし、ウェブコンソール105も同様で、これはキーボードおよび/またはマウスから
入力を受信し得る。
図2は一実施形態例によりいくつかのプロジェクターから比較的シームレスな表示を作
成するシステムにおける高レベル機能モジュールの概略図である。この実施形態において
、プロジェクタープラットフォーム102は入力204を受信し、これらは処理され、次にビデ
オ205としてビデオプロジェクター101a、101b、101c、および101dに出力される。本図に
描かれるように、入力204はビデオ、画像、または取り込み(例、フレームグラバーハー
ドウェアによりまたはネットワーク上で取り込まれた)であり得る。デジタルカメラ103
はさらに取り込み較正画像の形で入力をプロジェクタープラットフォーム102に提供する
図2に描くように、プロジェクタープラットフォーム102は較正モジュール210および投
影プレーヤー203の2つの高レベルモジュールを実行し、これらはソフトウェア、ファーム
ウェア、および/またはハードウェアであり得る。較正モジュール201は較正データセッ
ト202を通じて投影プレーヤー203と連動し、較正データセットは後に投影プレーヤー203
が使用するために較正モジュール201の出力を永続的に記憶する。較正モジュール201は2
グループのモジュールを含む。
第1グループのモジュールは全般的に取り込みと初期化に係わり、(1)装置の検出と識
別、(2)較正タイプの選択、(3)カメラの位置合わせ、(4)カメラの露出、および(5
)取り込みプロセス、のモジュールを含む。
第2グループのモジュールは全般的に処理に係わり、(1)表示領域を検出する、(2)
クロッピングとマスクをする、(3)座標マッピングを演算する、(4)ブレンディングラ
ンプを準備する、(5)色曲線を測定し生成する、モジュールを含む。
較正モジュール201により出力される結果はすべて較正データセット202に記憶される。
モジュール206(カメラの露出)は一実施形態例において以下に説明する露出属性を設定
するプロセスが実行され得るモジュールである。別の実施形態例において較正モジュール
201における他のモジュールもこのプロセスの実行に適することができる。
投影プレーヤー203は較正データセット202およびメディア204に記憶されるデータを入
力として取り込む。図2に描かれるように、投影プレーヤーは次のモジュール、(1)GPU
再生マネージャー、(2)仮想フレームバッファー、(3)ユーザーインターフェイスレイ
アウトコントローラー、および(4)メディア引き出し、を含む。投影プレーヤー203はシ
ステムのGPUと連動し、後者は表面上に表示するためにプロジェクター101a‐101dに伝送
される調節済みビデオ出力205を生成すべくフラグメントシェーダーおよび頂点シェーダ
ーを実行する。
図3は一実施形態例により較正プロセス用の露出属性の設定を得るモジュールにおける
機能構成要素の概略図である。一実施形態において、プロジェクタープラットフォーム10
2は上述かつ図2に描かれるように、カメラ露出モジュール206を含む較正および初期化モ
ジュール201を実行する。
カメラ露出モジュール206は少数(例、4)の露出画像(例、赤画像、緑画像、青画像、
および/またはグレースケール画像)からなり得る較正プロセス301を入力として取り込
む。露出画像はより多数(例、10)の較正画像に結び付いていることができる。露出画像
と較正画像の相対的な数は例示であり、限定する意図ではない。
一実施形態において、プロジェクタープラットフォーム102用の較正画像は例えば無地
の赤、無地の緑、無地の青、無地の白、複数諧調の赤、複数諧調の緑、複数諧調の青、青
/緑縞の交互の帯、ならびに水平および垂直のラスター線を含むことができる。
カメラ露出モジュール206は較正露出設定302を出力し、これらは別途説明されるように
較正および初期化モジュール201の他のモジュールが後に使用できるようプロジェクター
プラットフォーム102に永続的に記憶される(例、データベースにおいて)。
図4は一実施形態例によりいくつかのプロジェクターから比較的シームレスな表示を作
成するシステムを較正するのに用い得る較正画像を記載する表を示す。表401における列
の見出しは例えば「超明度」、「超明度精密」、「性能」、および「精密」など、実施形
態例において用い得る較正プロセス(例、図3における較正プロセス301)である。
各列の見出しの下に記載される項目は構成画像のセットで、各セットは露出画像の1つ
と今後較正プロセスにより定義される較正露出設定に結び付けられる。例えば、列の見出
し「精密」の下には「ラスター_画像_行」と呼ばれる較正画像セットがあり、これは既
知のピクセル密度および垂直オフセットの黒い背景に描かれた白い水平ラスター線のいく
つかの較正画像からなり得る。
白の無地パターンの露出画像がこの較正画像セットにおける較正画像と結び付いている
ことができる。さらに、同じ列の見出しの下に「赤_画像」と呼ばれる較正画像セットが
あり、これは一実施形態において、赤い色相の既知のRGB(赤緑青)値における色の領域
を有する単一の較正画像からなり得る。「赤_画像」較正画像セットにおける単一の較正
画像はデジタルカメラの露出属性を設定する目的からそれ自体の露出画像として二役を用
い得ることが理解されよう。
さらに、ラスター_画像_行の較正画像セットにおける白い無地の露出画像は「精密」
較正プロセスに設定される白_画像の較正画像セットからの較正画像と結び付けることも
できる。このように、単一露出画像により決定される露出はいくつかの較正画像の間で共
有することができる。
図5は一実施形態例により較正プロセス用の露出属性の設定を得るプロセスを示すフロ
ーチャート図である。このプロセスは図3に描かれるようにプロジェクタープラットフォ
ーム102上の較正モジュール201(例、カメラ露出モジュール206)で実行することができ
る。従って、プロセスはソフトウェア、ファームウェア、および/またはハードウェアと
して実施可能である。
図5に示すプロセスの第1操作501において、較正モジュールはプロジェクタープラット
フォームのデジタルカメラ(例、スチール写真を撮ることのできるデジタルカメラ)を検
出し、デジタルカメラの可能な露出設定または属性のリストを取得する。
一実施形態において、libgphoto2などのオープンソースのソフトウェアライブラリーを
用いてデジタルカメラの露出設定(例、絞り、シャッター速度、およびISO設定)を検索
し、および/または設定し得ることが理解されよう。
一実施形態例において、露出属性の可能な設定を露出方向が維持されるように分類する
ことができる。例えば、シャッター速度を速いから遅い方向に列挙して単に可能な設定の
リストへのインデックス位置を調節することにより現在の露出設定を増やし、または減ら
すことができる。
他の露出属性は較正モジュールにより同様に扱うことができる。ここで、集合露出設定
が絞りの設定、シャッター速度の設置、ISO設定の設定、等々からなるとして、較正モジ
ュールにより集合露出設定を維持すること((例、揮発性または永続的記憶装置に)がで
きることが理解されよう。
プロセスの次の操作502において、較正モジュールは画像を表示して取り込み、投影プ
ラットフォームのユーザーにより(a)直接に、または(b)インターフェイス制御を用い
て遠隔からデジタルカメラへの手動調節を容易にする。
一実施形態において、ユーザーは表示する画像を選択できる。手動調節はデジタルカメ
ラの、(1)位置および/または向き、(2)視野(例、ズーム)、(3)被写界深度(例
、絞り)、(4)ピント、(5)ISO設定、および(6)シャッター速度、への調節を含むこ
とができる。
あるいは、プロセスにおけるこの時点で、ユーザーは時間と効果の点で高くつくかもし
れない手動調節の代わりにデジタルカメラにより提供される自動機能、例、オートフォー
カスまたは自動露出、を用いるかもしれない。この操作で表示される画像はプロジェクタ
ー表示領域を囲む格子または縁の要素を含むかもしれない。
あるいは、この操作で表示される画像は任意の適当な画像を代替することができるもの
の、本開示の他の場所で説明される較正プロセスに関連していることができる。一実施形
態において、画像はプロジェクタープラットフォームにおけるすべてのプロジェクター上
で表示されることができる。別の実施形態例において、画像はプロジェクタープラットフ
ォームのすべてより少ないプロジェクター上で表示されることができる。
プロセスの操作503において、較正モジュールは調節されたデジタルカメラから露出属
性の初期値を取り出す(例、ソフトウェアにより)。別の実施形態例において、較正モジ
ュールは各露出属性について利用可能な露出設置の分類されたリストにおける中央点の値
を選んで露出属性の初期値を設定することができる。
操作504において、較正モジュールは選択された較正プロセスに関連するプレビュー画
像、例えば超明度精密(上述のような)に関連する画像、をそれが選択された較正プロセ
スである場合表示し(例、プロジェクタープラットフォームにおけるすべてのプロジェク
ター上で)取り込む。
一実施形態において、プレビュー画像は無地の明るい色の領域であることができる。ま
たはプレビュー画像はその後較正モジュールにより表示される露出画像と同じかもしれな
い。
操作505において、較正モジュールは取り込まれたプレビュー画像における興味領域を
特定するユーザー入力を受信する。一実施形態例において、取り込まれたプレビュー画像
はユーザーが可視表示面にわたり明るい重なり合いおよび暗い重なり合わない部分を識別
できるようにするグレースケール画像に変換されることができる。グラフィカルユーザー
インターフェイス(GUI)におけるダイアログボックスに表示された取り込みプレビュー
画像上にカーソルを位置付けてマウスをクリックすることにより、取り込みプレビュー画
像について興味領域が示される。各興味領域はその後の露出画像の取り込みにおいて各々
の領域に相関させられる。
別の実施形態例は興味領域の特定を自動化することができる。以下に説明する統計的計
算における加重を避けるために、特定できる領域のすべてが同じサイズであることができ
る。この別の実施形態例において、特定可能な領域に対する固定サイズをユーザーから受
信しても良い。
引き続き図5を参照すると、操作506において、較正モジュールは選択された較正プロセ
スに関連する露出画像(例、図4における赤_画像較正画像セットと結び付いたもの)を
デジタルカメラから取り出された露出属性の初期値を用いて表示する(例、プロジェクタ
ープラットフォームのすべてのプロジェクター上で)。
操作507において、較正プロセスは反復的に、(1)露出画像を取り込み、(2)取り込
みプレビュー画像においてユーザーにより特定された興味領域に対応する興味領域に取り
込み画像データを処理し(例、以下に説明する測定および評価操作を用いて)、(3)利
用可能な露出設定を用いて露出属性の値を調節する(例、ソフトウェアで)。反復は露出
属性について満足できる値が得られた時、または失敗が生じる場合(例、露出属性の可能
な順列すべてが不満足である)終了する。
一実施形態例において、利用可能な露出設定を用いて露出属性の値を調節する際、較正
モジュールはQuick sortおよび二分探索法などさまざまな分類および検索アルゴリズムを
用いることができる。
プロセスにより満足できる露出属性の値が得られない場合、プロセスは一実施形態にお
いて失敗を報告することができ、あるいは露出属性に既定値を用いることができる。
露出属性に対し満足できる値が得られた場合、較正モジュールは操作508において値に
基づき最終露出設定(例、絞り、シャッター速度、および/またはISO設定)を計算し、
選択された較正プロセスでその後に用いるために最終露出設定を記憶する。
一実施形態例において、操作508における最終露出設定の計算は最終露出設定のエラー
を緩和すべく特定量の加算または除算(または他の同様な調節)が係わることもできる。
例えば、ラスター線を含む較正画像に対する露出画像の1つは全画面の白画像かもしれな
い。しかし、この露出画像に対する最終露出設定を保存する際、較正モジュールは薄い、
暗く照明されたラスター線が過度に露出不足にならないことを保証するためにシャッター
速度の露出設定を2つ分上げて調節することができる。
図6は一実施形態例により露出画像の取り込みにおいてユーザーにより特定された興味
領域を評価するプロセスを図示するフローチャート図である。このプロセスも図3に描か
れるプロジェクタープラットフォーム102上の較正モジュール201で実行されることができ
る(例、カメラ露出モジュール206)。
このプロセスは図5における操作507として示される興味領域の処理の一部分であって良
い。図6に示すプロセスの第1操作601において、較正モジュールは特定された各興味領域
における各ピクセルに対する色チャンネル値(例、RGB値)を取得することにより特定さ
れた興味領域を分析する。
さらにこのプロセスにおいて、較正モジュールは各色チャンネルで得られた値の中央値
を演算する。較正モジュールは演算された中央値を各色チャンネルについて興味領域毎に
アレイに記憶する。これらの操作に対する雑音の影響を軽減するために、較正モジュール
は操作の実施前に露出画像の取り込みに随意メディアンフィルターを適用することができ
る。
別の実施形態例において、較正モジュールは随意操作601の初期工程として特定された
各興味領域の各々に対してのみメディアンフィルターを適用することができる。
プロセスの次の操作602において、較正モジュールは各色チャンネルのアレイを分類し
て特定された領域すべてにわたり中央値の最小、特定された領域すべてにわたり中央値の
最大、および特定された領域すべてにわたり中央値の中央値を特定することにより測定セ
ットを演算する。較正モジュールはさらに各色チャンネルについて特定された領域すべて
にわたり中央値の平均(例、相加平均)も演算する。別の実施形態例において、較正モジ
ュールはアレイが完了した後アレイを分類する代わりに、操作601において演算された中
央値各々を色チャンネルのアレイに記憶する際分類することができる。
次に操作603において、較正モジュールは測定セットにおける1つ以上の統計(例、中央
値の最小、中央値の最大、中央値の中央、および/または中央値の平均)を入力として現
在の露出属性がユーザーにより選択された較正プロセスにおける較正画像に対し満足でき
るか判定する評価関数を用いて測定セットを評価する。
例えば、取り込み露出画像が赤色の領域からなる場合、較正モジュールは以下に記述す
るような条件式を含む評価関数を使用することができる。条件式は赤の色チャンネルのア
レイに含まれる統計に作用し、そのアレイにおける値は各色チャンネルが8ビットで表せ
る場合0から255の範囲にあることができる。
(max<240)の場合
露出を増やし、
さもなければ(min<128)の場合
露出を増やし、
さもなければ(max>250)の場合
露出を減らし
さもなければ
露出検出
これらの条件式は現在の露出設定が赤の色チャンネルに対し下限閾値(例、128)を超
える最小および限定範囲内(例、240と250の間)で赤の色チャンネルの最大を実現してい
るか、または現在の露出への変更が必要かを検出しようとすることが理解されよう。
輝度の点で、これらの条件式は露出属性がいつ赤の色チャンネルにおける暗いピクセル
はビューアーにより検出できる程度に露出され、赤の色チャンネルにおける明るいピクセ
ルはビューアーが赤の色チャンネルにおける暗いピクセルを検出できるために必要でない
限り著しく過度に露出されていない状態であるかを検出しようとする。
これらの条件式が測定は正しい(満足できる露出を示す)と判定した場合、較正モジュ
ールは現在の露出属性を受け入れ、現在の露出属性に基づき最終露出設定を作成し(例、
絞り、シャッター速度、および/またはISO設定)、その露出画像に対し選択された較正
プロセスにおいて後に使用するために最終露出設定を記憶する。これらの条件式が測定は
不充分である(悪い露出を示す)と判定した場合、較正モジュールは(1)利用可能な露
出設定を用いて1つ以上の露出属性を調節することにより(例、ソフトウェアで)現在の
露出設定を増やすか減らし、取り込みプロセスを繰り返す(例、上述していなループ式で
操作507に戻る)、(2)露出属性に対し既定値を採用する、または(3)失敗を報告する
、ことができる。
別の実施形態例で、記述統計は上述とは異なることができる。例えば、較正モジュール
は操作602および603において中央値または相加平均以外の中心傾向の尺度を用いることが
できる。または較正モジュールはこれらの操作において中心傾向の尺度をちらばりの尺度
(例、標準偏差)と組み合わせて、または中心傾向の尺度をひずみの尺度と組み合わせて
用いることができる。
図7は一実施形態例により露出画像の取り込みにおける興味領域を特定するために用い
得るGUIのダイアログを示す図である。図7に描くように、GUIのダイアログ701は取り込み
プレビュー画像702を含み、これはユーザーが興味領域704などの興味領域を特定する視覚
的補助の役割を果たす格子線703を有する位置合わせグリッドがオーバレイされている。
一実施形態例において、興味領域の候補は位置合わせグリッドのセル寸法の除数に従い一
律のサイズにされている。しかし、これら領域を得る他の任意の方法で置き換えることも
できる。
一実施形態例において、ユーザーは興味領域704にカーソルを向けてマウスをクリック
することにより特定することができる。別の実施形態例において、興味領域の特定は例え
ば取り込みプレビュー画像702における輝度に関し極大および極小を検出するよう自動化
することができる。
GUIのダイアログ701は「シャッター速度」と名付けられるドロップダウンリストを含み
、これによりユーザーはソフトウェアを用いてデジタルカメラの初期シャッター速度を設
定することができる。別の実施形態例において、同様のドロップダウンリストによりユー
ザーはソフトウェアを用いてデジタルカメラの初期絞りまたはISO設定を設定することが
できる。GUIのダイアログ701はさらにユーザーが図5に示すプロセスにおける操作506から
508を開始するためにクリックできる「露出検出」と名付けられるボタン705を含む。一実
施形態例において、GUIのダイアログ701は図3に描かれるように、プロジェクタープラッ
トフォーム102の較正モジュール201(例、カメラ露出モジュール206)により表示するこ
とができる。
ユーザーによるデジタルカメラの手動調節を容易にするための画像の表示および取り込
みに係わる、図5に示すプロセスにおける操作502にもGUIのダイアログ701に類似したGUI
のダイアログを用い得ることが理解されよう。ここでも、GUIのダイアログ701をプロジェ
クタープラットフォーム102の較正モジュール201(例、カメラ露出モジュール206)によ
り表示することができる。プロセスにおけるこの時点で、ユーザーは位置合わせグリッド
なしでダイアログ中の画像を見ると決めるかもしれない。これに関し、図7のGUIのダイア
ログ701におけるチェックボックス707(「位置合わせグリッドの表示」)を参照。
本明細書に説明され、発明の一部をなすいずれの操作も有益な機械操作である。発明は
さらにこれらの操作を実施するデバイスまたは装置に関する。装置はこの目的に特別に構
築されて良く、またはコンピューター内に記憶されるコンピュータープログラムにより選
択的に起動もしくは設定される汎用コンピューターであって良い。具体的に、さまざまな
汎用機械を本明細書に従い書かれたコンピュータープログラムと用いることができ、また
は操作を実施するためにより特殊な装置を構築することがより便利かもしれない。
発明はコンピューター読み取り可能な記憶媒体上のコンピューター読み取り可能なコー
ドとして具現化することができる。コンピューター読み取り可能な記憶媒体は後にコンピ
ューターシステムにより読み取りできるデータを記憶できる任意のデータ記憶装置である
。コンピューター読み取り可能な記憶媒体の例はハードドライブ、ネットワーク接続スト
レージ(NAS)、読み取り専用メモリー、ランダムアクセスメモリー、CD‐ROM、CD‐R、C
D‐RW、磁気テープ、および他の光および非光データ記憶装置を含む。コンピューター読
み取り可能な記憶媒体はネットワーク連結コンピューターシステム上で分散され、コンピ
ューター読み取り可能なコードが分散した形で記憶され実行されることもできる。
さらに、上記の図における操作により表される命令は図示する順序で実施されることを
必要とせず、操作により表される処理のすべてが発明の実施に必要ないかもしれないこと
が理解されよう。さらに、上記の図のいずれに記載されるプロセスもRAM、ROM、またはハ
ードディスクドライブのいずれかの1つまたは組み合わせに記憶されるソフトウェアにお
いて実施することができる。
前述の発明は明瞭な理解の目的から詳細に説明されたが、添付クレームの範囲内で特定
の変更および修正を実施し得ることは明らかであろう。これに関し、上述のプロセスにお
ける操作の可能な順序は他に多数あり、これらの順序の可能なモジュラー化も多数あるこ
とが理解されよう。従って、本実施形態は限定的ではなく例示的とみなされ、発明は本明
細書に記載される詳細に限定されず、添付クレームの範囲および等価物内で修正できる。
添付クレームにおいて、要素および/または操作はクレームに明示的に記述されるか、ま
たは開示により黙示的に必要とされない限り、操作の特定の順序を意味していない。
100 システム、101 プロジェクター、102 プロジェクタープラットフォー
ム、103 デジタルスチールカメラ、104 センサーバー、105 ウェブコンソー
ル、106 ラップトップコンピューター、107 メディアプレーヤー、108 ネッ
トワーク。

Claims (9)

  1. 複数のプロジェクターから表面に投影されたプレビュー画像を取り込み装置で取り込むステップと、
    前記取り込んだプレビュー画像において1つ以上の興味領域を特定する入力を受信するステップと、
    前記複数のプロジェクターが前記表面に部分的に明るい重なり合い部分を形成するように、グレースケール画像を前記複数のプロジェクターから前記表面に投影するステップと、
    前記取り込み装置に対する露出属性の設定を演算するステップと、
    前記露出属性の設定に基づき露出設定を記憶するステップとを有し、
    前記演算するステップは、
    (a)前記露出属性の設定を用いて前記取り込み装置で前記明るい重なり合い部分を取り込むステップと、
    (b)前記明るい重なり合い部分の前記興味領域におけるピクセルに関する1つ以上の記述統計を測定するステップと、
    (c)前記1つ以上の記述統計を所定の評価関数で評価するステップと、
    (d)前記取り込み装置に対する前記露出属性の改定設定を確立するステップとを反復的に行なうことを含む露出属性の設定方法。
  2. 前記記述統計は、前記興味領域における前記ピクセルの1つ以上の色チャンネルに関連する請求項1に記載の露出属性の設定方法。
  3. 前記露出属性は、シャッター速度、絞り、およびISO設定からなるグループから選択される1つ以上の属性を含む請求項1に記載の露出属性の設定方法。
  4. 前記興味領域に関する入力は、グラフィカルユーザーインターフェイスにおけるビューにより受信される請求項1に記載の露出属性の設定方法。
  5. 前記取り込み装置に対する前記露出属性の初期設定を確立するステップと、
    前記表面上にプレビュー画像を投影するステップとをさらに有し、
    前記初期設定は少なくとも一部1つ以上のユーザー入力に依存し、前記ユーザー入力は位置、向き、視野、視界の深度、シャッター速度、およびISO設定に対する調節からなるグループから選択される調節を含む請求項1に記載の露出属性の設定方法。
  6. 前記1つ以上の記述統計を測定するステップは、前記興味領域における各ピクセルにメディアンフィルターを適用することを含む請求項1に記載の露出属性の設定方法。
  7. 1つ以上のプロセッサーによって方法が実行される有形の1つまたは複数のコンピューター読み取り可能な記憶媒体であって、
    前記方法は、
    デジタルカメラ用に露出属性の第1設定を確立するステップと、
    複数のプロジェクターから表面に投影されたプレビュー画像を投影するステップと、
    前記デジタルカメラで投影された前記プレビュー画像を取り込むステップと、
    前記プレビュー画像を取り込むステップにおいて1つ以上の興味領域を特定する入力を受信するステップと、
    前記複数のプロジェクターが前記表面に部分的に明るい重なり合い部分を形成するように、グレースケール画像を前記複数のプロジェクターから前記表面に投影するステップと、
    前記デジタルカメラに対する露出属性の第2設定を演算するステップと、
    前記露出属性の第2設定に基づく露出設定を記憶するステップとを有し、
    前記第2設定を演算するステップは、
    (a)前記露出属性の第1設定を用いて前記明るい重なり合い部分を取り込むステップと、
    (b)前記明るい重なり合い部分の前記興味領域におけるピクセルに関する1つ以上の記述統計を測定するステップと、
    (c)前記1つ以上の記述統計を所定の評価関数で評価するステップと、
    (d)前記デジタルカメラに対する露出属性の改定設定を確立するステップとを反復的に行なうことを含むコンピューター読み取り可能な記憶媒体。
  8. 前記記述統計は、前記興味領域におけるピクセルの1つ以上の色チャンネルに関連する請求項7に記載のコンピューター読み取り可能な記憶媒体。
  9. 前記露出属性は、シャッター速度、絞り、およびISO設定からなるグループから選択される1つ以上の属性を含む、請求項7に記載のコンピューター読み取り可能な記憶媒体。
JP2010184754A 2009-09-10 2010-08-20 露出属性の設定方法およびコンピューター読み取り可能な記憶媒体 Expired - Fee Related JP5659623B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/557,180 US8368803B2 (en) 2009-09-10 2009-09-10 Setting exposure attributes for capturing calibration images
US12/557,180 2009-09-10

Publications (2)

Publication Number Publication Date
JP2011061773A JP2011061773A (ja) 2011-03-24
JP5659623B2 true JP5659623B2 (ja) 2015-01-28

Family

ID=43647486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010184754A Expired - Fee Related JP5659623B2 (ja) 2009-09-10 2010-08-20 露出属性の設定方法およびコンピューター読み取り可能な記憶媒体

Country Status (2)

Country Link
US (1) US8368803B2 (ja)
JP (1) JP5659623B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035969B2 (en) * 2012-11-29 2015-05-19 Seiko Epson Corporation Method for multiple projector display using a GPU frame buffer
JP6217110B2 (ja) * 2013-03-29 2017-10-25 セイコーエプソン株式会社 プロジェクターおよび調整方法
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
US11178391B2 (en) * 2014-09-09 2021-11-16 Hewlett-Packard Development Company, L.P. Color calibration
JP6448334B2 (ja) * 2014-12-02 2019-01-09 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
CN109587457A (zh) * 2017-09-29 2019-04-05 中强光电股份有限公司 投影系统及其自动设定方法
CN110784690B (zh) 2018-07-30 2022-05-10 中强光电股份有限公司 投影系统及投影方法
CN112153357A (zh) * 2019-06-28 2020-12-29 中强光电股份有限公司 投影系统及其投影方法
CN114615439B (zh) * 2022-03-08 2024-03-05 北京有竹居网络技术有限公司 一种曝光统计方法、装置、电子设备及介质
EP4270943A1 (en) * 2022-04-25 2023-11-01 Coretronic Corporation Projector and adjustment method for correction frame of projector

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283994A (ja) * 1994-04-12 1995-10-27 Canon Inc 撮像装置
US6804406B1 (en) * 2000-08-30 2004-10-12 Honeywell International Inc. Electronic calibration for seamless tiled display using optical function generator
JP3947912B2 (ja) * 2002-01-24 2007-07-25 富士フイルム株式会社 画像信号処理装置
US7038727B2 (en) * 2002-10-30 2006-05-02 The University Of Chicago Method to smooth photometric variations across multi-projector displays
JP3871061B2 (ja) * 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
TWI249959B (en) * 2003-05-16 2006-02-21 Seiko Epson Corp Image processing system, projector, information memorizing medium and image processing method
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7517089B2 (en) * 2004-03-29 2009-04-14 Seiko Epson Corporation Image processing system, projector, information storage medium, and image processing method
JP2006108988A (ja) 2004-10-04 2006-04-20 Olympus Corp キャリブレーション装置
JP2006135381A (ja) 2004-11-02 2006-05-25 Olympus Corp キャリブレーション方法およびキャリブレーション装置
US7639401B2 (en) * 2004-12-15 2009-12-29 Xerox Corporation Camera-based method for calibrating color displays
JP2006311029A (ja) * 2005-04-27 2006-11-09 Olympus Corp 表示画像撮像方法および装置
US20070027504A1 (en) * 2005-07-27 2007-02-01 Cyberonics, Inc. Cranial nerve stimulation to treat a hearing disorder
JP4354449B2 (ja) * 2005-10-26 2009-10-28 オリンパス株式会社 表示画像撮像方法および装置
US8777418B2 (en) * 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
US7609958B2 (en) * 2006-08-01 2009-10-27 Eastman Kodak Company Automatic focus system calibration for image capture systems
US20090115915A1 (en) * 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US8035688B2 (en) * 2007-07-19 2011-10-11 Xerox Corporation Method, system and apparatus for jointly calibrating color digital cameras and monitors
US7986356B2 (en) * 2007-07-25 2011-07-26 Hewlett-Packard Development Company, L.P. System and method for determining a gamma curve of a display device
US8144241B2 (en) * 2008-04-04 2012-03-27 Sony Corporation Imaging apparatus, image processing apparatus, and exposure control method
US8102332B2 (en) * 2009-07-21 2012-01-24 Seiko Epson Corporation Intensity scaling for multi-projector displays
US8262229B2 (en) * 2010-03-22 2012-09-11 Seiko Epson Corporation Multi-projector display system calibration

Also Published As

Publication number Publication date
JP2011061773A (ja) 2011-03-24
US20110058098A1 (en) 2011-03-10
US8368803B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
JP5659623B2 (ja) 露出属性の設定方法およびコンピューター読み取り可能な記憶媒体
US10798373B2 (en) Display correction apparatus, program, and display correction system
EP2721383B1 (en) System and method for color and intensity calibrating of a display system for practical usage
US9165378B2 (en) Acquisition of color calibration charts
US8103121B2 (en) Systems and methods for determination of a camera imperfection for an image
US9646370B2 (en) Automatic detection method for defects of a display panel
US8310499B2 (en) Balancing luminance disparity in a display by multiple projectors
CN108234824B (zh) 阴影校正检测参数确定、校正检测方法及装置、存储介质、鱼眼相机
KR102606208B1 (ko) 학습 기반 렌즈 플레어 제거
US20200389573A1 (en) Image processing system, image processing method and storage medium
US20200380753A1 (en) Image processing apparatus, image processing method, and storage medium
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
US20220262284A1 (en) Control device, control method, control program, and control system
JP2021092439A (ja) 照明最適化方法、制御装置、及びプログラム
CN104112266B (zh) 一种图像边缘虚化的检测方法和装置
JP7230584B2 (ja) 検査装置、検査システム、検査方法、およびプログラム
JP2004134861A (ja) 解像度評価方法、解像度評価プログラム、および光学機器
JP2020025224A (ja) カメラ評価値測定装置およびカメラ評価値測定方法
CN111147760B (zh) 一种光场相机及其光度调整方法、装置及电子设备
US20210366085A1 (en) Control apparatus, control method, and storage medium
JP2006234501A (ja) シミ欠陥検出用閾値設定方法、シミ欠陥検査方法、シミ欠陥検査装置
JP2008085716A (ja) 撮影システムおよび撮影方法並びにプログラム
US10891782B2 (en) Determining illumination direction with three-dimensional illumination charts
US20210097700A1 (en) Determining movement of a substrate
JP2022062908A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141117

R150 Certificate of patent or registration of utility model

Ref document number: 5659623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees