JP6073501B2 - 可変照明パターンの赤外線照明ビームを生成するための方法及び装置 - Google Patents

可変照明パターンの赤外線照明ビームを生成するための方法及び装置 Download PDF

Info

Publication number
JP6073501B2
JP6073501B2 JP2015551939A JP2015551939A JP6073501B2 JP 6073501 B2 JP6073501 B2 JP 6073501B2 JP 2015551939 A JP2015551939 A JP 2015551939A JP 2015551939 A JP2015551939 A JP 2015551939A JP 6073501 B2 JP6073501 B2 JP 6073501B2
Authority
JP
Japan
Prior art keywords
focal length
emitter
power ratio
standard deviation
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015551939A
Other languages
English (en)
Other versions
JP2016516313A (ja
Inventor
シーナ アフローズ
シーナ アフローズ
マイケル ニューフェルド
マイケル ニューフェルド
グオチェン スン
グオチェン スン
ピョートル セラー
ピョートル セラー
コリン ヤンセン
コリン ヤンセン
ジェレミー ヘイル
ジェレミー ヘイル
フレデリック ラムジー
フレデリック ラムジー
Original Assignee
アビジロン コーポレイション
アビジロン コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アビジロン コーポレイション, アビジロン コーポレイション filed Critical アビジロン コーポレイション
Publication of JP2016516313A publication Critical patent/JP2016516313A/ja
Application granted granted Critical
Publication of JP6073501B2 publication Critical patent/JP6073501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/141Beam current control means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30Driver circuits
    • H05B45/37Converter circuits
    • H05B45/3725Switched mode power supply [SMPS]
    • H05B45/375Switched mode power supply [SMPS] using buck topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Lenses (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Microscoopes, Condenser (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Light Receiving Elements (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Description

本開示は、一般に、可変照明パターンの赤外線(「IR」)照明ビームを生成する方法、及びこのような方法を実行するためのIR照明器に関する。このようなIR照明器は、ズームレンズを有する撮像装置の一部することができ、ズームレンズの焦点距離にとともに変化する照明パターンのIR照明ビームを生成することができる。
従来の防犯又は監視カメラには、調整可能な視野を可能にする可変焦点レンズを使用するものがある。IR照明器が備わっている場合、その照明パターンは全ての焦点距離について一定であり、一般に1つの焦点距離における特定の視野のために最適化されている。最適化された視野よりも広い視野では、画像の中心に非最適照明パターンが輝点として現れ、この領域ではセンサが飽和して細部が不明瞭になる。これとは逆に、最適化された視野よりも狭い視野では、光力の一部が結像領域の外側に投影され、従って無駄になる。この結果、このようなIR照明器を用いる監視カメラによって最適でないIR画像が取り込まれる。
本発明の1つの態様によれば、撮像対象シーンを照明するための赤外線(IR)ビームの生成方法が提供される。この方法は、IRビームの広ビーム成分を放出する第1のIRエミッタと、IRビームの狭ビーム成分を放出する第2のIRエミッタとを含む少なくとも2つのIRエミッタを準備するステップを含み、広ビーム成分は、狭ビーム成分の線形プロファイルよりも標準偏差が低い線形プロファイルを有する。この方法は、IRビームの所望の線形プロファイルを選択し、狭ビーム成分と広ビーム成分とを結合した時に所望の線形プロファイルのIRビームを生じる、第1のIRエミッタに送られる出力と第2のIRエミッタに送られる出力との出力比を選択するステップも含む。その後、この方法は、第1及び第2のIRエミッタに、選択された出力比で出力を送って広ビーム成分及び狭ビーム成分を生成し、この生成された広ビーム成分と狭ビーム成分を結合することによってIRビームを生成するステップを含む。生成された広ビーム成分及び狭ビーム成分は、広ビーム成分の中心及び狭ビーム成分の中心をシーン内の同じ場所に向けることによって結合することができる。IRビームの所望の線形プロファイルは、目標標準偏差以下の標準偏差を有するものとして定義することができる。
この方法は、関連する視野を有する選択された焦点距離でシーンを撮像するステップをさらに含む。選択された焦点距離の所望の線形プロファイルは、目標標準偏差以下の標準偏差と、最も高い有効放射照度とを視野内に有する。最も高い有効放射照度は、第2のIRエミッタに送られる出力の割合が最も高い、目標標準偏差以下の標準偏差を有するIRビームを生じる出力比とすることができる。
この方法は、各々がそれぞれの異なる視野を有する異なる焦点距離でシーンを撮像し、各異なる焦点距離に対応する所望の線形プロファイルのIRビームを生成するステップをさらに含むことができる。各所望の線形プロファイルは、対応する焦点距離に関連する視野において、目標標準偏差以下の標準偏差と、最も高い有効放射照度とを有する。
撮像するステップは、可変焦点距離のズームレンズを有する撮像装置によって行うことができ、この場合、方法は、ズームレンズの現在の焦点距離を特定するステップと、現在の焦点距離に対応する所望の線形プロファイルを選択するステップと、所望の焦点距離におけるIRビームを生成するステップと、IRビームによって照明されたシーンを現在の焦点距離で撮像するステップとを含む。現在の焦点距離に対応する所望の線形プロファイルを選択するステップは、一連の焦点距離増分及びその対応する所望の線形プロファイルを含むビームプロファイル−焦点距離マップにアクセスするステップと、対応する焦点距離増分が現在の焦点距離に等しい線形プロファイルをマップ内で選択するステップとを含むことができる。
本発明の別の態様によれば、撮像対象シーンを赤外線放射によって照明するための装置が提供され、この装置は、IRビームの広ビーム成分を放出する第1のIRエミッタと、IRビームの狭ビーム成分を放出する第2のIRエミッタとを含む少なくとも2つのIRエミッタを備え、広ビーム成分は、狭ビーム成分の線形プロファイルよりも標準偏差が低い線形プロファイルを有し、この装置は、第1のIRエミッタに結合された第1の電流ドライバと、第2のIRエミッタに結合された第2の電流ドライバとを含む少なくとも2つの電流ドライバと、電流ドライバと通信して、結合されたIRエミッタに選択量の出力を送るように各電流ドライバに指示する処理回路とをさらに備える。処理回路は、プロセッサと、上述の撮像対象シーンを照明するための赤外線(IR)ビームの生成方法を実行するようにこのプロセッサによって実行可能なプログラムコードが符号化されたメモリとを含む。第1及び第2のIRエミッタは、広ビーム成分及び狭ビーム成分がシーン内の同じ場所に向けられるように位置合わせすることができる。
この装置は、処理回路と通信するイメージャと、このイメージャに光学的に結合された、可変焦点距離を有するズームレンズと、このズームレンズ及び処理回路と通信するレンズドライバとをさらに備えることができる。メモリは、ズームレンズの一連の焦点距離増分と、その対応する所望の線形プロファイルとを含むビームプロファイル−焦点距離マップをさらに含むことができる。
本発明の1つの実施形態による、ズーム適応型IRビームを含む撮像装置の構成要素の概略ブロック図である。 防犯カメラとして具体化された撮像装置の斜視図である。 防犯カメラのズームレンズの焦点距離にと共に変化する線形プロファイルのIRビームを生成するためのプログラムによって行われるステップを示すフローチャートである。 3〜9mmのズームレンズの最短焦点距離における、撮像装置の広角LEDセット及び狭角LEDセットの例示的な線形プロファイルのグラフである。 図4に示す広角及び狭角LEDセットの線形プロファイル及びズームレンズを有する撮像装置の広角LEDセットの例示的な焦点距離対最適出力のグラフである。
本明細書で説明する本発明の実施形態は、撮像対象シーンを照明するために使用されるIRビームを生成するための可変IR照明器装置及び方法に関するものであり、このIRビームは、可変線形プロファイルの照明パターンを有する。本説明において、「照明パターン」とは、シーンにおけるIRビームの2次元放射照度分布を意味し、「線形プロファイル」とは、照明パターンの中心を通る選択線に沿ったIRビームの放射照度分布を意味する。通常、IRビームは放射状に対称であり、この場合、線形プロファイルが照明パターンの特徴を定める。このような可変IRビームは、可変焦点距離(ズーム)を有する可変焦点(ズーム)レンズを含む防犯カメラなどの撮像装置において使用することができる。可変IR照明器は、撮像装置の一部とすることができ、撮像装置によって取り込まれたシーンに対するIRビームの線形プロファイルを変化させるために使用することができる。撮像装置は、プロセッサと、ズームレンズの焦点距離が変化するにつれてIRビームの線形プロファイルを変化させるようにプロセッサによって実行可能なプログラムコードが符号化されたメモリとを含む。所与の焦点距離におけるIRビームの線形プロファイルは、全ての焦点距離について同じ線形プロファイルを有する照明パターンを生成するIR照明器と比較した時に、その焦点距離におけるIRビームの均一性及び/又は放射照度が高まるように選択することができる。
ズームレンズの焦点距離と共に変化できる線形プロファイルのIRビームを有すると、ズームレンズがズームインした(すなわち焦点距離が長くなった)時に取り込み画像の視野が縮小されるので有利である。取り込み画像の信号対雑音比を最大にするには、所与の焦点距離においてIR照明ビームの出力の大部分が可能な限り均一に視野内に向けられるようにすべきである。しかしながら、固定照明パターンのIRビーム(すなわち、不変線形プロファイルのビーム)は、1つの特定の焦点距離における視野に対してしか最適化することができず、この結果、最適化された焦点距離よりも長い焦点距離では、IRビームの大部分が視野の外側に投影され、最適化された焦点距離よりも短い焦点距離では、IRビームが不均一になって画像の中心に輝点を伴うようになる。以下で詳細に説明するように、本明細書で説明する撮像装置の実施形態では、可変IR照明器が、各々が異なる線形プロファイルのIRビームを生成し、異なる線形プロファイルを有するIRビームを生成するように異なる出力比で組み合わせることができる少なくとも2つのIRエミッタを含み、これにより、撮像装置は、ズームレンズの特定の焦点距離に特に適した線形プロファイルを有するIRビームを選択できるようになる。特に適した線形プロファイルとは、目標標準偏差を満たし又はこれを下回り、及び/又は目標放射照度を満たし又はこれを上回るプロファイルのことである。
ここで図1を参照すると、1つの実施形態による撮像装置10が、ズームレンズ12、ズームレンズ12に光学的に結合されたイメージャ14、ズームレンズ12に機械的に結合されてズームレンズの焦点距離を変化させるレンズドライバ16、各々が異なる線形プロファイルのIRビームを生成する1対のIRエミッタ18(a)、18(b)(それぞれ、「広角IRエミッタ」18(a)及び「狭角IRエミッタ」18(b))を含むIR照明器18、各IRエミッタ18(a)、18(a)のための電流ドライバ20(a)、20(b)、並びにイメージャ14、レンズドライバ16及び電流ドライバ20(a)、20(b)と通信する制御回路22といった主要構成要素を含む。
図1の実施形態には、1対のIRエミッタ18(a)、18(b)しか示していないが、他の実施形態は、各々が異なる線形プロファイルのIRビームを生成し、可変線形プロファイルのIRビームを生成するように組み合わせることができる2つよりも多くのIRエミッタを特徴とすることができる。
図2に示すように、撮像装置10は、防犯カメラ又は監視カメラとして具体化することができる。防犯カメラ10は、撮像装置10の上述した主要構成要素を収容するハウジング30と、カメラ10を天井などの表面に取り付けるための可動式マウント32とを有する。カメラ10の前部にはズームレンズ12が取り付けられ、カメラ10の前部のズームレンズ12の周囲にはプリント基板(「PCB」、図示せず)も取り付けられ、このPCB上には広角IRエミッタ18(a)及び狭角IRエミッタ18(b)がそれぞれ取り付けられてズームレンズ12と同じ方向を向き、ズームレンズの視野を赤外光で照明する役割を果たす。IRエミッタ18(a)、18(b)は、各IRエミッタ18(a)、18(b)によって生成された照明パターンが視野内の同じ場所を中心とするように、具体的にはズームレンズ12の視野の中心を中心とするように位置合わせされる。撮像装置10は、近くの電気コンセント(図示せず)などの電源に電気的に結合できるとともに、IRエミッタ18(a)、18(b)に送り出すことができる総有効出力を定める最大出力定格を有するように構成される。
この実施形態の各IRエミッタ18(a)、18(b)は、赤外線発光ダイオード(IRED)の組34を含む。当業では、このようなIREDの組は周知であり、1つの好適なこのようなIREDの組としては、1対のOsram社製SFH4715S IREDが挙げられる。各IRエミッタ18(a)、18(b)は、各IRED34のための小レンズ36も含み、この小レンズ36は、IREDの発光を、特定の線形プロファイルの照明パターンを有するIRビームに成形するように構成される。具体的には、広角IRエミッタ18(a)のための小レンズ36は、比較的広く分散する線形プロファイル(以下、「広ビーム成分」と呼ぶ)のIRビームを生成し、狭角IRエミッタ18(b)のための小レンズ36は、比較的に狭く分散する線形プロファイル(以下、「狭ビーム成分」と呼ぶ)のIRビームを生成する。当業では、このような小レンズは周知であり、1つの好適なこのような小レンズは、Ledil社製のものとすることができる。
電流ドライバ20(a)、20(b)は、IRエミッタ18(a)、18(b)に送られる電流を調整するように設計される。電流ドライバ20(a)、20(b)は、IRエミッタ18(a)、18(b)の一方又は他方に総有効出力の全てを送出するように、或いは2つのエミッタ18(a)、18(b)間で出力比を変化させるように制御することができる。当業では、このような電流ドライバは周知であり、1つの好適なこのような電流ドライバは、On Semiconductor社製のAL8805 Buck LEDドライバである。電流ドライバ20(a)、20(b)の各々は、監視カメラ10の(メインシステムオンチップ(SoC)としても知られている)処理回路22を収容するハウジング内の回路基板上のそれぞれの汎用入力/出力(GPIO)ピン38(a)、38(b)に通信可能に結合される。SoC22は、プロセッサ(CPU)40と、防犯カメラ10を動作させるようにプロセッサによって実行されるプログラムコードが符号化されたメモリとを含む。このプログラムコードは、各GPIOピン38(a)、(b)から各電流ドライバ20(a)、20(b)にIRビームを生成するための制御信号を送信するための命令を含む。以下で詳細に説明するように、このプログラムコードは、ズームレンズ12の特定の焦点距離に適した線形プロファイルの結合IRビームを生成するように広ビーム成分と狭ビーム成分を結合する命令も含む。
処理回路22は、レンズドライバ16及びイメージャ14に通信可能に結合されたピン42、44を有するインターフェイスバスも含む。イメージャ14は、赤外線スペクトルの光を捕捉するように構成され、例えば、相補形金属酸化膜半導体(CMOS)センサなどのデジタルセンサとすることができる。イメージャ14及びズームレンズ12の仕様は、操作者の要件及び期待される性能に基づいて選択することができる。当業では、監視カメラにおけるズームレンズ及び画像センサの動作は周知であり、従って、ここではイメージャ14、レンズドライバ16及びズームレンズ12の動作についてこれ以上詳細には説明しない。
次に図3を参照すると、CPUのメモリに記憶されCPUのプロセッサによって実行可能なプログラムコードが、ズームレンズの焦点距離と共に変化する線形プロファイルのIRビーム(「ズーム適応型IRビーム」)の生成方法を実行するための命令を含む。具体的には、このプログラムコードは、実行時に、ズームレンズの特定の焦点距離に適合する線形プロファイルのIRビームを生じるように広ビーム成分と狭ビーム成分の出力比を選択する。このプログラムコードは、以下のステップを含む。
(a)レンズドライバ16を読み取って、ズームレンズの現在の焦点距離を特定し、
(b)ビームプロファイル−焦点距離マップを読み取って、現在の焦点距離に関連するIRビームの線形プロファイルを特定し、
(c)特定された線形プロファイルに関連する出力比の制御信号を各電流ドライバ20(a)、20(b))に送信して、特定された線形プロファイルを有するIRビームを生成する。
ビームプロファイル−焦点距離マップは、IRビームの線形プロファイル及び関連する出力比をズームレンズの焦点距離増分毎に含むデータベースである。IRビームの線形プロファイル及び関連する出力比は、以下のステップを実行することによって焦点距離増分毎に求めることができる。
まず、ズームレンズ12が最短焦点距離fにある状態で防犯カメラ10が2つの画像を取り込む(ステップ100)。第1の画像(「img1」)は、広角IRエミッタ18(a)に全ての有効出力が送られ、狭角IRエミッタ18(b)に出力が送られていない状態(「W@100%、N@0%」)のIRビームを用いて、換言すれば、このIRビームの広ビーム成分と狭ビーム成分の出力比(「広ビーム/狭ビーム出力比」)が100:0の状態で取り込まれる。第2の画像(「img2」)は、広ビーム/狭ビーム出力比が0:100(「W@0%、N@100%」)のIRビームを用いて取り込まれる。従って、第1の画像は、広角IRエミッタ18(a)によって放出された広ビーム成分に対応し、第2の画像は、狭角IRエミッタ18(b)によって放出された狭ビーム成分に対応する。次に、各画像の幅全体にわたる各画素PにおけるIR放射照度Iを求めることにより、n画素の画像幅を有する第1及び第2の画像の線形プロファイル(「LinearProfile(img1)」、「LinearProfile(img2)」)を求める。この線形プロファイルをデータベース内のメモリに記憶する(ステップ102)。
その後、最短焦点距離f(「minimumFocalLength」)から開始して、選択された増分f’で最長焦点距離まで、IRビームの好適な広ビーム/狭ビーム出力比を焦点距離増分毎に求める一連のステップを実行する。好適な広ビーム/狭ビーム出力比とは、焦点距離f’における視野に送出される最大IR出力と、目標標準偏差を下回る標準偏差を有する線形プロファイルとを有するIRビームを生じる出力比のことである。目標標準偏差は、経験的に導出することができ(ステップ104)、画像幅全体にわたって許容可能に均一に分布したIR強度を生じるように選択することができる。
最短焦点距離fから開始して(ステップ106)、焦点距離増分f’毎に視野を特定する。この視野は、増加する焦点距離の関数として縮小されるので、焦点距離増分f’における視野FOVは、以下の方程式によって近似させることができる。
FOVf'=[n(1−f/f’)/2..n(1+f/f’)/2]
焦点距離増分f’における視野が特定されると、この焦点距離における狭ビーム成分LN’[1..n]及び広ビーム成分LW’[1..n]の線形プロファイルを特定して(ステップ108)メモリに記憶する。
この異なる広ビーム/狭ビーム出力比における結合IRビームの線形プロファイルを、目標標準偏差よりも低い標準偏差を有するIRビームを生じる出力比が見つかるまで、焦点距離増分f’毎に反復的に特定する。この特定は、0:100の広ビーム/狭ビーム出力比(「powerWide=0%、powerNarrow=0%」)から開始し(ステップ110)、狭角エミッタへの出力の増分を減少させる選択数の出力比を通じて反復する反復ループで行われる。増分間隔は、所望の処理速度などの要因に応じて選択することができ、例えば20%とすることで、0:100、20:80、40:60、60:40、80:20及び100:0という6つの出力比を得ることができる。この選択された出力比における広ビーム及び狭ビームの線形プロファイルLW'及びLN'の加重平均Lcを取ることにより、各出力比における結合IRビームの線形プロファイルを特定する(ステップ112)。その後、結合IRビームの線形プロファイルの標準偏差を特定し(ステップ114)、目標標準偏差と比較する(ステップ116)。特定された標準偏差が目標標準偏差を下回っておらず、選択された出力比が100:0でない場合、(狭ビーム成分の出力を20%低減し、広ビーム成分の出力を20%増加させる(ステップ118)ことによって)次の出力比を選択し、方法はステップ112に戻って結合IRビームの線形プロファイルを次の出力比で再び計算する。
上述したように、目標標準偏差は、画像幅全体にわたる許容可能なIRビームの分布を表す。最短焦点距離における0:100の広ビーム/狭ビーム出力比から開始して、標準偏差が目標標準偏差を下回る出力比が見つかるまで焦点距離増分が毎回増えるようにして狭ビーム成分への出力を低減すると、この出力比が狭ビーム成分に最大可能出力を提供するようになるので、これによって結合IRビームは、有効出力比の組み合わせを表す最大IR出力(最大放射照度)をカメラの視野に送出できるようになるはずである。
標準偏差が目標標準偏差を下回る結合IRビームの線形プロファイルを生成する出力比が見つかるまで、ステップ112〜118を繰り返す。この出力比が見つかって出力比が100:0でない場合、以下の方程式に従って目標標準偏差を線形補間することにより、結合IRビームの最適な出力比を決定する(ステップ120)。
OptimalPowerWide=powerWide−(100/k)×(Tstd−stddev)/(lastStddev−stddev)
式中、
OptimalPowerWideは、広ビーム成分の最適な出力%であり、
powerWideは、目標標準偏差を下回る標準偏差(stdDev)を生じる出力比における広ビーム成分の出力%であり(狭ビーム成分の出力%は、100%−広ビーム成分の出力%として容易に計算することができる)、
stdは、目標標準偏差であり、
lastStddevは、stdDevに関連する出力比の直前の出力比における標準偏差である。
出力比が0:100である場合、最適な出力比は0:100であると見なされて線形補間ステップは行われない(ステップ121)。
最適な出力比が決まると、この値を対応する焦点距離f’と共にマップに保存し(ステップ122)、方法は、次の焦点距離増分f’(ステップ124)に進み、その後ステップ106に戻って次の焦点距離増分f’における結合IRビームの最適な出力比を求める。方法が全ての焦点距離増分について完了すると、各焦点距離増分f’における結合IRビームの最適な出力比を表すビームプロファイル−焦点距離マップが生成される。
別の実施形態では、各焦点距離における広ビーム成分と狭ビーム成分の出力比の複数の組み合わせを投影し、許容可能な標準偏差及び放射照度を有する線形プロファイルのIRビームを生じる出力比を手動で選択することにより、ビームプロファイル−焦点距離マップを経験的に生成することができる。
別の実施形態(図示せず)によれば、IR照明器が、可変線形プロファイルのIRビームを生成するための、図1〜3に示す実施形態と同じ広角及び狭角IRエミッタ18(a)、18(b)を有することができるが、このIR照明器は撮像装置の一部を形成しない。このIR照明器は、例えばIR防犯カメラと共に使用される外部IR照明器とすることができる。
このIR照明器は撮像装置の一部ではないので、IR照明器の処理回路は、撮像装置のズームレンズの焦点距離と共にIRビームの線形プロファイルを変化させるための命令を必ずしも含む必要はない。その代わり、IR照明器は、操作者がIRビームの所望の線形プロファイルを手動で選択できるようにするユーザインターフェイスを有することができる。これとは別に、又はこれに加えて、IR照明器は、撮像装置と通信できるように、Wi−Fiのような無線通信手段、又は撮像装置にイーサネット又はその他の通信ケーブルを接続するための通信ポートを有することもできる。IR照明器又は接続された撮像装置の処理回路には、ビームプロファイル−焦点距離マップと、撮像装置のズームレンズの焦点距離と共に変化する線形プロファイルのIRビームをIR照明器に生成させるプログラムコードとをプログラムすることができる。
ここで図4及び図5を参照すると、3〜9mmのズームレンズと、2015画素の画像幅nとを有する防犯カメラの広ビーム成分及び狭ビーム成分の線形プロファイルを示している。各画素nにおける放射照度は、この例では画素毎に255個の異なる画素値を有する画像センサの画素値として記録される。図4からは、狭ビーム成分の標準偏差の方が広ビーム成分の標準偏差よりも実質的に高く、光束のピークが画像の中心に存在することが分かる。
図5には、焦点距離増分f’毎のIRビームの広角出力設定のマップを示す。ここでは、3〜9mmの焦点距離にわたり、広ビーム成分の出力%が80%から20%まで変化することが分かる。このマップは、各焦点距離増分f’におけるIRビームの広ビーム/狭ビーム出力比を求めるために使用することができる。
本明細書では、好ましい実施形態によって本発明を説明したが、当業者であれば、本発明に様々な変更を行うことができると理解するであろう。これらの変更及び代替例は、本発明の思想及び範囲に含まれるものと見なされる。例えば、本開示はIR撮像に関するものであったが、本発明は、可視光スペクトルなどの電磁放射線スペクトルの他の部分を使用する撮像に適用することもできる。具体的には、可変線形プロファイルの結合可視光照明ビームを生成するように結合できる少なくとも広ビーム成分及び狭ビーム成分を生じる2又はそれ以上の照明器要素で構成された可視光照明器を提供することができる。より具体的には、この照明ビームの線形プロファイルは、撮像装置のズームレンズの焦点距離増分と共に変化することができる。
10:撮像装置
12:ズームレンズ
14:イメージャ
18(a)広角IRエミッタ
18(b)狭角IRエミッタ
20(a):ドライバ
20(b):ドライバ
22:制御回路
34:赤外線発光ダイオード
36:小レンズ
38(a):汎用入力/出力(GPIO)ピン
38(b):汎用入力/出力(GPIO)ピン
40:プロセッサ
42:ピン
44:ピン

Claims (19)

  1. 撮像対象シーンを照明するための赤外線(IR)ビームの生成方法であって、
    (a)前記IRビームの広ビーム成分を放出する第1のIRエミッタと、前記IRビームの狭ビーム成分を放出する第2のIRエミッタとを含む少なくとも2つのIRエミッタを準備するステップを含み、前記広ビーム成分は、前記狭ビーム成分の線形プロファイルよりも標準偏差が低い線形プロファイルを有し、前記方法は、
    (b)現在の焦点距離を特定し、前記狭ビーム成分と前記広ビーム成分とを結合した時に前記特定された現在の焦点距離にとって望ましい線形プロファイルの前記IRビームを生じる、前記第1のIRエミッタに送られる出力と前記第2のIRエミッタに送られる出力との出力比を、一連の焦点距離増分及び前記望ましい線形プロファイルのIRビームを生じる対応する出力比を含むビームプロファイル−焦点距離マップからプロセッサを用いて自動的に選択するステップと、
    (c)前記第1及び第2のIRエミッタに、前記選択された出力比で出力を送って前記広ビーム成分及び前記狭ビーム成分を生成し、該生成された広ビーム成分と狭ビーム成分を結合することによって前記IRビームを生成するステップと、
    をさらに含むことを特徴とする方法。
  2. 前記生成された広ビーム成分及び狭ビーム成分は、前記広ビーム成分の中心及び前記狭ビーム成分の中心を前記シーン内の同じ場所に向けることによって結合される、
    ことを特徴とする請求項1に記載の方法。
  3. 前記IRビームの前記所望の線形プロファイルは、目標標準偏差以下の標準偏差を有する、
    ことを特徴とする請求項2に記載の方法。
  4. 関連する視野を有する選択された焦点距離で前記シーンを撮像するステップをさらに含み、前記選択された焦点距離の前記所望の線形プロファイルは、前記目標標準偏差以下の標準偏差と、最も高い有効放射照度とを前記視野内に有する、
    ことを特徴とする請求項3に記載の方法。
  5. 前記最も高い有効放射照度は、前記第2のIRエミッタに送られる出力の割合が最も高い、前記目標標準偏差以下の標準偏差を有するIRビームを生じる前記出力比である、
    ことを特徴とする請求項4に記載の方法。
  6. 各々がそれぞれの異なる視野を有する異なる焦点距離で前記シーンを撮像し、各異なる焦点距離に対応する所望の線形プロファイルのIRビームを生成するステップをさらに含み、各所望の線形プロファイルは、前記対応する焦点距離に関連する前記視野において、前記目標標準偏差以下の標準偏差と、前記最も高い有効放射照度とを有する、
    ことを特徴とする請求項5に記載の方法。
  7. 前記撮像するステップは、可変焦点距離のズームレンズを有する撮像装置によって行われ、前記方法は、前記ズームレンズの現在の焦点距離を特定するステップと、前記現在の焦点距離に対応する前記所望の線形プロファイルを選択するステップと、前記所望の焦点距離におけるIRビームを生成するステップと、前記IRビームによって照明されたシーンを前記現在の焦点距離で撮像するステップとを含む、
    ことを特徴とする請求項6に記載の方法。
  8. 撮像対象シーンを赤外線(IR)放射によって照明するための装置であって、
    (a)IRビームの広ビーム成分を放出する第1のIRエミッタと、前記IRビームの狭ビーム成分を放出する第2のIRエミッタとを含む少なくとも2つのIRエミッタを備え、前記広ビーム成分は、前記狭ビーム成分の線形プロファイルよりも標準偏差が低い線形プロファイルを有し、前記装置は、
    (b)前記第1のIRエミッタに結合された第1の電流ドライバと、前記第2のIRエミッタに結合された第2の電流ドライバとを含む少なくとも2つの電流ドライバと、
    (c)前記電流ドライバと通信して、前記結合されたIRエミッタに選択量の出力を送るように各電流ドライバに指示する、プロセッサとメモリとを含む処理回路と、
    をさらに備え、前記メモリには、
    (i)一連の焦点距離増分と、その対応する出力比とを含むビームプロファイル−焦点距離マップが符号化され、各出力比は、前記狭ビーム成分と前記広ビーム成分とを結合した時に対応する前記焦点距離増分にとって望ましい線形プロファイルのIRビームを生じる、前記第1のIRエミッタに送られる出力と前記第2のIRエミッタに送られる出力との出力比であり、前記メモリにはさらに、
    (ii)特定された現在の焦点距離に一致する前記焦点距離増分に対応する前記出力比を前記ビームプロファイル−焦点距離マップから選択することにより、前記特定された現在の焦点距離のための出力比を選択するとともに、前記電流ドライバを、前記第1及び第2のIRエミッタに前記選択された出力比で出力を送って前記広ビーム成分及び前記狭ビーム成分を生成し、該生成された広ビーム成分及び狭ビーム成分を結合するように制御するよう前記プロセッサによって実行可能なプログラムコードが符号化される、
    ことを特徴とする装置。
  9. 前記第1及び第2のIRエミッタは、前記広ビーム成分及び狭ビーム成分が前記シーン内の同じ場所に向けられるように位置合わせされる、
    ことを特徴とする請求項8に記載の装置。
  10. 前記処理回路と通信するイメージャと、該イメージャに光学的に結合された、可変焦点距離を有するズームレンズと、該ズームレンズ及び前記処理回路と通信するレンズドライバとをさらに備える、
    ことを特徴とする請求項9に記載の装置。
  11. 前記メモリは、前記ズームレンズの一連の焦点距離増分と、その対応する所望の線形プロファイルとを含むビームプロファイル−焦点距離マップをさらに含む、
    ことを特徴とする請求項10に記載の装置。
  12. 広ビーム成分及び狭ビーム成分で構成された赤外線(IR)ビームでシーンを照明する装置において使用するためのビームプロファイル−焦点距離マップの生成方法であって、前記装置は、広ビーム成分を放出する第1のIRエミッタと、狭ビーム成分を放出する第2のIRエミッタとを少なくとも備え、前記広ビーム成分は、前記狭ビーム成分の線形プロファイルよりも標準偏差が低い線形プロファイルを有し、前記方法は、
    (a)一群の焦点距離増分における各焦点距離増分について、前記狭ビーム成分と前記広ビーム成分とを結合した時に前記焦点距離増分にとって望ましい線形プロファイルのIRビームを生じる、前記第1のIRエミッタに送られる出力と前記第2のIRエミッタに送られる出力の好適な広ビーム対狭ビーム出力比を特定するステップと、
    (b)前記特定された好適な広ビーム対狭ビーム出力比及び対応する焦点距離増分を、前記装置が読み込むことができるデータベースに記憶するステップと、
    を含むことを特徴とする方法。
  13. 前記焦点距離増分のための前記好適な広ビーム対狭ビーム出力比を特定するステップは、前記焦点距離増分における視野に送出される最大IR出力と、目標標準偏差以下の標準偏差を有する線形プロファイルとを有するIRビームを生じる出力比を特定するステップを含む、
    ことを特徴とする請求項12に記載の方法。
  14. 前記最大IR出力を有するIRビームを生じる広ビーム対狭ビーム出力比を特定するステップは、低い広ビーム対狭ビーム出力比から開始して、前記第2のIRエミッタへの出力の増分を減少させる選択数の出力比増分を反復する反復ループを実行した後、目標標準偏差以下の標準偏差を有する線形プロファイルを生じる最も低い出力比増分を選択するステップを含む、
    ことを特徴とする請求項13に記載の方法。
  15. 前記最も低い出力比増分を選択した後に線形補間を行って最適な出力比を取得し、該最適な出力比を、前記データベース内の前記焦点距離増分のための前記好適な出力比として使用する、
    ことを特徴とする請求項13に記載の方法。
  16. 撮像対象シーンを赤外線(IR)放射によって照明するための装置であって、
    (a)IRビームの広ビーム成分を放出する第1のIRエミッタと、前記IRビームの狭ビーム成分を放出する第2のIRエミッタとを含む少なくとも2つのIRエミッタを備え、前記広ビーム成分は、前記狭ビーム成分の線形プロファイルよりも標準偏差が低い線形プロファイルを有し、前記装置は、
    (b)前記第1のIRエミッタに結合された第1の電流ドライバと、前記第2のIRエミッタに結合された第2の電流ドライバとを含む少なくとも2つの電流ドライバと、
    (c)前記電流ドライバと通信して、前記結合されたIRエミッタに選択量の出力を送るように各電流ドライバに指示する、プロセッサ及びメモリを含む処理回路と、
    をさらに備え、前記メモリには、ビームプロファイル−焦点距離マップを生成するためのプログラムコードと、該マップを用いて、前記第1のIRエミッタに送られる出力と前記第2のIRエミッタに送られる出力との好適な広ビーム対狭ビーム出力比でIRビームを放出するように前記IRエミッタに命令するためのプログラムコードとが符号化され、前記マップを生成するための前記プログラムコードは、
    (i)一群の焦点距離増分における各焦点距離増分について、前記狭ビーム成分と前記広ビーム成分とを結合した時に前記焦点距離増分にとって望ましい線形プロファイルのIRビームを生じる広ビーム対狭ビーム出力比を特定し、該特定された出力比を好適な広ビーム対狭ビーム出力比として選択することと、
    (ii)前記好適な広ビーム対狭ビーム出力比及び対応する焦点距離増分を、前記処理回路が読み込むことができるデータベースに記憶することと、
    を含む、
    ことを特徴とする装置。
  17. 前記焦点距離増分のための前記好適な広ビーム対狭ビーム出力比を特定するためのプログラムコードは、前記焦点距離増分における視野に送出される最大IR出力と、目標標準偏差以下の標準偏差を有する線形プロファイルとを有するIRビームを生じる出力比を特定することを含む、
    ことを特徴とする請求項16に記載の装置。
  18. 前記最大IR出力を有するIRビームを生じる広ビーム対狭ビーム出力比を特定するためのプログラムコードは、低い広ビーム対狭ビーム出力比から開始して、前記第2のIRエミッタへの出力の増分を減少させる選択数の出力比増分を反復する反復ループを実行した後、目標標準偏差以下の標準偏差を有する線形プロファイルを生じる最も低い出力比増分を選択することを含む、
    ことを特徴とする請求項17に記載の装置。
  19. 前記最も低い出力比増分を選択した後に線形補間を行って最適な出力比を取得し、該最適な出力比を、前記データベース内の前記焦点距離増分のための前記好適な出力比として使用する、
    ことを特徴とする請求項18に記載の装置。
JP2015551939A 2013-01-15 2013-01-28 可変照明パターンの赤外線照明ビームを生成するための方法及び装置 Active JP6073501B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361752905P 2013-01-15 2013-01-15
US61/752,905 2013-01-15
PCT/CA2013/050061 WO2014110655A1 (en) 2013-01-15 2013-01-28 Method and apparatus for generating an infrared illumination beam with a variable illumination pattern

Publications (2)

Publication Number Publication Date
JP2016516313A JP2016516313A (ja) 2016-06-02
JP6073501B2 true JP6073501B2 (ja) 2017-02-01

Family

ID=51164474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551939A Active JP6073501B2 (ja) 2013-01-15 2013-01-28 可変照明パターンの赤外線照明ビームを生成するための方法及び装置

Country Status (14)

Country Link
US (2) US8946636B2 (ja)
EP (1) EP2841989B1 (ja)
JP (1) JP6073501B2 (ja)
KR (1) KR102016782B1 (ja)
CN (1) CN104508553B (ja)
BR (1) BR112014027944B8 (ja)
CA (1) CA2871465C (ja)
HK (1) HK1206537A1 (ja)
IL (1) IL239676B (ja)
MX (1) MX2014014385A (ja)
NZ (1) NZ709735A (ja)
SG (1) SG11201505506XA (ja)
WO (1) WO2014110655A1 (ja)
ZA (1) ZA201408848B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2841989B1 (en) 2013-01-15 2016-01-20 Avigilon Corporation Method and apparatus for generating an infrared illumination beam with a variable illumination pattern
CN110708445B (zh) * 2014-01-10 2021-11-23 威智伦公司 用于减少内部反射的摄像机外壳
US9712246B2 (en) * 2015-11-16 2017-07-18 Listen Technologies Corporation Infrared audio systems and related methods
TWI576631B (zh) * 2015-11-19 2017-04-01 晶睿通訊股份有限公司 發光裝置及其影像監控設備
US10302764B2 (en) 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
TW201833651A (zh) * 2017-03-14 2018-09-16 晶睿通訊股份有限公司 攝影機景深自動調整方法及攝影機
CN108012376B (zh) * 2017-12-14 2019-08-06 苏州科技大学 一种开放办公室分布式照明控制方法
US11070740B2 (en) 2019-01-18 2021-07-20 Panasonic I-Pro Sensing Solutions Co., Ltd. Camera device and IR light irradiating method
WO2020151984A1 (en) 2019-01-21 2020-07-30 Lumileds Holding B.V. Lighting system with pattern element
US11237459B2 (en) 2019-06-12 2022-02-01 Avigilon Corporation Camera comprising a light-refracting apparatus for dispersing light
KR20240063503A (ko) * 2022-11-03 2024-05-10 주식회사 아이티유 현장작업을 위한 감시카메라 촬영범위 확인 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3873157B2 (ja) * 1997-11-13 2007-01-24 カシオ計算機株式会社 電子カメラ装置および撮像方法
JP2000266987A (ja) * 1999-03-12 2000-09-29 Olympus Optical Co Ltd カメラ
JP2001245205A (ja) * 2000-02-29 2001-09-07 Matsushita Electric Ind Co Ltd 撮像装置
JP2004274637A (ja) * 2003-03-12 2004-09-30 Nec Corp 携帯端末装置及びそれに用いるライト照度変更方法並びにそのプログラム
US7509043B2 (en) * 2004-05-25 2009-03-24 Nikon Corporation Illuminating device for photographing and camera
JP2006203650A (ja) * 2005-01-21 2006-08-03 Canon Inc カメラ管理装置、カメラシステム、カメラ管理方法、及び記憶媒体
RU2384968C1 (ru) * 2005-12-06 2010-03-20 Панасоник Корпорэйшн Цифровой фотоаппарат
US7922353B2 (en) 2006-03-20 2011-04-12 Larson Isely Apparatus, method and system for providing multi-mode illumination
GB0615865D0 (en) 2006-08-10 2006-09-20 Video Ip Ltd Surveillance apparatus
US20080151052A1 (en) * 2006-11-01 2008-06-26 Videolarm, Inc. Infrared illuminator with variable beam angle
GB2454457B (en) * 2007-11-02 2012-11-14 Raytec Ltd Intelligent illumination
US20090278795A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Illumination Assembly Therefor
CN102335793B (zh) 2010-07-22 2016-11-23 江苏道康发电机组有限公司 不锈钢与氧化铝陶瓷的连接方法
US10012361B2 (en) * 2010-11-15 2018-07-03 Adl, Inc. Multi-spectral variable focus illuminator
US20120121244A1 (en) * 2010-11-15 2012-05-17 Congruent Concepts, LLC Variable focus illuminator
US8947527B1 (en) * 2011-04-01 2015-02-03 Valdis Postovalov Zoom illumination system
CN202267810U (zh) * 2011-09-28 2012-06-06 福建福光数码科技有限公司 红外照明变焦距聚光镜头
CN102354078B (zh) * 2011-09-28 2014-02-26 福建福光数码科技有限公司 红外照明变焦距聚光镜头
JP5948050B2 (ja) * 2011-12-20 2016-07-06 ローム株式会社 撮影補助光装置およびこれを備えたデジタルカメラ
US9264596B2 (en) * 2012-10-26 2016-02-16 Sensormatic Electronics, LLC Security camera system and method for eliminating video aberrations from excessive IR illumination
EP2841989B1 (en) * 2013-01-15 2016-01-20 Avigilon Corporation Method and apparatus for generating an infrared illumination beam with a variable illumination pattern

Also Published As

Publication number Publication date
CA2871465C (en) 2015-03-31
KR102016782B1 (ko) 2019-08-30
US20150327347A1 (en) 2015-11-12
CN104508553A (zh) 2015-04-08
BR112014027944A8 (pt) 2021-03-02
ZA201408848B (en) 2016-12-21
US8946636B2 (en) 2015-02-03
BR112014027944B8 (pt) 2023-02-28
CA2871465A1 (en) 2014-07-24
AU2013374191A1 (en) 2014-11-13
NZ709735A (en) 2016-12-23
KR20150113023A (ko) 2015-10-07
IL239676B (en) 2019-06-30
EP2841989B1 (en) 2016-01-20
EP2841989A1 (en) 2015-03-04
SG11201505506XA (en) 2015-08-28
BR112014027944B1 (pt) 2022-02-01
BR112014027944A2 (pt) 2017-06-27
HK1206537A1 (zh) 2016-01-08
US20140197314A1 (en) 2014-07-17
MX2014014385A (es) 2015-02-05
IL239676A0 (en) 2015-08-31
JP2016516313A (ja) 2016-06-02
WO2014110655A1 (en) 2014-07-24
CN104508553B (zh) 2016-06-15
US10349486B2 (en) 2019-07-09
EP2841989A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
JP6073501B2 (ja) 可変照明パターンの赤外線照明ビームを生成するための方法及び装置
US9615032B2 (en) Imaging apparatus with scene adaptive auto exposure compensation
US9992404B2 (en) Method and system for adjusting camera focus to facilitate infrared imaging
JP6653128B2 (ja) 可視光通信システム
JP6373577B2 (ja) 撮像制御装置
CN115278098B (zh) 图像拍摄的方法、系统及其拍摄装置
JP7013730B2 (ja) 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム
AU2013374191B2 (en) Method and apparatus for generating an infrared illumination beam with a variable illumination pattern
WO2022181097A1 (ja) 測距装置およびその制御方法、並びに、測距システム
EP3890300A1 (en) A self-propelled vehicle
JP2021021867A (ja) 照明制御装置、照明制御方法および撮像装置
JP2015095225A (ja) 情報生成装置、情報生成方法、及び、情報生成プログラム
JP5546381B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170104

R150 Certificate of patent or registration of utility model

Ref document number: 6073501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250