JP5389879B2 - 撮像装置、監視カメラ、およびカメラ画面のマスク方法 - Google Patents
撮像装置、監視カメラ、およびカメラ画面のマスク方法 Download PDFInfo
- Publication number
- JP5389879B2 JP5389879B2 JP2011204727A JP2011204727A JP5389879B2 JP 5389879 B2 JP5389879 B2 JP 5389879B2 JP 2011204727 A JP2011204727 A JP 2011204727A JP 2011204727 A JP2011204727 A JP 2011204727A JP 5389879 B2 JP5389879 B2 JP 5389879B2
- Authority
- JP
- Japan
- Prior art keywords
- mask
- dimensional
- coordinates
- camera
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Description
図1に示すように、監視カメラシステム1は、監視カメラ12、カメラ操作装置3、および表示装置4を備えている。また、監視カメラ12およびカメラ操作装置3は、ネットワーク2を介して、通信可能に接続されている。
監視カメラ12は、パン回転、チルト回転が可能な回転台11に、外部の光を取り込むレンズユニット5と、レンズユニット5のズームを変更するとともに取り込んだ光を表示装置4に表示可能な映像信号に変換する撮像装置10とで構成されるビデオカメラを取り付けて形成される。監視カメラ12は、ネットワーク2を介して、カメラ操作装置3によって、パン回転、チルト回転、ズームの操作が可能であり、カメラ操作装置3によって指定された方向の映像を映し出すことができる。
カメラ操作装置3は、複数の撮影箇所を記憶し、この記憶した撮影箇所を一定の時間で順次映し出すシーケンス機能や、監視エリアに設定した人感センサ(不図示)が異常を検知したときに、その方向に監視カメラ12を向けさせるアラーム機能を備えている。また、カメラ操作装置3は、人手によって、監視カメラ12の制御を行う機能も備えている。さらに、カメラ操作装置3は、同時に複数の監視カメラ12を制御することができ、監視カメラ12ごとにネットワーク2を介して取得した映像信号を、表示装置4に出力する。
表示装置4は、映像信号を表示するモニタである。
信号処理部107は、ノイズ低減処理、感度アップ処理、色再現性向上処理等を実行する。
また、マスク信号発生部108は、信号処理部107の出力信号に対して、プライバシ保護範囲に付加するマスク信号を出力する。そして、画像処理LSI106は、信号処理部107の出力信号にマスク信号を重畳する。
なお、画像処理LSI106の機能を動作させる設定を行うために、画像処理LSI106は、マイコン120と接続しており、画像処理LSI106の制御はマイコン120によって行われる。また、画像処理LSI106は、映像信号に対する種々の処理機能を集約しており、撮像装置10の小型化に寄与している。
モータ制御部121は、制御位置情報取得部122からズーム位置情報を取得して、ズームレンズ制御用モータ140を動かして、設定したズーム位置となるように制御を行う。
制御位置情報取得部122は、撮像装置10の外部から設定されたパン角度、チルト角度、ズーム位置情報を取得する。
また、プライバシマスク制御部123は、必要に応じて、画像処理LSI106の制御を行い、プライバシ保護範囲の演算処理を行ない、その結果をマスク信号発生部108に設定する。
なお、マイコン120の一部の機能は、ソフトウェアではなく、画像処理LSI106にハードウェアとして内装されていても構わない。マイコン120の詳細については、後記する。
まず、外部記憶メモリ130に記憶される情報について説明する。外部記憶メモリ130は、画面情報131、Z値テーブル134、角度テーブル135、マスク3次元位置情報136を記憶している。
画面情報131は、カメラ画面情報132および撮像面情報133を記憶している。
カメラ画面情報132は、最終的に表示装置4に出力する映像サイズの水平幅および垂直幅を指し、それぞれMONI_H、MONI_V(図8参照)として記憶している。
Tan(αH) = ((Pux×Hpixel)/2)/f値 ・・・式(1)
Tan(αV) = ((Puy×Vpixel)/2)/f値 ・・・式(2)
Tan(αH) = (CAM_H/2)/d_base ・・・式(3)
Tan(αV) = (CAM_V/2)/d_base ・・・式(4)
CAM_H = (d_base×Pux×Hpixel)/f値 ・・・式(5)
CAM_V = (d_base×Puy×Vpixel)/f値 ・・・式(6)
3次元座標上のd_baseの値を決めれば、CAM_H、CAM_Vを求めることができるので、予め計算して撮像面情報133に記憶しておく。
Z値テーブル134は、レンズ51と撮像素子104との間の距離f値と、図4に示すd_baseとの関係を記憶している。これは、監視カメラ12のズーム位置(W端からT端までの任意位置)の設定に依存して、レンズ51と撮像素子104との間の距離(f値)が変化するので、図4の3次元座標上のd_baseの値を変化させる必要があるためである。そこで、Z値テーブル134は、任意のズーム位置におけるd_baseが変化した際のd_nの値を予め記憶しておく。前記式(5)、式(6)を変形すると、下記の式(7)、式(8)により、あるズーム位置における焦点距離f値によりd_nの値を求めることができる。
d_n=(CAM_H×f値)/(Pux×Hpixel) ・・・式(7)
d_n=(CAM_V×f値)/(Puy×Vpixel) ・・・式(8)
SINα = SINα (0度 ≦ α < 90度) ・・・式(9a)
SINα = SIN(90度-α) (90度 ≦ α < 180度) ・・・式(9b)
SINα = -SIN(α-180度) (180度 ≦ α < 270度) ・・・式(9c)
SINα = -SIN(90度-(α-270度)) (270度 ≦ α< 360度) ・・・式(9d)
COSα = SIN(90度-α) (0度 ≦ α < 90度) ・・・式(10a)
COSα = -SIN(α-90度) (90度 ≦ α < 180度) ・・・式(10b)
COSα = -SIN(90度-(α-180度)) (180度 ≦ α< 270度) ・・・式(10c)
COSα = SIN(α-270度) (270度 ≦ α < 360度) ・・・式(10d)
まず、マスク状態判定部124は、プライバシマスク制御状態の判定を行う。具体的には、マスク状態判定部124は、図7に示すように、ステップS701において、プライバシマスク制御状態として、1:制御OFF、2:マスク作成、3:マスク表示のいずれかを判定する。1:制御OFFの状態の時には何も処理が行われない。2:マスク作成時には、ステップS702において、マスク作成処理部150はマスク作成処理を実行する。また、3:マスク表示時には、ステップS703において、マスク表示処理部160は、マスク表示処理を実行する。
マスク作成処理部150は、マスク設定情報取得部151、マスク表示位置算出部152、マスク2次元2次元変換部153、マスク2次元3次元変換部154、マスク回転処理部155を備える。
マスク設定情報取得部151は、カメラ操作部3から監視カメラ12へ通信が行われ、図8に示すカメラ画面21上に設定されたマスク23の位置(moniMASK_Hposi、moniMASK_Vposi)とそのマスク23のサイズ情報(moniMASK_Hsize、moniMASK_Vsize)とを取得する。なお、設定するマスク23は長方形とし、本実施形態では、例としてmoniMASK_HposiおよびmoniMASK_Vposiは-128〜127、moniMASK_HsizeおよびmoniMASK_Vsizeは0〜128の範囲のデータとする。ただし、マスク形状は長方形以外の例えば台形や円といった形状でも構わない。
x1_moniMASK=x3_moniMASK
=(MONI_H/2)+(MONI_H/256)×(-moniMASK_Hsize+moniMASK_Hposi) ・・・式(11)
x2_moniMASK=x4_monMASKi
=(MONI_H/2)+(MONI_H/256)×(moniMASK_Hsize+moniMASK_Hposi) ・・・式(12)
y1_moniMASK=y2_moniMASK
=(MONI_V/2)−(MONI_V/256)×(moniMASK_Vsize+moniMASK_Vposi) ・・・式(13)
y3_moniMASK=y4_moniMASK
=(MONI_V/2)−(MONI_V/256)×(-moniMASK_Vsize+moniMASK_Vposi) ・・・式(14)
x*_camMASK=x*_moniMASK×CAM_H/MONI_H−CAM_H/2 ・・・式(15)
y*_camMASK=y*_moniMASK×CAM_V/MONI_V−CAM_V/2 ・・・式(16)
ただし、*は1〜4の頂点番号を表す。
p1_camMASK_3d(x1_camMASK,y1_camMASK,d1_set)、
p2_camMASK_3d(x2_camMASK,y2_camMASK,d2_set)、
p3_camMASK_3d(x3_camMASK,y3_camMASK,d3_set)、
p4_camMASK_3d(x4_camMASK,y4_camMASK,d4_set)
ただし、d_set=d1_set=d2_set=d3_set=d4_setである。
p1_cam_3d_r(x1_cam_r,y1_cam_r,d1_set_r)、
p2_cam_3d_r(x2_cam_r,y2_cam_r,d2_set_r)、
p3_cam_3d_r(x3_cam_r,y3_cam_r,d3_set_r)、
p4_cam_3d_r(x4_cam_r,y4_cam_r,d4_set_r)
p1_camMASK_3d_r(x1_camMASK_r,y1_camMASK_r,d1_set_r)、
p2_camMASK_3d_r(x2_camMASK_r,y2_camMASK_r,d2_set_r)、
p3_camMASK_3d_r(x3_camMASK_r,y3_camMASK_r,d3_set_r)、
p4_camMASK_3d_r(x4_camMASK_r,y4_camMASK_r,d4_set_r)
まず、撮像面20の中心点Mを始点、3次元座標上の原点0を終点とするベクトルM0(以降、始点A、終点Bとするベクトルを、ベクトルABまたは→ABと表記する。)は、撮像面20に対して垂線となるので、撮像面20の平面の法線ベクトルNとなる。撮像面20の法線ベクトルNは、撮像面20上の3つの頂点座標を使用して、p1_cam_3d_r(点E)からp3_cam_3d_r(点G)へのベクトルS(→EG)とp1_cam_3d_r(点E)からp2_cam_3d_r(点F)へのベクトルT(→EF)による外積S×Tで表せる。外積S×Tは、下記の式(18)、式(19)、式(20)によって求められる。
ベクトルS=(x3_cam_r−x1_cam_r,y3_cam_r−y1_cam_r,d3_now_r−d1_now_r)
・・・式(18)
ベクトルT=(x2_cam_r−x1_cam_r,y2_cam_r−y1_cam_r,d2_now_r−d1_now_r)
・・・式(19)
ベクトルN=外積S×T=(a,b,c) ・・・式(20)
ただし、
a=(y3_cam_r−y1_cam_r)×(d2_now_r−d1_now_r)−(d3_now_r−d1_now_r)×(y2_cam_r −y1_cam_r)、
b=(d3_now_r−d1_now_r)×(x2_cam_r−x1_cam_r)−(x3_cam_r−x1_cam_r)×(d2_now_r−d1_now_r)、
c=(x3_cam_r−x1_cam_r)×(y2_cam_r−y1_cam_r)−(y3_cam_r−y1_cam_r)×(x2_cam_r−x1_cam_r)
である。
p*_mask(x*_mask,y*_mask,z*_mask)=k*×p*_camMASK_3d_r(x*_camMASK_r,y*_camMASK_r,d*_set_r) ・・・式(21)
ただし、*は1〜4のマスク頂点番号を表す。
ここで、撮像面20の頂点p1_cam_3d_r(点E)を始点とし、撮像面20上に投影されるマスク22の各頂点座標(p1_mask(点I)、p2_mask(点J)、p3_mask(点K)、p4_mask(点L))を終点とするベクトルEI,EJ,EK,EL(不図示)は、式(21)を変形して、下記の式(22)のように表される。
(x*_mask−x*_cam_r,y*_mask−y*_cam_r,z*_mask−d*_now_r)=
(k*×x*_camMASK_r−x*_cam_r,k*×y*_camMASK_r−y*_cam_r,k*×d*_set_r−z*_cam_r)
・・・式(22)
ただし、*は1〜4のマスク頂点番号を表す。
ベクトルEI・外積S×T=0、
ベクトルEJ・外積S×T=0、
ベクトルEK・外積S×T=0、
ベクトルEL・外積S×T=0
・・・式(23)
k*=(a×x1_cam_r+b×y1_cam_r+c×z1_cam_r)/(a×x*_camMASK_r+b×y*_camMASK_r+c×d*_set_r) ・・・式(24)
ただし、*は1〜4のマスク頂点番号を表す。
図11に、撮像面20上のマスク22の頂点座標(図11(a)参照)と、カメラ画面21上のマスク23aの頂点座標(図11(b)参照)との関係を示す。3次元座標上ではマスク22の各頂点座標は撮像面20上にあるので、3次元座標上の同一平面上の点を2次元のカメラ画面21上の座標に変換すればよい。いま、図11(a)に示す3次元座標上の撮像面20およびマスク22の各頂点座標との2点間の距離を求める。例えば、撮像面20の頂点座標p1_com_3d_r(点E)とマスク22の頂点座標p1_mask(点I)との2点間の距離は、A1として求まる。同様に、撮像面20の頂点座標p2_com_3d_r(点F)とマスク22の頂点座標p1_mask(点I)との2点間の距離はB1、撮像面20の頂点座標p3_com_3d_r(点G)とマスク22の頂点座標p1_mask(点I)との2点間の距離はC1として求まる。なお、撮像面20の頂点座標(点E,F,G)とマスク22の頂点座標p2_mask(点J)との2点間の距離は、それぞれA2,B2,C2、撮像面20の頂点座標(点E,F,G)とマスク22の頂点座標p3_mask(点K)との2点間の距離は、それぞれA3,B3,C3、撮像面20の頂点座標(点E,F,G)とマスク22の頂点座標p4_mask(点L)との2点間の距離は、それぞれA4,B4,C4と求まる。そして、図11(b)でも同様に、2次元のカメラ画面21の頂点座標(点P,Q,R)とマスク23aの各頂点座標(p1_moniMASKa、p2_moniMASKa、p3_moniMASKa、p4_moniMASKa)との2点間距離についても、a1,b1,c1,a2,b2,c2,a3,b3,c3,a4,b4,c4と求めることができる。
具体的には、3次元座標上の撮像面20とマスク22の位置との関係は、2次元上のカメラ画面21とマスク23aの位置との関係と相似である。そこで、2点間の距離A1,B1,C1,・・と距離a1,b1,c1・・との関係も相似であるので、各距離の比を用いて、カメラ画面21上のマスク23aの頂点座標を計算することができる。
まず、距離A1,A2,・・と距離a1,a2,・・との関係について下記の式(25)が成り立つ。
|ベクトルFE|^2/A*^2=|ベクトルQP|^2/a*^2、
|ベクトルFE|^2=CAM_H^2、
|ベクトルQP|^2=MONI_H^2、
A*^2=(x*_mask−x1_cam_r)^2+(y*_mask−y1_cam_r)^2+(z*_mask−d1_now_r)^2、
a*^2=(x*_moniMASKa−0)^2+(y*_moniMASKa−0)^2
・・・式(25)
ただし、*は1〜4のマスク頂点番号を表し、^2は2乗を表す。
|ベクトルFE|^2/B*^2=|ベクトルQP|^2/b*^2、
|ベクトルFE|^2=CAM_H^2、
|ベクトルQP|^2=MONI_H^2、
B*^2=(x*_mask−x2_cam_r)^2+(y*_mask−y2_cam_r)^2+(z*_mask−d2_now_r)^2、
b*^2=(x*_moniMASKa−MINI_H)^2+(y*_moniMASKa−0)^2
・・・式(26)
ただし、*は1〜4のマスク頂点番号を表し、^2は2乗を表す。
|ベクトルGE|^2/A*^2=|ベクトルRP|^2/a*^2、
|ベクトルGE|^2=CAM_V^2、
|ベクトルRP|^2=MONI_V^2、
A*^2=(x*_mask−x1_cam_r)^2+(y*_mask−y1_cam_r)^2+(z*_mask−d1_now_r)^2、
a*^2=(x*_moniMASKa−0)^2+(y*_moniMASKa−0)^2
・・・式(27)
ただし、*は1〜4のマスク頂点番号を表し、^2は2乗を表す。
|ベクトルGE|^2/C*^2=|ベクトルQP|^2/c*^2、
|ベクトルGE|^2=CAM_V^2、
|ベクトルRP|^2=MONI_V^2、
C*^2=(x*_mask−x3_cam_r)^2+(y*_mask−y3_cam_r)^2+(z*_mask−d3_now_r)^2、
c*^2=(x*_moniMASKa−0)^2+(y*_moniMASKa−MONI_V)^2
・・・式(28)
ただし、*は1〜4のマスク頂点番号を表し、^2は2乗を表す。
x*_moniMASKa=((MONI_H×(CAM_H^2+A*^2−B*^2))/(2×CAM_H^2) ・・・式(29)
y*_moniMASKa=((MONI_V×(CAM_V^2+A*^2−C*^2))/(2×CAM_V^2) ・・・式(30)
ただし、*は1〜4のマスク頂点番号を表す。
x1_moniMASKb=x3_moniMASKb=
MIN(x1_moniMASKa,x2_moniMASKa,x3moniMASKa,x4moniMASKa)
x2_moniMASKb=x4_moniMASKb=
MAX(x1_moniMASKa,x2_moniMASKa,x3moniMASKa,x4moniMASKa)
y1_moniMASKb=y2_moniMASKb=
MIN(y1_moniMASKa,y2_moniMASKa,y3moniMASKa,y4moniMASKa)
y3_moniMASKb=y4_moniMASKb=
MAX(y1_moniMASKa,y2_moniMASKa,y3moniMASKa,y4moniMASKa)
・・・式(31)
ただし、MAXは()の中の最大の値、MINは()の中の最小の値を出力する関数である)
CAM_H=(d_base×Pux×Hpixel)/f値=(256×0.00000475×768)/0.0034=274.67≒275(式(5)より)。
CAM_V=(d_base×Puy×Vpixel)/f値=(256×0.00000555×494)/0.0034=206.43≒206(式(6)より)。
x1_moniMASK=x3_moniMASK=(MONI_H/2)+(MONI_H/256)×(−moniMASK_Hsize+moniMASK_Hposi)=(740/2)+(740/256)×(−16+64)=508.75≒509(式(11)より)。
x2_moniMASK=x4_monMASKi=(MONI_H/2)+(MONI_H/256)×(moniMASK_Hsize+moniMASK_Hposi)=(740/2)+(740/256)×(16+64)=601.25≒601(式(12)より)。
y1_moniMASK=y2_moniMASK=(MONI_V/2)−(MONI_V/256)×(moniMASK_Vsize+moniMASK_Vposi)=(480/2)−(480/256)×(16+64)=90(式(13)より)。
y3_moniMASK=y4_moniMASK=(MONI_V/2)−(MONI_V/256)×(−moniMASK_Vsize+moniMASK_Vposi)=(480/2)−(480/256)×(−16+64)=150(式(14)より)。
p1_camMASK(x1_camMASK,y1_camMASK)=p1_moniMASK(509×275/740−275/2,90×206/480−206/2)=(51.655,-64.375)≒(52,-64)
p2_camMASK(x2_camMASK,y2_camMASK)=p2_moniMASK(601×275/740−275/2,90×206/480−206/2)=(85.844,-64.375)≒(86,-64)
p3_camMASK(x3_camMASK,y3_camMASK)=p3_moniMASK(509×275/740−275/2,150×206/480−206/2)=(51.655,-38.625)≒(52,-39)
p4_camMASK(x4_camMASK,y4_camMASK)=p4_moniMASK(601×275/740−275/2,150×206/480−206/2)=(85.844,-38.625)≒(86,-39)
k1=(a×x1_cam_r+b×y1_cam_r+c×z1_cam_r)/(a×x1_camMASK_r+b×y1_camMASK_r+c×d1_set_r)=(-25760×(-36)+41544×(-257)−28700×166)/(-25760×116+41544×(-226)−28700×88)≒0.974
k2=(a×x1_cam_r+b×y1_cam_r+c×z1_cam_r)/(a×x2_camMASK_r+b×y2_camMASK_r+c×d2_set_r)=(-25760×(-36)+41544×(-257)−28700×166)/(-25760×145+41544×(-226)−28700×70)≒0.959
k3=(a×x1_cam_r+b×y1_cam_r+c×z1_cam_r)/(a×x3_camMASK_r+b×y3_camMASK_r+c×d3_set_r)=(-25760×(-36)+41544×(-257)−28700×166)/(-25760×125+41544×(-209)−28700×103)≒0.977
k4=(a×x1_cam_r+b×y1_cam_r+c×z1_cam_r)/(a×x4_camMASK_r+b×y4_camMASK_r+c×d4_set_r)=(-25760×(-36)+41544×(-257)−28700×166)/(-25760×154+41544×(-209)−28700×85)≒0.962
p1_mask(x1_mask,y1_mask,z1_mask)=0.974×p1_camMASK_3d_r(116,-226,88)=(113,-220,86)
p2_mask(x2_mask,y2_mask,z2_mask)=0.959×p2_camMASK_3d_r(145,-226,70)=(139,-217,67)
p3_mask(x3_mask,y3_mask,z3_mask)=0.977×p3_camMASK_3d_r(125,-209,103)=(122,-204,101)
p4_mask(x4_mask,y4_mask,z4_mask)=0.962×p4_camMASK_3d_r(154,-209,85)=(148,-201,82)
x1_moniMASKa=((MONI_H×(CAM_H^2+A1^2−B1^2))/(2×CAM_H^2)=((740×(275^2+29970^2−15321^2))/(2×275^2)=441.6711
x2_moniMASKa=((MONI_H×(CAM_H^2+A2^2−B2^2))/(2×CAM_H^2)=((740×(275^2+42026^2−9725^2))/(2×275^2)=528.0346
x3_moniMASKa=((MONI_H×(CAM_H^2+A3^2−B3^2))/(2×CAM_H^2)=((740×(275^2+31998^2−19179^2))/(2×275^2)=432.7178
x4_moniMASKa=((MONI_H×(CAM_H^2+A4^2−B4^2))/(2×CAM_H^2)=((740×(275^2+44048^2−13577^2))/(2×275^2)=519.0813
また、式(30)より下記のように求まる。
y1_moniMASKa=((MONI_V×(CAM_V^2+A1^2−C1^2))/(2×CAM_V^2)=((480×(206^2+29970^2−49777^2))/(2×206^2)=127.98
y2_moniMASKa=((MONI_V×(CAM_V^2+A2^2−C2^2))/(2×CAM_V^2)=((480×(206^2+42026^2−9725^2))/(2×206^2)=138.3637
y3_moniMASKa=((MONI_V×(CAM_V^2+A3^2−C3^2))/(2×CAM_V^2)=((480×(206^2+31998^2−19179^2))/(2×206^2)=182.6016
y4_moniMASKa=((MONI_V×(CAM_V^2+A4^2−C4^2))/(2×CAM_V^2)=((480×(206^2+44048^2−13577^2))/(2×206^2)=192.9852
x1_moniMASKb=x3_moniMASKb
=MIN(x1_moniMASKa,x2_moniMASKa,x3moniMASKa,x4moniMASKa)
=MIN(441.6711,528.0346,432.7178,519.0813)=432.7178
x2_moniMASKb=x4_moniMASKb
=MAX(x1_moniMASKa,x2_moniMASKa,x3moniMASKa,x4moniMASKa)
=MAX(441.6711,528.0346,432.7178,519.0813)=528.0346
y1_moniMASKb=y3_moniMASKb
=MIN(y1_moniMASKa,y2_moniMASKa,y3moniMASKa,y4moniMASKa)
=MIN(127.98,138.3637,182.6016,192.9852)=127.98
y2_moniMASKb=y4_moniMASKb
=MAX(y1_moniMASKa,y2_moniMASKa,y3moniMASKa,y4moniMASKa)
=MAX(127.98,138.3637,182.6016,192.9852)=192.9852
3 カメラ操作装置
4 表示装置
5 レンズユニット
10 撮像装置
20 撮像面
21 カメラ画面
22,22a,22r マスク(第1のマスク)
23,23a,23b マスク(第2のマスク)
51 レンズ
52 アイリス
104 撮像素子
105 AFE
106 画像処理LSI(映像処理部)
107 信号処理部
108 マスク信号発生部
109 DAC
110 カメラ映像信号出力部
120 マイコン(映像処理部)
121 モータ制御部
122 制御位置情報取得部
123 プライバシマスク制御部
124 マスク状態判定部
125 SIN・COS算出部
130 外部記憶メモリ
131 画面情報
132 カメラ画面情報
133 撮像面情報
134 Z値テーブル
135 角度テーブル
136 マスク3次元位置情報
140 ズームレンズ制御用モータ
150 マスク作成処理部
151 マスク設定情報取得部
152 マスク表示位置算出部
153 マスク2次元2次元変換部
154 マスク2次元3次元変換部(マスク生成部)
155 マスク回転処理部(マスク生成部)
160 マスク表示処理部
161 カメラ画面2次元2次元変換部
162 撮像面2次元3次元変換部
163 撮像面回転処理部
164 マスク投影位置算出部(マスク生成部)
165 マスク表示位置算出部
166 マスク座標補正部
Claims (9)
- 撮像素子を有し、前記撮像素子に撮像された映像信号を表示したカメラ画面上に、前記カメラ画面内の一部の被写体を見えないように覆うマスクを生成重畳して表示する、回転台に取り付け可能な撮像装置であって、
前記回転台のパン角度およびチルト角度と、ズーム位置とを取得する制御位置情報取得部と、
前記撮像素子の成す面を示す撮像面上に配置されたマスクを第1のマスクとし、パン回転およびチルト回転の中心を3次元座標の原点として、前記第1のマスクを配置して、その配置した前記第1のマスクの頂点座標を算出するマスク生成部と、
前記マスク生成部によって算出された前記第1のマスクの頂点座標を前記カメラ画面の2次元座標のマスクを示す前記第2のマスクの頂点座標に変換する際に、前記撮像面の複数の頂点と前記第1のマスクの頂点との距離と、前記カメラ画面の複数の頂点と前記第2のマスクの頂点との距離とが相似の関係となるように、前記カメラ画面の2次元座標上の前記第2のマスクの頂点座標を算出するマスク表示位置算出部と、
前記マスク表示位置算出部によって算出された前記第2のマスクの位置にマスクが設定されるように、前記カメラ画面の映像信号にマスクを重畳するマスク信号発生部と
を備えることを特徴とする撮像装置。 - 前記マスク生成部は、
前記ズーム位置が所定のズーム位置のとき、前記撮像素子の成す面を示す撮像面上に配置されたマスクを第1のマスクとして、前記第1のマスクを3次元座標軸のうちの1軸が前記撮像面の中心を通る垂線となり、3次元座標の原点から前記所定のズーム位置となる位置に前記撮像面を配置して、その配置した前記第1のマスクの頂点座標を第1の情報として算出するマスク2次元3次元変換部と、
前記第1の情報の前記第1のマスクの頂点座標に対して、パン回転およびチルト回転後のパン角度およびチルト角度に基づいて、3次元座標の原点を中心として所定の方向に回転する変換を実行し、回転変換後の前記第1のマスクの頂点座標を第2の情報として算出し、記憶部に記憶するマスク回転処理部と、
3次元座標の原点と前記第2の情報として記憶されている前記第1のマスクの頂点とを線で結んだ直線と回転ズーム操作後の前記撮像面との交点を、パン、チルト、およびズームの操作後の前記第1のマスクの頂点座標として算出するマスク投影位置算出部と、
を備えることを特徴とする請求項1に記載の撮像装置。 - 前記マスク表示位置算出部によって算出された前記第2のマスクの形状が、前記カメラ画面の2次元座標の軸に平行な辺を有する長方形でない場合、当該第2のマスクの形状に外接し、前記カメラ画面を配置している2次元座標の軸に平行な辺を有する長方形に変換するマスク座標補正部
を備えることを特徴とする請求項1または請求項2に記載の撮像装置。 - 光学レンズ、撮像素子、および前記撮像素子に撮像された映像信号の映像処理部を有して撮像画面を出力するカメラと、前記カメラを回転支持する回転台とで構成される監視カメラであって、
前記監視カメラは、
前記回転台のパン角度およびチルト角度と、ズーム位置とを取得する制御位置情報取得部と、
前記撮像素子の成す面を示す撮像面上に配置されたマスクを第1のマスクとし、パン回転およびチルト回転の中心を3次元座標の原点として、前記第1のマスクを配置して、その配置した前記第1のマスクの頂点座標を算出するマスク生成部と、
前記マスク生成部によって算出された前記第1のマスクの頂点座標を前記カメラ画面の2次元座標のマスクを示す第2のマスクの頂点座標に変換する際に、前記撮像面の複数の頂点と前記第1のマスクの頂点との距離と、前記カメラ画面の複数の頂点と前記第2のマスクの頂点との距離とが相似の関係となるように、前記カメラ画面の2次元座標上の前記第2のマスクの頂点座標を算出するマスク表示位置算出部と、
前記マスク表示位置算出部によって算出された前記第2のマスクの位置にマスクが設定されるように、前記カメラ画面の映像信号にマスクを重畳するマスク信号発生部と、
を備え、
前記撮像素子に撮像された映像信号を表示したカメラ画面上に、前記カメラ画面内の一部の被写体を見えないように覆うマスクを生成重畳して表示する
ことを特徴とする監視カメラ。 - 前記マスク生成部は、
前記ズーム位置が所定のズーム位置のとき、前記撮像素子の成す面を示す撮像面上に配置されたマスクを第1のマスクとして、前記第1のマスクを3次元座標軸のうちの1軸が前記撮像面の中心を通る垂線となり、3次元座標の原点から前記所定のズーム位置となる位置に前記撮像面を配置して、その配置した前記第1のマスクの頂点座標を第1の情報として算出するマスク2次元3次元変換部と、
前記第1の情報の前記第1のマスクの頂点座標に対して、パン回転およびチルト回転後のパン角度およびチルト角度に基づいて、3次元座標の原点を中心として所定の方向に回転する変換を実行し、回転変換後の前記第1のマスクの頂点座標を第2の情報として算出し、記憶部に記憶するマスク回転処理部と、
3次元座標の原点と前記第2の情報として記憶されている前記第1のマスクの頂点とを線で結んだ直線と回転ズーム操作後の前記撮像面との交点を、パン、チルト、およびズームの操作後の前記第1のマスクの頂点座標として算出するマスク投影位置算出部と
を備えることを特徴とする請求項4に記載の監視カメラ。 - 前記マスク表示位置算出部によって算出された前記第2のマスクの形状が、前記カメラ画面の2次元座標の軸に平行な辺を有する長方形でない場合、当該第2のマスクの形状に外接し、前記カメラ画面を配置している2次元座標の軸に平行な辺を有する長方形に変換するマスク座標補正部
を備えることを特徴とする請求項4または請求項5に記載の監視カメラ。 - 撮像素子を有し、前記撮像素子に撮像された映像信号を表示したカメラ画面上に、前記カメラ画面内の一部の被写体を見えないように覆うマスクを生成重畳して表示する、回転台に取り付け可能な撮像装置のカメラ画面のマスク方法であって、
前記撮像装置は、
前記回転台のパン角度およびチルト角度と、ズーム位置とを取得する第1のステップと、
前記撮像素子の成す面を示す撮像面上に配置されたマスクを第1のマスクとし、パン回転およびチルト回転の中心を3次元座標の原点として、前記第1のマスクを配置して、その配置した前記第1のマスクの頂点座標を算出する第2のステップと、
前記第2のステップによって算出された前記第1のマスクの頂点座標を前記カメラ画面の2次元座標のマスクを示す第2のマスクの頂点座標に変換する際に、前記撮像面の複数の頂点と前記第1のマスクの頂点との距離と、前記カメラ画面の複数の頂点と前記第2のマスクの頂点との距離とが相似の関係となるように、前記カメラ画面の2次元座標上の前記第2のマスクの頂点座標を算出する第3のステップと、
前記第3のステップによって算出された前記第2のマスクの位置にマスクが設定されるように、前記カメラ画面の映像信号にマスクを重畳する第4のステップと
を実行することを特徴とするカメラ画面のマスク方法。 - 前記撮像装置は、前記第2のステップにおいて、
前記ズーム位置が所定のズーム位置のとき、前記撮像素子の成す面を示す撮像面上に配置されたマスクを第1のマスクとして、前記第1のマスクを3次元座標軸のうちの1軸が前記撮像面の中心を通る垂線となり、3次元座標の原点から前記所定のズーム位置となる位置に前記撮像面を配置して、その配置した前記第1のマスクの頂点座標を第1の情報として算出するステップと、
前記第1の情報の前記第1のマスクの頂点座標に対して、パン回転およびチルト回転後のパン角度およびチルト角度に基づいて、3次元座標の原点を中心として所定の方向に回転する変換を実行し、回転変換後の前記第1のマスクの頂点座標を第2の情報として算出し、記憶部に記憶するステップと、
3次元座標の原点と前記第2の情報として記憶されている前記第1のマスクの頂点とを線で結んだ直線と回転ズーム操作後の前記撮像面との交点を、パン、チルト、およびズームの操作後の前記第1のマスクの頂点座標として算出するステップと
を実行することを特徴とする請求項7に記載のカメラ画面のマスク方法。 - 前記撮像装置は、前記第4のステップにおいて、
前記第3のステップによって算出された前記第2のマスクの形状が、前記カメラ画面の2次元座標の軸に平行な辺を有する長方形でない場合、当該第2のマスクの形状に外接し、前記カメラ画面を配置している2次元座標の軸に平行な辺を有する長方形に変換するステップ
を実行することを特徴とする請求項7または請求項8に記載のカメラ画面のマスク方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011204727A JP5389879B2 (ja) | 2011-09-20 | 2011-09-20 | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 |
US13/571,899 US8721197B2 (en) | 2011-09-20 | 2012-08-10 | Image device, surveillance camera, and mask method of camera screen |
CN201210298983.2A CN103024347B (zh) | 2011-09-20 | 2012-08-21 | 摄像装置、监视用摄像机以及摄像机画面的掩模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011204727A JP5389879B2 (ja) | 2011-09-20 | 2011-09-20 | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013066121A JP2013066121A (ja) | 2013-04-11 |
JP5389879B2 true JP5389879B2 (ja) | 2014-01-15 |
Family
ID=47880314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011204727A Expired - Fee Related JP5389879B2 (ja) | 2011-09-20 | 2011-09-20 | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8721197B2 (ja) |
JP (1) | JP5389879B2 (ja) |
CN (1) | CN103024347B (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5791256B2 (ja) * | 2010-10-21 | 2015-10-07 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
JP5389879B2 (ja) * | 2011-09-20 | 2014-01-15 | 株式会社日立製作所 | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 |
KR101970197B1 (ko) * | 2012-10-29 | 2019-04-18 | 에스케이 텔레콤주식회사 | 복수의 카메라 제어 방법과 그를 위한 카메라 제어 장치 |
US9124762B2 (en) | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
JPWO2015012360A1 (ja) * | 2013-07-26 | 2017-03-02 | 三菱電機株式会社 | 監視カメラ、映像セキュリティシステム及び旋回型監視カメラ |
JP6376743B2 (ja) * | 2013-10-18 | 2018-08-22 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム |
CN103777614B (zh) * | 2014-01-27 | 2017-03-01 | 富盛科技股份有限公司 | 一种闭路监控前端维护智能辅助系统及其实现方法 |
US11093545B2 (en) | 2014-04-10 | 2021-08-17 | Sensormatic Electronics, LLC | Systems and methods for an automated cloud-based video surveillance system |
US9420238B2 (en) | 2014-04-10 | 2016-08-16 | Smartvue Corporation | Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems |
US10217003B2 (en) | 2014-04-10 | 2019-02-26 | Sensormatic Electronics, LLC | Systems and methods for automated analytics for security surveillance in operation areas |
US11120274B2 (en) | 2014-04-10 | 2021-09-14 | Sensormatic Electronics, LLC | Systems and methods for automated analytics for security surveillance in operation areas |
US9407880B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas |
US9407881B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices |
US10057546B2 (en) | 2014-04-10 | 2018-08-21 | Sensormatic Electronics, LLC | Systems and methods for automated cloud-based analytics for security and/or surveillance |
US9405979B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems |
US9407879B2 (en) | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems |
US10084995B2 (en) | 2014-04-10 | 2018-09-25 | Sensormatic Electronics, LLC | Systems and methods for an automated cloud-based video surveillance system |
US9686514B2 (en) | 2014-04-10 | 2017-06-20 | Kip Smrt P1 Lp | Systems and methods for an automated cloud-based video surveillance system |
US9426428B2 (en) | 2014-04-10 | 2016-08-23 | Smartvue Corporation | Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores |
TWI513296B (zh) * | 2014-12-16 | 2015-12-11 | Vivotek Inc | 影像處理方法及影像處理裝置 |
JP6403628B2 (ja) * | 2015-04-17 | 2018-10-10 | 三菱電機株式会社 | マスク処理装置及び方法、撮像装置及び方法、並びにプログラム及び記録媒体 |
US10762795B2 (en) | 2016-02-08 | 2020-09-01 | Skydio, Inc. | Unmanned aerial vehicle privacy controls |
US11242143B2 (en) | 2016-06-13 | 2022-02-08 | Skydio, Inc. | Unmanned aerial vehicle beyond visual line of sight control |
CN106559656B (zh) * | 2016-11-30 | 2020-05-19 | 浙江宇视科技有限公司 | 监控画面遮盖方法、装置及网络摄像机 |
JP6690569B2 (ja) * | 2017-02-02 | 2020-04-28 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
EP3564900B1 (en) * | 2018-05-03 | 2020-04-01 | Axis AB | Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image |
CN108920909B (zh) * | 2018-06-30 | 2022-04-15 | 平安科技(深圳)有限公司 | 仿冒移动应用程序判别方法及系统 |
CN108989674A (zh) * | 2018-07-26 | 2018-12-11 | 努比亚技术有限公司 | 一种浏览视频方法、终端及计算机可读存储介质 |
EP3640903B1 (en) * | 2018-10-18 | 2023-12-27 | IDEMIA Identity & Security Germany AG | Signal dependent video surveillance |
CN111009089B (zh) * | 2019-11-25 | 2024-02-13 | 国网安徽省电力有限公司建设分公司 | 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法 |
CN112804481B (zh) * | 2020-12-29 | 2022-08-16 | 杭州海康威视系统技术有限公司 | 监控点位置的确定方法、装置及计算机存储介质 |
CN115063299B (zh) * | 2022-08-19 | 2022-11-18 | 北京睿芯高通量科技有限公司 | 一种图像预处理方法、装置、电子设备以及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3722653B2 (ja) * | 1999-08-31 | 2005-11-30 | 松下電器産業株式会社 | 監視カメラ装置及び監視カメラの表示方法 |
JP3996805B2 (ja) * | 2002-06-06 | 2007-10-24 | 株式会社日立製作所 | 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法 |
US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
US7493038B2 (en) * | 2004-12-15 | 2009-02-17 | Lg Electronics Inc. | Method and apparatus for controlling privacy mask display |
KR100664351B1 (ko) * | 2004-12-15 | 2007-01-02 | 엘지전자 주식회사 | 광축 오프셋 값을 이용한 프라이버시 마스크 표시제어장치 및 방법 |
KR100719120B1 (ko) * | 2005-02-26 | 2007-05-17 | 삼성전자주식회사 | 프라이버시영역을 마스크 처리하는 감시시스템 및 그 방법 |
JP4680033B2 (ja) * | 2005-11-01 | 2011-05-11 | 三菱電機株式会社 | 監視システム及び監視装置 |
US8098282B2 (en) * | 2007-07-13 | 2012-01-17 | Honeywell International Inc. | Privacy zone algorithm for ptz dome cameras |
JP5002506B2 (ja) * | 2008-03-26 | 2012-08-15 | 株式会社エルモ社 | カメラシステム |
JP5352150B2 (ja) * | 2008-08-01 | 2013-11-27 | パナソニック株式会社 | 撮像装置 |
US8576282B2 (en) * | 2008-12-12 | 2013-11-05 | Honeywell International Inc. | Security system with operator-side privacy zones |
KR101271461B1 (ko) * | 2009-10-09 | 2013-06-05 | 한국전자통신연구원 | 감시영상의 프라이버시 정보 보호 장치 및 방법 |
US9794518B2 (en) * | 2010-10-21 | 2017-10-17 | Sensormatic Electronics, LLC | Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates |
JP5389879B2 (ja) * | 2011-09-20 | 2014-01-15 | 株式会社日立製作所 | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 |
-
2011
- 2011-09-20 JP JP2011204727A patent/JP5389879B2/ja not_active Expired - Fee Related
-
2012
- 2012-08-10 US US13/571,899 patent/US8721197B2/en not_active Expired - Fee Related
- 2012-08-21 CN CN201210298983.2A patent/CN103024347B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8721197B2 (en) | 2014-05-13 |
JP2013066121A (ja) | 2013-04-11 |
CN103024347B (zh) | 2015-10-07 |
US20130070092A1 (en) | 2013-03-21 |
CN103024347A (zh) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5389879B2 (ja) | 撮像装置、監視カメラ、およびカメラ画面のマスク方法 | |
JP6468307B2 (ja) | 撮像装置、画像処理装置および方法 | |
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
CN111510590B (zh) | 图像处理系统、图像处理方法 | |
US20090128700A1 (en) | Image processing apparatus and image processing method | |
JP6821339B2 (ja) | 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法 | |
JP6398472B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
US8223214B2 (en) | Camera system with masking processor | |
JP2005094048A (ja) | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 | |
JP2017208619A (ja) | 画像処理装置、画像処理方法、プログラム及び撮像システム | |
JP5846172B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
WO2013150830A1 (ja) | グレア測定システム | |
US8937676B2 (en) | Video processing apparatus, imaging apparatus, video processing method, and storage medium | |
JP6222205B2 (ja) | 画像処理装置 | |
JP4230839B2 (ja) | マルチカメラシステム及びその調整装置 | |
JP6291748B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4946914B2 (ja) | カメラシステム | |
JP6610741B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP2007295028A (ja) | ステレオ画像撮像装置 | |
JP2012054899A (ja) | 撮像装置及び姿勢検出方法 | |
JP6953961B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019008494A (ja) | 画像処理装置 | |
WO2023026527A1 (ja) | 情報処理装置、情報処理方法、及び、カメラ | |
JP7219620B2 (ja) | 配信画像生成方法 | |
JP6879350B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131009 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |