JP4323682B2 - 録画判定装置および方法ならびにエッジ抽出装置 - Google Patents
録画判定装置および方法ならびにエッジ抽出装置 Download PDFInfo
- Publication number
- JP4323682B2 JP4323682B2 JP2000143552A JP2000143552A JP4323682B2 JP 4323682 B2 JP4323682 B2 JP 4323682B2 JP 2000143552 A JP2000143552 A JP 2000143552A JP 2000143552 A JP2000143552 A JP 2000143552A JP 4323682 B2 JP4323682 B2 JP 4323682B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- recording
- image information
- frame
- edge component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視カメラから入力される画像情報を基に、エレベータ等の人の出入りの発生する室内において、人の乗降などを判定するための技術に関する。
【０００２】
【発明の背景】
ビル内のセキュリティー管理のため、若しくは、緊急事態における情報取得のため、エレベータ等の利用者の乗降が発生する室内には、監視カメラが設置されており、室内の状況をリアルタイムに、又、録画情報を基に把握可能としている。
【０００３】
そして、従来の監視システムにおいては、監視カメラの撮影した画像情報の全てをディスクに蓄積していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、監視カメラが撮影した画像情報を全て蓄積する従来装置においては、蓄積用のディスクとして非常に容量の大きなものが必要となる。しかも、蓄積する画像データは、その重要性から、ある程度の保存期間を必要とする。例えば、ビル内への侵入があったことが相当時間経過後に発覚する場合もあり、この場合、過去の画像情報を参照する必要がある。
【０００５】
また、ビル内には複数のエレベータが設置されている場合もあり、さらに、ビル等のセキュリティーを必要とされる空間内には、他の場所においても監視カメラが設置される場合があるため、これら全ての監視カメラが撮影する画像情報を全時間に亘ってディスクに蓄積するには、ディスクの全容量は膨大なものとなり、費用面においても管理面においても問題となる。
【０００６】
本発明は上記問題点に鑑み、監視に必要な情報の保存性を失うことなく、録画に必要な容量を削減することを可能とした録画判定技術と、それに利用可能な新規なエッジ抽出技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる装置であって、撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、フレーム差分のエッジ成分を検出するエッジ検出手段と、エッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定手段とを備え、エッジ検出手段は、所定の領域選別基準によってフレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、所定のエッジ類別基準によって候補領域から真のエッジ成分を検出する真エッジ検出手段とを含み、真のエッジ成分に関して量的評価を行い、真エッジ検出手段は、フレーム差分の画像情報の微分値を求める微分フィルタリング処理手段と、非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、非候補領域の局所最大値の平均値を求める微分平均値算出手段と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に真のエッジ成分が存在すると判断する真エッジ判断手段とを有することを特徴とする。
【０００８】
また、請求項２に記載の発明は、請求項１記載の録画判定装置であって、状態判定手段が、第１の判定基準によって前記エッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段、を含むことを特徴とする。
【０００９】
また、請求項３に記載の発明は、請求項１または請求項２に記載の録画判定装置であって、状態判定手段が、第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段、を含むことを特徴とする。
【００１０】
また、請求項４に記載の発明は、監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる装置であって、撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、フレーム差分のエッジ成分を検出するエッジ検出手段と、エッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定手段とを備え、状態判定手段が、第２の判定基準によってエッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段を含み、エッジ変動判定手段は、過去のフレーム差分のエッジ成分と、カレントのフレーム差分のエッジ成分の共通集合および合併集合を抽出する集合抽出手段と、合併集合に対する共通集合の割合をエッジ成分の固定度として求めるエッジ固定度算出手段と、エッジ成分の固定度が所定のしきい値を上回るフレームが連続した場合に、エッジ成分の変動が少ないと判断する固定度依存判定手段とを有することを特徴とする。
【００１１】
また、請求項５に記載の発明は、請求項４に記載の録画判定装置であって、状態判定手段が、第１の判定基準によってエッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段を含むことを特徴とする。
【００１３】
また、請求項６に記載の発明は、監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる方法であって、撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出工程と、フレーム差分のエッジ成分を検出するエッジ検出工程と、エッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定工程とを備え、エッジ検出工程は、所定の領域選別基準によってフレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別工程と、所定のエッジ類別基準によって候補領域から真のエッジ成分を検出する真エッジ検出工程とを含み、エッジ検出工程では、真のエッジ成分に関して量的評価が行われ、真エッジ検出工程は、フレーム差分の画像情報の微分値を求める微分フィルタリング処理工程と、非候補領域の微分値の局所的な最大値を求める局所最大値算出工程と、非候補領域の局所最大値の平均値を求める微分平均値算出工程と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に真のエッジ成分が存在すると判断する真エッジ判断工程とを有することを特徴とする。
【００１４】
また、請求項７に記載の発明は、画像の中からエッジを抽出する装置であって、所定の画像範囲について画像情報の微分値を求める微分フィルタリング処理手段と、所定の領域選別基準によって、前記画像範囲をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、非候補領域の局所最大値の平均値を求める微分平均値算出手段と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に前記エッジ成分が存在すると判断するエッジ判断手段とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、録画判定装置の全体概略構成について説明する。図１に示すようにエレベータ等の監視範囲１内には、撮影手段である監視カメラ２が設置されており、監視カメラ２による撮影結果が、インターフェース７（Ｉ／Ｆ）を介して、録画判定装置３内のディスク６に保存されることによって録画される。録画判定装置３は、ＭＰＵ４、メモリ５等を有しており、ディスク６内に保存された画像情報を適宜メモリ５内に読み込み画像解析を行い、解析結果に基づいて録画制御を行うものである。
【００１６】
次に、以下の説明における用語についての定義する。リファレンスフレームとは、監視カメラ２が撮影した空状態の画像情報、つまり、利用者（乗降者）が撮影されていない状態の監視範囲１の画像情報であり、予め録画判定装置３内部でディスク６に保有している情報である。ただし、後で述べるように環境の変化に応じて定常状態は変化するので、この場合には、必要に応じてリファレンスフレームは更新されることとなる。一般には録画判定装置において非録画と判定された場合に、リファレンスフレームを更新する。
【００１７】
カレントフレームは監視カメラ２により撮影される画像情報の最新の情報であり、逐次更新されてディスク６に保存される。なお、過去の複数フレームの画像情報はエッジ成分の固定度（その定義は後述する）の算出のため保存されている。
【００１８】
フレーム差分とは、リファレンスフレームとカレントフレームの画像情報の差分データであり、リファレンスフレームの各画素の輝度値から、カレントフレームの各画素の輝度値を引いたフレーム全体の情報である。
【００１９】
図２は録画状態制御全体フローを示す。まず、録画状態制御の前段階として、検出領域設定処理（ステップｓ１１）を行う。
【００２０】
検出領域設定処理は、画像情報の中で録画判定を行う領域を設定する処理である。例えば、扉に窓がついていたり（マンション用等）、ＬＣＤモニタが設置されているエレベータの場合等、フレーム差分に窓の外の人の動きやＬＣＤモニタの動きがエッジ成分として検出されてしまわないように、窓やモニタの領域を検出対象外とする処理である。その他、エレベータ内のコーナー等、エレベータ内が空のときに現れるエッジ部分は常に検出対象外とする処理である。この検出対象外の領域は、あらかじめマスク領域として設定しておく。
【００２１】
次に録画判定処理を行う（ステップｓ１２）。録画判定処理は、カレントフレーム毎に行われ、録画判定処理の結果を録画フラグにセットする処理である。そして、録画フラグの値に従って、録画を続行するか、停止させるかの制御を行う。（ステップｓ１３）。
【００２２】
録画判定処理（ステップ１２）について図３を用いて説明する。録画判定処理は、予めディスク６に保有している空状態の画像情報であるリファレンスフレームＲｆと、監視カメラ２により撮影され逐次更新されるカレントフレームＣｆを入力データとして処理される。
【００２３】
まず、ステップｓ２１においてリファレンスフレームＲｆとカレントフレームＣｆを入力データとしてそれぞれのフレームについてのエッジ検出処理を行い、次に、過去の蓄積されたエッジ情報を基に、状態判定処理（ステップｓ２２：詳細は後述）を行った後、録画フラグを出力する。
【００２４】
次に、図４を用いて、上述したエッジ検出処理フローについて説明する。エッジ検出処理は、まず、ステップｓ３１においてリファレンスフレームＲｆとカレントフレームＣｆのフレーム差分Ｄｆを求める。
【００２５】
次に、微分フィルタリング処理を行う（ステップｓ３２）。この微分フィルタリング処理は（一般の差分型微分フィルタリングよりも）低域を抑え、高域部分を持ち上げた周波数特性になるように設計されたフィルタリングであり、図５で示すように３つのステップからなる処理である。
【００２６】
ここで、一般の差分型微分処理とは、各画素の輝度値と、その一定画素離れた座標点の輝度値との差分を微分値とする処理であり、これに対して本実施形態における微分フィルタリングは、フレーム差分の急峻なエッジ成分がより明確に抽出されるようなフィルタリングを行うことを意味する。
【００２７】
図５で示す微分フィルタリングの処理フローを説明する。まず、ステップｓ４１において、垂直方向の微分値ＦＶを取得する。微分値ＦＶはフレーム差分Ｄｆの各画素成分に次式の数１で示す行列ＲＥＳＰを畳み込んで算出したものである。
【００２８】
【数１】
【００２９】
行列ＲＥＳＰは、フレーム差分Ｄｆの各座標の輝度に与える係数を示しており、例えば、フレーム差分Ｄｆの任意の座標（ｉ，ｊ）において、その座標（ｉ，ｊ）の輝度に行列Ｒの中央の成分、即ち、２行３列目の成分を係数として掛け合わせる。そして、座標（ｉ，ｊ）の周囲にある１４の点（３行５列で囲まれる点）に対して、それぞれ対応する行列ＲＥＳＰの成分を係数として掛け合わせる。この係数を掛け合わせた１５の座標の輝度を加算したものが座標（ｉ，ｊ）の微分値ＦＶとなる。
【００３０】
同様に、ステップｓ４２において、水平方向の微分値ＦＨを取得する。微分値ＦＨはフレーム差分Ｄｆの各画素成分に行列Ｒの転置行列ＲＥＳＰ（Ｔ）を畳み込んで算出したものであり、次式の数２で与えられる。
【００３１】
【数２】
【００３２】
以上の処理によりフレーム差分Ｄｆの微分値ＦＶ，ＦＨを各画素毎（各座標毎）に算出し、次に、各画素毎に微分値ＦＶと微分値ＦＨの最大値を求める。この最大値を画素微分最大値Ｄ１とする（ステップｓ４３）。
【００３３】
このようにして、フレーム差分Ｄｆの各画素毎に画素微分最大値Ｄ１を得るので、垂直方向若しくは水平方向の何れかの方向に輝度の変化の大きい要素が含まれている場合にも、この最大側の微分値を採用することで、輝度の変化に敏感に反応させることが可能となる。なお、行列Ｒの各成分の数値については、数１の式中に示したものは一例であり、その成分の数値は限定されるものではなく、前述の如く、低域を抑え、高域部分を持ち上げた周波数特性になるように設計されたフィルタリングであればよい。これにより日光の１次反射などやや緩やかな変化は微分値が抑えられ、人の乗降による変化との区別がつきやすくなる。
【００３４】
微分フィルタリング処理終了後、再び、エッジ検出処理フロー（図４）において、マスクを除いた領域に対して、画素微分最大値Ｄ１のブロック毎の最大値である局所最大値Ｄ２を求める（ステップｓ３３）。ブロックとは、フレーム差分ＤｆをＹＢ個×ＸＢ個（ＹＢ、ＸＢはそれぞれ２以上の整数）に分割してそれぞれが複数の画素のマトリクス配列となるようにまとめた単位であり、図６にフレーム差分Ｄｆを５×５のブロックに分割した一例を示す。また、「マスクを除いた」とは、前述した全体フローのステップｓ１１で示した検出領域設定処理で検出対象外に指定された画素を除くことを意味する。
【００３５】
このような条件を基に、各ブロック毎に画素微分最大値Ｄ１の局所最大値Ｄ２を求め、算出した局所最大値をＤ２にセットする。図中の変数ｉは、分割された各ブロックに対して付与された番号であり、１からＹＢ×ＸＢまでの番号に対応した各ブロックに対してループ処理を行うことを示す。
【００３６】
以上の処理によりブロック毎の局所最大値Ｄ２が求められるが、この局所最大値Ｄ２がある程度大きければ、そのブロックがエッジ成分を含む可能性は大きいと考えられる。そこで、局所最大値Ｄ２が候補領域設定値Ｔ１より大きいブロックのみ、次のエッジ検出処理を行う。
【００３７】
なお、候補領域設定値Ｔ１は、予め設定された値であり、局所最大値Ｄ２がどの程度の大きさである場合に、エッジ検出の対象とするかを判断するためのもので、過去のデータや経験値から最適な値を適宜定めるものとする。
【００３８】
そして、ステップｓ３４において、真のエッジ成分を検出する指標値として微分平均値Ｔ２を求める。前記候補領域設定値Ｔ１は、予め定められた値であり、エッジ成分の検出の対象とするか否かを判定する固定値であり、エッジ成分検出の候補となるブロック（候補領域）を抽出する役割のものである。これに対して、微分平均値Ｔ２は、エッジ成分検出の候補となったブロックの中で、実際にエッジとして検出する画素を判定するための値であり、カレントフレームＣｆ毎に算出される。
【００３９】
ここで、図６に示した例では、５×５に分割された差分フレームＤｆのうち、網掛けされたブロックは、画素微分最大値Ｄ１の局所最大値Ｄ２が候補領域設定値Ｔ１より大きい領域、すなわちエッジ成分検出の候補となっているブロックであることを示している。
【００４０】
微分平均値Ｔ２は、
＜条件１＞ 局所最大値Ｄ２（ｉ）≦候補領域設定値Ｔ１：
を満足するブロックの局所最大値Ｄ２（ｉ）の平均値として算出される。つまり、局所最大値Ｄ２が候補領域設定値Ｔ１を下回る領域（エッジ成分を含まないと判断される非候補領域）において、局所最大値Ｄ２の平均値を、真のエッジ成分検出用の指標値としているのである。
【００４１】
このように、真のエッジ成分検出の指標値は、非候補領域の微分値の最大値平均としているので、非候補領域に含まれるような領域に対してエッジ成分を検出する可能性を低くすることができる。また、指標値が高すぎてエッジ成分の検出逃しをすることもないので、最適な指標と言える。
【００４２】
ステップｓ３４において微分平均値Ｔ２を算出した上で、次に、
＜条件２＞ 局所最大値Ｄ２≧候補領域設定値Ｔ１：
を満足する全てのブロックに対するエッジ成分検出のループ処理を行う。この際、カレントエッジ成分のエッジ個数ＣＮを初期化（０）する。
【００４３】
まず、ステップｓ３５において、真のエッジ成分の判断処理を行う。エッジ成分の判断は、マスクを除いた画素毎に、画素微分最大値Ｄ１と微分平均値Ｔ２との比較処理を行い、微分平均値Ｔ２を上回る画素を真のエッジ成分と判断する。そして、真のエッジ成分と判断した場合には、該当する画素のエッジフラグＥＧに１をセットし、微分平均値Ｔ２を下回る画素のエッジフラグＥＧには０をセットする。このように、エッジフラグＥＧは、エッジ成分を１、エッジでない成分を０としたフレーム（差分フレーム等）と同じ大きさの２次元配列で表されるものである。
【００４４】
図７は、図６で示した例において、エッジ成分検出の候補領域となっているブロック内において、真のエッジ成分として検出された点（画素）を示した図である。
【００４５】
各画素毎に、エッジ成分であるか否かの判断を行うとともに、ステップｓ３６においては、カレントエッジ成分のエッジ個数ＣＮの加算処理を行う。つまり、候補領域である各ブロックに対してステップｓ３５においてエッジ成分として検出された真のエッジ成分の個数をエッジの個数ＣＮとして加算処理を行い、フレーム全体のエッジ個数ＣＮを算出するのである。
【００４６】
既述した＜条件２＞を満足する全てのブロックに対する処理が終了すると、２次元配列として抽出されたエッジフラグＥＧをエッジストックＥＳに格納する。つまり、エッジストックＥＳは２次元配列であるエッジフラグＥＧを過去複数フレームに亘って格納する３次元配列となる。
【００４７】
エッジ検出処理終了後、画像判定処理フロー（図３）で示すように、現在（カレントフレーム）と、過去のエッジ情報を基に状態判定処理（ステップｓ２２）を行い、録画を行うか否かの判定のステイタスである録画フラグを出力する。
【００４８】
状態判定処理は図８で示すように、２つの条件判定を基に録画フラグを出力する。まず、ステップｓ５１において、エッジ検出フローで検出されたエッジ個数ＣＮと固定しきい値との比較判定処理を行う。そして、エッジ個数ＣＮが固定しきい値より小さい場合、即ち、フレーム差分のエッジ成分が少ない場合には、カレントフレームの画像情報にリファレンスフレームからの相違が少なく、監視対象範囲に人物などの実質的な監視対象体が存在しないものとして録画を停止することが可能と判断し、録画フラグにＯＦＦ（０）をセットする（ステップｓ５３）。またこのとき、判定を、より厳密に行うために、過去数フレームにわたってエッジ個数ＣＮが固定しきい値を下回っているか否かを条件にしてもよい。
【００４９】
エッジ個数ＣＮが固定しきい値よりも大きい場合には、次に、ステップｓ５２においてフレーム差分のエッジ成分の時間的変動が少ないかどうかを判定し、少ない場合は人物などの移動がないと判断して録画フラグにＯＦＦ（０）をセットする（ステップｓ５４）。この時間的変動の判定においては、下記のようなエッジ固定度による状態判定処理を行う。
【００５０】
エッジ固定度による状態判定処理を図９および図１０を用いて説明する。上述したエッジ検出処理では、空状態と仮定されているリファレンスフレームＲｆとカレントフレームＣｆとの差分を基に処理されるものである。そこで、リスタート等により空状態でないフレームが初期リファレンスになった場合、省エネモードにより蛍光灯が消えた場合、エレベータ内にポスターが貼られたり、物が放置された場合、録画を停止させる状態判定を行うことができれば、より精度の高い録画制御が行われることとなる。また、このような理由で録画が連続して行われる場合には、録画を終了してリファレンスフレームＲｆを更新することが望ましく、図９で示すような状態判定処理を行う。
【００５１】
まず、過去のエッジフラグＥｐとカレントフレームＣｆのエッジフラグＥｃを取得する。エッジフラグＥｐ，Ｅｃは、共に、前述したエッジ検出フローにおいて取得されたエッジフラグＥＧを意味し、エッジフラグＥｐ，ＥｃはエッジストックＥＳから取得可能である。
【００５２】
そして、ステップｓ６１において、エッジフラグＥｐとエッジフラグＥｃの共通集合Ｅｐ∩Ｅｃに含まれる共通エッジフラグの個数Ｅａを算出する。つまり、共通エッジフラグの個数Ｅａは過去およびカレントのフレームにおいて共にエッジとして検出された画素の個数である。
【００５３】
次に、ステップｓ６２において、エッジフラグＥｐとエッジフラグＥｃの合併集合Ｅｐ∪Ｅｃに含まれる合併エッジフラグの個数Ｅｏを算出する。つまり、合併エッジフラグの個数Ｅｏは過去若しくはカレントのフレームにおいてエッジと検出された画素の個数である。
【００５４】
そして、ステップｓ６３において、共通エッジフラグの個数Ｅａの全エッジフラグの個数Ｅｏに対する割合をエッジ固定度ＲＢに格納する。この状態を図１０に模式的に示す。
【００５５】
そして、エッジ固定度ＲＢが過去複数（例えば過去Ｎ枚）フレームで全て固定度設定値を越えているかどうかの判定を行い（ステップｓ６４）、固定度設定値を越えている場合には、エッジは殆ど変動しない、すなわち、定常状態であるが、上述した理由（蛍光灯が消えた、ポスターが貼られた等）により、エッジ成分の数が多く検出し続けているため録画状態となっていると判断して、リファレンス更新フラグに１（更新すべき）をセットする（ステップｓ６５）。
【００５６】
さらに、複数（同様に過去Ｎ枚、若しくは別途設定してもよい）フレームに亘ってリファレンス更新フラグが１となっている場合には（ステップｓ６６）、定常状態が続いており、誤検知により録画が連続している場合を意味するので、録画を停止することが可能と判断し、録画フラグにＯＦＦ（０）をセットする（ステップｓ６７＝図８のステップｓ５３）。
【００５７】
また、ステップｓ６４において、エッジ固定度ＲＢが過去Ｎ枚のフレームにおいて１フレームでも固定度設定値を越えていない場合には、エッジ成分が変動していると予想されるので、録画続行をすべきと判断し、録画フラグにＯＮ（１）をセットする（ステップｓ６８＝図８のステップｓ５４）。
【００５８】
また、ステップｓ６６において、リファレンスフレーム更新フラグに１（更新すべき）が設定されているが、更新フラグに１が設定されている過去の連続フレームの枚数がＮ枚に満たない場合には、録画続行をすべきと判断し、録画フラグにＯＮ（１）をセットする（ステップｓ６８＝図８のステップｓ５４）。
【００５９】
以上の処理を行うことにより、図８で示した状態判定処理においては、録画判定フラグに録画をすべきとするフラグとしてＯＮ（１）がセットされるか（ステップｓ５４）、録画を停止すべきとするフラグとしてＯＦＦ（０）がセットされる（ステップｓ５３）。
【００６０】
そして、図２の全体フローチャートで示すように、録画判定処理において出力された録画フラグをもとに、録画制御が行われる（ステップｓ１３）。つまり、監視カメラはこの録画フラグのセット値に従って制御され、録画フラグにＯＦＦ（０）が設定されている場合、つまり利用者の乗降がない場合は録画を行わないことで、保存用ディスク６の容量を大幅に削減することが可能となる。
【００６１】
なお、上記のルーチンは周期的に繰返して実行されるようになっており、利用者の乗降が再開された場合には、ステップｓ６８において録画フラグが１にセットされるため、その時点から録画が再開される。
【００６２】
また、利用者の乗降がない場合には、乗降がある場合（エッジ成分の量や変動量が大きい場合）と比較して低フレームレートで録画することにより、ディスク６の容量の削減をする制御としてもよい。
【００６３】
【発明の効果】
以上説明したように、請求項１および請求項６に記載の発明は、差分フレーム内のエッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、録画の停止や低フレームレートへの切り換えを行うため、画像情報の保存を行う記憶手段の容量を大幅に削減でき、費用面、管理面においても有効な構成となる。
【００６４】
また、エッジ成分の変動が少ない場合、即ち、定常状態が変化した場合にも録画が停止されるので、記憶容量の削減に大きな効果を奏する構成となる。そして、上記のような事情が生じない場合には録画が通常通りに続行されるため、監視に必要な情報の保存性を損なうことはない。
また、請求項１に記載の発明は、エッジ検出手段は、所定の領域選別基準によって前記フレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、所定のエッジ類別基準によって前記候補領域から真のエッジ成分を検出する真エッジ検出手段とを含み、真のエッジ成分に関して量的評価を行うので、非候補領域にまでエッジ成分の検出処理を行う無駄が省け、処理効率が向上する。また、全画像情報（画素毎）にエッジ成分の検出を行う場合に比べて、処理速度が向上する。
また、請求項１に記載の発明は、真エッジ検出手段は、フレーム差分の画像情報の微分値を求める微分フィルタリング処理手段と、非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、非候補領域の局所最大値の平均値を求める微分平均値算出手段と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に真のエッジ成分が存在すると判断する真エッジ判断手段とを有するので、精度の高いエッジ成分の検出を可能とする。特に、真のエッジ成分を検出する指標値を非候補領域の微分平均値としているので、指標値が高すぎてエッジ成分の検出漏れが発生したり、指標値が低すぎて、エッジ成分の誤検出が発生するといった問題を防止できる。
【００６５】
また、請求項２に記載の発明は、状態判定手段が、第１の判定基準によって前記エッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段を含むので、リファレンスフレームからのカレントフレームの画像の実質的変化を、差分フレームのエッジ成分の量（請求項２）や監視範囲内の監視対象物（人物など）の有無に応じて録画の停止やフレームレートの切り換えを行うことができる。
【００６６】
また、請求項３記載の発明は、状態判定手段が、第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段を含むので、監視範囲内の監視対象物（人物など）の移動に応じて録画の停止やフレームレートの切り換えを行うことができる。
【００６９】
また、請求項４に記載の発明は、エッジ変動判定手段は、過去のフレーム差分のエッジ成分と、カレントのフレーム差分のエッジ成分の共通集合および合併集合を抽出する集合抽出手段と、合併集合に対する共通集合の割合をエッジ成分の固定度として求めるエッジ固定度算出手段と、エッジ成分の固定度が所定のしきい値を上回るフレームが連続した場合に、エッジ成分の変動が少ないと判断する固定度依存判定手段とを備えるので、定常状態の変化に対しても、適切な判断を行い、空状態の監視範囲内の画像を録画し続けるという問題を回避できる。これによって記憶容量を削減することができる。
また、請求項４に記載の発明は、状態判定手段が、第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段を含むので、監視範囲内の監視対象物（人物など）の移動に応じて録画の停止やフレームレートの切り換えを行うことができる。
また、請求項５に記載の発明は、状態判定手段が、第１の判定基準によって前記エッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段を含むので、リファレンスフレームからのカレントフレームの画像の実質的変化を、差分フレームのエッジ成分の量（請求項２）や監視範囲内の監視対象物（人物など）の有無に応じて録画の停止やフレームレートの切り換えを行うことができる。
【００７０】
また、請求項７に記載の発明は、請求項６の方法の実施に直接利用できる装置となっている。
【図面の簡単な説明】
【図１】本発明に係る録画判定装置の概略構成図である。
【図２】本発明に係る録画判定装置の録画状態制御の全体フローを示す図である。
【図３】録画判定処理フローを示す図である。
【図４】エッジ検出処理フローを示す図である。
【図５】微分フィルタリング処理フローを示す図である。
【図６】ブロック化されたフレームにおけるエッジ検出の候補領域を示す図である。
【図７】候補領域において検出された真のエッジ成分を示す図である。
【図８】状態判定処理フローを示す図である。
【図９】エッジ固定度による状態判定処理フローを示す図である。
【図１０】エッジ固定度による状態判定処理を模式的に表した図である。
【符号の説明】
Ｃｆ カレントフレーム
Ｄ１ 画素微分最大値
Ｄ２ 局所最大値
Ｄｆ フレーム差分
ＥＧ エッジフラグ
ＥＳ エッジストック
ＦＶ （フレーム差分の）垂直方向の微分値
ＨＶ （フレーム差分の）水平方向の微分値
Ｒｆ リファレンスフレーム
Ｔ２ 微分平均値
【発明の属する技術分野】
本発明は、監視カメラから入力される画像情報を基に、エレベータ等の人の出入りの発生する室内において、人の乗降などを判定するための技術に関する。
【０００２】
【発明の背景】
ビル内のセキュリティー管理のため、若しくは、緊急事態における情報取得のため、エレベータ等の利用者の乗降が発生する室内には、監視カメラが設置されており、室内の状況をリアルタイムに、又、録画情報を基に把握可能としている。
【０００３】
そして、従来の監視システムにおいては、監視カメラの撮影した画像情報の全てをディスクに蓄積していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、監視カメラが撮影した画像情報を全て蓄積する従来装置においては、蓄積用のディスクとして非常に容量の大きなものが必要となる。しかも、蓄積する画像データは、その重要性から、ある程度の保存期間を必要とする。例えば、ビル内への侵入があったことが相当時間経過後に発覚する場合もあり、この場合、過去の画像情報を参照する必要がある。
【０００５】
また、ビル内には複数のエレベータが設置されている場合もあり、さらに、ビル等のセキュリティーを必要とされる空間内には、他の場所においても監視カメラが設置される場合があるため、これら全ての監視カメラが撮影する画像情報を全時間に亘ってディスクに蓄積するには、ディスクの全容量は膨大なものとなり、費用面においても管理面においても問題となる。
【０００６】
本発明は上記問題点に鑑み、監視に必要な情報の保存性を失うことなく、録画に必要な容量を削減することを可能とした録画判定技術と、それに利用可能な新規なエッジ抽出技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる装置であって、撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、フレーム差分のエッジ成分を検出するエッジ検出手段と、エッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定手段とを備え、エッジ検出手段は、所定の領域選別基準によってフレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、所定のエッジ類別基準によって候補領域から真のエッジ成分を検出する真エッジ検出手段とを含み、真のエッジ成分に関して量的評価を行い、真エッジ検出手段は、フレーム差分の画像情報の微分値を求める微分フィルタリング処理手段と、非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、非候補領域の局所最大値の平均値を求める微分平均値算出手段と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に真のエッジ成分が存在すると判断する真エッジ判断手段とを有することを特徴とする。
【０００８】
また、請求項２に記載の発明は、請求項１記載の録画判定装置であって、状態判定手段が、第１の判定基準によって前記エッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段、を含むことを特徴とする。
【０００９】
また、請求項３に記載の発明は、請求項１または請求項２に記載の録画判定装置であって、状態判定手段が、第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段、を含むことを特徴とする。
【００１０】
また、請求項４に記載の発明は、監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる装置であって、撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、フレーム差分のエッジ成分を検出するエッジ検出手段と、エッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定手段とを備え、状態判定手段が、第２の判定基準によってエッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段を含み、エッジ変動判定手段は、過去のフレーム差分のエッジ成分と、カレントのフレーム差分のエッジ成分の共通集合および合併集合を抽出する集合抽出手段と、合併集合に対する共通集合の割合をエッジ成分の固定度として求めるエッジ固定度算出手段と、エッジ成分の固定度が所定のしきい値を上回るフレームが連続した場合に、エッジ成分の変動が少ないと判断する固定度依存判定手段とを有することを特徴とする。
【００１１】
また、請求項５に記載の発明は、請求項４に記載の録画判定装置であって、状態判定手段が、第１の判定基準によってエッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段を含むことを特徴とする。
【００１３】
また、請求項６に記載の発明は、監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる方法であって、撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出工程と、フレーム差分のエッジ成分を検出するエッジ検出工程と、エッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定工程とを備え、エッジ検出工程は、所定の領域選別基準によってフレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別工程と、所定のエッジ類別基準によって候補領域から真のエッジ成分を検出する真エッジ検出工程とを含み、エッジ検出工程では、真のエッジ成分に関して量的評価が行われ、真エッジ検出工程は、フレーム差分の画像情報の微分値を求める微分フィルタリング処理工程と、非候補領域の微分値の局所的な最大値を求める局所最大値算出工程と、非候補領域の局所最大値の平均値を求める微分平均値算出工程と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に真のエッジ成分が存在すると判断する真エッジ判断工程とを有することを特徴とする。
【００１４】
また、請求項７に記載の発明は、画像の中からエッジを抽出する装置であって、所定の画像範囲について画像情報の微分値を求める微分フィルタリング処理手段と、所定の領域選別基準によって、前記画像範囲をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、非候補領域の局所最大値の平均値を求める微分平均値算出手段と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に前記エッジ成分が存在すると判断するエッジ判断手段とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、録画判定装置の全体概略構成について説明する。図１に示すようにエレベータ等の監視範囲１内には、撮影手段である監視カメラ２が設置されており、監視カメラ２による撮影結果が、インターフェース７（Ｉ／Ｆ）を介して、録画判定装置３内のディスク６に保存されることによって録画される。録画判定装置３は、ＭＰＵ４、メモリ５等を有しており、ディスク６内に保存された画像情報を適宜メモリ５内に読み込み画像解析を行い、解析結果に基づいて録画制御を行うものである。
【００１６】
次に、以下の説明における用語についての定義する。リファレンスフレームとは、監視カメラ２が撮影した空状態の画像情報、つまり、利用者（乗降者）が撮影されていない状態の監視範囲１の画像情報であり、予め録画判定装置３内部でディスク６に保有している情報である。ただし、後で述べるように環境の変化に応じて定常状態は変化するので、この場合には、必要に応じてリファレンスフレームは更新されることとなる。一般には録画判定装置において非録画と判定された場合に、リファレンスフレームを更新する。
【００１７】
カレントフレームは監視カメラ２により撮影される画像情報の最新の情報であり、逐次更新されてディスク６に保存される。なお、過去の複数フレームの画像情報はエッジ成分の固定度（その定義は後述する）の算出のため保存されている。
【００１８】
フレーム差分とは、リファレンスフレームとカレントフレームの画像情報の差分データであり、リファレンスフレームの各画素の輝度値から、カレントフレームの各画素の輝度値を引いたフレーム全体の情報である。
【００１９】
図２は録画状態制御全体フローを示す。まず、録画状態制御の前段階として、検出領域設定処理（ステップｓ１１）を行う。
【００２０】
検出領域設定処理は、画像情報の中で録画判定を行う領域を設定する処理である。例えば、扉に窓がついていたり（マンション用等）、ＬＣＤモニタが設置されているエレベータの場合等、フレーム差分に窓の外の人の動きやＬＣＤモニタの動きがエッジ成分として検出されてしまわないように、窓やモニタの領域を検出対象外とする処理である。その他、エレベータ内のコーナー等、エレベータ内が空のときに現れるエッジ部分は常に検出対象外とする処理である。この検出対象外の領域は、あらかじめマスク領域として設定しておく。
【００２１】
次に録画判定処理を行う（ステップｓ１２）。録画判定処理は、カレントフレーム毎に行われ、録画判定処理の結果を録画フラグにセットする処理である。そして、録画フラグの値に従って、録画を続行するか、停止させるかの制御を行う。（ステップｓ１３）。
【００２２】
録画判定処理（ステップ１２）について図３を用いて説明する。録画判定処理は、予めディスク６に保有している空状態の画像情報であるリファレンスフレームＲｆと、監視カメラ２により撮影され逐次更新されるカレントフレームＣｆを入力データとして処理される。
【００２３】
まず、ステップｓ２１においてリファレンスフレームＲｆとカレントフレームＣｆを入力データとしてそれぞれのフレームについてのエッジ検出処理を行い、次に、過去の蓄積されたエッジ情報を基に、状態判定処理（ステップｓ２２：詳細は後述）を行った後、録画フラグを出力する。
【００２４】
次に、図４を用いて、上述したエッジ検出処理フローについて説明する。エッジ検出処理は、まず、ステップｓ３１においてリファレンスフレームＲｆとカレントフレームＣｆのフレーム差分Ｄｆを求める。
【００２５】
次に、微分フィルタリング処理を行う（ステップｓ３２）。この微分フィルタリング処理は（一般の差分型微分フィルタリングよりも）低域を抑え、高域部分を持ち上げた周波数特性になるように設計されたフィルタリングであり、図５で示すように３つのステップからなる処理である。
【００２６】
ここで、一般の差分型微分処理とは、各画素の輝度値と、その一定画素離れた座標点の輝度値との差分を微分値とする処理であり、これに対して本実施形態における微分フィルタリングは、フレーム差分の急峻なエッジ成分がより明確に抽出されるようなフィルタリングを行うことを意味する。
【００２７】
図５で示す微分フィルタリングの処理フローを説明する。まず、ステップｓ４１において、垂直方向の微分値ＦＶを取得する。微分値ＦＶはフレーム差分Ｄｆの各画素成分に次式の数１で示す行列ＲＥＳＰを畳み込んで算出したものである。
【００２８】
【数１】
行列ＲＥＳＰは、フレーム差分Ｄｆの各座標の輝度に与える係数を示しており、例えば、フレーム差分Ｄｆの任意の座標（ｉ，ｊ）において、その座標（ｉ，ｊ）の輝度に行列Ｒの中央の成分、即ち、２行３列目の成分を係数として掛け合わせる。そして、座標（ｉ，ｊ）の周囲にある１４の点（３行５列で囲まれる点）に対して、それぞれ対応する行列ＲＥＳＰの成分を係数として掛け合わせる。この係数を掛け合わせた１５の座標の輝度を加算したものが座標（ｉ，ｊ）の微分値ＦＶとなる。
【００３０】
同様に、ステップｓ４２において、水平方向の微分値ＦＨを取得する。微分値ＦＨはフレーム差分Ｄｆの各画素成分に行列Ｒの転置行列ＲＥＳＰ（Ｔ）を畳み込んで算出したものであり、次式の数２で与えられる。
【００３１】
【数２】
以上の処理によりフレーム差分Ｄｆの微分値ＦＶ，ＦＨを各画素毎（各座標毎）に算出し、次に、各画素毎に微分値ＦＶと微分値ＦＨの最大値を求める。この最大値を画素微分最大値Ｄ１とする（ステップｓ４３）。
【００３３】
このようにして、フレーム差分Ｄｆの各画素毎に画素微分最大値Ｄ１を得るので、垂直方向若しくは水平方向の何れかの方向に輝度の変化の大きい要素が含まれている場合にも、この最大側の微分値を採用することで、輝度の変化に敏感に反応させることが可能となる。なお、行列Ｒの各成分の数値については、数１の式中に示したものは一例であり、その成分の数値は限定されるものではなく、前述の如く、低域を抑え、高域部分を持ち上げた周波数特性になるように設計されたフィルタリングであればよい。これにより日光の１次反射などやや緩やかな変化は微分値が抑えられ、人の乗降による変化との区別がつきやすくなる。
【００３４】
微分フィルタリング処理終了後、再び、エッジ検出処理フロー（図４）において、マスクを除いた領域に対して、画素微分最大値Ｄ１のブロック毎の最大値である局所最大値Ｄ２を求める（ステップｓ３３）。ブロックとは、フレーム差分ＤｆをＹＢ個×ＸＢ個（ＹＢ、ＸＢはそれぞれ２以上の整数）に分割してそれぞれが複数の画素のマトリクス配列となるようにまとめた単位であり、図６にフレーム差分Ｄｆを５×５のブロックに分割した一例を示す。また、「マスクを除いた」とは、前述した全体フローのステップｓ１１で示した検出領域設定処理で検出対象外に指定された画素を除くことを意味する。
【００３５】
このような条件を基に、各ブロック毎に画素微分最大値Ｄ１の局所最大値Ｄ２を求め、算出した局所最大値をＤ２にセットする。図中の変数ｉは、分割された各ブロックに対して付与された番号であり、１からＹＢ×ＸＢまでの番号に対応した各ブロックに対してループ処理を行うことを示す。
【００３６】
以上の処理によりブロック毎の局所最大値Ｄ２が求められるが、この局所最大値Ｄ２がある程度大きければ、そのブロックがエッジ成分を含む可能性は大きいと考えられる。そこで、局所最大値Ｄ２が候補領域設定値Ｔ１より大きいブロックのみ、次のエッジ検出処理を行う。
【００３７】
なお、候補領域設定値Ｔ１は、予め設定された値であり、局所最大値Ｄ２がどの程度の大きさである場合に、エッジ検出の対象とするかを判断するためのもので、過去のデータや経験値から最適な値を適宜定めるものとする。
【００３８】
そして、ステップｓ３４において、真のエッジ成分を検出する指標値として微分平均値Ｔ２を求める。前記候補領域設定値Ｔ１は、予め定められた値であり、エッジ成分の検出の対象とするか否かを判定する固定値であり、エッジ成分検出の候補となるブロック（候補領域）を抽出する役割のものである。これに対して、微分平均値Ｔ２は、エッジ成分検出の候補となったブロックの中で、実際にエッジとして検出する画素を判定するための値であり、カレントフレームＣｆ毎に算出される。
【００３９】
ここで、図６に示した例では、５×５に分割された差分フレームＤｆのうち、網掛けされたブロックは、画素微分最大値Ｄ１の局所最大値Ｄ２が候補領域設定値Ｔ１より大きい領域、すなわちエッジ成分検出の候補となっているブロックであることを示している。
【００４０】
微分平均値Ｔ２は、
＜条件１＞ 局所最大値Ｄ２（ｉ）≦候補領域設定値Ｔ１：
を満足するブロックの局所最大値Ｄ２（ｉ）の平均値として算出される。つまり、局所最大値Ｄ２が候補領域設定値Ｔ１を下回る領域（エッジ成分を含まないと判断される非候補領域）において、局所最大値Ｄ２の平均値を、真のエッジ成分検出用の指標値としているのである。
【００４１】
このように、真のエッジ成分検出の指標値は、非候補領域の微分値の最大値平均としているので、非候補領域に含まれるような領域に対してエッジ成分を検出する可能性を低くすることができる。また、指標値が高すぎてエッジ成分の検出逃しをすることもないので、最適な指標と言える。
【００４２】
ステップｓ３４において微分平均値Ｔ２を算出した上で、次に、
＜条件２＞ 局所最大値Ｄ２≧候補領域設定値Ｔ１：
を満足する全てのブロックに対するエッジ成分検出のループ処理を行う。この際、カレントエッジ成分のエッジ個数ＣＮを初期化（０）する。
【００４３】
まず、ステップｓ３５において、真のエッジ成分の判断処理を行う。エッジ成分の判断は、マスクを除いた画素毎に、画素微分最大値Ｄ１と微分平均値Ｔ２との比較処理を行い、微分平均値Ｔ２を上回る画素を真のエッジ成分と判断する。そして、真のエッジ成分と判断した場合には、該当する画素のエッジフラグＥＧに１をセットし、微分平均値Ｔ２を下回る画素のエッジフラグＥＧには０をセットする。このように、エッジフラグＥＧは、エッジ成分を１、エッジでない成分を０としたフレーム（差分フレーム等）と同じ大きさの２次元配列で表されるものである。
【００４４】
図７は、図６で示した例において、エッジ成分検出の候補領域となっているブロック内において、真のエッジ成分として検出された点（画素）を示した図である。
【００４５】
各画素毎に、エッジ成分であるか否かの判断を行うとともに、ステップｓ３６においては、カレントエッジ成分のエッジ個数ＣＮの加算処理を行う。つまり、候補領域である各ブロックに対してステップｓ３５においてエッジ成分として検出された真のエッジ成分の個数をエッジの個数ＣＮとして加算処理を行い、フレーム全体のエッジ個数ＣＮを算出するのである。
【００４６】
既述した＜条件２＞を満足する全てのブロックに対する処理が終了すると、２次元配列として抽出されたエッジフラグＥＧをエッジストックＥＳに格納する。つまり、エッジストックＥＳは２次元配列であるエッジフラグＥＧを過去複数フレームに亘って格納する３次元配列となる。
【００４７】
エッジ検出処理終了後、画像判定処理フロー（図３）で示すように、現在（カレントフレーム）と、過去のエッジ情報を基に状態判定処理（ステップｓ２２）を行い、録画を行うか否かの判定のステイタスである録画フラグを出力する。
【００４８】
状態判定処理は図８で示すように、２つの条件判定を基に録画フラグを出力する。まず、ステップｓ５１において、エッジ検出フローで検出されたエッジ個数ＣＮと固定しきい値との比較判定処理を行う。そして、エッジ個数ＣＮが固定しきい値より小さい場合、即ち、フレーム差分のエッジ成分が少ない場合には、カレントフレームの画像情報にリファレンスフレームからの相違が少なく、監視対象範囲に人物などの実質的な監視対象体が存在しないものとして録画を停止することが可能と判断し、録画フラグにＯＦＦ（０）をセットする（ステップｓ５３）。またこのとき、判定を、より厳密に行うために、過去数フレームにわたってエッジ個数ＣＮが固定しきい値を下回っているか否かを条件にしてもよい。
【００４９】
エッジ個数ＣＮが固定しきい値よりも大きい場合には、次に、ステップｓ５２においてフレーム差分のエッジ成分の時間的変動が少ないかどうかを判定し、少ない場合は人物などの移動がないと判断して録画フラグにＯＦＦ（０）をセットする（ステップｓ５４）。この時間的変動の判定においては、下記のようなエッジ固定度による状態判定処理を行う。
【００５０】
エッジ固定度による状態判定処理を図９および図１０を用いて説明する。上述したエッジ検出処理では、空状態と仮定されているリファレンスフレームＲｆとカレントフレームＣｆとの差分を基に処理されるものである。そこで、リスタート等により空状態でないフレームが初期リファレンスになった場合、省エネモードにより蛍光灯が消えた場合、エレベータ内にポスターが貼られたり、物が放置された場合、録画を停止させる状態判定を行うことができれば、より精度の高い録画制御が行われることとなる。また、このような理由で録画が連続して行われる場合には、録画を終了してリファレンスフレームＲｆを更新することが望ましく、図９で示すような状態判定処理を行う。
【００５１】
まず、過去のエッジフラグＥｐとカレントフレームＣｆのエッジフラグＥｃを取得する。エッジフラグＥｐ，Ｅｃは、共に、前述したエッジ検出フローにおいて取得されたエッジフラグＥＧを意味し、エッジフラグＥｐ，ＥｃはエッジストックＥＳから取得可能である。
【００５２】
そして、ステップｓ６１において、エッジフラグＥｐとエッジフラグＥｃの共通集合Ｅｐ∩Ｅｃに含まれる共通エッジフラグの個数Ｅａを算出する。つまり、共通エッジフラグの個数Ｅａは過去およびカレントのフレームにおいて共にエッジとして検出された画素の個数である。
【００５３】
次に、ステップｓ６２において、エッジフラグＥｐとエッジフラグＥｃの合併集合Ｅｐ∪Ｅｃに含まれる合併エッジフラグの個数Ｅｏを算出する。つまり、合併エッジフラグの個数Ｅｏは過去若しくはカレントのフレームにおいてエッジと検出された画素の個数である。
【００５４】
そして、ステップｓ６３において、共通エッジフラグの個数Ｅａの全エッジフラグの個数Ｅｏに対する割合をエッジ固定度ＲＢに格納する。この状態を図１０に模式的に示す。
【００５５】
そして、エッジ固定度ＲＢが過去複数（例えば過去Ｎ枚）フレームで全て固定度設定値を越えているかどうかの判定を行い（ステップｓ６４）、固定度設定値を越えている場合には、エッジは殆ど変動しない、すなわち、定常状態であるが、上述した理由（蛍光灯が消えた、ポスターが貼られた等）により、エッジ成分の数が多く検出し続けているため録画状態となっていると判断して、リファレンス更新フラグに１（更新すべき）をセットする（ステップｓ６５）。
【００５６】
さらに、複数（同様に過去Ｎ枚、若しくは別途設定してもよい）フレームに亘ってリファレンス更新フラグが１となっている場合には（ステップｓ６６）、定常状態が続いており、誤検知により録画が連続している場合を意味するので、録画を停止することが可能と判断し、録画フラグにＯＦＦ（０）をセットする（ステップｓ６７＝図８のステップｓ５３）。
【００５７】
また、ステップｓ６４において、エッジ固定度ＲＢが過去Ｎ枚のフレームにおいて１フレームでも固定度設定値を越えていない場合には、エッジ成分が変動していると予想されるので、録画続行をすべきと判断し、録画フラグにＯＮ（１）をセットする（ステップｓ６８＝図８のステップｓ５４）。
【００５８】
また、ステップｓ６６において、リファレンスフレーム更新フラグに１（更新すべき）が設定されているが、更新フラグに１が設定されている過去の連続フレームの枚数がＮ枚に満たない場合には、録画続行をすべきと判断し、録画フラグにＯＮ（１）をセットする（ステップｓ６８＝図８のステップｓ５４）。
【００５９】
以上の処理を行うことにより、図８で示した状態判定処理においては、録画判定フラグに録画をすべきとするフラグとしてＯＮ（１）がセットされるか（ステップｓ５４）、録画を停止すべきとするフラグとしてＯＦＦ（０）がセットされる（ステップｓ５３）。
【００６０】
そして、図２の全体フローチャートで示すように、録画判定処理において出力された録画フラグをもとに、録画制御が行われる（ステップｓ１３）。つまり、監視カメラはこの録画フラグのセット値に従って制御され、録画フラグにＯＦＦ（０）が設定されている場合、つまり利用者の乗降がない場合は録画を行わないことで、保存用ディスク６の容量を大幅に削減することが可能となる。
【００６１】
なお、上記のルーチンは周期的に繰返して実行されるようになっており、利用者の乗降が再開された場合には、ステップｓ６８において録画フラグが１にセットされるため、その時点から録画が再開される。
【００６２】
また、利用者の乗降がない場合には、乗降がある場合（エッジ成分の量や変動量が大きい場合）と比較して低フレームレートで録画することにより、ディスク６の容量の削減をする制御としてもよい。
【００６３】
【発明の効果】
以上説明したように、請求項１および請求項６に記載の発明は、差分フレーム内のエッジ成分に関する量的評価によって、カレントフレーム内の状況がリファレンスフレームの状況から実質的に変化していないと判定された場合に、録画の停止や低フレームレートへの切り換えを行うため、画像情報の保存を行う記憶手段の容量を大幅に削減でき、費用面、管理面においても有効な構成となる。
【００６４】
また、エッジ成分の変動が少ない場合、即ち、定常状態が変化した場合にも録画が停止されるので、記憶容量の削減に大きな効果を奏する構成となる。そして、上記のような事情が生じない場合には録画が通常通りに続行されるため、監視に必要な情報の保存性を損なうことはない。
また、請求項１に記載の発明は、エッジ検出手段は、所定の領域選別基準によって前記フレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、所定のエッジ類別基準によって前記候補領域から真のエッジ成分を検出する真エッジ検出手段とを含み、真のエッジ成分に関して量的評価を行うので、非候補領域にまでエッジ成分の検出処理を行う無駄が省け、処理効率が向上する。また、全画像情報（画素毎）にエッジ成分の検出を行う場合に比べて、処理速度が向上する。
また、請求項１に記載の発明は、真エッジ検出手段は、フレーム差分の画像情報の微分値を求める微分フィルタリング処理手段と、非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、非候補領域の局所最大値の平均値を求める微分平均値算出手段と、候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に真のエッジ成分が存在すると判断する真エッジ判断手段とを有するので、精度の高いエッジ成分の検出を可能とする。特に、真のエッジ成分を検出する指標値を非候補領域の微分平均値としているので、指標値が高すぎてエッジ成分の検出漏れが発生したり、指標値が低すぎて、エッジ成分の誤検出が発生するといった問題を防止できる。
【００６５】
また、請求項２に記載の発明は、状態判定手段が、第１の判定基準によって前記エッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段を含むので、リファレンスフレームからのカレントフレームの画像の実質的変化を、差分フレームのエッジ成分の量（請求項２）や監視範囲内の監視対象物（人物など）の有無に応じて録画の停止やフレームレートの切り換えを行うことができる。
【００６６】
また、請求項３記載の発明は、状態判定手段が、第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段を含むので、監視範囲内の監視対象物（人物など）の移動に応じて録画の停止やフレームレートの切り換えを行うことができる。
【００６９】
また、請求項４に記載の発明は、エッジ変動判定手段は、過去のフレーム差分のエッジ成分と、カレントのフレーム差分のエッジ成分の共通集合および合併集合を抽出する集合抽出手段と、合併集合に対する共通集合の割合をエッジ成分の固定度として求めるエッジ固定度算出手段と、エッジ成分の固定度が所定のしきい値を上回るフレームが連続した場合に、エッジ成分の変動が少ないと判断する固定度依存判定手段とを備えるので、定常状態の変化に対しても、適切な判断を行い、空状態の監視範囲内の画像を録画し続けるという問題を回避できる。これによって記憶容量を削減することができる。
また、請求項４に記載の発明は、状態判定手段が、第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段を含むので、監視範囲内の監視対象物（人物など）の移動に応じて録画の停止やフレームレートの切り換えを行うことができる。
また、請求項５に記載の発明は、状態判定手段が、第１の判定基準によって前記エッジ成分が少ないと判定した場合に、記憶装置への画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段を含むので、リファレンスフレームからのカレントフレームの画像の実質的変化を、差分フレームのエッジ成分の量（請求項２）や監視範囲内の監視対象物（人物など）の有無に応じて録画の停止やフレームレートの切り換えを行うことができる。
【００７０】
また、請求項７に記載の発明は、請求項６の方法の実施に直接利用できる装置となっている。
【図面の簡単な説明】
【図１】本発明に係る録画判定装置の概略構成図である。
【図２】本発明に係る録画判定装置の録画状態制御の全体フローを示す図である。
【図３】録画判定処理フローを示す図である。
【図４】エッジ検出処理フローを示す図である。
【図５】微分フィルタリング処理フローを示す図である。
【図６】ブロック化されたフレームにおけるエッジ検出の候補領域を示す図である。
【図７】候補領域において検出された真のエッジ成分を示す図である。
【図８】状態判定処理フローを示す図である。
【図９】エッジ固定度による状態判定処理フローを示す図である。
【図１０】エッジ固定度による状態判定処理を模式的に表した図である。
【符号の説明】
Ｃｆ カレントフレーム
Ｄ１ 画素微分最大値
Ｄ２ 局所最大値
Ｄｆ フレーム差分
ＥＧ エッジフラグ
ＥＳ エッジストック
ＦＶ （フレーム差分の）垂直方向の微分値
ＨＶ （フレーム差分の）水平方向の微分値
Ｒｆ リファレンスフレーム
Ｔ２ 微分平均値
Claims (7)
- 監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる装置であって、
前記撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、
前記フレーム差分のエッジ成分を検出するエッジ検出手段と、
前記エッジ成分に関する量的評価によって、前記カレントフレーム内の状況が前記リファレンスフレームの状況から実質的に変化していないと判定された場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定手段と、
を備え、
前記エッジ検出手段は、
所定の領域選別基準によって前記フレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、
所定のエッジ類別基準によって前記候補領域から真のエッジ成分を検出する真エッジ検出手段と、
を含み、
前記真のエッジ成分に関して前記量的評価を行い、
前記真エッジ検出手段は、
前記フレーム差分の画像情報の微分値を求める微分フィルタリング処理手段と、
前記非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、
前記非候補領域の局所最大値の平均値を求める微分平均値算出手段と、
前記候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に前記真のエッジ成分が存在すると判断する真エッジ判断手段と、
を有することを特徴とする録画判定装置。 - 請求項１に記載の録画判定装置であって、
前記状態判定手段が、
第１の判定基準によって前記エッジ成分が少ないと判定した場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段、
を含むことを特徴とする録画判定装置。 - 請求項１または請求項２に記載の録画判定装置であって、
前記状態判定手段が、
第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段、
を含むことを特徴とする録画判定装置。 - 監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる装置であって、
前記撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、
前記フレーム差分のエッジ成分を検出するエッジ検出手段と、
前記エッジ成分に関する量的評価によって、前記カレントフレーム内の状況が前記リファレンスフレームの状況から実質的に変化していないと判定された場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定手段と、
を備え、
前記状態判定手段が、
第２の判定基準によって前記エッジ成分の時間的変動量が少ないと判定した場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ変動判定手段、
を含み、
前記エッジ変動判定手段は、
過去のフレーム差分のエッジ成分と、カレントのフレーム差分のエッジ成分の共通集合および合併集合を抽出する集合抽出手段と、
前記合併集合に対する共通集合の割合をエッジ成分の固定度として求めるエッジ固定度算出手段と、
前記エッジ成分の固定度が所定のしきい値を上回るフレームが連続した場合に、エッジ成分の変動が少ないと判断する固定度依存判定手段と、
を有することを特徴とする録画判定装置。 - 請求項４に記載の録画判定装置であって、
前記状態判定手段が、
第１の判定基準によって前記エッジ成分が少ないと判定した場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行うエッジ成分判定手段、
を含むことを特徴とする録画判定装置。 - 監視範囲内を連続撮影する撮影手段から画像情報を取得するとともに記憶装置に録画を行わせる方法であって、
前記撮影手段による撮影結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出工程と、
前記フレーム差分のエッジ成分を検出するエッジ検出工程と、
前記エッジ成分に関する量的評価によって、前記カレントフレーム内の状況が前記リファレンスフレームの状況から実質的に変化していないと判定された場合に、前記記憶装置への前記画像情報の録画の停止または録画の低フレームレートへの切り換えを行う状態判定工程と、
を備え、
前記エッジ検出工程は、
所定の領域選別基準によって前記フレーム差分をエッジ検出の候補領域と非候補領域とに選別する候補領域選別工程と、
所定のエッジ類別基準によって前記候補領域から真のエッジ成分を検出する真エッジ検出工程と、
を含み、
前記エッジ検出工程では、前記真のエッジ成分に関して前記量的評価が行われ、
前記真エッジ検出工程は、
前記フレーム差分の画像情報の微分値を求める微分フィルタリング処理工程と、
前記非候補領域の微分値の局所的な最大値を求める局所最大値算出工程と、
前記非候補領域の局所最大値の平均値を求める微分平均値算出工程と、
前記候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に前記真のエッジ成分が存在すると判断する真エッジ判断工程と、
を有することを特徴とする録画判定方法。 - 画像の中からエッジを抽出する装置であって、
所定の画像範囲について画像情報の微分値を求める微分フィルタリング処理手段と、
所定の領域選別基準によって、前記画像範囲をエッジ検出の候補領域と非候補領域とに選別する候補領域選別手段と、
前記非候補領域の微分値の局所的な最大値を求める局所最大値算出手段と、
前記非候補領域の局所最大値の平均値を求める微分平均値算出手段と、
前記候補領域の画像情報が微分平均値を上回る場合に、当該候補領域に前記エッジ成分が存在すると判断するエッジ判断手段と、
を備えることを特徴とするエッジ抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000143552A JP4323682B2 (ja) | 2000-05-16 | 2000-05-16 | 録画判定装置および方法ならびにエッジ抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000143552A JP4323682B2 (ja) | 2000-05-16 | 2000-05-16 | 録画判定装置および方法ならびにエッジ抽出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009105061A Division JP4785087B2 (ja) | 2009-04-23 | 2009-04-23 | 録画判定装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001326903A JP2001326903A (ja) | 2001-11-22 |
| JP4323682B2 true JP4323682B2 (ja) | 2009-09-02 |
Family
ID=18650356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000143552A Expired - Fee Related JP4323682B2 (ja) | 2000-05-16 | 2000-05-16 | 録画判定装置および方法ならびにエッジ抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4323682B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005094443A (ja) * | 2003-09-18 | 2005-04-07 | Ramrock Eizo Gijutsu Kenkyusho:Kk | 監視システム |
| JP4874167B2 (ja) * | 2007-05-21 | 2012-02-15 | 三洋電機株式会社 | 画像処理装置およびそれを搭載した撮像装置 |
| JP5697458B2 (ja) * | 2011-01-06 | 2015-04-08 | キヤノン株式会社 | 動画記録装置、その制御方法、動画再生装置、及び動画記録再生システム |
| CN110415295B (zh) * | 2019-07-03 | 2024-02-27 | 平安科技（深圳）有限公司 | 图像数据处理方法和图像数据处理设备 |
| CN115131540A (zh) * | 2022-07-20 | 2022-09-30 | 重庆金山医疗技术研究院有限公司 | 一种图像传感装置及胶囊式内窥镜 |
-
2000
- 2000-05-16 JP JP2000143552A patent/JP4323682B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001326903A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7409091B2 (en) | Human detection method and apparatus | |
| US7394916B2 (en) | Linking tracked objects that undergo temporary occlusion | |
| US8041077B2 (en) | Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera | |
| Gutchess et al. | A background model initialization algorithm for video surveillance | |
| US20060274917A1 (en) | Image processing techniques for a video based traffic monitoring system and methods therefor | |
| CN109711318B (zh) | 一种基于视频流的多人脸检测与跟踪方法 | |
| EP2357615B1 (en) | Video processing | |
| US20100183227A1 (en) | Person detecting apparatus and method and privacy protection system employing the same | |
| US20070003146A1 (en) | Information-based self-organization of sensor nodes of a sensor network | |
| EP0913794A2 (en) | A method for detecting moving cast shadows for object segmentation | |
| US20080292142A1 (en) | Method and apparatus to segment motion area in real-time to detect motion in surveillance camera system | |
| CN101477641A (zh) | 基于视频监控的人数统计方法和系统 | |
| JP2000299816A (ja) | ビデオセグメンテーションシステム | |
| US9053355B2 (en) | System and method for face tracking | |
| JP2009217835A (ja) | 非動作検出方法 | |
| KR20130010875A (ko) | 화상 조정 파라미터를 결정하기 위한 방법 및 카메라 | |
| CN112561946B (zh) | 一种动态目标检测方法 | |
| JP5060264B2 (ja) | 人物検出装置 | |
| Jing et al. | Motion detection with adaptive background and dynamic thresholds | |
| KR20160089165A (ko) | 이동 물체 탐지 시스템 및 방법 | |
| CN111242023A (zh) | 一种适用于复杂光线客流统计方法及统计装置 | |
| JP4259720B2 (ja) | 画像センサ | |
| CN100375530C (zh) | 一种运动检测方法 | |
| JP4323682B2 (ja) | 録画判定装置および方法ならびにエッジ抽出装置 | |
| JP4926602B2 (ja) | 煙検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090326 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |