JPWO2014064878A1 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
JPWO2014064878A1
JPWO2014064878A1 JP2014543129A JP2014543129A JPWO2014064878A1 JP WO2014064878 A1 JPWO2014064878 A1 JP WO2014064878A1 JP 2014543129 A JP2014543129 A JP 2014543129A JP 2014543129 A JP2014543129 A JP 2014543129A JP WO2014064878 A1 JPWO2014064878 A1 JP WO2014064878A1
Authority
JP
Japan
Prior art keywords
image
region
moving image
information processing
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014543129A
Other languages
English (en)
Other versions
JP6299602B2 (ja
Inventor
啓宏 王
啓宏 王
憲一 岡田
憲一 岡田
健 宮下
健 宮下
明美 田崎
明美 田崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014064878A1 publication Critical patent/JPWO2014064878A1/ja
Application granted granted Critical
Publication of JP6299602B2 publication Critical patent/JP6299602B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

有用な監視カメラシステムを実現することが可能となる情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供する。本技術の一形態に係る情報処理装置は、入力部と、制御部とを具備する。前記入力部は、第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力する。前記制御部は、前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する。

Description

本技術は、例えば監視カメラシステム等に用いることが可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
例えば特許文献1には、監視カメラシステムに適用可能な技術として、オブジェクトの追尾前又は追尾中において追尾対象を簡単かつ正確に指定するための技術が記載されている。この技術では、追尾対象となるオブジェクトが拡大表示されるとともに、他のオブジェクトが追尾対象候補として抽出される。ユーザは抽出された追尾対象候補の中から拡大表示したい対象(追尾対象)を選ぶという簡易な操作を行うだけで、所望の拡大表示画像(ズーム画像)を得ることが可能となる(特許文献1の明細書段落[0010][0097]等参照)。
特開2009−251940号公報
特許文献1に記載のような有用な監視カメラシステムの実現を可能とするための技術が求められている。
以上のような事情に鑑み、本技術の目的は、有用な監視カメラシステムを実現することが可能となる情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、入力部と、制御部とを具備する。
前記入力部は、第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力する。
前記制御部は、前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する。
この情報処理装置では、第1の撮影空間の第1の画像と、第2の撮影空間の第2の画像とが入力される。そして第1及び第2の画像が切り替えられるときに、第1及び第2の撮影空間の位置的な関連性を反映した切り替え動画が出力される。これにより第1及び第2の画像の切り替え時に空間的な関連性を容易に理解することができる。この技術を用いることで、有用な監視カメラシステムを実現することが可能となる。
前記制御部は、設定部と、生成部とを有してもよい。
前記設定部は、前記第1及び前記第2の撮影空間の前記位置的な関連性に応じた領域を前記第1の画像には第1の領域として、前記第2の画像には第2の領域としてそれぞれ設定する。
前記生成部は、前記第1の領域を表わす第1の領域画像が前記位置的な関連性を反映して動く第1の動画を前記第2の画像への切り替え動画として生成し、前記第2の領域を表わす第2の領域画像が前記位置的な関連性を反映して動く第2の動画を前記第1の画像への切り替え動画として生成する。
このように、第1の画像の所定の領域の画像が動く第1の動画が、第2の画像への切り替え動画として生成されてもよい。また第2の画像の所定の領域の画像が動く第2の動画が、第1の画像への切り替え動画として生成されてもよい。各領域画像は撮影空間の位置的な関連性を反映して動くので、第1及び第2の画像の切り替え時に空間的な関連性を容易に理解することができる。
前記設定部は、前記第1及び前記第2の画像のそれぞれで共通して撮影された共通領域を、前記第1の画像では前記第1の領域として、前記第2の画像では前記第2の領域としてそれぞれ設定してもよい。この場合、前記生成部は、前記第1の領域画像が前記第2の画像における前記第2の領域の位置に動く動画を前記第1の動画として生成し、前記第2の領域画像が前記第1の画像における前記第1の領域の位置に動く動画を前記第2の動画として生成してもよい。
これにより共通領域を基準として、第1及び第2の撮影空間の位置的な関連性を容易に理解することが可能となる。この結果、有用な監視カメラシステムを実現することが可能となる。
前記生成部は、前記第1の領域画像が画面の外側に移動する動画を前記第1の動画として生成し、前記第2の領域画像が画面の外側に移動する動画を前記第2の動画として生成してもよい。
例えば第1及び第2の画像において共通して撮影された共通領域が設定されない場合等において、第1及び第2の領域画像が画面の外側まで移動する第1及び第2の動画を適宜生成する。これにより撮影空間の位置的な関連性を理解することが可能な切り替え動画を生成することが可能となる。
前記情報処理装置は、前記第1及び前記第2の画像において追跡対象のオブジェクトを追跡する追跡部をさらに具備してもよい。この場合、前記制御部は、前記追跡対象のオブジェクトと前記第1の領域との距離が所定の値よりも小さくなったときに前記第1の動画を出力し、前記追跡対象のオブジェクトと前記第2の領域との距離が所定の値よりも小さくなったときに前記第2の動画を出力してもよい。
この情報処理装置では、第1及び第2の画像において所定のオブジェクトを追跡対象として追跡することが可能である。そして追跡対象のオブジェクトが第1の領域に所定の距離よりも近づいたときに、第1の動画が出力され第2の画像へ切り替えられる。また追跡対象のオブジェクトが第2の領域に所定の距離よりも近づいたときに、第2の動画が出力され第1の画像へ切り替えられる。これにより追跡対象オブジェクトを効率的に追跡することが可能となり、有用な監視カメラシステムを実現することができる。
前記制御部は、前記追跡対象のオブジェクトと前記第1の領域との距離が所定の値よりも小さくなったときに前記第1の領域画像を前記第1の画像内に出力し、前記追跡対象のオブジェクトと前記第2の領域との距離が所定の値よりも小さくなったときに前記第2の領域画像を前記第2の画像内に出力してもよい。
このように、追跡対象オブジェクトの動きに応じて、第1及び第2の画像内における第1及び第2の領域画像の表示が制御されてもよい。
前記情報処理装置は、ユーザからの指示を入力する指示入力部をさらに具備してもよい。この場合、前記制御部は、前記指示入力部を介して入力された前記第1の領域画像を選択する指示に応じて前記第1の動画を出力し、前記入力部を介して入力された前記第2の領域画像を選択する指示に応じて前記第2の動画を出力してもよい。
このように第1及び第2の領域画像の選択に応じて、第1及び第2の画像の切り替えが実行されてもよい。これにより有用な監視カメラシステムが実現される。
本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力することを含む。
前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画が出力される。
本技術の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力するステップ。
前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力するステップ。
本技術の一形態に係る情報処理システムは、第1の撮像装置と、第2の撮像装置と、情報処理装置とを具備する。
前記第1撮像装置は、第1の撮影空間を撮影対象とする。
前記第2の撮像装置は、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする。
前記情報処理装置は、入力部と、制御部とを有する。
前記入力部は、前記第1の撮像装置により撮影された第1の画像と、前記第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力する。
前記制御部は、前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する。
以上のように、本技術によれば、有用な監視カメラシステムを実現することが可能となる。
本技術の一実施形態に係る情報処理装置を含む監視カメラシステムの構成例を示すブロック図である。 本実施形態に係るカメラの配置例を示す模式的な図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 本実施形態に係る画像切り替え及び切り替え動画の一例を示す図である。 第1及び第2の画像にそれぞれ共通領域が設定されていない場合の、カメラの配置例を示す模式的な図である。 図23に示す場合の画像切り替え及び切り替え動画の一例を示す図である。 図23に示す場合の画像切り替え及び切り替え動画の一例を示す図である。 図23に示す場合の画像切り替え及び切り替え動画の一例を示す図である。 クライアント装置及びサーバ装置として用いられるコンピュータの構成例を示す模式的なブロック図である。 他の実施形態としての第1及び第2の画像の切り替え処理を説明するための模式的な図である。 他の実施形態としての第1及び第2の画像の切り替え処理を説明するための模式的な図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[監視カメラシステム]
図1は、本技術の一実施形態に係る情報処理装置を含む監視カメラシステムの構成例を示すブロック図である。
監視カメラシステム100は、複数のカメラ10と、本実施形態に係る情報処理装置であるサーバ装置20と、クライアント装置30とを有する。複数のカメラ10及びサーバ装置20はネットワーク5を介して接続される。またサーバ装置20及びクライアント装置30もネットワーク5を介して接続される。
ネットワーク5としては、例えばLAN(Local Area Network)やWAN(Wide Area Network)等が用いられる。ネットワーク5の種類やそれに用いられるプロトコル等は限定されない。図1に示す2つのネットワーク5が互いに同じものである必要はない。
複数のカメラ10は、例えばデジタルビデオカメラ等の動画を撮影することが可能なカメラである。これらのカメラ10により、時間的に連続する複数のフレーム画像により構成される動画データが生成される。フレーム画像は、例えば30fps(frame per second)や60fpsのフレームレートで生成される。フィールド単位で動画データが生成されてもよい。各カメラ10は、本実施形態に係る撮像装置に相当する。
以後、フレーム画像のような動画を構成する時間的に連続する画像を、単に画像と記載する。またカメラ10が動画と静止画を両方撮影可能な場合、「画像」とは動画を構成する画像と、静止画として生成された画像の両方を含むものとする。従ってカメラ10により撮影された画像とは、動画と静止画の両方を含むものとする。
クライアント装置30は、通信部31及びGUI部32を有する。通信部31は、ネットワーク6を介したサーバ装置20との通信に用いられる。GUI部32は、動画、種々の操作のためのGUI(Graphical User Interface)、及びその他の情報等を表示する。例えばサーバ装置20からネットワーク6を介して送信された動画等が通信部31により受信される。当該動画等はGUI部32に出力され、所定のGUIにより図示しない表示部に表示される。
また表示部に表示されたGUI等を介して、ユーザからの操作がGUI部32に入力される。GUI部32は、入力された操作をもとに指示情報を生成して通信部31に出力する。通信部31により指示情報がネットワーク6を介してサーバ装置20に送信される。なお入力された操作をもとに指示情報を生成して出力するブロックが、GUI部32とは別に設けられてもよい。
クライアント装置30としては、例えばPC(Personal Computer)や、タブレット等の携帯端末が用いられる。これらに限定される訳ではない。
サーバ装置20は、カメラ管理部21と、これに接続されたカメラ制御部22及び画像解析部23とを有する。またサーバ装置20は、切り替え制御部24と、警報管理部25と、種々のデータを記憶する記憶部608とを有する。またサーバ装置20は、クライアント装置30との通信に用いられる通信部27を有する。通信部27には、カメラ制御部22、画像解析部23、切り替え制御部24、及び警報管理部25が接続される。
通信部27は、接続された各ブロックからの動画や種々の情報を、ネットワーク6を介してクライアント装置30へ送信する。またクライアント装置30から送信された指示情報を受信し、サーバ装置20の各ブロックに出力する。例えばサーバ装置20の動作を制御する図示しない制御ユニット等を介して各ブロックに指示情報が出力されてもよい。通信部27は、本実施形態において、指示入力部として機能する。
カメラ管理部21は、カメラ制御部22からの制御信号を、ネットワーク5を介して、複数のカメラ10に送信する。これによりカメラ10の種々の動作が制御される。例えばカメラのパン・チルト動作、ズーム動作、フォーカス動作等が制御される。
またカメラ管理部21は、複数のカメラ10からネットワーク5を介して送信される動画を受信する。そして当該動画を画像解析部23へ出力する。必要であればノイズ処理等の前処理が実行されてもよい。カメラ管理部21は、本実施形態において、入力部として機能する。
画像解析部23は、各カメラ10からの動画を画像(フレーム画像)ごとに解析する。例えば画像に写っているオブジェクトの種類や数、オブジェクトの動き等が解析される。本実施形態では、画像解析部23により、画像内のオブジェクトがそれぞれ抽出される。そして所定のオブジェクトが追跡対象として設定された場合、当該追跡対象のオブジェクトの追跡が実行される。具体的には、追跡対象オブジェクトの位置を表わす位置情報が、連続する画像ごとに算出される。オブジェクトの抽出及び追跡に用いられる技術は限定されず、周知の技術が用いられてよい。また、その他の画像解析が適宜実行されてもよい。本実施形態では、画像解析部23は追跡部として機能する。
警報管理部25は、画像内のオブジェクトに対する警報表示を管理する。例えばユーザからの指示や画像解析部23による解析結果をもとに、所定のオブジェクトが不審者や不審物として検出される。検出された不審者等は警報表示(アラーム表示)される。この際、警報表示の種類や警報表示の実行のタイミング等が管理される。
切り替え制御部24は、複数のカメラ10で撮影された画像を相互に切り替えるための処理を実行する。例えばユーザからの指示により、所定のカメラ10の画像から他のカメラ10の画像に切り替えてクライアント装置30に送信する。自動的に画像の切り替えが実行されてもよい。
本実施形態では切り替え制御部24により、画像の切り替え時において、各カメラ10の撮影対象となる撮影空間の位置的な関連性を反映した切り替え動画が出力される。画像の切り替え及び切り替え動画の出力は、画像解析部23から出力される動画や解析結果、記憶部608に記憶されたメタ情報データや過去の動画等のビデオデータをもとに実行される。
切り替え制御部24は、本実施形態において、制御部、当該制御部が有する設定部及び生成部として機能する。以下、この切り替え制御部による画像切り替えについて詳しく説明する。
図2は、本実施形態に係る画像切り替えについて説明するための、カメラ10の配置例を示す模式的な図である。例えば図2に示すように、建物40の外部41に第1の撮像装置としての第1のカメラ10aが設定される。また建物40の内部42には第2の撮像装置としての第2のカメラ10bが設定される。
第1及び第2のカメラ10a及び10bは、それぞれ第1及び第2の撮影空間11a及び11bを撮影対象として設置される。ここで撮影空間11とは、カメラ10で撮影可能な空間であり、パン・チルト動作等の動作範囲により撮影空間11の範囲は変わる。パン・チルト動作により大きな範囲を撮影可能なカメラ10であれば、その撮影空間11も大きな範囲となる。撮影空間11の中でパン・チルト動作やズーム動作が適宜設定され、画像が撮影される。従って撮影画像12は、撮影空間11の全体又は一部が撮影された画像となる。
第1の撮影空間11aは、建物40の入り口43を含む空間である。従って図1に示すように、第1のカメラ10aに撮影された第1の画像12aとして、入り口43と建物40の外壁44とを含む画像が撮影される。この第1の撮影空間11aにオブジェクトとして人3が通行等する場合、当該人3も第1の画像12aに撮影される。第1の画像12aが時間的に連続する動画の中では、この人3の通行等の動きが撮影される。
第2の撮影空間11bも、建物40の入り口43を含む空間である。従って図1に示すように、第2のカメラ10bに撮影された第2の画像12bとして、入り口43と建物40の内部42の廊下45とを含む画像が撮影される。第2の撮影空間11bを人3が通行等する場合には当該人3が第2の画像12bに撮影される。第2の画像12bが時間的に連続する動画の中では、この人3の通行等の動きが撮影される。
本実施形態では、画像切り替えの説明を分りやすくするために、第1及び第2のカメラ10a及び10bのパン・チルト動作の設定やズーム動作の設定等は固定とする。すなわち第1のカメラ10aでは、図2に示す第1の撮影空間11a全体を表わす第1の画像12aが固定で撮影される。また第2のカメラ10bでは、図2に示す第2の撮影空間11b全体を表わす第2の画像12bが固定で撮影される。
監視カメラシステム100では、第1及び第2の画像12a及び12bは、相互に切り替えて表示される。この第1及び第2の画像12a及び12bが切り替えられるときに、第1及び第2の撮影空間11a及び11bの位置的な関連性を反映した切り替え動画が出力される。従ってクライアント装置30では、表示部に切り替え動画が表示されてから第1及び第2の画像12a及び12bが相互に切り替えられる。
位置的な関連性は、撮影空間11の位置やカメラ10の撮影方向等により定められる。典型的には、第1の撮影空間11aに対する第2の撮影空間11bの位置、及び第2の撮影空間11bに対する第1の撮影空間11aの位置が、第1及び第2の撮影空間11a及び11bの位置的な関連性となる。すなわち第1及び第2の撮影空間11a及び11bの相対的な位置関係が、位置的な関連性として挙げられる。
また第1及び第2の画像12a及び12bにそれぞれ共通して撮影された領域があるか否かも、位置的な関連性として挙げられる。例えば第1及び第2の撮影空間11a及び11bが、同一のオブジェクトを異なる方向から撮影するように設定されるとする。その場合、当該オブジェクトを含む所定の領域が共通して撮影されることになる。本実施形態では、この領域をもとにして切り替え動画を生成することも可能である。以後、共通して撮影された領域を共通領域として記載する。
図2に示す第1及び第2の画像12a及び12bは、サーバ装置20により適宜画像処理が実行されて、クライアント装置30に出力された画像である。上記したように本実施形態では、第1及び第2の画像12a及び12bに写っているオブジェクトに対して追跡処理を実行することが可能である。図2に示す例では、人3が追跡対象のオブジェクト4として設定され、当該人3の動きが追跡されている。第1及び第2の画像12a及び12bでは、人3が追跡対象オブジェクト4として設定されていることを示すマーク7が表示されている。
図3−図21は、本実施形態に係る画像切り替えを説明するための図であり、切り替え動画の一例を示す図である。図3から図22に示す画像がサーバ装置20の切り替え制御部24により生成され、クライアント装置30に送信される。以下の説明では、画像や動画が表示されるという表現を用いることがあるが、それはサーバ装置20から見れば当該画像や動画が生成して出力するという意味である。
図3(A)に示すように建物40の入り口43に向かって人3が移動する。図3(B)に示すように、人3が入り口43に近づくと、入り口43の位置に相当する領域50aの画像51aが第1の画像12a内に出力される。以下、領域50aを表わす画像51aに対して、領域50aの符号も添えて説明する。
この領域50aについて説明する。本実施形態では、第1及び第2の撮影空間11a及び11bの位置的な関連性に応じた領域が、第1の画像12aには第1の領域として、第2の画像12bには第2の領域として設定される。そして第1の領域を表わす第1の領域画像が位置的な関連性を反映して動く第1の動画が、第2の画像への切り替え動画として生成される。また第2の領域を表わす第2の領域画像が位置的な関連性を反映して動く第2の動画が、第1の画像への切り替え動画として生成される。
本実施形態では、第1及び第2の画像12a及び12bのそれぞれに、入り口43が撮影される。従って入り口43は、共通領域52として撮影される領域となる。本実施形態では、この共通領域52である入り口43を含む領域50aが第1の領域として設定される(以下、第1の領域50aと記載する)。第2の画像12bでは、図7(A)に示すように、入り口43を含む領域50bが共通領域52となり、この領域50bが第2の領域として設定される(以下、第2の領域50bと記載する)。
第1及び第2の領域50a及び50bは、典型的には矩形状を有し、4つの頂点の座標情報が用いられて設定される。しかしながら第1及び第2の領域50a及び50bの形状は限定されず、円形状や多角形状等の領域が設定されてもよい。また第1及び第2の領域50a及び50bを表わすデータも限定されない。例えば共通して撮影されたオブジェクトの形状に沿った領域が、第1及び第2の領域50a及び50bとして設定されてよい。この場合、当該オブジェクトの外形の情報と位置情報とが用いられて、第1及び第2の領域50a及び50bが設定される。
図3(B)に示す領域50aの画像51aは、第1の領域50aの画像51aということになる(以下、第1の領域画像51aと記載する)。追跡対象オブジェクト4である人3と第1の領域50aとの距離が所定の値よりも小さくなったときに第1の領域画像51aが第1の画像12a内に出力される。これにより画像が切り替えられる際に基準となる領域(第1の領域50a)の位置を把握することが可能となる。また画像が切り替えられるポイントとなる切り替えポイントの位置を把握することが可能となる。所定の値として設定される閾値は適宜設定されてよい。
図7(A)に示す第2の画像12bにおいても、人3と第2の領域50bとの距離が所定の値よりも小さくなったときに第2の領域画像51bが第2の画像12b内に出力される。これにより第2の領域画像51bを基準として画像の切り替えが実行されることを把握することができる。なお第1及び第2の領域画像51a及び51bとしては、領域全体を現す半透明な画像であってもよいし、領域の縁部を現す枠状の画像であってもよい。その他の画像が第1及び第2の領域画像51a及び51bとして表示されてもよい。
図3(C)に示すように、さらに人3が第1の領域50aに近づき、第1の領域50aとほぼ重なると、画像の切り替えが開始される。すなわち本実施形態では、追跡対象オブジェクト4である人3と第1の領域50aとの距離が所定の値よりも小さくなったときに第1の動画が出力され第2の画像12bへの切り替え処理が実行される。また人3と第2の領域50bとの距離が所定の値よりも小さくなったときに第2の動画が出力され第1の画像12aへの切り替え処理が実行される。ここで所定の値として設定される閾値も適宜設定されてよい。
図3(C)に示すように、切り替え処理が開始される際には、第1の領域画像51aが変化する。例えば第1の領域画像51aの色や形状等が変化する。これによりユーザは、画像の切り替えが開始されることを把握することができる。同様に第2の領域画像51bも人3が近づいて画像の切り替えが開始されるタイミングで変化する。
第1の動画60としては、まず図4(A)及び(B)に示すように、第1の領域画像51aが強調される動画が表示される。例えば第1の領域画像51a以外の領域55が徐々に暗くなるような動画が表示される。第1の領域画像51a以外の領域55が白やグレー等の他の色で表わされてもよい。あるいは、第1の領域画像51a以外の領域55が半透明で表示されてもよい。一方、第1の領域画像51aの色等がさらに変化して表示が強調されてもよい。
図4(C)、図5(A)−(C)、及び図6(A)及び(B)にかけて、第1の領域画像51aが、第1及び第2の撮影空間11a及び11bの位置的な関連性を反映して動く第1の動画60が表示される。図2に示すように、第1及び第2の撮影空間11a及び11bは、それぞれの撮影方向が略180度で反対向きである。すなわち第1及び第2の画像12a及び12bは、入り口43をそれぞれ略反対方向から撮影した2つの画像となる。
従って図4(C)から図6(A)までに示すように、第1の領域画像51aが略半回転する動画が第1の動画60として生成されて表示される。これによりユーザの視点を略180度反対向きに誘導させることができる。そしてユーザの視点が、あたかも第1のカメラ10aの設置位置から第2のカメラ10bの設置位置まで移動したかのような感覚を生じさせることができる。この結果、第1及び第2の画像12a及び12b間の空間的な位置関係を容易に理解することが可能となる。
第1及び第2の撮影空間11a及び11bの位置的な関連性を反映した動画であれば、どのような動画が第1の動画60として生成されてもよい。例えば図6等に示す第1の動画60において、移動中の第1の領域画像51aの形状や大きさ、回転及び移動の速度等は適宜設定可能である。また図中には回転を説明するための矢印が図示されているが、このような矢印が実際に第1の動画60内に表示されてもよい。その他、方位を示すようなコンパスが表示されそのコンパスの回転等により、第1の領域画像51a回転や移動等が表現されてもよい。あるいは回転中といったテキストが表示されてもよい。
また本実施形態では、図6(B)に示すように、第1の領域画像51aが、第2の画像12bにおける第2の領域50bの位置に動く第1の動画60が生成される。上記したように、第1及び第2の領域50a及び50bは、第1及び第2の画像12a及び12bのそれぞれで共通して撮影された共通領域52である。従って第1及び第2の領域50a及び50bは互いに対応する領域であり、第1の画像12aにおける第1の領域50aは第2の画像12bにおける第2の領域50bに相当する。
第1の動画60として、第1の領域画像51aが、撮影空間の位置的な関連性を反映した動きをしながら、第2の領域50bの位置まで移動する動画が生成される。これにより共通領域52を基準として、第1及び第2の画像12a及び12bの空間的な位置関係を容易に把握することができる。この結果、第1及び第2の撮影空間11a及び11bの位置的な関連性を容易に理解することが可能となる。なお第2の領域50bの位置まで移動した第1の領域画像51aを、第2の領域画像51bとして説明する場合がある。
第2の画像12bから第1の画像12aへの切り替え時には、第2の領域画像51bが撮影空間の位置的な関連性を反映して動く第2の動画65が生成されて表示される。図6(B)から図4(B)までの、第1の動画60を逆に進行させるような動画が第2の動画65として生成される。また第2の領域画像51bが第1の画像12aにおける第1の領域50aの位置に動く動画が第2の動画65として生成される。これにより、第1及び第2の撮影空間11a及び11bの位置的な関連性を容易に理解することが可能となる。なお第1及び第2の動画60及び65を生成するための技術としては、動画を生成するための任意の技術が用いられてよい。
図6(C)から図7(A)にかけて、第2の領域画像51b以外の領域56が徐々に表示される。これにより第1の動画60の表示が終了し、第2の画像12bへ切り替えが終了する。なお図7(A)では、切り替えられた第2の画像12b内に、第2の領域画像51bが表示されている。これにより第1の画像12aから切り替えられて表示されたことを把握することが可能となる。
図7(B)に示すように、第2の領域画像51bは、人3が第2の領域50bから離れると表示が解除される。例えば第2の領域50bが表示される閾値として設定された距離よりも離れたときに表示が解除される。その他、人3の動きが検出されたときに第2の領域画像51bの表示が解除されてもよい。
続いて図7(B)に示す第2の画像12bと図10(C)に示す画像との切り替えを説明する。そのために図7(B)に示す第2の画像12bを、改めて第1の画像112aと記載する。そして図10(C)に示す画像を第2の画像112bと記載する。
図7(C)に示すように、人3が建物40内の廊下45を進む。第1の画像112aでは、廊下45の途中の領域が第1の領域150aとして設定されている。従って、人3が廊下45を進み第1の領域150aに近づくと、第1の領域画像151aが第1の画像112a内に出力される。
従って第1の画像112aを基準として見ると、第1の画像112aには、図3(A)に示す画像(第1の画像12a)への切り替えのための第1の領域(第2の領域50b)が設定される。また図10(C)に示す第2の画像112bへの切り替えのための第1の領域150aが設定される。すなわち第1の画像112aには2つの第1の領域が設定されることになる。1つの画像に対して、その画像から他の画像へと切り替えられる切り替えポイントの数と同じ数だけ第1の領域が設定される。言い換えれば相互に切り替えられる2つの画像の組に対して、第1及び第2の領域がそれぞれ設定される。
図7(C)に示す第1の領域150aは、第2の画像112aにおいても共通して撮影される共通領域152である。従って図10(C)に示すように、第2の画像112bにおいて、第1の領域150aに対応する領域が第2の領域150bとして設定される。
図8(A)に示すように、人3がさらに第1の領域150aに近づくと、第1の領域画像151aが変化して、第1の画像112aから第2の画像112bへの切り替えが開始される。図8(B)及び(C)に示すように、第1の領域画像151aが強調される動画が表示される。そして図10(A)にかけて、第1の領域画像151aが第1及び第2の撮影空間の位置的な関連性を反映して動く第1の動画160が表示される。
図10(C)に示すように、第2の画像112bは、建物40の廊下45を正面から入り口43へ向かう方向に撮影した画像である。従って第1の領域画像151aが、少し回転して正面を向く動画が第1の動画160として生成されて表示される。また第1の領域画像151aが、第1及び第2の撮影空間の位置的な関連性を反映した動きをしながら、第2の画像112bにおける第2の領域150bの位置まで移動する動画が生成される。
図10(C)にかけて、第2の領域画像151b以外の領域156が徐々に表示される。これにより第1の動画160の表示が終了し、第2の画像112bへ切り替えが終了する。第1の動画160が生成されて表示されることで、第1及び第2の画像112a及び112b間の空間的な位置関係を容易に理解することが可能となる。図11(A)に示すように、第2の領域画像151bは、人3が第2の領域150bから離れると表示が解除される。
第2の画像112bから第2の画像112aへの切り替え時には、第1の動画160を逆に進行させるような第2の動画が生成される。
続いて、図11(A)に示す第2の画像112bを第1の画像212aとして、この第1の画像212aと図14(C)に示す第2の画像212bとの切り替えを説明する。
図11(B)に示すように、人3が廊下45を進む。第1の画像212aでは、廊下45を進む人3にとって右側(図で見て左側)に廊下45が曲がって延びている。その廊下45の曲がり角の部分46に第1の領域250aが設定される。その第1の領域250aに人3が近づくと第1の領域画像251aが表示される。第1の領域250aと、図14(C)に示す第2の領域250bは、共通領域である。
図12(A)に示すように、人3がさらに第1の領域250aに近づくと、第1の領域画像251aが変化して、第2の画像212bへの切り替えが開始される。図12(B)及び(C)に示すように、第1の領域画像251aが強調される動画が表示される。図11(C)や図12の各図では、第1の領域画像251aが画面15の外側にかけて図示されている。これは第2の画像212bの第2の領域250bと対応する領域を表わしたものである。実際には画面15内の部分が第1の領域画像251aとして表示される。
図14(A)にかけて、第1及び第2の撮影空間の位置的な関連性を反映して動く第1の動画260が表示される。図13(A)に示すように、第1の領域画像251aが移動するにつれて、上記した第2の領域250bに対応する領域全体が第1の領域画像251aとして表示される。第1の領域画像251aは、移動及び回転をしながら、共通領域である第2の領域250bの位置まで動く。
図14(B)に示すように、第2の領域画像251b以外の領域256が徐々に表示される。これにより廊下45の曲がり角の部分46から先に広がる空間を撮影空間とする第2の画像212bが表示される。図15(A)に示すように、第2の領域画像251bは、人3が第2の領域250bから離れると表示が解除される。
続いて、図15(A)に示す第2の画像212bを第1の画像312aとして、この第1の画像312aと図19(B)に示す第2の画像312bとの切り替えを説明する。
図15(B)に示すように、人3が廊下45の奥の左側にあるエスカレータ47に向かって進む。そうすると2つの第1の領域画像351a及び381が表示される。すなわち第1の画像312aには、エスカレータ47の手前の領域と、廊下45の奥の右側に続く領域の2つの領域が、第1の領域350a及び380として設定されている。それらの画像がともに第1の領域画像351a及び380として表示される。
エスカレータ47の手前に表示される第1の領域画像351aは、図19(B)に示す第2の画像312bへの切り替えのための第1の領域画像である。廊下45の奥の右側に表示される第1の領域画像381は、その先に設定されたカメラによる撮影画像との切り替えのために用いられる。2つの第1の領域画像351a及び381が表示されることで、ユーザは、画像の切り替えポイントの数や位置を把握することが可能となる。
なお第1の領域350aと図9(C)に示す第2の領域350bとは、共通領域として設定されている。
図15(C)に示すように、人3がさらに第1の領域350aに近づくと、第1の領域画像351aが変化して、第2の画像312bへの切り替えが開始される。図16(A)及び(B)に示すように、第1の領域画像351aが強調される動画が表示される。この際に、もう1つの第1の領域画像381が、変化はせずにそのまま表示されてもよい。
図18(C)にかけて、第1及び第2の撮影空間の位置的な関連性を反映して動く第1の動画360が表示される。図19(B)に示すように、第2の画像312bは、エスカレータ47の下に広がる大きな広場48の全体が撮影された画像である。すなわち大きな撮影空間を撮影対象として撮影された画像である。従って、共通領域として設定された第2の領域350bは、第2の画像312bにおいては小さい領域となっている。
従って第1の動画360として、第1の領域画像351aが回転及び移動しつつ、その大きさも小さくなりながら、第2の領域350bの位置まで移動する動画が生成される。図19(B)にかけて、第2の領域画像351b以外の領域356の画像が徐々に表示される。これにより広場48の全体が表示された第2の画像312bが表示される。図19(C)及び図20(A)に示すように、第2の領域350bから人3が所定の距離以上離れると、第2の領域画像351bの表示が解除される。
図20(A)に示す第2の画像312bを第1の画像412aとして説明を続ける。図20(B)に示すように、人3がエスカレータ47に乗って広場48に降りていく。そうすると複数の第1の領域画像451a及び481が表示される。広場48からは複数の方向に進行可能であり、それぞれの進行方向においてカメラが設定されている。それらのカメラで撮影された画像との切り替えのために複数の第1の領域画像451a及び481が表示される。
図20(B)では、人3がエスカレータ47の略中央の位置にきたときに、広場48に設定された5つの第1の領域画像451a及び481が表示されている。すなわち人3との距離が比較的大きい段階で、第1の領域画像451a及び481が5つとも表示される。これによりユーザは、広場48全体を撮影した第1の画像412aにおいて、切り替えポイントの数と位置とを早い段階で理解することが可能となる。
図21(B)にかけて、5つの第1の領域画像451a及び481のうち人3が所定の距離よりも近づいた第1の領域画像451aが変化して、画像の切り替え処理が開始される。
図22は、本実施形態に係る切り替え動画を生成するための処理の一例を示すフローチャートである。ここでは、第1の画像から第2の画像への切り替え動画である第1の動画の生成について説明する。
第1及び第2の画像が入力される(ステップ101)。第1及び第2の画像のそれぞれに共通して撮影された共通領域が設定されているか否かが判定される(ステップ102)。共通領域の設定がある場合は(Yes)、当該共通領域が第1及び第2の領域としてそれぞれ設定される(ステップ103)。共通領域の設定がない場合は(No)、第1及び第2の撮影空間の位置的な関連性をもとに、所定の領域が第1及び第2の領域としてそれぞれ設定される(ステップ104)。
共通領域の有無の判定及び第1及び第2の領域の設定は、典型的には、監視カメラシステム100が設置された際にキャリブレーション処理として実行される。すなわちユーザや監視カメラシステム100の提供者等が、各カメラの撮影空間をもとに第1及び第2の領域の設定等を実行する。しかしながらカメラの設置位置の情報や、カメラの種々の撮影設定の情報等をもとに、自動的に第1及び第2の領域の設定が実行されてもよい。
設定された第1及び第2の領域をもとに、第1の動画が生成される。第1及び第2の領域が共通領域として設定されている場合、第1の領域画像が第2の領域の位置に移動する動画が第1の動画が生成される。第1及び第2の領域が共通領域として設定されていない場合は、第1及び第2の撮影空間の位置的な関連性を反映して第1の領域画像が動く動画が第1の動画として適宜生成される。
図23は、第1及び第2の画像にそれぞれ共通領域が設定されていない場合の、カメラの配置例を示す模式的な図である。第1のカメラ510aの第1の撮影空間511aは、図2に示す第1のカメラ10aの第1の撮影空間11aと同じであるとする。建物40内部42に配置される第2のカメラ510bの第2の撮影空間511bは、入り口43を含まない空間に設定されている。なお第2の画像512bの右端の部分の入り口43に隣接するする部分49を共通領域として設定することも考えられる。しかしながら建物40の外部41と内部42との違いがあるので、その部分は共通領域として設定されないとする。
このような場合について、第1及び第2の動画の例を示す。まず第1の画像512aの第1の領域としては、図3(B)に示す第1の領域50aと同様に設定する。そして図3(B)から図6(A)に示す第1の動画60と同様な動画が表示される。続いて、図24に(A)−(C)示すように、第1の領域画像551aが、入り口43の位置に向かって画面15の左側へ移動する動画が表示される。すなわち第1の領域画像551aが、第2の画像512bにおける入り口43の位置に向けて、画面15の外側に移動する動画が表示される。この動画が第1の動画560として生成されて表示される。そして第2の画像512bへの切り替えが完了する。
第2の画像512bでは、例えば図25(A)及び(B)に示すように、第2の画像512bの左側の領域に第2の領域550aが設定される。そして図6(A)から図4(C)に示す第2の動画65と略同様な動画が表示される。続いて、図25(C)から図26(B)に示すように、第2の領域画像551bが、建物40の内部42に向かって画面15の右上側へ移動する動画が表示される。すなわち第2の領域画像551bが、第1の画像512aにおける第2の領域550bの位置に向けて、画面15の外側に移動する動画が表示される。この動画が第2の動画565として生成されて表示される。そして第1の画像512aへの切り替えが完了する。
このように共通領域が設定されない場合等に、第1及び第2の領域画像551a及び552bが画面15の外側に移動する第1及び第2の動画560及び565がそれぞれ生成されてもよい。これにより撮影空間の位置的な関連性を反映した切り替え動画を生成することが可能となる。
以上、本実施形態に係る監視カメラシステム100では、サーバ装置20に、第1の撮影空間の第1の画像と、第2の撮影空間の第2の画像とが入力される。そして第1及び第2の画像が切り替えられるときに、第1及び第2の撮影空間の位置的な関連性を反映した切り替え動画が出力される。これにより第1及び第2の画像の切り替え時に空間的な関連性を容易に理解することができる。この結果、有用な監視カメラシステム100を実現することが可能となる。
また本実施形態の監視カメラシステム100では、追跡対象オブジェクト4の動きに応じて、自動的に第1及び第2の領域画像が表示される。また追跡対象オブジェクト4の動きに応じて、自動的に第1及び第2の画像の切り替えが実行される。これにより追跡対象オブジェクト4を効率的に追跡することが可能となる。また画像の切り替え時に追跡対象オブジェクト4を見失ってしまうことを防止すことができる。この結果、有用な監視カメラシステム100を実現することが可能となる。
複数のカメラ10により撮影された複数の画像が頻繁に切り替えられる場合には、ユーザの視線の移動量も増え、切り替えられる画像間の空間的な関連性を理解するのが難しくなる。本実施形態に係る監視カメラシステム100では、そのような問題の発生を抑えることができる。
上記の各実施形態においてクライアント装置30及びサーバ装置20としては、例えばPC(Personal Computer)等の種々のコンピュータが用いられる。図27は、そのようなコンピュータの構成例を示す模式的なブロック図である。
コンピュータ600は、CPU(Central Processing Unit)601、ROM(Read Only Memory)602、RAM(Random Access Memory)603、入出力インタフェース605、及び、これらを互いに接続するバス604を備える。
入出力インタフェース605には、表示部606、入力部607、記憶部608、通信部609、ドライブ部610等が接続される。
表示部606は、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。
入力部607は、例えばコントローラ、ポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部607がタッチパネルを含む場合、そのタッチパネルは表示部606と一体となり得る。
記憶部608は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。
ドライブ部610は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体611を駆動することが可能なデバイスである。これに対し上記記憶部608は、主にリムーバブルでない記録媒体を駆動する、コンピュータ600に予め搭載されたデバイスとして使用される場合が多い。
通信部609は、LAN、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部609は、有線及び無線のどちらを利用して通信するものであってもよい。通信部609は、コンピュータ600とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するコンピュータ600による情報処理は、記憶部608またはROM602等に記憶されたソフトウェアと、コンピュータ600のハードウェア資源との協働により実現される。具体的には、CPU601が記憶部608またはROM602等に記憶された、ソフトウェアを構成するプログラムをRAM603にロードして実行することにより実現される。例えばCPU601が所定のプログラムを実行することで図2に示す各ブロックが実現される。
プログラムは、例えば記録媒体を介してコンピュータ600にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ600にインストールされてもよい。
また、コンピュータ600が実行するプログラムは、上記で説明した順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
例えば図28及び図29は、他の実施形態としての第1及び第2の画像の切り替え処理を説明するための模式的な図である。図28(A)に示すように、第1の画像712a内のオブジェクトである人3が追跡対象オブジェクト4として、ユーザ2により設定される。この実施形態では、タッチパネル18を介した人3へのタッチ操作により、追跡対象オブジェクト4の設定が実行される。
図28(B)に示すように、人3の動きに応じて第1の領域画像751aが表示される。あるいは追跡対象オブジェクト4が設定されることで、第1の領域画像751aが表示されてもよい。図28(C)に示すように、人3が第1の領域画像751aに近づくと図29に示す第1の動画760が表示され、画像の切り替えが開始される。
図29に示すように、第1の領域画像751aが正面を向くように回転する第1の動画760が生成されて表示される。この際に、第1の領域画像751aが画面の全体に表示されるように第1の動画760が生成される。そして図28(D)に示すような第2の画像412bが表示されて、画像の切り替えが終了する。
この実施形態のように、第2の画像712bの全体が第2の領域750bとして設定されている。また第1及び第2の領域750a及び750bは、共通領域として設定されている。従って図29に示すように、第1の領域画像751aが、第2の領域750bの位置である画面全体の位置まで移動する第1の動画760が表示される。第1の画像712aへの切り替え時には、第2の画像712b全体が第2の領域画像751bとして、第1の領域750aの位置まで移動する第2の動画が表示される。このように撮影画像の全体が第1の領域や第2の領域として設定されてもよい。
またこの実施形態では、第1の領域画像751aとして、第2の画像712bが埋め込まれた画像が用いられている。このように切り替え先の画像を用いて第1の領域画像が生成されてもよい。これにより第1及び第2の画像間の空間的な位置関係を理解することが容易となる。
ユーザの指示により画像の切り替えが実行されてもよい。例えば第1の画像内に表示された第1の領域画像を選択する指示に応じて、第1の動画が出力されて第2の画像への切り替えが実行されてもよい。同様に、第2の画像内に表示された第2の領域画像を選択する指示に応じて、第2の動画が出力されて第1の画像への切り替えが実行されてもよい。
例えば図21に示すように、第1の画像に複数の第1の領域画像が表示されるとする。このような場合等において、第1の領域画像を適宜選択することで、選択された第1の領域画像に関連した画像の切り替えを実行させることが可能となる。これにより監視したい画像への切り替えを直感的に実行することが可能となる。
この操作の他の例として、例えば図3に示す監視画面において扉にセキュリティが設定されているとする。そしてカード等を用いて扉を開けた人の背後に隠れて、建物内に不正に侵入する不審者が発見されたとする。このような場合に、監視者(ユーザ)が不審者の動きに合わせて、建物内の第1及び第2の領域画像を適宜選択する。タッチパネル等が用いられている場合には、不審者の動きに合わせて、第1及び第2の領域画像がタッチされる。その操作に応じて第1及び第2の動画が表示され画像の切り替えが適宜実行される。このようにタッチ操作等の指示に応じて画像の切り替えが行われてもよい。これにより、不審者を見失うことなく追跡することが可能となり高精度の監視を実行することができる。
なおユーザの指示により、第1及び第2の動画の表示がスキップされてもよい。例えば第1及び第2の動画が表示されている間に、画面内の所定又は任意の領域にタッチ操作等が入力される。そうすると第1及び第2の動画の表示がスキップされて、切り替え先の画像が表示されてもよい。これにより画像間の切り替え速度を向上させることができる。例えば不審者等が高速で移動している場合等に有効である。
上記では、追跡対象オブジェクトが所定の距離よりも近づいたときに第1の領域画像が第1の画像内に表示された。しかしながら第1の画像内に第1の領域画像が表示されなくてもよい。切り替えが開始されて切り替え動画が表示されるときに、第1の領域画像が表示されてもよい。第2の領域画像についても同様である。
第1及び第2の撮影空間の位置的な関連性を反映した切り替え動画として、第1及び第2の領域画像を用いた第1及び第2の動画とは異なる動画が生成されてもよい。例えば地面のみが強調された画像が適宜回転や移動等することで、画像間の相対的な位置関係を表現する動画が生成されてもよい。
撮影空間の中で、パン・チルト動作等が行われる場合について説明する。この場合、1つの第1のカメラから複数の異なる第1の画像が撮影される。また1つの第2のカメラから複数の異なる第2の画像が撮影される。
例えば基準となる撮影設定で撮影された第1及び第2の画像について第1及び第2の領域がそれぞれ設定される。これら基準となる第1及び第2の領域の位置情報と、パン・チルト設定等の撮影設定情報とをもとに、他の撮影設定で撮影された第1及び第2の画像に対する第1及び第2の領域の設定が行われる。
あるいは基準となる第1及び第2の画像に設定された第1及び第2の領域が、他の撮影設定で撮影された第1及び第2の画像に対してそのまま設定されてもよい。そして同じ切り替え動画が表示されてもよい。このようにしても、第1及び第2の画像間の空間的な位置関係を把握することができる。
あるいは複数の撮影設定において、第1及び第2の領域が予め設定されていてもよい。これら複数の撮影設定での第1及び第2の領域の情報をもとに、他の撮影設定における第1及び第2の領域の設定が実行されてもよい。
上記では、クライアント装置とサーバ装置とがネットワークで接続され、またサーバ装置と複数のカメラとがネットワークで接続されていた。しかしながら各装置を接続するためにネットワークが用いられなくてもよい。すなわち各装置の接続方法は限定されない。また上記ではクライアント装置とサーバ装置とが別体の装置として配置された。しかしながらクライアント装置とサーバ装置とが一体的に構成されて、本技術の一実施形態に係る情報処理装置として用いられてもよい。複数の撮像装置も含めて本技術の一実施形態に係る情報処理装置が構成されてもよい。
上記で説明した本技術に係る画像の切り替え処理等が、監視カメラシステム以外の他の情報処理システムに用いられてもよい。
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。
なお、本技術は以下のような構成も採ることができる。
(1)第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力する入力部と、
前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記制御部は、
前記第1及び前記第2の撮影空間の前記位置的な関連性に応じた領域を前記第1の画像には第1の領域として、前記第2の画像には第2の領域としてそれぞれ設定する設定部と、
前記第1の領域を表わす第1の領域画像が前記位置的な関連性を反映して動く第1の動画を前記第2の画像への切り替え動画として生成し、前記第2の領域を表わす第2の領域画像が前記位置的な関連性を反映して動く第2の動画を前記第1の画像への切り替え動画として生成する生成部と
を有する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記設定部は、前記第1及び前記第2の画像のそれぞれで共通して撮影された共通領域を、前記第1の画像では前記第1の領域として、前記第2の画像では前記第2の領域としてそれぞれ設定し、
前記生成部は、前記第1の領域画像が前記第2の画像における前記第2の領域の位置に動く動画を前記第1の動画として生成し、前記第2の領域画像が前記第1の画像における前記第1の領域の位置に動く動画を前記第2の動画として生成する
情報処理装置。
(4)(2)又は(3)に記載の情報処理装置であって、
前記生成部は、前記第1の領域画像が画面の外側に移動する動画を前記第1の動画として生成し、前記第2の領域画像が画面の外側に移動する動画を前記第2の動画として生成する
情報処理装置。
(5)(2)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記第1及び前記第2の画像において追跡対象のオブジェクトを追跡する追跡部をさらに具備し、
前記制御部は、前記追跡対象のオブジェクトと前記第1の領域との距離が所定の値よりも小さくなったときに前記第1の動画を出力し、前記追跡対象のオブジェクトと前記第2の領域との距離が所定の値よりも小さくなったときに前記第2の動画を出力する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記制御部は、前記追跡対象のオブジェクトと前記第1の領域との距離が所定の値よりも小さくなったときに前記第1の領域画像を前記第1の画像内に出力し、前記追跡対象のオブジェクトと前記第2の領域との距離が所定の値よりも小さくなったときに前記第2の領域画像を前記第2の画像内に出力する
情報処理装置。
(7)(2)から(6)のうちいずれか1つに記載の情報処理装置であって、
ユーザからの指示を入力する指示入力部をさらに具備し、
前記制御部は、前記指示入力部を介して入力された前記第1の領域画像を選択する指示に応じて前記第1の動画を出力し、前記入力部を介して入力された前記第2の領域画像を選択する指示に応じて前記第2の動画を出力する
情報処理装置。
4…追跡対象オブジェクト
10…カメラ
10a、510a…第1のカメラ
10b、510b…第2のカメラ
11…撮影空間
11a、511a…第1の撮影空間
11b、511b…第2の撮影空間
12…撮影画像
12a、112a、212a、312a、412a、512a、712a…第1の画像
12b、112b、212b、312b、412b、512b、712b…第2の画像
15…画面
20…サーバ装置
23…画像解析部
24…切り替え制御部
30…クライアント装置
50a、150a、250a、350a、550a、750a…第1の領域
50b、150b、250b、350b、550b、750b…第2の領域
51a、151a、251a、351a、381、451a、551a、751a…第1の領域画像
51b、151b、251b、351b、551b、751b…第2の領域画像
52、152…共通領域
60、160、260、360、560、760…第1の動画
65、565…第2の動画
100…監視カメラシステム
600…コンピュータ

Claims (10)

  1. 第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力する入力部と、
    前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する制御部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記制御部は、
    前記第1及び前記第2の撮影空間の前記位置的な関連性に応じた領域を前記第1の画像には第1の領域として、前記第2の画像には第2の領域としてそれぞれ設定する設定部と、
    前記第1の領域を表わす第1の領域画像が前記位置的な関連性を反映して動く第1の動画を前記第2の画像への切り替え動画として生成し、前記第2の領域を表わす第2の領域画像が前記位置的な関連性を反映して動く第2の動画を前記第1の画像への切り替え動画として生成する生成部と
    を有する
    情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    前記設定部は、前記第1及び前記第2の画像のそれぞれで共通して撮影された共通領域を、前記第1の画像では前記第1の領域として、前記第2の画像では前記第2の領域としてそれぞれ設定し、
    前記生成部は、前記第1の領域画像が前記第2の画像における前記第2の領域の位置に動く動画を前記第1の動画として生成し、前記第2の領域画像が前記第1の画像における前記第1の領域の位置に動く動画を前記第2の動画として生成する
    情報処理装置。
  4. 請求項2に記載の情報処理装置であって、
    前記生成部は、前記第1の領域画像が画面の外側に移動する動画を前記第1の動画として生成し、前記第2の領域画像が画面の外側に移動する動画を前記第2の動画として生成する
    情報処理装置。
  5. 請求項2に記載の情報処理装置であって、
    前記第1及び前記第2の画像において追跡対象のオブジェクトを追跡する追跡部をさらに具備し、
    前記制御部は、前記追跡対象のオブジェクトと前記第1の領域との距離が所定の値よりも小さくなったときに前記第1の動画を出力し、前記追跡対象のオブジェクトと前記第2の領域との距離が所定の値よりも小さくなったときに前記第2の動画を出力する
    情報処理装置。
  6. 請求項5に記載の情報処理装置であって、
    前記制御部は、前記追跡対象のオブジェクトと前記第1の領域との距離が所定の値よりも小さくなったときに前記第1の領域画像を前記第1の画像内に出力し、前記追跡対象のオブジェクトと前記第2の領域との距離が所定の値よりも小さくなったときに前記第2の領域画像を前記第2の画像内に出力する
    情報処理装置。
  7. 請求項2に記載の情報処理装置であって、
    ユーザからの指示を入力する指示入力部をさらに具備し、
    前記制御部は、前記指示入力部を介して入力された前記第1の領域画像を選択する指示に応じて前記第1の動画を出力し、前記入力部を介して入力された前記第2の領域画像を選択する指示に応じて前記第2の動画を出力する
    情報処理装置。
  8. 第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力し、
    前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する
    ことをコンピュータが実行する情報処理方法。
  9. 第1の撮影空間を撮影対象とする第1の撮像装置により撮影された第1の画像と、前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力するステップと、
    前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力するステップと
    をコンピュータに実行させるプログラム。
  10. 第1の撮影空間を撮影対象とする第1の撮像装置と、
    前記第1の撮影空間と異なる第2の撮影空間を撮影対象とする第2の撮像装置と、
    前記第1の撮像装置により撮影された第1の画像と、前記第2の撮像装置により撮影され前記第1の画像と相互に切り替えて表示される第2の画像とを入力する入力部と、
    前記第1及び前記第2の画像を相互に切り替えるときに、前記第1及び前記第2の撮影空間の位置的な関連性を反映した切り替え動画を出力する制御部と
    を有する情報処理装置と
    を具備する情報処理システム。
JP2014543129A 2012-10-23 2013-09-06 情報処理装置、情報処理方法、プログラム、及び情報処理システム Expired - Fee Related JP6299602B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012233621 2012-10-23
JP2012233621 2012-10-23
PCT/JP2013/005296 WO2014064878A1 (ja) 2012-10-23 2013-09-06 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2014064878A1 true JPWO2014064878A1 (ja) 2016-09-08
JP6299602B2 JP6299602B2 (ja) 2018-03-28

Family

ID=50544264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014543129A Expired - Fee Related JP6299602B2 (ja) 2012-10-23 2013-09-06 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Country Status (5)

Country Link
US (1) US10187610B2 (ja)
EP (1) EP2913996B1 (ja)
JP (1) JP6299602B2 (ja)
CN (1) CN104737534B (ja)
WO (1) WO2014064878A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024143A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치
WO2018116494A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 監視カメラ、監視システム、監視カメラの制御方法及びプログラム
CN107705317A (zh) * 2017-09-30 2018-02-16 石道松 基于视觉跟踪识别的控制系统
TWI735180B (zh) 2020-03-12 2021-08-01 國立臺灣科技大學 角隅剪力連接器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121580A (ja) * 2004-10-25 2006-05-11 Matsushita Electric Ind Co Ltd 画像処理装置
JP2008099248A (ja) * 2006-10-13 2008-04-24 Fuji Xerox Co Ltd 定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置、前記ビデオのインタフェースと表示を提供する方法、及びプログラム
JP2008289091A (ja) * 2007-05-21 2008-11-27 Canon Inc 画像表示装置及び監視カメラシステム
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768563B1 (en) * 1995-02-24 2004-07-27 Canon Kabushiki Kaisha Image input system
GB9712724D0 (en) * 1997-06-18 1997-08-20 Holmes Steven Method and apparatus for interaction with broadcast television content
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US20020097322A1 (en) * 2000-11-29 2002-07-25 Monroe David A. Multiple video display configurations and remote control of multiple video signals transmitted to a monitoring station over a network
US7242423B2 (en) * 2003-06-16 2007-07-10 Active Eye, Inc. Linking zones for object tracking and camera handoff
JP4195991B2 (ja) 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
KR20070086037A (ko) * 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
JP4759988B2 (ja) * 2004-11-17 2011-08-31 株式会社日立製作所 複数カメラを用いた監視システム
JP4928275B2 (ja) * 2007-01-10 2012-05-09 キヤノン株式会社 カメラ制御装置及びその制御方法
JP2009251940A (ja) 2008-04-07 2009-10-29 Sony Corp 情報処理装置および方法、並びにプログラム
IL204087A (en) * 2010-02-21 2016-03-31 Rafael Advanced Defense Sys A method and system for subsequent viewing of two video streams
US9398231B2 (en) * 2010-03-15 2016-07-19 Omron Corporation Surveillance camera terminal
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
US9282296B2 (en) * 2011-12-07 2016-03-08 Siemens Aktiengesellschaft Configuration tool for video analytics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121580A (ja) * 2004-10-25 2006-05-11 Matsushita Electric Ind Co Ltd 画像処理装置
JP2008099248A (ja) * 2006-10-13 2008-04-24 Fuji Xerox Co Ltd 定位置にある複数のカメラからのビデオの表示を提供するインタフェース装置、前記ビデオのインタフェースと表示を提供する方法、及びプログラム
JP2008289091A (ja) * 2007-05-21 2008-11-27 Canon Inc 画像表示装置及び監視カメラシステム
JP2012039341A (ja) * 2010-08-06 2012-02-23 Fujitsu Ten Ltd 画像表示システム、画像生成装置、及び、画像表示方法

Also Published As

Publication number Publication date
CN104737534A (zh) 2015-06-24
US10187610B2 (en) 2019-01-22
CN104737534B (zh) 2018-02-16
JP6299602B2 (ja) 2018-03-28
WO2014064878A1 (ja) 2014-05-01
EP2913996B1 (en) 2021-03-03
US20150326830A1 (en) 2015-11-12
EP2913996A4 (en) 2016-07-06
EP2913996A1 (en) 2015-09-02

Similar Documents

Publication Publication Date Title
US10142727B2 (en) Directivity control apparatus, directivity control method, storage medium and directivity control system
US11644968B2 (en) Mobile surveillance apparatus, program, and control method
US20190020816A1 (en) Capture and use of building interior data from mobile devices
US8537228B2 (en) Electronic device and method for controlling cameras
JP5954106B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6877149B2 (ja) 撮影位置推薦方法、コンピュータプログラムおよび撮影位置推薦システム
US20200336708A1 (en) Duplicate monitored area prevention
JP6299602B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN104184985A (zh) 图像获取的方法及装置
EP3855749A1 (en) Systems and methods for displaying video streams on a display
EP3062506B1 (en) Image switching method and apparatus
CN113905211A (zh) 一种视频巡逻方法、装置、电子设备及存储介质
US20140320594A1 (en) Apparatus and method for generating image data in portable terminal
JP2014170367A (ja) 物体検出装置、物体検出方法、物体検出システム及びプログラム
JP2015111371A (ja) 情報処理装置、情報処理方法およびプログラム
JP6515975B2 (ja) モバイル監視装置、モバイル監視システム、プログラム、及び制御方法
KR20220072498A (ko) 다중 cctv 카메라의 제어 방법, 장치 및 시스템
JP2019164802A (ja) モバイル監視装置、制御方法、及びプログラム
JP2022169536A (ja) カメラ端末、情報処理方法、及びプログラム
JP2014030089A (ja) カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP2014030090A (ja) カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
KR20200063703A (ko) 증강 현실 구현을 위한 장치 및 방법
JP2010118065A (ja) トリミング制御装置及びトリミング制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180212

R151 Written notification of patent or utility model registration

Ref document number: 6299602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees