JP6355428B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6355428B2
JP6355428B2 JP2014105361A JP2014105361A JP6355428B2 JP 6355428 B2 JP6355428 B2 JP 6355428B2 JP 2014105361 A JP2014105361 A JP 2014105361A JP 2014105361 A JP2014105361 A JP 2014105361A JP 6355428 B2 JP6355428 B2 JP 6355428B2
Authority
JP
Japan
Prior art keywords
imaging
acceleration
unit
speed
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014105361A
Other languages
English (en)
Other versions
JP2015220723A5 (ja
JP2015220723A (ja
Inventor
稔 芳賀
稔 芳賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014105361A priority Critical patent/JP6355428B2/ja
Priority to US14/712,643 priority patent/US9621801B2/en
Priority to CN201510263355.4A priority patent/CN105100602A/zh
Publication of JP2015220723A publication Critical patent/JP2015220723A/ja
Publication of JP2015220723A5 publication Critical patent/JP2015220723A5/ja
Application granted granted Critical
Publication of JP6355428B2 publication Critical patent/JP6355428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮像装置に関する。例えば、被写体を撮像する撮像部を所定の方向に回転させることができる撮像装置に関する。
従来、雲台を動作させることにより被写体を撮像する方向を変更する撮像装置が知られている。
また、撮像装置にネットワークを介して接続された外部装置から送信される指示に従って、撮像する方向を変更する撮像装置が知られている。
特許文献1には、ブラウザ機能を備えた携帯電話のキー操作やパソコンのマウス操作によって雲台を動作させることにより、撮像する方向を変更することができる撮像装置が開示されている。
このような撮像装置の用途は、監視やTV会議など多様化しており、市場では、様々な雲台を備えた撮像装置が利用されている。例えば、被写体を撮像する撮像部をパン方向、チルト方向に回転させることができ且つこの撮像部のズーム位置を変更することができるPTZカメラ等が利用されている。
特開2003−8973号公報
しかしながら、上述のPTZカメラ等は、撮像部の撮像方向を変更させる際の加速度を外部から指定されることについて、想定されていなかった。
また、仮にこの加速度を外部から指定することができるPTZカメラ等を想定した場合、例えば特定の回転速度又は加速度等において装置固有の共振周波数により振動等が発生することがあった。このため、加速度の制御によりこの振動が発生する条件に設定されてしまうと、撮像部の振動等により見難い画像になる場合があった。また、振動により撮像装置の故障等の原因ともなる場合もあった。
本発明は前述の問題点を鑑み、撮像部の撮像方向を変更させる加速度を制御する際に撮像部の振動を抑える事を目的とする。
上記目的を達成するために、本発明の撮像装置は、被写体を撮像する撮像手段と、
前記撮像手段を所定の方向に回転させる回転手段と、前記回転手段が撮像手段を回転させる際の加速度を指定する情報を含む制御コマンドを受信するための受信手段と、前記回転手段が撮像手段を回転させる際の速度が所定の範囲か否かに応じて、前記制御コマンドによって指定された加速度で前記回転手段を制御するか、前記制御コマンドによって指定された加速度と異なる加速度で前記回転手段を制御するかを決定し、当該決定された加速度で前記回転手段を制御する制御手段とを備えることを特徴とする。
本発明によれば、被写体を撮像する撮像部の撮像方向を変更させる加速度を指定する際に、撮像部の振動を抑えユーザに見やすい画像の提供ができると共に、装置の故障を防止することが出来る。
本発明の実施例に係る撮像システムのシステム構成の一例、及び実施例1に係る撮像装置が撮像方向を変更するための駆動機構の一例を示す図である。 本発明の実施例に係る撮像装置のハードウェア構成の一例、及び実施例1に係るクライアントのハードウェア構成の一例を示す図である。 本発明の実施例1に係る、クライアントと撮像装置との間のコマンドシーケンスを説明するための図である。 本発明の実施例に係る、クライアントと撮像装置との間のコマンドシーケンスを説明するための図である。 本発明の実施例1に係る、撮像装置1000の撮像方向を変更するための処理の一例を示すフローチャートである。 本発明の実施例に係る、撮像装置の撮像方向を変更する際の、「速度」の変化の一例を説明するための図である。 本発明の実施例2に係る、撮像装置1000の撮像方向を変更するための処理の一例を示すフローチャートである。 本発明の実施例3に係る、撮像装置1000の撮像方向を変更するための処理の一例を示すフローチャートである。 本発明の実施例3に係る、撮像装置の撮像方向を変更する際の、「速度」の変化の一例を説明するための図である。 本発明の実施例に係る、GetConfigurationOptionsリクエストの一例である。 本発明の実施例に係る、GetConfigurationOptionsレスポンスの一例である。 本発明の実施例に係る、SetConfigurationリクエストの一例である。 本発明の実施例に係る、SetConfigurationレスポンスの一例である。
以下、本発明をその好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。
(実施例1)
図1(A)は、本実施例に係る撮像システムのシステム構成の一例を示す図である。本実施例に係る撮像システムでは、撮像装置1000がネットワーク3020を介してクライアント3000に接続される。これにより、撮像装置1000は、クライアント3000と通信可能となる。そして、撮像装置1000は、撮像した撮像画像をネットワーク3020経由でクライアント3000に配信する。
ここで、クライアント3000は、外部装置の一例である。また、表示部3010は、図2(B)を用いて後述する。なお、本実施例における撮像装置1000は、動画像を撮像する監視カメラであり、より詳細には、監視に用いられるネットワークカメラであるものとする。また、本実施例における撮像装置1000は、壁面や天井に設置されるものとする。
ネットワーク3020は、例えばEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施例においては、撮像装置1000とクライアント3000との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。
例えば、ネットワーク3020は、インターネットや有線LAN(Local AreaNetwork)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されてもよい。なお、本実施例における撮像装置1000は、例えば、PoE(Power Over Ethernet(登録商標))に対応していても良く、LANケーブルを介して電力を供給されても良い。
クライアント3000は、撮像装置1000に対して命令を送信する。例えば、クライアント3000は、撮像装置1000の撮像方向を変更するための命令を送信する。また、撮像装置1000は、クライアント3000から受信した撮像方向を変更するための命令に応じて画角を含む撮像方向を変更する。
更に、撮像装置1000は、撮像方向を変更する際の速度を指定するための命令をクライアント3000から受信する。そして、撮像装置1000は、この受信に応じ、撮像方向を変更する際の速度を変更する。その上、撮像装置1000は、撮像方向を変更する際の加速度を指定するための命令をクライアントから受信する。そして、撮像装置1000は、この受信に応じ、撮像方向を変更する際の加速度を変更する。
続いて、図1(B)は、本実施例に係る撮像装置1000が撮像方向を変更するための駆動機構の一例を示す図である。パン駆動機構1101は、撮像装置1000の撮像方向をパン方向に変更させる。また、チルト駆動機構1102は、撮像装置1000の撮像方向をチルト方向に変更する。さらに、ズーム機構1103は、撮像装置1000の画角を変更させる。
なお、本実施例において、パン駆動機構1101、チルト駆動機構1102及びズーム機構1103のそれぞれは、ステッピングモータ及びギヤ等から構成されているものとする。また、本実施例に於いて、パン駆動機構1101及びチルト駆動機構1102は、後述の撮像部1003を所定の方向に回転させる回転部に相当する。
続いて、図2(A)は、本実施例に係る撮像装置1000のハードウェア構成の一例を示す図である。図2(A)において、制御部1001は、撮像装置1000の全体の制御を行う。制御部1001は、例えばCPU(Central Processing Unit)により構成され、後述のメモリ1002に記憶されたプログラムを実行する。又は、制御部1001は、ハードウェアを用いて制御を行うこととしても良い。
メモリ1002は、制御部1001が実行するプログラム格納領域、プログラム実行中のワーク領域、後述する撮像部1003が生成する撮像画像の格納領域等、データの格納領域として使用される記憶手段である。また、メモリ1002は、撮像装置1000の撮像方向を表すために用いる座標系を保持する。更に、メモリ1002は、後述の通信部1004が受信した命令の実行を保留するための命令保留キューを保持する。
撮像部1003は、被写体の像を撮像して生成したアナログ信号をデジタルデータに変換する。また撮像部1003は、ADCT(Adaptive Discrete Cosine Transform、適応離散コサイン変換)等によりデータの圧縮処理を行って撮像画像を生成し、メモリ1002に出力する。撮像部1003は、撮像画像をメモリ1002に出力した後、制御部1001に画像取得イベントを送信する。
通信部1004は、各制御コマンドをクライアント3000から受信する。また、各制御コマンドをクライアント3000に送信する場合に使用される。
位置検出部1005は、パン駆動機構1101、チルト駆動機構1102、及びズーム機構1103の座標を検出する。撮像方向や画角の情報の要求がクライアント3000から撮像装置1000に送信された場合は、撮像装置1000は、それぞれの機構の座標を位置検出部1005で検出し、検出した座標を位置情報としてクライアント3000に送信する。
撮像制御部1006は、制御部1001の指示に従って、パン駆動機構1101、チルト駆動機構1102、及びズーム機構1103を制御する。すなわち、通信部1004がクライアント3000から撮像範囲の変更命令を受信すると、当該命令に応じた受信イベントが制御部1001に送信される。
制御部1001は、受信イベントを受信すると、当該受信イベントの内容に応じて撮像制御部1006に制御指示を行う。制御指示を受けた撮像制御部1006は、制御指示に応じてパン駆動機構1101、チルト駆動機構1102、又はズーム機構1103を駆動させるための制御を行う。
以上、撮像装置1000の内部構成について説明したが、図2(A)に示す処理ブロックは、本発明における撮像装置の好適な実施例を説明したものであり、この限りではない。音声入力部を備えるなど、本発明の要旨の範囲内で、種々の変形及び変更が可能である。
続いて、図2(B)は、本実施例に係るクライアント3000のハードウェア構成の一例を示す図である。本実施例におけるクライアント3000は、ネットワーク3020に接続されるコンピュータ装置として構成される。
制御部3001は、クライアント3000の全体の制御を行う。制御部3001は、例えばCPUにより構成され、後述のメモリ3002に記憶されたプログラムを実行する。又は、制御部3001は、ハードウェアを用いて制御を行うこととしてもよい。
メモリ3002は、制御部3001が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域として使用される。通信部3004は、撮像装置1000から送信された撮像画像を受信する。また、通信部3004は、撮像装置1000を制御するための命令や、撮像装置1000の情報を要求するための命令を送信する。
入力部3005は、ユーザからの指示の入力を受け付ける。例えば入力部3005は、ユーザからの指示として、撮像装置1000に対する各種の命令の送信指示の入力を受け付けることができる。
入力部3005は、ユーザから撮像装置1000に対する命令送信指示が入力されると、制御部3001に命令の入力があった旨を通知する。制御部3001は、入力部3005に入力された指示に応じて、撮像装置1000に対する命令を生成し、通信部3004を介して撮像装置1000に生成した命令を送信する送信制御を行う。
また、入力部3005は、制御部3001がメモリ3002に記憶されたプログラムを実行することにより生成されるユーザへの問い合わせメッセージ等に対するユーザの応答の入力を受け付けることができる。
表示部3010は、通信部3004が受信した撮像画像を表示する。また、表示部3010は、制御部3001がメモリ3002に記憶されたプログラムを実行することにより生成されるユーザへの問い合わせメッセージ等を表示させることができる。
続いて、図3は、撮像装置1000の撮像方向に関する情報を問い合わせるための、クライアント3000と撮像装置1000との間のコマンドシーケンスを説明するための図である。この図を用い、クライアント3000が撮像装置1000に対して送信するコマンドリクエストと、それに対応して撮像装置1000がクライアント3000に対して送信するコマンドレスポンスについて説明する。
コマンドリクエストのそれぞれは、命令を実行させる対象である撮像装置1000の宛先を示す宛先アドレスの情報と、命令の送信元であるクライアント3000の送信元アドレスの情報とを有する。
一方、コマンドレスポンスのそれぞれは、命令の結果を返信する対象であるクライアント3000の宛先を示す宛先アドレスの情報と、結果の送信元である撮像装置1000の送信元アドレスの情報と、を有する。更に各命令は、命令の内容と引数についての情報を有する。
なお、本実施例において、コマンドリクエスト及びコマンドレスポンスは、例えば、ONVIF規格に基づいて定められているものとして説明する。ONVIF規格では、XML SchemaDefinition言語(以下、XSDと称することがある)を用いてコマンドリクエスト及びコマンドレスポンスに使用されるデータの型定義が行われる。また、これらコマンドリクエスト及びコマンドレスポンスは、XMLを用いて記述される。
更に、本実施例の撮像装置1000は、このONVIF規格のNetwork Video Transmitter(以下、NVTと称することがある)として動作する。
図3におけるステップS300では、制御部3001は、通信部3004に指示し、「GetServiceCapabilitiesリクエスト」を撮像装置1000に向けて送信させる。この「GetServiceCapabilitiesリクエスト」は、撮像装置1000が提供する機能を問い合わせるためのコマンドである。
また、「GetServiceCapabilitiesリクエスト」を受信した撮像装置1000にて、制御部1001は通信部1004に指示し、「GetServiceCapabilitiesレスポンス」をクライアント3000に返信させる。この「GetServiceCapabilitiesレスポンス」は、本実施例の機能やコマンドに撮像装置1000が対応しているか否かを示すためのレスポンスである。
ステップS301では、制御部3001は、通信部3004に指示し、「GetConfigurationOptionsリクエスト」を撮像装置1000に向けて送信させる。この「GetConfigurationOptionsリクエスト」は、PTZ座標系の種類等を含むPTZ関連のパラメータを問い合わせるためのリクエストである。なお、図10は、GetConfigurationOptionsリクエストの一例である。
また、「GetConfigurationOptionsリクエスト」を受信した撮像装置1000にて、制御部1001は通信部1004に指示し、「GetConfigurationOptionsレスポンス」をクライアント3000に返信させる。このレスポンスは、パン相対/絶対座標系情報、チルト相対/絶対座標系情報、パンチルト速度相対/絶対情報、パンチルト加速度相対/絶対情報等を含む。
なお、図11は、GetConfigurationOptionsレスポンスの一例である。
クライアント3000は、撮像装置1000の撮像方向を変更する際の「加速度」の指定に関する情報を、撮像装置1000から受信した「GetConfigurationsOptionsレスポンス」に基づいて取得することができる。
例えば、撮像装置1000の撮像方向を変更する際の速度を指定することができ且つこの際の加速度を指定することができる場合を想定する。このような想定の場合には、「GetConfigurationOptionsレスポンス」は、次のようなタグを含む。即ち、<tptz2:PanTiltSpeedSpace>タグ及び<tptz1:PTZConfigurationOptions PTZRamps=“0 1 2 3”>タグである。
なお、本実施例における<tptz1:PTZConfigurationOptions PTZRamps=“0 1 2 3”>タグは、撮像装置1000が動作可能な加速度情報に相当する。
制御部3001は、この<tptz1:PTZConfigurationOptions PTZRamps=“0 1 2 3”>タグに「PTZRamps=“0 1 2 3”」が含まれているかどうかを判定する。含まれていると判定した場合には、撮像装置1000の撮像方向を変更する際の加速度指定をすることができると判定する。一方、制御部3001は、この「PTZRamps=“0 1 2 3”」が含まれていないと判定した場合には、撮像装置1000の撮像方向を変更する際の加速度を指定することができないと判定する。
また、本実施例の撮像装置1000は、4種類の加速度を設定することができ、夫々0、1、2、3のインデックスが割り当てられている。つまり、クライアント3000はこのインデックスを指定することで、撮像装置1000の撮像方向を変更する際の加速度を指定することができる。例えば、インデックス0を指定することで、撮像装置1000の撮像方向を変更する際の加速度をα0と指定することができる。
以上のような「GetConfigurationOptionsレスポンス」の差異から、クライアント3000は、撮像装置1000の撮像方向を変更する際の加速度を指定することができるのか否かを判定することができる。
同様に、クライアント3000は、撮像装置1000の画角を変更する際の加速度を指定することができるか否かを、撮像装置1000から受信した「GetConfigurationOptionsレスポンス」に基づいて判定することができる。
このように、本実施例における「GetConfigurationOptionsレスポンス」は、撮像装置1000の撮像方向を変更する際の速度及び加速度を指定することができるのか否かを示す情報に相当する。
なお、本実施例においては、撮像装置1000は4種類の加速度を設定できるとしたが、これに限られるものではなく、4種類よりも多い又は少ない加速度を設定できるようにしてもよい。
続いて、図4は、撮像装置1000の撮像方向を変更する際の速度及びこの際の加速度を指定するための、クライアント3000と撮像装置1000との間のコマンドシーケンスを説明するための図である。なお、図4におけるステップS300は、図3におけるステップS300と同様であるので、その説明を省略する。また、図4におけるステップS301は、図3におけるステップS301と同様であるので、その説明を省略する。
ステップS402では、制御部3001は、通信部3004に指示し、「SetConfigurationリクエスト」を撮像装置1000に向けて送信させる。このリクエストは、例えば、撮像装置1000の撮像方向を変更する際の速度及びこの際の加速度が含まれている。
なお、図12は、SetConfigurationリクエストの一例である。GetConfigurationOptionsレスポンスによって取得したインデックスによって、撮像方向を変更する際の加速度を指定することができる。また、本実施例におけるSetConfigurationリクエストは、パン駆動機構1101等の回転部を制御するための制御命令に相当する。
この「SetConfigurationリクエスト」を受信した撮像装置1000にて、制御部1001は、通信部1004に指示し、「SetConfigurationレスポンス」をクライアント3000に向けて送信させる。なお、図13は、SetConfigurationレスポンスの一例である。
ステップS403では、制御部3001は、通信部3004に指示し、例えば、「AbsoluteMoveリクエスト」を撮像装置1000に向けて送信させる。
この「AbsoluteMoveリクエスト」を受信した撮像装置1000にて、制御部1001は、通信部1004に指示し、「AbsoluteMoveレスポンス」をクライアント3000に返信する。
なお、「AbsoluteMoveリクエスト」とは、パン方向及びチルト方向の絶対位置、並びにズームの絶対位置を指定することにより、撮像装置1000の撮像方向を変更させる命令である。また、「AbsoluteMoveレスポンス」は、この「AbsoluteMoveリクエスト」のレスポンスである。
また、本実施例における「GetConfigurationOptionsレスポンス」は、制御部1001により用いられる「SetConfigurationリクエスト」に関する指定情報に相当する。
続いて、図5は、クライアント3000からの設定に基づく撮像装置1000の動作に関する処理であって、撮像装置1000の撮像方向を変更するための処理の一例を示すフローチャートである。
なお、本処理は、制御部1001により実行されるものとする。また、本実施例では、本処理が開始される前の、撮像装置1000の撮像方向を変更する際の速度をVとし、この際のデフォルトの加速度は、αであるものとする。
また、撮像装置1000が振動を発生する特定の回転速度をVa1とし、そのVa1より遅く、撮像装置1000が振動を発生しない回転速度をVb1とする。なお、本実施例において、このVa1及びVb1はシミュレーションや工場における測定によって取得されメモリ1002に保持されている。
図5におけるステップS500では、制御部1001は、図4におけるステップS402の処理によって、撮像装置1000の撮像方向または画角を変更する際の加速度が外部装置3000によって設定されたか否かを判定する。変更されていた場合は、制御部1001はステップS501に処理を進める。一方で、変更されていなかった場合は、制御部1001はステップS502に処理を進める。
そして、制御部1001は、ステップS501では、撮像装置1000の撮像方向を変更する際の加速度をクライアント3000から設定された加速度α1に設定する。そして、制御部1001はステップS503に処理を進める。一方で、制御部1001は、ステップS502では、撮像装置1000の撮像方向を変更する際の加速度をデフォルトの加速度α0に設定する。そして、制御部1001はステップS503に処理を進める。
制御部1001は、ステップS503では、撮像装置1000の撮像方向がクライアント3000によって変更されたかを判定する。具体的には、図4のステップS403の処理によって、「AbsoluteMoveリクエスト」等を撮像装置1000は受信したか否かを判定する。そして、変更された場合は、制御部1001はステップS504に処理を進める。一方で、変更されなかった場合は、ステップS503に処理を戻す。
制御部1001は、ステップS504では、撮像装置1000からの設定に基づいて撮像方向または画角を変更する。具体的には、撮像装置1000は、図4のステップS403の処理において、「AbsoluteMoveリクエスト」によって指定された絶対位置等に向けて撮像方向を変更する。この際には、制御部1001は、撮像制御部1006に制御指示を行う。制御指示を受けた撮像制御部1006は、ステップS501、ステップS502のいずれかで設定された加速度を用いて、制御指示に応じてパン駆動機構1101等を駆動させるための制御を行う。そして、制御部1001はステップS505に処理を進める。
制御部1001は、ステップS505では、撮像装置1000の撮像方向が変化する速度Vnを監視する。具体的には、速度V、設定された加速度α、経過時間T等を用いて、撮像方向または画角が変化する速度を算出する。そして、算出した速度が、振動を発生しない回転速度Vb1の大小関係を判定する。そして、判定結果がVb1を上回っていた場合は、制御部1001はステップS506に処理を進める。一方で、上回ってなかった場合は、ステップS505に処理を戻す。
制御部1001は、ステップS506では、撮像装置1000の撮像方向が変化する加速度を制御する。具体的には、加速度を減少させる。一例としては加速度をゼロとして、等速運動を行う動作に切り替える。そして、必要に応じて減速動作を実行し、クライアント3000から指定された目標である位置に撮像方向に停止させ、処理を終了する。
なお、ステップS505において、制御部1001は速度Vnを算出するために、経過時間Tを用いたが、クライアント3000より指定された位置までの距離を用いることで、速度Vb1に達する時間を算出するようにしてもよい。
なお、ステップS505において、制御部1001は速度Vnを算出するとしたが、パン駆動機構1101等にフォトインタラプタ―等の速度検出手段を設け、直接的に測定するようにしてもよい。
なお、ステップS505において、制御部1001は速度Vnを、振動が発生する特定の回転速度Va1と異なる回転速度Vb1を上回らないように制御するとしたが、回転速度Va1を回転速度Va1と一致するように制御してもよい。
なお、ステップS506において、加速度をゼロとして、等速運動を行うとしたが、摩擦等によって速度が低下する場合は、必要に応じて加速度を上昇させる等の動作を行ってもよい。また、本実施例において、制御部10001は撮像方向を変化させる加速度を制御する制御切替手段に相当する。
続いて、図6は、撮像部1003をパン方向に回転させる速度の変化の一例を説明するための図である。この図で示された速度の変化は、次のような時間に応じたものである。即ち、AbsoluteMoveコマンドを受信した撮像装置1000が、撮像装置1000の撮像方向の移動を開始させ、この撮像方向を所定の方向に到達させ、この移動を停止するまでの時間である。また、602は、撮像装置1000が振動する特定の回転速度Va1〜Va2の範囲を示す。
図6における破線600は、撮像部1003をパン方向に回転させる速度の変化を示している。例えば、破線600は、時刻T0から時刻T1までの間、この速度を速度Vb1まで加速度α1で加速する様子を示している。次に、破線600は、時刻T1から時刻T2までの間、撮像部1003をパン方向に回転させる速度が速度Vb1である様子を示している。
そして、破線600は、撮像部1003が停止位置に近づき、時刻T2から時刻T3までの間、撮像部1003をパン方向に回転させる速度が加速度−α1で減速され、この撮像部1003がこの停止位置に到達した時にこの速度が0になる様子を示している。
このように、特定の速度を限界とし、当該の特定の速度より低く(速度範囲以下に)制限することで撮像装置1000の振動の発生を低減させることができる。
なお、速度Vb1はクライアント3000が設定できるようにしてもよい。また、撮像装置1000の設置位置、撮像装置1000の設置姿勢、撮像装置1000の重量等から、算出するようにしてもよい。
(実施例2)
図7は、本実施例における、クライアント3000からの設定に基づく撮像装置1000の動作に関する処理であって、撮像装置1000の撮像方向を変更するための処理の一例を示すフローチャートである。
また、撮像装置1000が振動を発生する特定の回転速度の範囲をVa1〜Va2とし、そのVa1より遅く、撮像装置1000が振動しない回転速度をVb1とし、Va2より速く、撮像装置1000が振動しない回転速度をVb2とする。また、本実施例においてクライアント3000から設定される加速度α2は、α1よりも早い加速度であるとする。なお、本実施例において、このVa1、Va2、Vb1及びVb2はメモリ1002に保持されている。
図7におけるステップS700では、制御部1001は、図4におけるステップS402の処理によって、撮像装置1000の撮像方向または画角を変更する際の加速度が外部装置3000によって設定されたか否かを判定する。変更されていた場合は、制御部1001はステップS701に処理を進める。一方で、変更されていなかった場合は、制御部1001はステップS702に処理を進める。
そして、制御部1001は、ステップS701では、撮像装置1000の撮像方向を変更する際の加速度をクライアント3000から設定された加速度α2に設定する。そして、制御部1001はステップS703に処理を進める。一方で、制御部1001は、ステップS702では、撮像装置1000の撮像方向を変更する際の加速度をデフォルトの加速度α0に設定する。そして、制御部1001はステップS703に処理を進める。
制御部1001は、ステップS703では、撮像装置1000の撮像方向がクライアント3000によって変更されたかを判定する。具体的には、図4のステップS403の処理によって、「AbsoluteMoveリクエスト」等を撮像装置1000は受信したか否かを判定する。そして、変更された場合は、制御部1001はステップS704に処理を進める。一方で、変更されなかった場合は、ステップS703に処理を戻す。
制御部1001は、ステップS704では、撮像装置1000からの設定に基づいて撮像方向または画角を変更する。具体的には、撮像装置1000は、図4のステップS403の処理において、「AbsoluteMoveリクエスト」によって指定された絶対位置等に向けて撮像方向を変更する。この際には、制御部1001は、撮像制御部1006に制御指示を行う。制御指示を受けた撮像制御部1006は、ステップS701、ステップS702のいずれかで設定された加速度を用いて、制御指示に応じてパン駆動機構1101等を駆動させるための制御を行う。そして、制御部1001はステップS705に処理を進める。
制御部1001は、ステップS705では、撮像装置1000の撮像方向が変化する加速度を判定する。そして、制御部1001は、判定結果で加速度がα2を上回っていると判定した場合は、処理をステップS706に進める。一方で上回っていないと判定した場合は、処理をステップS707に進める。
制御部1001は、ステップS706では、撮像装置1000の撮像方向が変化する速度を監視する。具体的には、速度をV、設定された加速度α、経過時間T等を用いて、撮像方向または画角が変化する速度Vnを算出する。そして、算出した速度Vnと、振動を発生しない回転速度Vb2との大小関係を判定する。そして、判定結果がVb2を上回っていた場合は、制御部1001はステップS708に処理を進める。一方で、上回ってなかった場合は、ステップS706に処理を戻す。
制御部1001は、ステップS707では、撮像装置1000の撮像方向が変化する速度を監視する。具体的には、速度をV、設定された加速度α、経過時間T等を用いて、撮像方向または画角が変化する速度Vnを算出する。そして、算出した速度Vnと、振動を発生しない回転速度Vb1との大小関係を判定する。そして、判定結果がVb1を上回っていた場合は、制御部1001はステップS708に処理を進める。一方で、上回ってなかった場合は、ステップS707に処理を戻す。
制御部1001は、ステップS708では、撮像装置1000の撮像方向が変化する加速度を制御する。具体的には、加速度を減少させる。一例としては加速度をゼロとして、等速運動を行う動作に切り替える。そして、必要に応じて減速動作を実行し、クライアント3000から指定された目標である位置に撮像方向に停止させ、処理を終了する。
以上、撮像装置1000は、上記動作を行うことによって、撮像方向を変化させる速度が、振動が発生する特定の回転速度の範囲Va1〜Va2になる時間を短くすることができる。つまり、撮像装置1000は、所定の加速度よりも早い加速度が設定された場合は、撮像方向を変化させる速度が、振動が発生する特定の回転速度の範囲Va1〜Va2となる時間帯を短くすることができる。そして、振動が発生する特定の回転速度の範囲以上の速度で撮像方向を変化させることができる。そのけっかとして、指定位置まで動作させるための時間を短くすることができる。
なお、ステップS706において、制御部1001は速度Vnを、振動が発生する特定の回転速度Va2と異なる回転速度Vb2を下回らないように制御するとしたが、回転速度Vb2を回転速度Va2と一致するように制御してもよい。
なお、ステップS707において、制御部1001は速度Vnを、振動が発生する特定の回転速度Va1と異なる回転速度Vb1を上回らないように制御するとしたが、回転速度Va1を回転速度Va1と一致するように制御してもよい。
なお、ステップS706、ステップS707において、制御部1001は速度Vnを算出するために、経過時間T等を用いたが、クライアント3000より指定された位置までの距離を用いることで、速度Vb1に達する時間を算出するようにしてもよい。
なお、ステップS706、ステップS707において、制御部1001は速度Vnを算出するとしたが、パン駆動機構1101等にフォトインタラプタ―等の速度検出手段を設け、直接的に測定するようにしてもよい。
なお、ステップS708において、加速度をゼロとして、等速運動を行うとしたが、摩擦等によって速度が低下する場合は、必要に応じて加速度を上昇させる等の動作を行ってもよい。また、本実施例において、制御部10001は撮像方向を変化させる加速度を制御する制御切替手段に相当する。
続いて、図6における実線601は、撮像部1003をパン方向に回転させる速度の変化を示している。例えば、実線601は、時刻T0から時刻T4までの間、この速度を速度Vb2まで加速度α2で加速する様子を示している。なお、加速度α2は、加速度α1よりも大きい。次に、実線601は、時刻T4から時刻T5までの間、撮像部1003をパン方向に回転させる速度が速度Vb2である様子を示している。
そして、実線601は、撮像部1003が停止位置に近づき、時刻T5から時刻T6の間、撮像部1003をパン方向に回転させる速度が加速度−α2で減速され、この撮像部1003がこの停止位置に到達した時にこの速度が0になる様子を示している。
このように、速度Vb1がユーザの意図した速度よりも低い等の場合であっても、加速度に応じて速度制御する動作によって、撮像装置1000の振動の発生を抑えて撮像方向が指定位置まで動作させるための時間を短くすることができる。
なお、速度Vb1、Vb2はクライアント3000が設定できるようにしてもよい。また、撮像装置1000の設置位置、撮像装置1000の設置姿勢、撮像装置1000の重量等から、算出するようにしてもよい。
(実施例3)
図8は、本実施例における、クライアント3000からの設定に基づく撮像装置1000の動作に関する処理であって、撮像装置1000の撮像方向を変更するための処理の一例を示すフローチャートである。
また、撮像装置1000が振動を発生する特定の回転速度の範囲をVa1〜Va2とし、そのVa1より遅く、撮像装置1000が振動しない回転速度をVb1とし、Va2より速く、撮像装置1000が振動しない回転速度をVb2とする。また、本実施例においてクライアント3000から設定される加速度α2は、α1よりも早い加速度であるとする。また、本実施例においては、撮像装置1000は、クライアント3000より撮像方向を変更する速度としてVb2が設定された場合を想定する。なお、本実施例において、このVa1、Va2、Vb1及びVb2はメモリ1002に保持されている。
図8におけるステップS800では、制御部1001は、図4におけるステップS402の処理によって、撮像装置1000の撮像方向または画角を変更する際の速度としてVb2が設定される。そして、制御部1001はステップS801に処理を進める。
そして、制御部1001は、ステップS801では、撮像装置1000の撮像方向がクライアント3000によって変更されたかを判定する。具体的には、図4のステップS403の処理によって、「AbsoluteMoveリクエスト」等を撮像装置1000は受信したか否かを判定する。そして、変更された場合は、制御部1001はステップS802に処理を進める。一方で、変更されなかった場合は、ステップS801に処理を戻す。
制御部1001は、ステップS802では、撮像装置1000からの設定に基づいて撮像方向または画角を変更する。具体的には、撮像装置1000は、図4のステップS403の処理において、「AbsoluteMoveリクエスト」によって指定された絶対位置等に向けて撮像方向を変更する。この際には、制御部1001は、撮像制御部1006に制御指示を行う。制御指示を受けた撮像制御部1006は、所定の加速度を用いて、制御指示に応じてパン駆動機構1101等を駆動させるための制御を行う。そして、制御部1001はステップS803に処理を進める。
制御部1001は、ステップS803では、撮像装置1000の撮像方向が変化する加速度を判定する。そして、制御部1001は、加速度がα2を上回っていると判定した場合は、処理をステップS804に進める。一方で上回っていないと判定した場合は、処理をステップS806に進める。
制御部1001は、ステップS804では、撮像装置1000の撮像方向が変化する速度を監視する。具体的には、速度をV、設定された加速度α、経過時間T等を用いて、撮像方向または画角が変化する速度Vnを算出する。そして、算出した速度Vnと、振動を発生しない回転速度Vb2との大小関係を判定する。そして、判定結果がVb2を上回っていた場合は、制御部1001はステップS805に処理を進める。一方で、上回ってなかった場合は、ステップS804に処理を戻す。
制御部1001は、ステップS805では、撮像装置1000の撮像方向が変化する加速度を制御する。具体的には、加速度を減少させる。一例としては加速度をゼロとして、等速運動を行う動作に切り替える。そして、必要に応じて減速動作を実行し、クライアント3000から指定された目標である位置に撮像方向に停止させ、処理を終了する。
一方で、制御部1001は、ステップS806では、ステップS804と同様に撮像装置1000の撮像方向が変化する速度を監視する。そして、算出した速度Vnと、振動を発生しない回転速度Vb1及びVb2の大小関係を判定する。そして、Vb1を上回っていた場合は、制御部1001はステップS807に処理を進める。一方で、上回ってなかった場合は、ステップS806に処理を戻す。
制御部1001は、ステップS807では、撮像装置1000の撮像方向が変化する加速度を制御する。具体的には、加速度を上昇させる。一例としては加速度をα2に切り替える。そして、ステップS804に処理を進める。
以上、撮像装置1000は、上記動作を行うことによって、撮像方向を変化させる速度が、振動が発生する特定の回転速度の範囲Va1〜Va2になる場合に加速度を上昇させ、当該範囲の時間を短くすることができる。つまり、撮像装置1000は、所定の加速度よりも早い加速度を自動的に設定し、撮像方向を変化させる速度を、振動が発生する特定の回転速度の範囲Va1〜Va2となる時間帯を短くすることができる。
なお、ステップS804において、制御部1001は速度Vnを、振動が発生する特定の回転速度Va2と異なる回転速度Vb2を下回らないように制御するとしたが、回転速度Vb2を回転速度Va2と一致するように制御してもよい。
なお、ステップS804、ステップS806において、制御部1001は速度Vnを算出するために、経過時間T等を用いたが、クライアント3000より指定された位置までの距離を用いることで、速度Vb1に達する時間を算出するようにしてもよい。
なお、ステップS804、ステップS806において、制御部1001は速度Vnを算出するとしたが、パン駆動機構1101等にフォトインタラプタ―等の速度検出手段を設け、直接的に測定するようにしてもよい。
なお、ステップS805において、加速度をゼロとして、等速運動を行うとしたが、摩擦等によって速度が低下する場合は、必要に応じて加速度を上昇(増加)させる等の動作を行ってもよい。また、本実施例において、制御部10001は撮像方向を変化させる加速度を制御する制御切替手段に相当する。
続いて図9における実線901は、撮像部1003をパン方向に回転させる速度の変化を示している。例えば、実線901は、時刻T0から時刻T4までの間、この速度を速度Vb1まで加速度α1で加速する様子を示している。そして、時刻T4から時刻T1までの間、この速度を速度Vb2まで加速度α2で加速する様子を示している。なお、加速度α2は、加速度α1よりも大きい。
そして、実線601は、撮像部1003が停止位置に近づき、時刻T2から時刻T3の間、撮像部1003をパン方向に回転させる速度が加速度−α2で減速され、この撮像部1003がこの停止位置に到達した時にこの速度が0になる様子を示している。
このように、撮像方向を変化させる加速度と速度がユーザ等によって、設定された場合であっても、加速度に応じて速度制御する動作によって、撮像装置1000の振動の発生を抑えて撮像方向が指定位置まで動作させるための時間を短くすることができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種コンピュータ読取可能記憶媒体を介してシステム或いは装置に提供する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がコンピュータプログラムを読み出して実行する処理である。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
1000 撮像装置
1001 制御部
1002 メモリ
1003 撮像部
1004 通信部
1005 位置検出部
1006 撮像制御部
1101 パン駆動機構
1102 チルト駆動機構
3000 クライアント
3020 ネットワーク

Claims (9)

  1. 外部装置とネットワークを介して通信可能な撮像装置であって、
    被写体を撮像する撮像手段と、
    前記撮像手段を所定の方向に回転させる回転手段と、
    前記回転手段が撮像手段を回転させる際の加速度を指定する情報を含む制御コマンドを受信するための受信手段と、
    前記回転手段が撮像手段を回転させる際の速度が所定の範囲か否かに応じて、前記制御コマンドによって指定された加速度で前記回転手段を制御するか、前記制御コマンドによって指定された加速度と異なる加速度で前記回転手段を制御するかを決定し、当該決定された加速度で前記回転手段を制御する制御手段とを備えることを特徴とする撮像装置。
  2. 前記速度を少なくとも前記撮像装置の設置位置、設置姿勢、重量の少なくとも一つに基づき変更する変更手段を更に備え、
    前記所定の範囲には前記撮像装置の振動が増加する速度を含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記異なる加速度とは前記制御コマンドによって指定された加速度よりも小さい値であり、
    前記制御手段は前記回転手段が撮像手段を回転させる際の速度が前記所定の範囲以下で前記回転手段の制御を前記異なる加速度に切り替えることを特徴とする請求項1乃至2のいずれか1項に記載の撮像装置。
  4. 前記異なる加速度とは前記制御コマンドによって指定された加速度よりも大きい値であり、
    前記制御手段は前記回転手段が撮像手段を回転させる際の速度が前記所定の範囲内で前記回転手段の制御を前記異なる加速度に切り替えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記制御コマンドによって指定された加速度が所定の加速度よりも大きいかどうかを判定する第二の判定手段を更に備え、
    前記第二の判定手段によって前記制御コマンドによって指定された加速度が所定の加速度よりも大きい場合に、前記制御手段は、前記回転手段が撮像手段を回転させる際の速度が前記所定の範囲以上の速度で前記回転手段の制御を行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記撮像装置が動作可能な加速度情報を前記外部装置に送信する送信手段をさらに備え、
    前記制御コマンドには前記加速度情報を前記外部装置に送信指示する情報を含むことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 被写体を撮像する撮像部を有し、外部装置とネットワークを介して通信可能な撮像装置の制御方法であって、
    被写体を撮像する撮像手段を所定の方向に回転させる回転手段が撮像手段を回転させる際の加速度を指定する情報を含む制御コマンドを受信する受信ステップと、
    前記回転手段が撮像手段を回転させる際の速度が所定の範囲か否かに応じて、前記制御コマンドによって指定された加速度で前記回転手段を制御するか、前記制御コマンドによって指定された加速度と異なる加速度で前記回転手段を制御するかを決定し、当該決定された加速度で前記回転手段を制御する制御ステップとを備えることを特徴とする制御方法。
  8. 請求項7に記載の複数のステップをコンピュータに実行させるためのコンピュータプログラム。
  9. 請求項8に記載のコンピュータプログラムを記憶したコンピュータ読取可能な記憶媒体。
JP2014105361A 2014-05-21 2014-05-21 撮像装置 Active JP6355428B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014105361A JP6355428B2 (ja) 2014-05-21 2014-05-21 撮像装置
US14/712,643 US9621801B2 (en) 2014-05-21 2015-05-14 Imaging apparatus to control rotation of an image capturing device
CN201510263355.4A CN105100602A (zh) 2014-05-21 2015-05-21 摄像设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014105361A JP6355428B2 (ja) 2014-05-21 2014-05-21 撮像装置

Publications (3)

Publication Number Publication Date
JP2015220723A JP2015220723A (ja) 2015-12-07
JP2015220723A5 JP2015220723A5 (ja) 2017-06-29
JP6355428B2 true JP6355428B2 (ja) 2018-07-11

Family

ID=54556975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014105361A Active JP6355428B2 (ja) 2014-05-21 2014-05-21 撮像装置

Country Status (3)

Country Link
US (1) US9621801B2 (ja)
JP (1) JP6355428B2 (ja)
CN (1) CN105100602A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6968610B2 (ja) * 2017-08-01 2021-11-17 キヤノン株式会社 撮像装置、情報処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2062620C (en) * 1991-07-31 1998-10-06 Robert Paff Surveillance apparatus with enhanced control of camera and lens assembly
JP4142829B2 (ja) * 1999-10-29 2008-09-03 株式会社東芝 カメラの旋回装置
JP2003008973A (ja) 2001-06-26 2003-01-10 Fuji Photo Optical Co Ltd リモコン雲台システム
JP3726826B2 (ja) * 2003-06-26 2005-12-14 コニカミノルタホールディングス株式会社 撮像装置
JP2007158609A (ja) * 2005-12-02 2007-06-21 Fujifilm Corp カメラシステム
CN101232607B (zh) * 2007-01-25 2012-05-23 上海乐金广电电子有限公司 云台控制装置
JP5094606B2 (ja) * 2008-07-15 2012-12-12 キヤノン株式会社 像振れ補正装置およびそれを備えた光学機器、撮像装置、像振れ補正装置の制御方法
US9686452B2 (en) * 2011-02-16 2017-06-20 Robert Bosch Gmbh Surveillance camera with integral large-domain sensor
JP6218471B2 (ja) * 2013-07-20 2017-10-25 キヤノン株式会社 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
US9635224B2 (en) * 2014-04-18 2017-04-25 Alarm.Com Incorporated Pan and tilt camera with robotic movement

Also Published As

Publication number Publication date
US20150341554A1 (en) 2015-11-26
JP2015220723A (ja) 2015-12-07
US9621801B2 (en) 2017-04-11
CN105100602A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
US8462681B2 (en) Method and apparatus for adaptive transmission of sensor data with latency controls
US10075627B2 (en) Imaging apparatus, external apparatus, imaging system, method for controlling imaging apparatus, method for controlling external apparatus, method for controlling imaging system, and storage medium
JP5335610B2 (ja) 画像処理装置及びその制御方法と通信システム
JP2006331404A (ja) ネットワーク基盤のロボット制御システム及びネットワーク基盤のロボット制御システムにおけるロボット速度の制御方法
US9531935B2 (en) Capturing control apparatus, capturing control method and program
WO2019095210A1 (zh) 智能眼镜及其控制云台的方法、云台、控制方法和无人机
US10889001B2 (en) Service provision system
JP5683144B2 (ja) 送信装置、送信方法、プログラム
JP2017041705A (ja) 撮像装置
JP6355428B2 (ja) 撮像装置
JP2015220693A (ja) 撮像装置、撮像システム、及びそれらの制御方法、ならびにプログラム
JP2014212443A (ja) 画像処理装置及び画像処理方法
JP2014192745A (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
JP6334778B2 (ja) 通信仲介装置
JP2015220692A (ja) 撮像装置、情報処理装置、撮像システム、及びそれらの制御方法、ならびにプログラム
JP2017112439A (ja) 移動撮像装置および移動撮像装置の制御方法
JP2019193161A5 (ja)
JP2005051664A (ja) 撮像装置及び撮像方法
JP2015005026A (ja) 機器管理端末、機器管理システム、及び機器管理プログラム
JP2015019145A (ja) 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
JP2020092308A (ja) 撮像装置、制御方法及びプログラム
JP2012227603A (ja) カメラ制御装置、カメラ制御装置の制御方法
US20240022812A1 (en) Image capturing system, control apparatus, image capturing apparatus, and display apparatus constituting the system, control method, and display method
JP2018201060A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023070252A (ja) 情報処理装置、方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180612

R151 Written notification of patent or utility model registration

Ref document number: 6355428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151