JP5062478B2 - 撮像装置および方法、情報処理装置および方法、並びにプログラム - Google Patents

撮像装置および方法、情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5062478B2
JP5062478B2 JP2007306781A JP2007306781A JP5062478B2 JP 5062478 B2 JP5062478 B2 JP 5062478B2 JP 2007306781 A JP2007306781 A JP 2007306781A JP 2007306781 A JP2007306781 A JP 2007306781A JP 5062478 B2 JP5062478 B2 JP 5062478B2
Authority
JP
Japan
Prior art keywords
area
magnification
zoom
predetermined
predetermined display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007306781A
Other languages
English (en)
Other versions
JP2009130878A (ja
Inventor
匡則 今田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007306781A priority Critical patent/JP5062478B2/ja
Priority to US12/268,533 priority patent/US8284268B2/en
Priority to EP08253688A priority patent/EP2066116B1/en
Priority to TW097144726A priority patent/TWI390969B/zh
Priority to KR1020080118710A priority patent/KR20090055498A/ko
Priority to CN200810180732.8A priority patent/CN101448098B/zh
Publication of JP2009130878A publication Critical patent/JP2009130878A/ja
Application granted granted Critical
Publication of JP5062478B2 publication Critical patent/JP5062478B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置および方法、情報処理装置および方法、並びにプログラムに関し、特に、エリアズームした後も、目的の被写体をモニタ内に表示させることができるようになった撮像装置および方法、情報処理装置および方法、並びにプログラムに関する。
いわゆるネットワークカメラは、ネットワークを介して遠隔の映像を取り込み、その映像をモニタに表示させることができる。また、ネットワークカメラは、モニタに表示された遠隔の映像の中から、ユーザが任意の部分を矩形で囲む指定操作をすることで、その囲まれた部分の遠隔の映像をズームアップしてモニタに映し出す機能、即ち、いわゆるエリアズーム機能を有している（例えば、特許文献１参照。）。
特開２００４−２７１８０２号公報
しかしながら、従来のネットワークカメラでは、エリアズームした結果、目的の被写体がモニタの表示領域から外れてしまって表示されなくなる場合がある、という問題が生じていた。
本発明は、このような状況に鑑みてなされたものであり、エリアズームした後も、目的の被写体をモニタ内に表示させることができるようにするものである。
本発明の一側面の撮像装置は、被写体を撮像する撮像装置において、前記被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像手段と、前記撮像手段による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像手段の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御手段とを備え、前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、前記制御手段は、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、前記制限倍率は、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定されている。
本発明の撮像方法は、上述した本発明の一側面の撮像装置に対応する方法である。
本発明の一側面の撮像装置および方法においては、被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像手段を備える撮像装置によって、前記撮像手段による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像手段の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御が行われる。このエリアズーム制御において、前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率が前記ズーム倍率として採用され、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比が前記ズーム倍率として採用され、前記制限倍率は、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定されている。
本発明の一側面の情報処理装置は、被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像装置を制御する情報処理装置において、前記撮像装置による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像装置の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御手段を備え、前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、前記制御手段は、前記所定表示領域に対する前記所定エリアの占有率に基づいて前記ズーム倍率を演算し、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、前記制限倍率は、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定されている。
本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。
本発明の一側面の情報処理装置および方法並びにプログラムにおいては、被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像装置に対する制御として、前記撮像装置による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像装置の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御が行われる。このエリアズーム制御において、前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率が前記ズーム倍率として採用され、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比が前記ズーム倍率として採用し、前記制限倍率は、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定されている。
以上のごとく、本発明によれば、エリアズーム制御が実現できる。特に、エリアズームした後も、目的の被写体がモニタ内に表示できるようになる。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明が適用される情報処理システムの構成例を示している。
図１の例の情報処理システムにおいて、撮像装置１１と遠隔装置１２とは、ネットワーク１３を介して相互に接続している。
撮像装置１１は、遠隔装置１２によってネットワーク１３を介して遠隔操作される装置、即ち、いわゆるネットワークカメラとして構成される。
なお、撮像装置１１の構成例については図２を参照して、遠隔装置１２の構成例については図３を参照して、その順番でそれぞれ個別に説明する。また、ネットワーク１３は、特に限定されないが、例えば本実施の形態ではイーサネット（登録商標）であるとする。
図２は、撮像装置１１の構成例を示している。
撮像装置１１は、カメラ本体部２１、雲台２２、パンモータ２３、チルトモータ２４、モータドライバ２５，２６、不揮発性メモリ２７、ＣＰＵ（Central Processing Unit）２８、およびネットワークポート２９を含むように構成されている。
カメラ本体部２１は、撮像素子３１、信号処理部３２、およびズームレンズ３３を含むように構成されている。
撮像素子３１は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いたイメージセンサとして構成されている。撮像素子３１は、被写体を所定の読み取り領域の範囲内で撮像し、その撮像結果を電気信号である画像信号として信号処理部３２に提供する。
信号処理部３２は、ＣＰＵ２８の制御に基づいて、各種信号処理を実行する。例えば、信号処理部３２は、撮像素子３１から提供されてくる画像信号を、A/D変換処理や画像処理等を適宜施した上で、ＣＰＵ２８に提供する。また、信号処理部３２は、ＣＰＵ２８からの指示によって、ズームレンズ３３の取り込み倍率を調整する制御処理を実行する。
ズームレンズ３３は、カメラ本体部２１に取り付けられた光学手段であり、信号処理部３２からの指示によって所定の取り込み倍率に調整される。このズームレンズ３３の取り込み倍率は、広角端（ワイド端）から望遠端（テレ端）まで連続的に調整できるようになされている。
雲台２２は、カメラ本体部２１による映像を取り込む方向を調整すべく、カメラ本体部２１を回転させる回転基台である。このため、雲台２２には、カメラ本体部２１の水平方向の角度を調整するパンモータ２３と、その垂直方向の角度を調整するチルトモータ２４とが搭載されている。なお、以下、カメラ本体部２１の水平方向や垂直方向の角度をまとめて、取り込み角度と称する。パンモータ２３とチルトモータ２４とは、各々モータドライバ２５，２６のそれぞれによって制御される。即ち、モータドライバ２５，２６は、ＣＰＵ２８から指示された取り込み角度とするように、パンモータ２３またはチルトモータ２４の回転角度を制御する。
不揮発性メモリ２７には、ＣＰＵ２８が実行するプログラムやデータなどが適宜記憶される。例えば、ＣＰＵ２８による各種制御処理で使用される種々のパラメータが不揮発性メモリ２７に記憶される。より具体的には例えば本実施形態では、撮像素子３１の撮影範囲（読み取り領域）の中心とズームレンズ３３の光軸とのずれを示すデータが不揮発性メモリ２７に記憶されている。このデータは、ＣＰＵ２８によってこのずれを相殺するための演算に利用される。なお、かかる演算の詳細については後述する。
ＣＰＵ２８は、不揮発性メモリ２７に記憶されているプログラムに従って、または遠隔装置１２によるネットワーク１３を介在する遠隔操作の指示に従って、各種の制御処理を実行する。
例えば、ＣＰＵ２８は、パンモータ２３またはチルトモータ２４用のモータドライバ２５または２６の制御を行ったり、カメラ本体部２１から提供された画像信号に対する圧縮符号化処理等の各種処理を行う。また、ＣＰＵ２８は、圧縮符号化処理等が施された画像信号を、ネットワークポート２９に接続されたネットワーク１３を介して、遠隔装置１２に送信する制御を行う。
ネットワークポート２９は、ＬＡＮ（Local Area Network）等のネットワーク１３に接続される。これにより、撮像装置１１は、ネットワーク１３を介して遠隔装置１２と接続し、ネットワークカメラとして機能するようになる。
図３は、遠隔装置１２の構成例を示している。
図３において、ＣＰＵ１０１は、ＲＯＭ１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ１０３には、ＣＰＵ１０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、バス１０４により相互に接続されている。
ＣＰＵ１０１にはまた、バス１０４を介して入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス１２１、マイクロフォンなどよりなる入力部１０６、モニタ１２２、スピーカなどよりなる出力部１０７が接続されている。ＣＰＵ１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。
入出力インタフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、ＣＰＵ１０１が実行するプログラムや各種のデータを記憶する。
通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して、例えば本実施の形態ではネットワーク１３を介して、外部の装置、例えば本実施の形態では撮像装置１１と通信する。また、通信部１０９は、ネットワークを介してプログラムを取得し、記憶部１０８に記憶させるようにしてもよい。
入出力インタフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
ここで、遠隔装置１２の動作の一例について説明する。
ＣＰＵ１０１は、プログラムのひとつである所定のブラウザソフトウエアを起動させ、モニタ１２２上に表示させる制御を行い、その後、撮像装置１１で取り込んだ映像をブラウザソフトウエアの表示領域に映し出す制御を行う。即ち、撮像装置１１は、カメラ本体部２１で取り込んだ映像を、遠隔装置１２側のブラウザソフトウエアで表示可能なデータ形式に変換し、ネットワーク１３を介して、遠隔装置１２に送信する。遠隔装置１２は、このデータ形式の画像データをネットワーク１３経由で受信する。そして、遠隔装置１２のＣＰＵ１０１が、ブラウザソフトウエアで解釈して、モニタ１２２上に表示する。
また、ブラウザソフトウエアには、撮像装置１１を制御するためのコマンドを受け付ける制御領域（例えば、ブラウザソフトウエアで表示する矢印等のソフトウエアボタン）が設けられており、ユーザがマウス１２１等のインプットデバイスによって制御領域を操作することで、所望のカメラ角度や倍率での映像の取り込みが可能になる。なお、ここでいうカメラ角度とは、撮像装置１１側でいう取り込み角度に対応し、ここでいう倍率とは、撮像装置１１側でいうズームレンズ３３の取り込み倍率に対応する。
なお、マウス１２１以外のインプットデバイスとして、モニタ１２２に設けられたタッチパネルやペンタブレットなど、他のデバイスを採用することも可能である。
例えば、ユーザが、マウス１２１等の操作によってブラウザソフトウエアの制御領域のソフトウエアボタンを選択し、左右のパン動作を指示したとする。この場合、ＣＰＵ１０１は、この指示を、通信部１０９とネットワーク１３とを介して、撮像装置１１に送信する。すると、撮像装置１１は、この指示をネットワークポート２９を介して受信して解釈して、パンモータ２３の回転角度等の指示に変換して、モータドライバ２５に通知する。これにより、パンモータ２３が所定角度だけ回転し、その結果、カメラ本体部２１のパン動作が実現される。
また例えば、ユーザが、マウス１２１等の操作によってブラウザソフトウエアの制御領域のソフトウエアボタンを選択し、上下のチルト動作を指示したとする。この場合、ＣＰＵ１０１は、この指示を、通信部１０９とネットワーク１３とを介して、撮像装置１１に送信する。すると、撮像装置１１は、この指示をネットワークポート２９を介して受信して解釈して、チルトモータ２４の回転角度等の指示に変換して、モータドライバ２６に通知する。これにより、チルトモータ２４が所定角度だけ回転し、その結果、カメラ本体部２１のチルト動作が実現される。
また例えば、ユーザが、マウス１２１等の操作によってブラウザソフトウエアの制御領域のソフトウエアボタンを選択し、ズーム動作を指示したとする。この場合、ＣＰＵ１０１は、この指示を、通信部１０９とネットワーク１３とを介して、撮像装置１１に送信する。すると、撮像装置１１は、この指示をネットワークポート２９を介して受信して解釈して、ズームレンズ３３のズームモータ（図示せず）を駆動する制御を行う。その結果、ズーム動作が実現される。即ち、ズームレンズ３３の取り込み倍率の調整が実現される。
また、本実施形態では、ブラウザソフトウエアの表示領域に表示される映像の中で所定エリア（矩形領域）をマウス１２１等で指定することによって、その所定エリアを表示領域全面に拡大表示するように、取り込み角度や取り込み倍率の調整を行う機能、即ち、上述したエリアズーム機能も有している。
即ち、ユーザが、マウス１２１等の操作によって、ブラウザソフトウエアの表示領域内の所望のエリアを指定すると、ＣＰＵ１０１は、そのエリアの中心とサイズを、通信部１０９とネットワーク１３とを介して、撮像装置１１に通知する。すると、撮像装置１１は、この通知をネットワークポート２９を介して受信して、通知されたエリアの中心とサイズに基づいて、カメラ本体部２１の取り込み角度や、ズームレンズ３３の取り込み倍率を演算する。なお、この演算手法の具体例については、後述する。その後は、ＣＰＵ１０１は、上述したように、パン動作、チルト動作の制御、ズーム動作を適宜制御する。その結果、遠隔装置１２側では、指定されたエリア内の映像が、ブラウザソフトウエアの表示領域全体に拡大表示されるようになる。このように、ユーザは、目的の対象物を中心としたエリアを指定するだけで、その対象物を中心としたズーム映像を即座に視認することができるようになる。
次に、撮像装置１１側の動作を説明する。
図４には、ＣＰＵ２８が有する各種機能のうちの、後述する動作を実行するための機能を実現する機能ブロックが図示されている。即ち、かかる機能ブロックとして、システムコントロール部４０１、カメラコントロール部４０２、およびネットワークコントロール部４０３がＣＰＵ２８に設けられている。
システムコントロール部４０１は、撮像装置１１のシステム全体を制御する。
カメラコントロール部４０２は、カメラ本体部２１を制御するための各種制御値を演算する。例えば、カメラ本体部２１による映像の取り込み角度を調整するためのモータドライバ２５，２６へ与える制御値が、カメラコントロール部４０２により演算される。また例えば、ズームレンズ３３の取り込み倍率を調整するためのズームモータ（図示せぬ）へ与える制御値が、カメラコントロール部４０２により演算される。また、カメラコントロール部４０２は、カメラ本体部２１の信号処理部３２から提供される画像信号を取得し、システムコントロール部４０１を介してネットワークコントロール部４０３に提供する。
ネットワークコントロール部４０３は、ネットワークポート２９を介してネットワーク１３との接続を行うためのネゴシエーション等の通信制御を行う。
次に、撮像装置１１の撮像に関する動作について説明していく。
本実施の形態では、カメラコントロール部４０２で行われる演算に基づいて、カメラ本体部２１の取り込み角度の調整や、ズームレンズ３３の取り込み倍率の調整が行われて、撮像が行われる。
詳細には、先ず、撮像素子３１で映像を取り込むにあたり、ズームレンズ３３による取り込み倍率の調整が行われ、雲台２２による取り込み角度の調整が行われる。これらの調整の際、ＣＰＵ２８は、不揮発性メモリ２７に予め記憶してある「ずれのデータ」、即ち、撮像素子３１の読み取り領域の中心とズームレンズ３３の光軸とのずれ（以下、光軸中心のずれと適宜称する）のデータを用い、所定の取り込み倍率および所定の取り込み角度に応じた補正量を演算する。そして、ＣＰＵ２８は、この補正量に基づいて、ずれを相殺するように雲台２２の角度制御を行う。
上述の補正量の計算を行うにあたり、例えば本実施形態では、撮像素子３１の読み取り領域の中心とズームレンズ３３の光軸とのずれは予め測定され、その測定結果を示すデータ、即ち、「ずれのデータ」が不揮発性メモリ２７に予め記憶されている。なお、より正確には後述するように、光軸中心のずれそのものではなく、遠隔装置１２側での表示位置のずれが、「ずれのデータ」として不揮発性メモリ２７に記憶されている。
ここで、図５と図６を参照して、光軸中心のずれについて説明する。
図５に示されるように、カメラ本体部２１には、ＣＣＤ等の撮像素子３１が組み込まれている。撮像素子３１は、カメラ本体部２１の筐体内において設定される光軸に合わせて、その中心位置、即ち、読み取り領域の中心が決定される。ズームレンズ３３もまた、その光軸に合わせて、その中心位置が決定される。
従って、理想的には、図５に示されるように、光軸は、撮像素子３１の読み取り領域の中心と、ズームレンズ３３の中心との何れも通過することになる。
しかしながら、実際には撮像素子３１とズームレンズ３３との各組み付け時に、配置誤差がそれぞれ生じるため、光軸中心のずれが生じる。この光軸の中心ずれのため、遠隔装置１２側での表示位置のずれが生じてしまう。
例えば、図６の左図は、ズームレンズ３３が広角端に設定され、所定の対象物Ｏｂが画面１２２Ａの中心となるように、カメラ本体部２１による映像の取り込み角度が調整された場合の画面１２２Ａの表示状態をしめしている。なお、画面１２２Ａとは、本実施の形態では、遠隔装置１２のモニタ１２２上のブラウザソフトウエアの表示領域を意味している。図６の左図の表示状態から、ズームレンズ３３の取り込み倍率を高めるズームアップ動作が行われると、画面１２２Ａの表示状態は、図６の右図の状態に移行する。即ち、望遠端においては、広角端の際に画面１２２Ａの中心に映し出されていた対象物Ｏｂの表示位置が、画面１２２Ａの中心Ｏからずれる現象、具体的には図６の例では中心Ｏから、水平方向にずれ量△ｈだけずれ、垂直方向にずれ量△ｖだけずれる現象が生じる。この表示位置のずれの要因のひとつが、上述した光軸中心のずれである。
そこで、例えば本実施形態では、表示位置のずれは予め測定されており、その測定結果が、「ずれのデータ」として不揮発性メモリ２７に予め記憶されている。そして、ＣＰＵ２８が、この「ずれのデータ」を用いて、雲台２２の角度制御に用いられる補正量、即ち光軸中心のずれを相殺するための補正量を演算する。
図７は、光軸中心のずれ、より正確には、その光軸中心のずれに起因する表示位置のずれの測定手法について説明する模式図である。
先ず、ユーザは、遠隔装置１２を操作して、図７の左図に示されるように、ズームレンズ３３を望遠端に設定し、所望の対象物Ｏｂが画面１２２Ａの中心Ｏに映し出されるように、カメラ本体部２１による映像の取り込み角度を調整する。
次に、ユーザは、遠隔装置１２を操作して、図７の右図に示すようにズームレンズ３３を広角端に設定する。この場合、先に画面１２２Ａの中心Ｏに合わされた対象物Ｏｂの表示位置が、画面１２２Ａの中心Ｏからずれて表示された場合、遠隔装置１２は、画面中心Ｏからの水平方向のずれ量Δｈ、垂直方向のずれ量Δｖをそれぞれ測定し、その測定結果をネットワーク１３を介して撮像装置１１に通知する。撮像装置１１は、その測定結果を「ずれのデータ」として不揮発性メモリ２７に記憶する。
次に、この「ずれのデータ」を用いた補正量、即ち、雲台２２の角度制御に用いられる補正量の演算手法について説明する。
撮像装置１１のＣＰＵ２８、より詳細には、カメラコントロール部４０２は、「ずれのデータ」を不揮発性メモリ２７から読み出して、この「ずれのデータ」を用いて、例えば次のようにして補正量の演算を行う。
ただし、以下、説明の簡略上、補正量としては、遠隔装置１２のモニタ１２２側の画面１２２Ａの位置に換算した値が採用されているとする。
先ず、カメラコントロール部４０２は、次の式（１）によって、所定の取り込み倍率および所定の取り込み角度で設定された場合の誤差を演算する。
Δｘ＝Δｈ(ｎ１−ｎ０)／(Ｎｔ−Ｎｗ)
Δｙ＝Δｖ（ｎ１−ｎ０)／(Ｎｔ−Ｎｗ) ・・・（１）
式（１）において、△ｘが、実際に適用する水平誤差を示しており、△ｙが、実際に適用する垂直誤差を示している。△ｈが、不揮発性メモリ２７から読み出された「ずれのデータ」のうちの、水平方向のずれ量を示している。△ｖが、不揮発性メモリ２７から読み出された「ずれのデータ」のうちの、垂直方向のずれ量を示している。また、ｎ０が現在の取り込み倍率（レンズ倍率）を示し、ｎ１が所望の取り込み倍率（レンズ倍率）を示し、Ｎｔが望遠端での取り込み倍率（レンズ倍率）を示し、Ｎｗが広角端での取り込み倍率（レンズ倍率）を示している。
上述の式（１）による演算は、予め取り込んだずれ量Δｈ，Δｖが広角端と望遠端との間のずれ量であることから、その水平方向のずれ量△ｈと垂直方向のずれ量△ｖとを、実際にレンズ倍率が変更された際のそれぞれのずれ量、即ち、実際に適用する水平誤差△ｘと垂直誤差△ｙにそれぞれ換算するものである。
カメラコントロール部４０２は、式（１）の演算結果である水平誤差△ｘおよび垂直誤差△ｙの値を用い、雲台２２の角度制御、即ち、パンモータ２３とチルトモータ２４の動作角度について補正を行う。即ち、式（１）の演算結果である水平誤差△ｘおよび垂直誤差△ｙの値が、雲台２２の角度制御に用いられる補正量である。かかる補正によって、光軸中心のずれに起因する画面１２２Ａの表示位置のずれを相殺できるようになる。
さらに以下、雲台２２の角度制御の具体例として、上述のエリアズーム機能が発揮される場合の角度制御の一例について説明する。
図８は、エリアズーム機能を説明する模式図である。
図８の例では、画面１２２Ａは、水平方向に６４０画素、垂直方向に４８０画素で構成されている。即ち、画面サイズは、水平画素×垂直画素＝６４０×４８０のサイズであるとする。そして、画面１２２Ａの中心Ｏを原点として、１画素（以下適宜pixelとも称する）を単位とする座標系が定義されており、この座標系の座標が用いられて以下の各種演算が行われるとする。なお、この画面サイズに対応したカメラ本体部２１のカメラ画角は、水平方向±２０°，垂直方向±１５°であるとする。
図８の例では、撮像装置１１が、ユーザによって指定されたエリアズーム枠５０１に基づいて、取り込み倍率（ズーム倍率）および取り込み角度（雲台２２のパン角度とチルト角度）を演算し、この演算値によって、カメラ本体部２１のズームレンズ３３および雲台２２を制御することで、エリアズーム枠５０１内の映像を、画面１２２Ａ全体に拡大表示させることで、エリアズーム機能が実現される。なお、エリアズーム枠５０１内の映像が画面１２２Ａ全体に拡大表示されることを、以下、エリアズームされると適宜称する。
エリアズーム枠５０１は、ユーザによるマウス１２１等の操作によって指定された矩形領域が用いられる。なお、指定されたエリアズーム枠５０１が、画面縦横比と異なる場合、即ち、エリアズーム枠５０１が画面１２２Ａと相似の関係ではない場合は、エリアズーム枠５０１の縦もしくは横のいずれかのサイズを基準として、画面縦横比と合うようエリアズーム枠５０１のサイズも調整される。この調整は、遠隔装置１２内の処理だけで行われてもよいし、即ち、画面１２２Ａに表示されるエリアズーム枠５０１には調整結果を反映させないようにしてもよいし、その逆でもよい。即ち、画面１２２Ａに表示されるエリアズーム枠５０１に調整結果を直接反映させるようにしてもよい。
また、遠隔装置１２内で画面縦横比と合うようエリアズーム枠５０１のサイズを調整せずに、撮像装置１１内で調整するようにしても良い。
また、エリアズーム枠５０１が矩形領域だけではなく、円形領域や手書きなどで囲まれた領域であっても良い。これらの場合には、エリアズーム枠５０１を含み、かつ、画面１２２Ａと相似な最小のエリアを指定されたものとして調整される。
図８の例のエリアズーム枠５０１は、対象物Ｏｂが存在する位置（２４０，１６０）が中心位置とされ、水平方向に８０画素、垂直方向に６０画素のサイズとされている。即ち、ユーザにより、そのような中心位置とサイズが指定された結果、図８の例のエリアズーム枠５０１が表示されているとする。
ここで、カメラ画角は、上述の如く水平方向４０°（±２０°）、垂直方向３０°（±１５°）とされているので、エリアズーム枠５０１の部分を画面１２２Ａ全体に拡大表示するためには、カメラ本体部２１を、右方向へ１５°、上方向へ１０°回転させればよい。また、ズーム倍率は、８倍ズームとすればよい。
より一般的にいえば、パン角度をθｐと記述し、チルト角度をθｔと記述し、ズーム倍率（エリアズーム後の取り込み倍率）をｎ１と記述した場合、パン角度θｐ、チルト角度θｔ、およびズーム倍率ｎ１のそれぞれは、次の式（３）乃至（５）のそれぞれに従って演算することができる。
θｐ＝（画面エリアの水平方向画角／画面エリアの水平方向サイズ）×エリアズーム枠の水平方向中心位置 ・・・（３）
θｔ＝（画面エリアの垂直方向画角／画面エリアの垂直方向サイズ）×エリアズーム枠の垂直方向中心位置 ・・・（４）
ｎ１＝（画面エリアの水平方向サイズ／エリアズーム枠の水平方向サイズ）×現在のレンズ倍率 ・・・（５）
しかしながら、上述の式（３）乃至（５）に従って演算されたパン角度θｐ、チルト角度θｔ、およびズーム倍率ｎ１が利用されて、雲台２２の角度制御が行われた場合、上述した光軸中心のずれが存在するため、エリアズーム枠５０１の画像が画面１２２Ａ全体に拡大表示されたときには、その中心Ｏに、目的の対象物Ｏｂが必ずしも映し出されるとは限らない。
具体的には例えば、エリアズーム枠５０１の画像が画面１２２Ａ全体に拡大表示されたとき、図９の表示状態となることが理想である。即ち、対象物Ｏｂの中央部Ｏｂｃが画面１２２Ａの中心Ｏと一致するように、対象物Ｏｂがズームアップして表示されるのが理想である。
ところが、上述した光軸中心のずれが存在するため、エリアズーム枠５０１の画像が画面１２２Ａ全体に拡大表示されたときには、実際には図９の表示状態にはならず、例えば図１０の表示状態のようになる。即ち、対象物Ｏｂの一部が画面１２２Ａから外れてしまい、その結果、残りの一部のみが画面１２２Ａの端（図１０の例では右上端）に存在するように、ズームアップして表示される場合が多い。このような場合、対象物Ｏｂを画面１２２Ａの真ん中に表示させるようにするためには、即ち、図１０の表示状態から図９の表示状態にするためには、ユーザは、さらに遠隔装置１２を操作してカメラ本体部２１の取り込み角度を微調整する、といった困難な作業が必要になる。さらに、図１０の例では、対象物Ｏｂの一部が画面１２２Ａに表示されているが、さらに、対象物Ｏｂ全体が画面１２２Ａから完全に外れてしまう場合もある。このような場合、かかる作業は非常に困難なものとなる。
そこで、本実施の形態では、上述の式（３），（４）の代わりに、例えば次の式（６），（７）に従って演算されたパン角度θｐ、およびチルト角度θｔを、雲台２２の角度制御に用いるようにしている。
θｐ＝（画面エリアの水平方向画角／画面エリアの水平方向サイズ）×（エリアズーム枠の水平方向中心位置−Δｘ） ・・・（６）
θｔ＝（画面エリアの垂直方向画角／画面エリアの垂直方向サイズ）×（エリアズーム枠の垂直方向中心位置−Δｙ） ・・・（７）
ここで、式（６）における△ｘ、即ち実際に適用する水平誤差Δｘと、式（７）における△ｙ、即ち実際に適用する垂直誤差Δｙは、上述した式（１）によって求められるものである。即ち、式（１）の演算結果である水平誤差△ｘおよび垂直誤差△ｙの値が用いられて、パン角度θｐおよびチルト角度θｔが適切に補正される。かかる補正後のパン角度θｐおよびチルト角度θｔ、並びに、上述の式（５）のズーム倍率ｎ１が利用されて、雲台２２の角度制御が行われた場合、光軸中心のずれに起因する画面１２２Ａの表示位置のずれを相殺できるようになる。
ただし、図９と図１０とを用いて上述した現象、即ち、エリアズーム枠５０１の画像が画面１２２Ａ全体に拡大表示されたときに、対象物Ｏｂは、その中央部Ｏｂｃが画面１２２Ａの中心Ｏからずれて表示される現象、換言すると、エリアズームが行われる前後のエリアズーム枠５０１内の中心がずれる現象（以下、エリアズーム時センターずれ表示現象と称する）は、上述した光学中心のずれのみを要因として発生するわけではなく、次のように様々な要因が複合的に絡み合って発生する。即ち、エリアズーム時センターずれ表示現象の発生要因は、光学中心のずれを第１要因とすると、さらに、次のような第２要因乃至第６要因に分類される。
即ち、第２要因とは、カメラ本体部２１のレンズ画角の誤差、即ち、公称値と実際の画角の違いである。例えば、画面１２２Ａには、40度×30度の範囲が映っているとユーザが思っていたところ、実際には、41度×29度の範囲が映っていた、という要因が第２の要因である。
第３要因とは、カメラ本体部２１のレンズの光学歪である。すなわち、第３要因とは、画像周辺部になるに従い光学歪が大きくなることである。
第４要因とは、カメラ取り付け回転である。カメラ取り付け回転とは、パンチルト回転台、即ち雲台２２にカメラ本体部２１を取り付ける際、光軸方向を軸とする回転をいう。
第５要因とは、チルト角依存の誤差である。即ち、水平方向（チルト角０度）を映したとき、画面１２２Ａ上にパンチルト座標を描いてみるとほぼ直交する。垂直方向（チルト角９０度）を映したとき、画面１２２Ａ上にパンチルト座標を描いてみると、同心円状になる。このような画面１２２Ａ上でのパンチルト座標の形状の違いから、チルト角度の大きい領域ほど、誤差が出やすい傾向がある。例えば、チルト基準点の誤差、即ち、チルト角０度で水平を向いているつもりが、少しチルト角度を持っている、といった誤差が存在する。また例えば、チルト角駆動誤差、即ち、チルト角９０度分駆動した際に、実際には９０度ではなく、８９度だったり９１度であったりするような誤差が存在する。チルト角９０度にしたときの画面１２２Ａの中央がチルト角９０度なので、そのときパン回転させても画面１２２Ａの中央に映っているものは本来移動しないはずであるが、かかる誤差により実際にはチルト角９０度からずれていることとなり、ユーザの目には回転しているように映る。
第６要因とは、パン駆動誤差である。パン駆動誤差とは、例えば２０度回転させたつもりでも、実際には１９度しか回転していないような、回転角度の誤差をいう。
以上説明したように、エリアズーム時センターずれ表示現象は、光学中心のずれといった第１要因を含めた各種要因、即ち、上述の第１要因乃至第６要因が複合的に絡み合って発生する。
よって、第１要因のみを考慮した式（６），式（７）の演算のみでは、エリアズーム時センターずれ表示現象の発生を完全に抑えることは困難である。特に、式（５）のズーム倍率ｎ１が高倍率になるほど、エリアズーム時センターずれ表示現象は深刻なものになる。即ち、高倍率になるほど、対象物Ｏｂが画面１２２Ａの中心Ｏからずれていき、最終的には画面１２２Ａから外れてしまうことになる。
そこで、本実施の形態においては、エリアズーム機能において、画面１２２Ａ等の所定表示領域に表示される映像の中からエリアズーム枠５０１等の所定エリア（矩形領域）が指定された場合、その所定エリアから算出される相対ズーム倍率が、エリアズームが行われる前後の所定エリアの中心のずれに基づいて予め設定された制限倍率以上またはその倍率を超えている場合、相対ズーム倍率として制限倍率を採用する。ここで、相対ズーム倍率とは、現在のレンズ倍率（現在の取り込み倍率）に対してどれだけズームするのかを示す相対的な倍率をいう。また、エリアズームが行われる前後の所定エリアの中心のずれとは、所定エリアが拡大表示された場合における、対象物Ｏｂの表示位置についての表示中心からのずれをいう。なお、以下、このような手法を、ズーム倍率制限手法と称する。
ズーム倍率制限手法を採用することにより、例えば図８のエリアズーム枠５０１が設定されてエリアズームが行われた場合であっても、図１０の表示状態のように対象物Ｏｂが画面１２２Ａから外れてしまうことはなくなり、図１１の表示状態のように対象物Ｏｂは画面１２２Ａ内に確実に存在するようになる。換言すると、図１１の表示状態となるように、制限倍率が設定されているのである。これにより、ユーザは、エリアズーム機能を利用しても、対象物Ｏｂを見失うことがなくなる。即ち、エリアズームされた対象物Ｏｂの中央部Ｏｂｃが画面１２２Ａの中心Ｏからずれてしまったとしても、ユーザは、対象物Ｏｂを画面１２２Ａ内から容易に視認することができる。よって、ユーザは、遠隔装置１２を操作して微調整するだけで、例えばマウス１２１で対象物Ｏｂをクリックして移動させる操作をするだけで、対象物Ｏｂの中央部Ｏｂｃを画面１２２Ａの中心Ｏに容易に一致させることができるようになる。なお、かかる操作により実現される機能は、ダイレクトパンチルト機能と称されている。
以下、ズーム倍率制限手法についてさらに詳しく説明していく。
ここで、ズーム倍率制限手法で制限される相対ズーム倍率を、Ｚと記述することにする。
この場合、ズーム倍率ｎ１（エリアズームによる変更後の取り込み倍率ｎ１）は、上述した式（５）の代わりに、次の式（８）によって演算される。即ち、式（８）は、エリアズームによる変更前の取り込み倍率である「現在の倍率」に対して、相対ズーム倍率Ｚが乗算された結果が、変更後の取り込み倍率であるズーム倍率ｎ１になることを意味している。
ｎ１＝Ｚ×現在のレンズ倍率 ・・・（８）
換言すると、ズーム倍率制限手法で制限がかけられない場合の相対ズーム倍率Ｚ、即ち、画面１２２Ａにおけるエリアズーム枠５０１の占有率に基づいて算出される相対ズーム倍率Ｚが、上述した式（５）の右辺の「（画面エリアの水平方向サイズ／エリアズーム枠の水平方向サイズ）」の項に対応する。以下、画面１２２Ａにおけるエリアズーム枠５０１の占有率に基づいて算出される相対ズーム倍率Ｚを、特に、算出相対ズーム倍率Ｚｒと称することにする。
これに対して、以下、エリアズームが行われる前後の所定エリア内の中心のずれに基づいて予め設定された制限倍率を、特に、制限倍率Ｚlimitと称することにする。
この場合、算出相対ズーム倍率Ｚｒが制限倍率Ｚlimit以下であるときには、式（８）の相対ズーム倍率Ｚとしては、算出相対ズーム倍率Ｚｒが採用される。これに対して、算出相対ズーム倍率Ｚｒが制限倍率Ｚlimitを超えているときには、式（８）の相対ズーム倍率Ｚとしては、制限倍率Ｚlimitが採用される。
換言すると、式（８）は、次の式（９），式（１０）に書き換えることが可能である。
ｎ１＝Ｚｒ×現在のレンズ倍率（Ｚｒ≦Ｚlimit） ・・・（９）
ｎ１＝Ｚlimit×現在のレンズ倍率（Ｚｒ＞Ｚlimit） ・・・（１０）
なお、式（９），式（１０）の代わりに、次の式（１１），式（１２）を採用してもよい。この場合、定数ｋ（＜１）が掛けられて、ズーム倍率n1がさらに制限されることになるので、エリアズーム後の対象物Ｏｂのずれを緩和することができるようになる。
ｎ１＝ｋ×Ｚｒ×現在のレンズ倍率（Ｚｒ≦Ｚlimit） ・・・（１１）
ｎ１＝ｋ×Ｚlimit×現在のレンズ倍率（Ｚｒ≦Ｚlimit） ・・・（１２）
ここで、制限倍率Zlimitの設定手法自体は、ズーム倍率制限手法の適用目的のひとつ、即ち、エリアズームしても対象物Ｏｂが画面１２２Ａから外れないという目的が達成できる手法であれば、特に限定されない。例えば、制限倍率Zlimitの設定手法としては、次のような手法を採用することができる。
即ち、例えば、エリアズーム時センターずれ表示現象の発生要因のうちの第３要因等を考慮すると、エリアズーム枠５０１の設定位置に応じて制限倍率Ｚlimitを変化させる、具体的には例えば画面１２２Ａの中央近辺とその周辺とでは制限倍率Ｚlimitを変化させる、という手法（以下、ズーム位置考慮設定手法）を採用すると好適である。
また例えば、エリアズーム時センターずれ表示現象の発生要因のうちの第５要因等を考慮すると、チルト角度に応じて制限倍率Ｚlimitを変化させる、具体的には例えばチルト角０度とチルト角９０度とでは制限倍率Ｚlimitを変化させる、という手法（以下、チルト角度考慮設定手法）を採用すると好適である。
以下、ズーム位置考慮設定手法とチルト角度考慮設定手法とのそれぞれについて、その順番で個別に説明していく。
先ず、ズーム位置考慮設定手法の具体例について説明する。
本例のズーム位置考慮設定手法では、図１２に示されるように、画面１２２Ａの中心Ｏを原点として、水平方向の軸をx軸として、垂直方向の軸をy軸として、１画素（pixel）を単位とする座標系が定義され、かかる座標系において、原点Ｏから、設定されたエリアズーム枠５０１の中心までの距離が算出され、その距離に応じた制限倍率が算出される。なお、上述したように本実施の形態では、対象物Ｏｂの中央部Ｏｂｃとエリアズーム枠５０１の中心とが一致する。即ち、そのようにエリアズーム枠５０１が設定される。このため、図１２の例では、原点Ｏから、対象物Ｏｂの中央部Ｏｂｃまでの距離が算出される様子が図示されている。
ここで、画面の中心Ｏ（原点）から、設定されたエリアズーム枠５０１の中心（対象物Ｏｂの中央部Ｏｂｃ）までの距離をｌ（pixel）と記述し、その距離ｌに応じて変化する制限倍率を、特に制限倍率ＺLと称するとする。そして、制限倍率Ｚlimitの最大値は３２倍であるとする。
この場合、制限倍率ＺLは、例えば図１３に示されるグラフに従って算出することができる。
また例えば、設定されたエリアズーム枠５０１の中心（対象物Ｏｂの中央部Ｏｂｃ）の座標を(x,y)と記述するとする。そして、画面の中心Ｏ（原点）からｘ座標までの距離（＝x座標の絶対値｜ｘ｜）（pixel）に応じて変化する制限倍率を、特に制限倍率Ｚxと称するとする。また、画面の中心Ｏ（原点）からｙ座標までの距離（＝ｙ座標の絶対値｜ｙ｜）（pixel）に応じて変化する制限倍率を、特に制限倍率Ｚyと称するとする。
この場合、制限倍率Ｚx，Ｚyは、例えば図１４，図１５に示される各グラフに従ってそれぞれ算出することができる。
或いはまた、制限倍率Ｚx，Ｚyは、例えば図１６，図１７に示される各グラフに従ってそれぞれ算出することができる。
ズーム位置考慮設定手法を単独で適用する場合には、例えば、以上のようにして算出された制限倍率ＺL，Ｚx，Ｚyのうちのいずれか１つを、最終的な制限倍率Ｚlimitとして採用すればよい。
以上、ズーム位置考慮設定手法の具体例について説明した。
次に、チルト角度考慮設定手法の具体例について説明する。
ここで、チルト角度をθT（degree）と記述するとして、その絶対値｜θT｜（degree）に応じて変化する制限倍率を、特に制限倍率ＺTと称するとする。そして、制限倍率Ｚlimitの最大値は３２倍であるとする。
この場合、制限倍率ＺTは、例えば図１８に示されるグラフに従って算出することができる。
或いはまた、制限倍率ＺTは、例えば図１９に示される各グラフに従ってそれぞれ算出することができる。
チルト角度考慮設定手法を単独で適用する場合には、例えば、以上のようにして算出された制限倍率ＺTを、最終的な制限倍率Ｚlimitとして採用すればよい。
以上説明したように、制限倍率Zlimitの設定手法として、ズーム位置考慮設定手法とチルト角度考慮設定手法とのそれぞれを単独で採用することができる。さらに、制限倍率Zlimitの設定手法として、ズーム位置考慮設定手法とチルト角度考慮設定手法との両者を組み合わせた手法を採用することも可能である。そこで、以下、ズーム位置考慮設定手法とチルト角度考慮設定手法とを組み合わせた場合の制限倍率Ｚlimitの具体的な設定手法の例について説明していく。
本例では、ズーム位置考慮設定手法による制限倍率と、チルト角度考慮設定手法による制限倍率とがそれぞれ単独で算出され、それら２つの制限倍率を用いた所定の演算が行われることで制限倍率Ｚlimitが最終的に算出されて設定されるとする。
例えば、図１３のグラフに従って算出された制限倍率ＺLと、図１８のグラフに従って算出された制限倍率ＺTとを、例えば次の式（１３）に代入して演算した結果を、最終的な制限倍率Ｚlimitとして設定することができる。
Ｚlimit ＝ ＺT×（ＺL／３２） ・・・（１３）
なお、図１８のグラフは、結局次の式（１４），式（１５）のように表すことができる。即ち、式（１３）に代入される制限倍率ＺTは、次の式（１４），式（１５）に従って演算することができる。
ＺT ＝ ３２ （｜θT｜≦４５(degree)） ・・・（１４）
ＺT ＝ ３２ − ｛１６×（｜θT｜−４５）／４５｝
（４５(degree)＜｜θT｜≦９０(degree)） ・・・（１５）
また、図１３のグラフは、結局次の式（１６）のように表すことができる。即ち、式（１３）に代入される制限倍率ＺLは、次の式（１６）に従って演算することができる。
ＺL ＝ ３２ − ｛（８・ｌ）／３００｝ ・・・（１６）
また例えば、図１４のグラフに従って算出された制限倍率Ｚx、図１５のグラフに従って算出された制限倍率Ｚy、および図１８のグラフに従って算出された制限倍率ＺTを、例えば次の式（１７）に代入して演算した結果を、最終的な制限倍率Ｚlimitとして設定することができる。
Ｚlimit ＝ min（Ｚx，Ｚy，ＺT） ・・・（１７）
なお、式（１７）において、min( )とは、カッコ内に列挙された各数値から最小値を選び出して出力する関数を意味している。
さらにまた例えば、図１６のグラフに従って算出された制限倍率Ｚx、図１７のグラフに従って算出された制限倍率Ｚy、および図１９のグラフに従って算出された制限倍率ＺTを、例えば上の式（１７）に代入して演算した結果を、最終的な制限倍率Ｚlimitとして設定することができる。
以上、ズーム倍率制限手法について説明した。
なお、エリアズーム機能を実現するにあたって、ズーム倍率制限手法と、上述した式（６），式（７）を用いてパン角度θｐおよびチルト角度θｔを補正する手法（以下、パンチルト角度補正手法と称する）とは、それぞれ独立した手法であるため、それぞれ単独で採用することもできるし、組み合わせて採用することもできる。
具体的には例えば、ズーム倍率制限手法とパンチルト角度補正手法との両者が採用された場合には、上述の式（６），式（７）に従って演算されたパン角度θｐ，チルト角度θｔ、および、上述の式（９），式（１０）若しくは式（１１），（１２）に従って演算されたズーム倍率ｎ１が利用されて、雲台２２の角度制御が行われることになる。
一方、例えば、ズーム倍率制限手法が採用されて、パンチルト角度補正手法が採用されなかった場合には、上述の式（３），式（４）に従って演算されたパン角度θｐ，チルト角度θｔ、および、上述の式（９），式（１０）若しくは式（１１），（１２）に従って演算されたズーム倍率ｎ１が利用されて、雲台２２の角度制御が行われることになる。
また、例えば、ズーム倍率制限手法が採用されずに、パンチルト角度補正手法が採用された場合には、上述の式（６），式（７）に従って演算されたパン角度θｐ，チルト角度θｔ、および、上述の式（５）に従って演算されたズーム倍率ｎ１が利用されて、雲台２２の角度制御が行われることになる。
なお、ズーム倍率制限手法やパンチルト角度補正手法は、原則として、エリアズームが１回行われる毎に、それぞれ1回ずつ適用される。
即ち、Ｐ回目の（Ｐは1以上の整数値）エリアズームが行われた後、エリアズーム枠５０１が再度設定されると、Ｐ＋１回目のエリアズームが行われることになる。このＰ＋１回目のエリアズームでは、パン角度θｐ，チルト角度θｔ、および、ズーム倍率ｎ１が、Ｐ回目のときとは独立して再度演算される。例えば、Ｐ＋１回目の式（９）または式（１０）の演算では、現在のレンズ倍率として、その前のＰ回目の式（９）または式（１０）の演算結果であるズーム倍率ｎ１が代入されることになる。
よって、何回もエリアズームが繰り返されると、式（９）または式（１０）の演算結果であるズーム倍率ｎ１が、カメラ本体部２１の機構的な制限で決定される最大倍率を超えるような場合がでてくる。このような場合、当然ながら、その最大倍率がズーム倍率として採用されることになる。即ち、式（１０）等で使用される制限倍率Zlimitとは、カメラ本体部２１の機構的な制限で決定される最大倍率とは異なる概念である。
このようにして、ズーム倍率制限手法やパンチルト角度補正手法を適用することで、適切なエリアズームを行うことが可能となる。
なお、上記説明で使用した具体的な画素サイズや角度等の数値は一例であり、本発明はこれに限定されるものではない。また、上述した実施形態において、エリアズームの説明では、理解を容易なものとすべく、パンチルト座標が画面上で直交しているような領域で説明したが、上述のごとく、チルト角度が大きくなると、パンチルト座標が画面上では曲線を描くようになる。そのような領域では、パン角度やチルト角度を単純に画角と画素数とから比例計算することはできない。しかし、このような場合であっても、その前処理としてエリアズーム枠の中心位置を、実際に適用する水平誤差Δｘ、垂直誤差Δｙで補正することにより改善可能である。また、本実施の形態では主としてネットワークカメラからなる撮像装置を例に説明したが、ネットワークを介さず撮像装置とモニタとが直接接続された構成であっても適用可能である。
ところで、上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなる図３のリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されている図２の不揮発性メモリ２７または図３のROM１０２や、図３の記憶部１０８に含まれるハードディスクなどで構成される。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的または個別に実行される処理をも含むものである。
以上の実施の形態において、画面１２２Ａにおけるエリアズーム枠５０１の占有率に基づいて相対ズーム倍率Ｚを算出していたがこれに限るものではない。例えば、エリアズーム枠５０１に対する画面１２２Ａの寸法比を相対ズーム倍率Ｚとしても算出しても良い。
本発明が適用される情報処理システムの構成例を示すブロック図である。 図１の撮像装置の構成例を示すブロック図である。 図１の遠隔装置の構成例を示すブロック図である。 図２の撮像装置の機能的構成例を示す機能ブロック図である。 光軸中心のずれを説明する図である。 光軸中心のずれを説明する図である。 光軸中心のずれの測定手法について説明する模式図である エリアズーム機能について説明する図である。 理想的なエリアズーム後の表示画像例を示す図である。 エリアズーム時センターずれ表示現象が発生した場合における、エリアズーム後の表示画像例を示す図である。 本実施の形態のズーム倍率制限手法が適用された場合における、エリアズーム後の表示画像例を示す図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。 本実施の形態のズーム倍率制限手法で使用される制限倍率の設定手法を説明する図である。
符号の説明
１１ 撮像装置， １２ 遠隔装置， １３ ネットワーク， ２１ カメラ本体部， ２２ 雲台， ２３ パンモータ， ２４ チルトモータ， ２５，２６ モータドライバ， ２７ 不揮発性メモリ， ２８ ＣＰＵ， ２９ ネットワークポート， ３１ 撮像素子， ３２ 信号処理部， ３３ ズームレンズ， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア， １２１ マウス， １２２ モニタ， １２２Ａ 画面， ４０１ システムコントロール部， ４０２ カメラコントロール部， ４０３ ネットワークコントロール部， ５０１ エリアズーム枠

Claims (13)

  1. 被写体を撮像する撮像装置において、
    前記被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像手段と、
    前記撮像手段による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像手段の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御手段と
    を備え、
    前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、
    前記制御手段は、
    前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、
    前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、
    前記制限倍率は、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定されている
    撮像装置。
  2. 前記制御手段は、前記所定表示領域における前記所定エリアの設定位置に応じて前記制限倍率を可変する
    請求項１に記載の撮像装置。
  3. 前記制御手段は、前記制限倍率を前記ズーム倍率として採用してエリアズーム制御を行った後、さらに前記撮像手段の前記取り込み倍率を変更して拡大表示のエリアズーム制御を行う
    請求項１又は２に記載の撮像装置。
  4. 前記制御手段は、
    前記所定表示領域の中から第１のエリアを指定された場合、当該第１のエリアが前記所定表示領域と相似の関係であるとき、当該第１のエリアを前記所定エリアとする
    請求項１乃至３のいずれかに記載の撮像装置。
  5. 前記制御手段は、
    前記所定表示領域の中から第２のエリアを指定された場合、当該第２のエリアが前記所定表示領域と相似の関係でないとき、
    当該第２のエリアを含み、かつ、前記所定領域と相似なエリアを前記所定エリアとする
    請求項１乃至４のいずれかに記載の撮像装置。
  6. 被写体を撮像する撮像装置の撮像方法において、
    前記被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像手段を備える撮像装置が実行するステップとして、
    前記撮像手段による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像手段の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御ステップを含み、
    前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、
    前記制御ステップは、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、
    前記制限倍率を、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定するステップを含む
    撮像方法。
  7. 被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像装置を制御する情報処理装置において、
    前記撮像装置による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像装置の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御手段を備え、
    前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、
    前記制御手段は、
    前記所定表示領域に対する前記所定エリアの占有率に基づいて前記ズーム倍率を演算し、
    前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、
    前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、
    前記制限倍率は、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定されている
    情報処理装置。
  8. 前記制御手段は、前記所定表示領域における前記所定エリアの設定位置に応じて前記制限倍率を可変する
    請求項７に記載の情報処理装置。
  9. 前記制御手段は、前記制限倍率を前記ズーム倍率として採用してエリアズーム制御を行った後、さらに前記撮像手段の前記取り込み倍率を変更して拡大表示のエリアズーム制御を行う
    請求項７又は８に記載の情報処理装置。
  10. 前記制御手段は、
    前記所定表示領域の中から第１のエリアを指定された場合、当該第１のエリアが前記所定表示領域と相似の関係であるとき、当該第１のエリアを前記所定エリアとする
    請求項７乃至９のいずれかに記載の情報処理装置。
  11. 前記制御手段は、
    前記所定表示領域の中から第２のエリアを指定された場合、当該第２のエリアが前記所定表示領域と相似の関係でないとき、
    当該第２のエリアを含み、かつ、前記所定領域と相似なエリアを前記所定エリアとする
    請求項７乃至１０のいずれかに記載の情報処理装置。
  12. 被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像装置を制御する情報処理装置が実行するステップとして、
    前記撮像装置による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像装置の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御ステップを含み、
    前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、前記制御ステップは、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、
    前記制限倍率を、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定するステップを含む
    情報処理方法。
  13. 被写体の取り込み倍率と取り込み角度とを可変できる、前記被写体を撮像する撮像装置を制御するコンピュータに、
    前記撮像装置による撮像結果が表示される所定表示領域の中から、所定エリアが指定された場合、前記所定エリア内の画像を前記所定表示領域に拡大表示させ、前記所定エリアと前記所定表示領域の中心がほぼ一致するように、前記撮像装置の前記取り込み倍率と前記取り込み角度とを変更するエリアズーム制御を行う制御ステップを実行させ、
    前記エリアズーム制御における変更後の前記取り込み倍率は、変更前の前記取り込み倍率に対して、それに対する相対的なズーム倍率が乗算された結果得られる倍率であり、
    前記コンピュータに、前記制御ステップの少なくとも一部として、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より大きいとき、前記制限倍率を前記ズーム倍率として採用し、前記所定エリアに対する前記所定表示領域の寸法比が、制限倍率より小さいとき、前記寸法比を前記ズーム倍率として採用し、
    前記制限倍率を、前記エリアズーム制御が行われる前後の前記所定エリアの中心のずれに基づいて設定するステップを実行させる
    プログラム。
JP2007306781A 2007-11-28 2007-11-28 撮像装置および方法、情報処理装置および方法、並びにプログラム Expired - Fee Related JP5062478B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007306781A JP5062478B2 (ja) 2007-11-28 2007-11-28 撮像装置および方法、情報処理装置および方法、並びにプログラム
US12/268,533 US8284268B2 (en) 2007-11-28 2008-11-11 Imaging apparatus and method, information processing apparatus and method, and recording medium storing a program therefor
EP08253688A EP2066116B1 (en) 2007-11-28 2008-11-11 Imaging apparatus and method, information processing apparatus and method, and recording medium storing a program therefor
TW097144726A TWI390969B (zh) 2007-11-28 2008-11-19 攝像設備及方法，資訊處理設備及方法，以及儲存其程式的記錄媒體
KR1020080118710A KR20090055498A (ko) 2007-11-28 2008-11-27 촬상 장치 및 방법, 정보 처리 장치 및 방법, 및 프로그램을 저장한 기록 매체
CN200810180732.8A CN101448098B (zh) 2007-11-28 2008-11-28 摄像装置和方法以及信息处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007306781A JP5062478B2 (ja) 2007-11-28 2007-11-28 撮像装置および方法、情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009130878A JP2009130878A (ja) 2009-06-11
JP5062478B2 true JP5062478B2 (ja) 2012-10-31

Family

ID=40379791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007306781A Expired - Fee Related JP5062478B2 (ja) 2007-11-28 2007-11-28 撮像装置および方法、情報処理装置および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US8284268B2 (ja)
EP (1) EP2066116B1 (ja)
JP (1) JP5062478B2 (ja)
KR (1) KR20090055498A (ja)
CN (1) CN101448098B (ja)
TW (1) TWI390969B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
WO2011150319A2 (en) 2010-05-28 2011-12-01 Geostellar, Llc System and method for geomatic modeling of a diverse resource base across broad landscapes
JP5318924B2 (ja) * 2011-08-22 2013-10-16 楽天株式会社 画像表示装置、画像表示方法、画像表示プログラム、及びそのプログラムを記録するコンピュータ読み取り可能な記録媒体
CN103595912B (zh) 2013-09-30 2018-02-06 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
JP6307942B2 (ja) * 2014-03-05 2018-04-11 セイコーエプソン株式会社 撮像装置及び撮像装置の制御方法
JP2016096481A (ja) 2014-11-14 2016-05-26 キヤノン株式会社 制御装置、撮像システム、制御方法、及び、プログラム
WO2016111387A1 (ko) * 2015-01-06 2016-07-14 정용범 카메라용 렌즈 원격 제어 장치
KR101723311B1 (ko) 2015-11-20 2017-04-06 서울과학기술대학교 산학협력단 허리 견인장치
KR102516175B1 (ko) * 2017-12-21 2023-03-30 한화비전 주식회사 줌 렌즈의 광축 보정 방법, 장치 및 컴퓨터 프로그램
TWI739052B (zh) * 2018-12-26 2021-09-11 華碩電腦股份有限公司 電子裝置及其操作方法
KR102565900B1 (ko) * 2019-01-30 2023-08-09 한화비전 주식회사 영역 줌 기능을 제공하는 촬상장치 및 그 방법
CN112243146A (zh) * 2019-07-16 2021-01-19 西安诺瓦星云科技股份有限公司 视频处理方法、装置和视频处理器
CN112532871B (zh) * 2020-11-11 2022-07-15 浙江大华技术股份有限公司 图像下采样方法、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982345A (en) * 1989-01-23 1991-01-01 International Business Machines Corporation Interactive computer graphics display system processing method for identifying an operator selected displayed object
WO1995011566A1 (en) 1993-10-20 1995-04-27 Videoconferencing Systems, Inc. Adaptive videoconferencing system
DE69520329T2 (de) * 1994-11-17 2001-09-27 Canon K.K., Tokio/Tokyo Kamerasteuervorrichtung und -Verfahren
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6985178B1 (en) * 1998-09-30 2006-01-10 Canon Kabushiki Kaisha Camera control system, image pick-up server, client, control method and storage medium therefor
US7197718B1 (en) * 1999-10-18 2007-03-27 Sharp Laboratories Of America, Inc. Interactive virtual area browser for selecting and rescaling graphical representations of displayed data
CN1554193A (zh) * 2001-07-25 2004-12-08 �����J��ʷ����ɭ 摄像机控制装置及方法
TW561796B (en) * 2001-10-12 2003-11-11 Japan Aqua Co Ltd Magnified photography device, measuring device, and measuring program
JP4378978B2 (ja) 2003-03-07 2009-12-09 ソニー株式会社 表示処理装置および固定画素型表示システム
JP2005100388A (ja) * 2003-09-05 2005-04-14 Hitachi Kokusai Electric Inc 物体追跡方法
JP2005123707A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮像投影装置及び撮像投影システムと、表示画像生成装置、表示画像生成方法
US20050174362A1 (en) * 2004-02-11 2005-08-11 Chia-Hwa Lee Method and system of zooming digital images
JP2005286550A (ja) * 2004-03-29 2005-10-13 Kyocera Corp 表示装置
CN1710933A (zh) * 2004-06-16 2005-12-21 乐金电子（惠州）有限公司 监视系统的移动物体摄像方法
JP4636443B2 (ja) 2006-04-14 2011-02-23 株式会社デンソー 電気自動車の制御装置

Also Published As

Publication number Publication date
KR20090055498A (ko) 2009-06-02
US8284268B2 (en) 2012-10-09
TWI390969B (zh) 2013-03-21
CN101448098A (zh) 2009-06-03
JP2009130878A (ja) 2009-06-11
CN101448098B (zh) 2014-05-28
EP2066116B1 (en) 2012-05-23
EP2066116A3 (en) 2010-03-24
TW200939747A (en) 2009-09-16
US20090135275A1 (en) 2009-05-28
EP2066116A2 (en) 2009-06-03

Similar Documents

Publication Publication Date Title
JP5062478B2 (ja) 撮像装置および方法、情報処理装置および方法、並びにプログラム
JP2008311804A (ja) 撮像装置および撮像方法
US9325970B2 (en) Imaging control device and imaging control method
JP6214316B2 (ja) 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体
WO2017051605A1 (ja) 撮像システム及び撮像制御方法
KR101739318B1 (ko) 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체
JP7456043B2 (ja) 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム
EP4091319B1 (en) Method of controlling a camera
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
JP5471224B2 (ja) 撮像システム、撮像装置、情報処理装置及び撮像方法
JP6231757B2 (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
US11490009B2 (en) Optical image stabilization circuit and optical image stabilization device for object position correction using face tracking
JP5455961B2 (ja) 撮像装置およびその制御方法
JP2012253451A (ja) 撮像装置及びプログラム
KR20090028043A (ko) 촬영 화면 기반의 화면 지정이 가능한 촬영 장치 및 화면지정 방법
WO2019183807A1 (zh) 增稳程度调节方法、设备及存储介质
US20240022812A1 (en) Image capturing system, control apparatus, image capturing apparatus, and display apparatus constituting the system, control method, and display method
JP4628350B2 (ja) カメラ制御装置、カメラ制御方法およびカメラ制御プログラム
TWI454137B (zh) 圖像式攝影控制系統及其控制方法
JP2022097165A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6108717B2 (ja) 光学機器およびそれを備えた撮像装置、光学機器の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120725

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees