JP5251779B2 - 携帯型電子機器、制御方法、プログラム、撮像システム - Google Patents

携帯型電子機器、制御方法、プログラム、撮像システム Download PDF

Info

Publication number
JP5251779B2
JP5251779B2 JP2009181679A JP2009181679A JP5251779B2 JP 5251779 B2 JP5251779 B2 JP 5251779B2 JP 2009181679 A JP2009181679 A JP 2009181679A JP 2009181679 A JP2009181679 A JP 2009181679A JP 5251779 B2 JP5251779 B2 JP 5251779B2
Authority
JP
Japan
Prior art keywords
movement
unit
electronic device
portable electronic
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009181679A
Other languages
English (en)
Other versions
JP2011035774A (ja
Inventor
圭一 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009181679A priority Critical patent/JP5251779B2/ja
Priority to TW099123975A priority patent/TW201112742A/zh
Priority to US13/386,933 priority patent/US20120120267A1/en
Priority to CN2010800446188A priority patent/CN102550014A/zh
Priority to PCT/JP2010/062561 priority patent/WO2011016358A1/ja
Priority to EP10806357A priority patent/EP2464095A1/en
Priority to KR1020127002322A priority patent/KR20120065997A/ko
Priority to BR112012001992A priority patent/BR112012001992A2/pt
Publication of JP2011035774A publication Critical patent/JP2011035774A/ja
Application granted granted Critical
Publication of JP5251779B2 publication Critical patent/JP5251779B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/18Heads with mechanism for moving the apparatus relatively to the stand
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/20Undercarriages with or without wheels
    • F16M11/2007Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00Details of stands or supports
    • F16M2200/02Locking means
    • F16M2200/021Locking means for rotational movement
    • F16M2200/024Locking means for rotational movement by positive interaction, e.g. male-female connections
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0058Docking-station, cradle or the like

Description

本発明は、可搬性を有する携帯型電子機器とその制御方法とに関する。また、上記携帯型電子機器に実行させるプログラムに関する。
さらには、撮像を行って撮像画像を得る撮像部を備える撮像装置と、上記撮像部による視野を可動機構の駆動によって変化させる雲台装置とを備えた撮像システムに関する。
特開2009−100300号公報
上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、パン方向への回転を停止した上で、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったことに応じては、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
このような構図合わせの完了後に、撮像画像の自動記録を行う。
ここで、上記特許文献1に記載の撮像システムは、少なくともデジタルスチルカメラと雲台とで構成でき、システム全体のサイズとしては可搬性を有する程度に十分に小型化できる。
このように十分に小型であれば、使用者により撮像システムの設置位置を自由に移動させるような使用法を採ることができる。
しかしながら従来においては、動作中の撮像システムの設定位置が移動されるような事態は想定しておらず、撮像システムが或る位置に設置された以降は、撮像停止指示が為されるまでその位置での自動撮像動作を継続するといった使用法しか許容されていなかった。
ここで、上記のように動作中に撮像システムが移動されることを想定していないということは、撮像システムとして提供できる機能を狭めているとも捉えることができ、その意味で、システムの有用性が低下していると考えることができる。
本発明は、例えば上述のような自動撮像動作を行う撮影システムについて、動作中に使用者によってその設置位置が移動された場合(新たな状況下に置かれると推定される場合)に適切な対応動作を行うという、従来よりもインテリジェントな、使用者にとってより有用となる撮像システムの実現化を図ることをその課題とする。
上記課題の解決のために、本発明では携帯型電子機器として以下のように構成することとした。
すなわち、可搬性を有する携帯型電子機器であって、当該携帯型電子機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別し、その判別結果に基づき、撮像を行う撮像部による視野を変化させながら上記撮像部により得られる撮像画像から被写体を検出する被写体検出部による被写体検出を実行させて被写体の探索を実行させる制御部を備えるものである。
上記本発明によれば、上記静置状態からの移動が生じたか否かの判別結果、つまりは機器が新たな状況下におかれると推定されるか否かの判別結果に基づいて、対応する所定動作が実行されるようにできる。
本発明によれば、機器の静置状態からの移動が生じたか否かの判別結果に基づき対応する所定の制御を行うようにしたことで、上記機器が新たな状況下におかれる場合に対応して適切な対応動作を行うことができる。つまりこの点で、従来よりもインテリジェントな、使用者にとってより有用となる撮像システムの実現化を図ることができる。
実施の形態としての携帯型電子機器(撮像システム)の構成要素であるデジタルスチルカメラの外観を正面図及び背面図により簡単に示した図である。 実施の形態としての携帯型電子機器(撮像システム)の構成要素である雲台の外観例を示す斜視図である。 雲台にデジタルスチルカメラが取り付けられて形成された実施の形態としての携帯型電子機器(撮像システム)の形態例を示す正面図である。 雲台にデジタルスチルカメラが取り付けられて形成された実施の形態としての携帯型電子機器(撮像システム)の形態例を、パン方向における動きの態様例とともに示す平面図である。 雲台にデジタルスチルカメラが取り付けられて形成された実施の形態としての携帯型電子機器(撮像システム)の形態例を、チルト方向における動きの態様例とともに示す側面図である。 第1の実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。 雲台の内部構成例を示すブロック図である。 静置/持ち上げ検出部の構成例について説明するための図である。 信号処理部により実現される機能動作をブロック化して示した図である。 自動構図合わせによる自動撮像動作の流れについて説明するためのフローチャートである。 第1の実施の形態としての動作を模式化して示した図である。 第1の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。 ロータリエンコーダについてのパルスカウント値の0リセット処理によりパン角度の原点が再設定されることについて説明するための図である。 第2の実施の形態の動作として、パン角度原点再設定処理を再静置されたタイミングで実行する場合の具体的な処理の手順を示したフローチャートである。 第2の実施の形態の動作として、パン角度原点再設定処理を静置状態からの移動が生じたタイミングで実行する場合の具体的な処理の手順を示したフローチャートである。 第3の実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。 第3の実施の形態としての動作を模式化して示した図である。 第3の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。 信号処理部により実現される機能動作をブロック化して示した図である。 第4の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。 第5の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。
以下、本願発明を実施するための形態(以下、実施の形態という)について、下記の順序で説明する。

<1.撮像システムの構成>
[1-1.システム全体構成]
[1-2.デジタルスチルカメラ]
[1-3.雲台]
[1-4.自動構図合わせによる自動撮像動作について]
<2.第1の実施の形態(移動に応じて被写体探索を実行)>
[2-1.具体的な動作例]
[2-2.処理手順]
<3.第2の実施の形態(移動に応じてパン角度の原点再設定を行う)>
[3-1.具体的な動作例]
[3-2.処理手順]
<4.第3の実施の形態(垂直移動方向に応じた被写体探索開始範囲の制御)>
[4-1.システム構成及び具体的な動作例]
[4-2.処理手順]
<5.第4の実施の形態(移動量に応じたズーム角制御)>
[5-1.具体的な動作例]
[5-2.処理手順]
<6.第5の実施の形態(移動先状況に応じた撮像モード設定制御)>
[6-1.具体的な動作例]
[6-2.処理手順]
<7.変形例>
なお、以下の説明においては、「画枠」「画角」「撮像視野」「撮像視野選択角」「構図」なる語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。厳密には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされるが、ここでは像面サイズは固定であり、焦点距離に対応して変化する要素を画角と呼ぶ。以降において、画角の値については、焦点距離(例えば35mm換算)により表す場合がある。
「撮像視野」は、撮像光学系による視野を表し、上記の画枠によって切り取られる範囲に相当するものである。
「撮像視野選択角」は、撮像装置の周囲の風景からどの部分を切り取るかを決定付ける要素を角度で表したものであり、ここでは、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における振り角度(仰角、俯角)とにより決まるものをいう。
「構図」は、フレーミングともいわれるもので、上記の撮像視野選択角の設定、すなわちこの場合はパン・チルト角度と画角(ズーム)との設定により決まるものをいう。
ここで、本実施の形態では、本発明の携帯型電子機器が、デジタルスチルカメラと、このデジタルスチルカメラを着脱可能に保持する雲台とを備えて成る撮像システムとして構成された場合を例に挙げることとする。
<1.撮像システムの構成>
[1-1.システム全体構成]

実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、図1(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モードにおいてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン31aに対する操作が行われると、そのタイミングでの撮像画像が、静止画の画像データとして記録媒体に記録される。つまり、写真撮影が行われる。
また、デジタルスチルカメラ1は、図1(b)に示すようにして、その背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
なお、本実施の形態のデジタルスチルカメラ1は、表示画面部33aに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部33aに対して指を当てることによって、しかるべき操作を行うことができる。
図2は、雲台10の外観を示す斜視図である。また、図3〜図5は、本実施の形態の自動撮像システムの外観として、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図(特に図5(b)では側面図によりチルト機構の可動範囲を示している)である。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
雲台10にデジタルスチルカメラ1を取り付けようとするときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に対して置くようにする。図2に示されるようにして、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
また、例えば雲台10に対してデジタルスチルカメラ1が載置された状態では、雲台10からデジタルスチルカメラ1に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ1にて再生している画像などの映像信号を雲台10側にも伝送し、雲台10からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台10について、単に、デジタルスチルカメラ1の撮像視野選択角を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野選択角を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野選択角を変化させることができる。つまりチルティングの動作が得られる。
[1-2.デジタルスチルカメラ]

図6は、デジタルスチルカメラ1の実際的な内部構成例を示したブロック図である。
この図6において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24は、DSP(Digital Signal Processor)で構成され、上記A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
例えば信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成する。
また、本実施の形態の場合、信号処理部24は、このようにして取得した撮像画像データを利用して、後述するように、被写体検出処理としての画像処理を実行可能に構成されるが、この点については後に改めて説明する。
ここで、上記のようにして信号処理部24にて生成した撮像画像データを画像情報として記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。
また、デジタルスチルカメラ1は、上記信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部24においては、先の説明のようにしてA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。これにより、スルー画の表示が行われる。
表示ドライバ32は、上記のようにして信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33においては、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力するようにされる。これにより、表示部33においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
ここで、本実施の形態の場合、制御部27は、撮像視野を変化させながら上記信号処理部24による被写体検出を実行させてデジタルスチルカメラ1周囲の被写体を探索する被写体探索、該被写体探索に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、該最適構図判定により求まった最適とされる構図を目標構図とした構図合わせ、及び該構図合わせ後の撮像画像の自動記録、が実現されるようにするための制御・処理を行うが、これについては後述する。
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して上記制御部27に出力する操作情報信号出力部位とを一括して示している。制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ1が雲台10に対して取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
[1-3.雲台]

図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として図中のパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部53、チルト機構部56の動きをコントロールする。例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部34と同様にして、相手側通信部との通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
また、本実施の形態の場合、雲台10には、静置/持ち上げ検出部59が備えられる。
この静置/持ち上げ検出部59は、雲台10にデジタルスチルカメラ1が取り付けられて成る撮像システム(携帯型電子機器)が静置状態(接地し且つ不動の状態)にある場合と持ち上げられた(つまり移動された)状態にある場合とで、その出力信号が変化するように構成される。すなわちこれにより、撮像システムが静置状態にあるか、移動状態にあるかを検出可能とされている。
図8は、雲台10が備える静置/持ち上げ検出部59の具体的な構成例について説明するための図であり、図8(a)は静置状態にあるときの静置/持ち上げ検出部59の様子を模式的に示し、図8(b)は持ち上げ状態にあるときの静置/持ち上げ検出部59の様子を模式的に示している。
この図8に示されるように、本例の場合の静置/持ち上げ検出部59は、図8(a)に示す静置状態に対応してON、図8(b)に示す持ち上げ状態に対応してはOFFとなるメカニカルスイッチ(メカスイッチ)を備えて構成される。
具体的に、この場合の雲台10は、静置状態から持ち上げ状態に変化したときに、本体部11に対しパン回転軸を介して接続された接地台部15が、当該接地台部15の自重により下方向へ下がる(本体部11から離間する)ように構成されている(図8(a)→図8(b)の遷移)。
その上で、この場合の静置/持ち上げ検出部59としては本体部11側に設けられると共に、そのメカスイッチが、棒状体の押し上げ/押し下げに応じてON/OFFするように構成されている。具体的には、図8(a)に示す静置状態(本体部11と接地台部15との離間距離が小の状態)では上記棒状体が接地台部15によって押し上げられてメカスイッチがONとなり、一方で図8(b)に示す持ち上げ状態では、本体部11(静置/持ち上げ検出部59)と接地台部15との離間距が大となることに応じて、上記棒状体に対する接地台部15による押し上げ状態が解除されて、上記棒状体が少なくともその自重によって下方向に押し下げられた状態となり、メカスイッチがOFFとなるようにされている。
ここで、持ち上げ状態に対応してメカスイッチが確実にOFF状態となるように、上記棒状体はバネなどの弾性体により下方向に付勢されるようにしておくことが望ましい。
なお、メカスイッチを利用して撮像システムの静置/持ち上げを検出するための具体的な構成については、図8に示したものに限定されるべきものではなく、もちろん他の構成を採ることもできる。
例えば、図8では、棒状体の押し上げ/押し下げに応じてON/OFFするメカスイッチを採用した構成を例示したが、接地台部15との接触/非接触に応じてON/OFFするようなメカスイッチを採用するなどといったこともできる。
図7に示されるようにして、上記静置/持ち上げ検出部59による検出信号は、制御部51に対して供給される。
[1-4.自動構図合わせによる自動撮像動作について]

ここで、本実施の形態の撮像システムは、先に述べた被写体探索、最適構図判定、構図合わせの各動作により、上記被写体探索に伴い検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行うものとされる。
以下、このような自動構図合わせ動作を伴う自動撮像動作の具体的な内容について説明しておく。
先ず、上記のような自動構図合わせを行うにあたっては、図6に示した信号処理部24による被写体検出結果を利用することになる。
信号処理部24は、被写体検出処理として、以下のような処理を実行する。
すなわち信号処理部24は、先に説明したようにして取得した1枚の静止画に相当する画像信号データから、人物の顔に相当する画像部分を検出する。具体的に、本例の場合における被写体検出処理では、いわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置などの情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
また、信号処理部24は、上記のような被写体検出処理を、1枚の静止画に相当する画像信号データごと(つまり1フレームごと)など、予め定められた所定のフレーム数ごとに実行するようにされている。
ここで、先に述べたように、本例の場合の信号処理部24はDSPにより構成され、上記のような被写体検出処理は、当該DSPとしての信号処理部24に対するプログラミングにより実現される。
図9は、このような信号処理部24に対するプログラミングにより実現される機能動作をブロック化して示している。この図9に示されるように、この場合の信号処理部24としては、上記により説明した被写体検出処理としての動作を実行する被写体検出機能部24Aを有しているものとして表すことができる。
図10は、上記のような被写体検出処理の結果を用いて行われる、自動構図合わせによる自動撮像動作の大まかな流れを表すフローチャートを示している。
自動構図合わせを行うにあたっては、上記のような被写体検出処理による検出情報を利用して、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う(図中のステップS1)。
具体的に、この被写体探索としては、デジタルスチルカメラ1における制御部27が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行うことによって、撮像視野選択角を変化させながら、信号処理部24による被写体検出を実行させることで行う。
このような被写体探索処理は、信号処理部24による被写体検出処理により画枠内に被写体が検出された状態が得られたことに応じて終了する。
被写体探索処理が終了した後、制御部27は、最適構図判定処理を行う(S2)。具体的には、信号処理部24による被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。ここで、先の説明からも理解されるように、この場合の構図は、パン・チルト・ズームの各撮像視野選択角によって決定づけられるものであり、従って当該最適構図判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適とされるパン・チルト・ズームの各撮像視野選択角の情報が得られるものとなる。
上記のような最適構図判定処理を実行した後、制御部27は、構図合わせ制御を行う(S3)。すなわち、最適構図を目標構図としたパン・チルト・ズーム制御を行う。
具体的に制御部27は、当該構図合わせ制御として、上記最適構図判定処理により求まったパン・チルトの各撮像視野選択角の情報を雲台10側の制御部51に指示する。
これに応じて上記制御部51は、指示されたパン・チルトの各撮像視野選択角が得られる撮像方向にデジタルスチルカメラ1を向かせるための、パン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用モータ54に対するパン制御信号の供給、チルト用モータ57に対するチルト制御信号の供給を行う。
また、制御部27は、上記最適構図判定処理により求まったズームについての撮像視野選択角の情報(つまり画角の情報)を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
そして、制御部27は、上記構図合わせ制御に基づく構図合わせ動作が完了し、上記最適とされる構図が得られたとされた場合において、レリーズタイミング判定処理を行う(S4)。
ここで、本例においては、最適構図が得られたことに応じて直ちにレリーズを行うものとはせず、例えば被写体が笑顔などの所定の状態となることを最終条件としてレリーズを行うものとしている。このような最終条件の成立有無を判定するのが、上記レリーズタイミング判定処理となる。
上記レリーズタイミング判定処理によって上記最終条件(レリーズ条件)が成立したとされた場合は、ステップS5によるレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データのメモリカード40への記録を実行させる。
以上のようにして本実施の形態の撮像システムでは、制御部27による制御・処理に基づき、自動構図合わせによる自動撮像動作が実現されるようになっている。
なお、図10では説明の簡略化のため図示は省略したが、例えば構図合わせ中に被写体が検出されなくなったなどの理由で、ステップS3による構図合わせに失敗する場合がある。その場合には、ステップS1による被写体探索からやり直すことになる。
同様に、ステップS4によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合にも、ステップS1による被写体探索からやり直すことになる。なお通常、レリーズタイミング判定処理は、所定時間内に上記の笑顔などのレリーズ条件が成立するか否かを判定する処理となる。
<2.第1の実施の形態(移動に応じて被写体探索を実行)>
[2-1.具体的な動作例]

ここで、上記により説明した本実施の形態としての撮像システム(携帯型電子機器)において、パン・チルト駆動を可能とするための構成(この場合は雲台10)は、可搬性を有する程度に十分に小型に形成することができ、従ってデジタルスチルカメラ1を含む撮像システム全体としても、可搬性を有する程度に十分に小型なものとできる。
このように可搬性を有する撮像システムについては、使用者によりその設置位置が移動されることが想定され得る。具体的に、上記のような自動撮像動作を行う撮像システムについては、その設置位置を遠ざけていわゆる引きの構図による自動撮像動作を実行させたり、或いは異なる撮像角度からの自動撮像を実行させたりといった使用法を採ることなどが考えられる。
但し、使用者により撮像システムが移動された場合は、画枠内に映し出される被写体の態様(例えば被写体数や被写体サイズなど)に変化が生じる可能性がある。
例えば、先の図10に示した最適構図判定(S2)や構図合わせ(S3)中に撮像システムの設置位置が移動されてしまった場合を想定してみると、その場合は、画枠内の被写体の態様が変化したにも関わらず、移動前の被写体の態様に応じた最適構図判定や構図合わせが実行されてしまうことになる。
このことからも理解されるように、使用者により撮像システムの設置位置が移動された場合には、画枠内に映し出される被写体の態様に変化が生じたとして、何らかの対応動作を行うことが望ましいものとなる。
しかしながら先に挙げた特許文献1などに記載の従来の撮像システムでは、自動撮像動作中において使用者によりシステム設置位置が移動されること自体想定はしていなかった(許容していなかった)ため、使用者によりシステムの設置位置が移動された際に、適切な対応動作を実行することができなかった。
つまり具体的に言えば、使用者は自動撮像動作中にて撮像システムの設置位置を移動させることで例えば異なるアングルなどによる自動撮像を実行させることを望んでいるのに対し、それに対応した適切な動作を実行することができないなどといった問題が生じる。
このようにして従来の撮像システムは、自動撮像動作中において使用者による設置位置の移動が為された場合に応じた適切な対応動作を実行することができない、ひいては自動撮像動作中に設置位置を自由に移動するといった使用法を許容できていないという意味で、インテリジェントさに欠け、使用者にとっての有用性に欠くものであると言うことができる。
そこで第1の実施の形態では、先に説明したような静置/持ち上げ検出部59を設けることで静置状態/持ち上げ状態(移動状態)の検出を可能とした上で、静置状態からの移動が生じたか否かの判別結果に基づき、被写体探索を実行するものとしている。
図11は、第1の実施の形態としての具体的な動作を模式化して示した図である。
先ず、図中の左側において示すように、デジタルスチルカメラ1と雲台10とから成る撮像システムが静置状態から持ち上げられた場合(静置/持ち上げ検出部59の検出信号がONからOFFに変化した場合)は、撮像システムの移動が開始されたものと見なすことができる。
そして、このように静置状態からの移動が検出された以降において、図中の右側に示すように撮像システムが再度静置状態に戻った場合(静置/持ち上げ検出部59の検出信号がOFFからONに変化した場合)、撮像システムは、移動前とは異なる状況下におかれたものと見なすことができる。
従ってこのことに応じては、図示するように撮像状況が移動前とは異なったとして、被写体探索を開始するものとする。
このようにして第1の実施の形態では、静置状態からの移動が検出され且つその後に再度静置状態に戻ったことが検出されたことに応じて、被写体探索を実行するものとしている。すなわち、自動撮像動作の実行中であっても、静置状態からの移動が検出され且つその後に再度静置状態に戻ったことが検出された場合(つまり撮像状況が異なったと見なされる場合)には、そのことに応じて、被写体探索からやり直すことができるものである。
このような第1の実施の形態によれば、自動撮像動作中の設置位置の移動に応じた適切な対応動作を行うことのできる撮像システムを実現することができる。換言すれば、自動撮像動作中において使用者が撮像システムを自由に移動するといった使用法を許容することのできる、従来よりもインテリジェントで且つ使用者にとってより有用となる撮像システムを実現化できる。
[2-2.処理手順]

図12は、上記により説明した第1の実施の形態としての動作を実現するための具体的な処理の手順を示したフローチャートである。
なお、この図12のフローチャートにおいて、「カメラ」として示す処理は、図6に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表している。また「雲台」として示す処理は、図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
図12において、先ず雲台側では、図中のステップS101の処理により検出信号がOFFとなるまで待機するようにされる。すなわち、図7(及び図8)に示した持ち上げ検出部59からの検出信号がOFFに変化したか否かの判別処理を、上記検出信号がOFFに変化したとの判別結果が得られるまで繰り返し行うものである。
このステップS101において、上記検出信号がOFFに変化したとの肯定結果が得られた場合は、ステップS102に処理を進める。
ステップS102においては、カメラ側(制御部27側)に対して持ち上げ通知を行う。
そして、続くステップS103では、検出信号がONに変化するまで待機するようにされる。すなわち、持ち上げ検出部59からの検出信号がONに変化したか否かの判別処理を、上記検出信号がONに変化したとの判別結果が得られるまで繰り返し行う。
上記ステップS103において、上記検出信号がONに変化したとの肯定結果が得られた場合は、ステップS104において、カメラ側に対して静置通知を行う。
雲台側では、当該ステップS104の処理を実行した後、図示するように「RETURN」となる。
カメラ側では、図中のステップS201の処理によって、上述したステップS102による雲台側からの持ち上げ通知が為されるまで待機するようにされる。
そして、ステップS201において、上記持ち上げ通知があったとして肯定結果が得られた場合は、ステップS202に進んで、先のステップS104の処理により雲台側からの静置通知が為されるまで待機する。
上記ステップS202において、上記静置通知が為されたとして肯定結果が得られた場合は、ステップS203において、被写体探索を開始するための処理を実行する。具体的には、制御部51に対するパン指示を行ってパン機構部53によるパン動作を開始させると共に、信号処理部24に対し被写体検出処理の開始指示を行う。
カメラ側では、当該ステップS203の処理を実行した後、図示するように「RETURN」となる。
<3.第2の実施の形態(移動に応じてパン角度の原点再設定を行う)>
[3-1.具体的な動作例]

続いて、第2の実施の形態について説明する。
第2の実施の形態は、撮像システムの静置状態からの移動が生じたか否かの判別結果に基づき、パン角度の原点再設定を行うものである。
なお、第2の実施の形態において、撮像システムの構成は第1の実施の形態の場合と同様となるので、改めての図示による説明は省略する。
ここで、パン機構を駆使した自動構図合わせによる自動撮像動作を行う撮像システムに関して、特許文献1などに記載される従来の撮像システムでは、図7に示したロータリエンコーダ53aとしていわゆるインクリメンタル方式に対応したロータリエンコーダを用いるようにされる関係から、パン回転軸の機械的な絶対位置(絶対0°位置)を検出する処理を行うようにされている。換言すれば、従来の撮像システムでは、機械的に定めた或る基準位置が、常にパン角度の0°位置(原点)となるようにすべく、例えば電源ON時などの初期化時には、先ずは上記機械的な絶対0°位置を検出した上で(つまりパン回転軸の回転角度を上記絶対0°位置に合わせた上で)、ロータリエンコーダ53aの出力パルスについてのカウント値を0リセットするという、いわゆるイニシャル処理を実行するようにされている。
なお、自動構図合わせによる自動撮像動作を行うシステムにおいて、上記絶対0°位置は、例えば被写体探索時の基準角度位置とされるものとなる。すなわち、被写体探索時には、上記絶対0°位置を基準として±x°の範囲でパン角度を変化させつつ被写体検出を実行することになる。
ここで、動作中の撮像システムの設置位置を自由に移動させる使用法を想定した場合において、使用者が撮像システムを移動させて他の位置に設置し直すときは、デジタルスチルカメラ1のレンズ部21aが向く方向を正面(0°)として自動撮像動作を実行させることを意図していると考えるのが順当である。
しかしながら、上記のように機械的な絶対0°位置を定める従来手法に従うとすると、システムの移動が生じた場合に対応しては、上記のイニシャル処理が行われてしまうものとなり、これに伴っては、上記レンズ部21aの向く方向が上記機械的な絶対0°位置に強制的に調整されてしまうことになる。換言すれば、上記従来手法に従った場合、レンズ部21aの向く方向が必ずしも上記正面としての0°方向と一致するものとはならなくなってしまい、結果として、上記使用者の意図に沿うことができず、その意味でインテリジェントさに欠け、使用者にとっての有用性に欠くシステムとなってしまう。
また、使用者が撮像システムを移動させて設置し直したとき、当該使用者は、レンズ部21aの向く方向を正面とした自動撮像動作を直ちに実行させたいと意図していると考えられるが、上記のようにして撮像システムの移動に応じてイニシャル処理(特に機械的な絶対0°位置の検出処理)が行われてしまうと、上記のように意図した方向を正面に設定できない上に、さらに無駄なパン駆動処理が介在してしまうこととなって、その分、自動撮像動作の再開までにユーザを待たせてしまうことになる。
そこで第2の実施の形態では、撮像システムの静置状態からの移動が生じたか否かの判別結果に基づき、パン角度の原点再設定処理を行う。
ここで、パン角度の原点再設定処理とは、ロータリエンコーダ53aが出力するパルスについてのカウント値を0リセットする処理を意味する。
図13は、このようなロータリエンコーダ53aについてのパルスカウント値の0リセット処理によりパン角度の原点(0°)が再設定されることについて説明するための図である。
先ず図13(a)では、デジタルスチルカメラ1が有するレンズ部21aの向く方向であるレンズ方向(撮像方向)DLが、メカニカルな原点位置(機械的な絶対0°位置)PPに対して一致している状態を示している。
また図13(b)では、レンズ方向DLに一致する角度位置である撮像角度位置LPが、メカニカルな原点位置PPに一致していない状態を示している。先に説明した自動構図合わせによる自動撮像動作が開始された以降においては、この図13(b)に示す状態となっている可能性が高い。
ここで、インクリメンタル方式では、ロータリエンコーダ53aの出力パルス数をカウントして得られるパルスカウント値が回転角度量(の絶対値)を表すものとなる。つまりこのことからも理解されるように、上記パルスカウント値を0リセットすれば、パン方向の原点再設定を行うことができる。具体的に言うと、このようなパルスカウント値の0リセットを行うものとすれば、当該0リセットを行った時点でレンズ部21aが向く方向を、パン角度の原点(0°位置)に設定することができるものである。
第2の実施の形態では、撮像システムの静置状態からの移動が生じたか否かの判別結果に基づき、上記のようなロータリエンコーダ53aについてのパルスカウント値の0リセット処理を行って、パン角度の原点を再設定する。
具体的に、第2の実施の形態では、静置/持ち上げ検出部59による検出信号に基づき、以下のような動作を行う。
つまり、上記静置/持ち上げ検出部59による検出信号がOFFに変化して撮像システムの静置状態からの移動が発生したとされたことに応じて、先ずは、パン駆動の停止処理を行う。
このようにパン駆動の停止処理を行うことで、上記静置状態からの移動が生じる直前にパン駆動が行われていた場合に対応して、当該パン駆動が移動中に継続して行われてしまわないようにできる。
なお、移動が生じる直前の状態としては、チルト駆動が行われている場合も想定され得る。従って、静置状態からの移動が発生したことに応じては、実際にはチルト駆動の停止処理も行うようにする。
何れにせよ、撮像システムが持ち上げられて移動される最中にパン・チルトなどの可動機構の駆動が継続して行われてしまう状態は好ましくなく、従って静置状態からの移動が発生したことに応じては、可動機構の駆動の停止指示を行う。
またこれと共に、上記のように静置状態からの移動が生じたとされたことに応じては、静置/持ち上げ検出部59による検出信号がONに変化したか否か(つまり移動状態から再度静置状態に戻されたか否か)の判別も行う。
そして、当該判別により、静置/持ち上げ検出部59による検出信号がONに変化したとの判別結果が得られたことに応じては、パン角度の原点再設定処理として、上記パルスカウント値を0リセットする処理を行う。
上記のような動作とすることで、システムの設置位置が移動されたことに応じて、移動後にレンズ部21aが向く方向を正面としての0°位置にセットすることができる。
ここで、本例においては、上記のようにして撮像システムの静置状態からの移動が生じたとされたことに応じては、先ず、パン駆動停止処理を行うものとしている。つまりこれにより、移動中におけるパン駆動が行われないように図られている。
この点を踏まえると、上記パルスカウント値を0リセットするタイミングとしては、上述のように撮像システムが移動状態から再静置されたタイミングとしても、静置状態からの移動が生じたタイミングとしても、同様の結果が得られることに気づく。すなわち、これら何れのタイミングとしても、移動後にレンズ部21aが向く方向が正面(0°)となるようにできる点に変わりはない。
このように第2の実施の形態の動作として、上述のように静置状態からの移動が生じたことに応じてパン駆動停止処理を行うとした場合には、再静置されたタイミングでパルスカウント値を0リセットする手法と、移動が生じたタイミングでパルスカウント値を0リセットする手法との双方を採ることが可能となる。
上記のようにして第2の実施の形態によれば、撮像システムの設置位置が移動される場合に対応して、レンズ部21aが向く方向が正面となるようにしてパン角度の原点を再設定することができる。
この結果、上記第2の実施の形態によれば、使用者がシステムの設置位置を移動させるときの意図に応じた適正な対応動作を行うことができ、また同時に、動作中の撮像システムを自由に移動する使用法を許容することができる。
この結果、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化できる。
[3-2.処理手順]

図14、図15のフローチャートは、上記により説明した第2の実施の形態としての動作を実現するための具体的な処理の手順を示している。
図14は、パン角度原点再設定処理を撮像システムが再静置されたタイミングで実行する場合の処理の手順を、また図15はパン角度原点再設定処理を撮像システムの静置状態からの移動が生じたタイミングで実行する場合の処理の手順を示している。
なお、これら図14、図15に示す処理は、図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行するものである。
先ず図14において、ステップS301においては、静置/持ち上げ検出部59からの検出信号がOFFに変化するまで待機するようにされる。
そしてステップS301において、上記検出信号がOFFに変化したとして肯定結果が得られた場合は、ステップS302において、パン停止指示を行う。すなわち、図7に示したパン用駆動部55に対しパン用モータ54の駆動を強制停止させるための指示を行うものである。
続くステップS303においては、静置/持ち上げ検出部59からの検出信号がONに変化するまで待機するようにされる。
そしてステップS303において、上記検出信号がONに変化したとして肯定結果が得られた場合は、ステップS304において、パン角度原点再設定処理を実行する。すなわち、ロータリエンコーダ53aの出力パルスについてのカウント値を0リセットする処理を実行する。
当該ステップS304の処理を実行した後は、図示するように「RETURN」となる。
また、図15に示す、パン角度原点再設定処理を撮像システムの静置状態からの移動が生じたタイミングで実行する場合の処理手順としては、図14に示した処理手順におけるステップS303の処理が省略されたものとなる。
具体的にこの場合は、ステップS302によるパン停止指示を行った後に、ステップS304において、パン角度原点再設定処理を実行するものである。
<4.第3の実施の形態(垂直移動方向に応じた被写体探索開始範囲の制御)>
[4-1.システム構成及び具体的な動作例]

続いて、第3の実施の形態について説明する。
第3の実施の形態は、第1の実施の形態のように撮像システムの設置位置の移動に応じて被写体探索を開始するという対応動作を行う場合において、撮像システムの垂直方向における移動方向(垂直移動方向)に応じて上記被写体探索の開始範囲を制御するものである。
図16は、第3の実施の形態としての撮像システムが備えるデジタルスチルカメラ45の内部構成を示したブロック図である。
この図16と先の図6とを比較して分かるように、第3の実施の形態のデジタルスチルカメラ45は、第1の実施の形態のデジタルスチルカメラ1に対して、ジャイロセンサ35が追加されたものとなっている。
上記ジャイロセンサ35は、少なくとも1軸のジャイロセンサとされ、垂直方向(デジタルスチルカメラ45の縦方向)と一致する方向における加速度を検出できるようにしてその設置方向が調整されてデジタルスチルカメラ45に設けられる。
当該ジャイロセンサ35による検出信号は制御部27に対して供給される。
なお、第3の実施の形態においても雲台10の構成は第1の実施の形態の場合と同様であり、改めての図示による説明は省略する。
図17は、第3の実施の形態としての動作を模式化して示している。
先ず図17(a)は、雲台10に対してデジタルスチルカメラ45が取り付けられた撮像システムが、或る接地面GRに対して静置された状態を示している。
この図17(a)に示す静置状態から撮像システムが持ち上げられ、図17(b)に示すように上記接地面GRよりも高い接地面GR-Uに静置されたとする。
このように撮像システムの設置位置がより高い位置へと移動されたことに応じては、図示するように下方側からの探索を開始する。
一方で、図17(a)に示す静置状態から図17(c)に示すように上記接地面GRよりも低い接地面GR-Lに撮像システムが静置されたことに応じては、図示するように上方側からの探索を開始する。
ここで、被写体探索としては、いわゆる王字サーチとして、パン駆動を行いつつ被写体検出を行うというサーチ動作(探索動作)を、チルト角を逐次変えながら行う場合がある。
具体的に王字サーチは、或るパン角度範囲(例えば0°を起点として±90°など)についてのサーチ動作を1つのサーチ動作とし、該サーチ動作を、それぞれ異なるチルト角を設定して複数回行うものである。より具体的には、第1のチルト角設定状態でのサーチ動作、第2のチルト角設定状態でのサーチ動作、第3のチルト角設定状態でのサーチ動作を順次行うというものである。
このような王字サーチによる被写体探索を行う場合において、従来では、サーチを開始するチルト角度(上記複数のサーチ動作のうち初回のサーチ動作時に設定されるチルト角度)は或る角度で固定とされていた。換言すれば、常時下方側又は上方側からの探索動作を開始するようにされていたものである。
例えば、常時下方側からの探索動作を開始する王字サーチが採用される場合には、図17(c)に示されるように下方側への移動が為された場合に、被写体の映し出される可能性の低い下方側からの探索動作が開始されてしまうことになる。
逆に、常時上方側からの探索動作を開始する王字サーチが採用される場合には、図17(b)に示されるように上方側への移動が為された場合に、被写体の映し出される可能性の低い上方側からの探索動作が開始されてしまうこととなる。
このようにしてサーチを開始するチルト角度を固定とする従来手法によっては、撮像システムの設置位置が垂直方向に移動された場合に効率的に被写体を探索することができない虞があり、その意味で、インテリジェントさに欠くものとなり、使用者にとっての有用性を欠くものとなってしまう。
そこで第3の実施の形態では、上方又は下方の何れかとなる垂直移動方向における設置位置の移動に関して、上方への設置位置の移動が生じた場合には図17(b)のようにチルト角を下方側に振って下方側からの探索動作を開始するものとし、逆に下方への設置位置の移動が生じた場合には図17(c)に示すようにチルト角を上方側に振って上方側からの探索動作を開始する。
このような第3の実施の形態としての動作によれば、第1の実施の形態として説明したように設置位置の移動に応じて被写体探索を実行する手法を採る場合において、撮像システムの設置位置が垂直方向に変化しても効率的に被写体の探索を行うことができ、結果、従来よりもインテリジェントで且つ使用者にとっての有用となる撮像システムを実現化できる。
[4-2.処理手順]

図18は、上記により説明した第3の実施の形態としての動作を実現するための具体的な処理の手順を示している。
なお、この図18のフローチャートにおいて、「カメラ」として示す処理は、図16に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表し、また「雲台」として示す処理は、図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
また、この図18においては、第1の実施の形態にて説明したものと同内容となる処理については同一符号を付している。
先ず、この図18と先の図12とを比較して分かるように、雲台側の処理としては、第1の実施の形態の場合と同様となる。
この場合は、カメラ側の処理として、ステップS201とS202との間にステップS401の処理が挿入され、且つステップS203に代えてステップS402以降の処理が実行される点が第1の実施の形態の場合とは異なる。
具体的に、この場合のカメラ側の処理としては、ステップS201において雲台側からの持ち上げ通知が為されたとの肯定結果が得られた場合に、ステップS401において、垂直移動方向推定処理を開始する。
ここで、垂直移動方向の推定処理としては、例えばジャイロセンサ35からの検出信号の波形パターンについて、上方向への移動時に特徴的となる波形パターンと下方向への移動時に特徴的となる波形パターンとを予め実験を行った結果から定めておき、それらとのマッチングをとることで行う。
このような手法を採る場合において、上記ステップS401の処理としては、具体的にはジャイロセンサ35からの検出信号のサンプリングを開始する処理となる。
なお垂直移動方向を推定するための具体的な処理内容としては他にも多様に考えられ、上記による手法に限定されるべきものではない。
また、この場合のカメラ側の処理では、ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られた場合に、ステップS402において移動方向を判別する処理を実行する。
具体的に、上記により例示した垂直移動方向の推定処理を採用する場合、当該ステップS402の判別処理としては、ステップS401にてサンプリングを開始したジャイロセンサ35からの検出信号の波形パターンが、上記上方向への移動時に特徴的となる波形パターンと、上記下方向への移動時に特徴的となる波形パターンのうちの何れに該当するものであるかを判別する処理となる。
上記ステップS402において、例えば上記ステップS401にてサンプリングを開始したジャイロセンサ35からの検出信号の波形パターンが上記上方向への移動時に特徴的となる波形パターンに該当するものであるとの判別結果が得られて、移動方向が上方であるとの判別結果が得られた場合は、ステップS403に進み、下方側から探索を開始するための処理を実行する。
具体的には、チルト角が下方側に振られた状態(所定チルト角よりも下向きとなるチルト角が設定された状態)にて、パン駆動を行いつつ被写体検出を行うという探索動作が実行されるように、雲台10側の制御部51に対するチルト指示・パン指示、及び信号処理部24に対する被写体検出処理の開始指示を行う。
一方、上記ステップS402において、例えば上記ステップS401にてサンプリングを開始したジャイロセンサ35からの検出信号の波形パターンが上記下方向への移動時に特徴的となる波形パターンに該当するものであるとの判別結果が得られて、移動方向が下方であるとの判別結果が得られた場合は、ステップS404に進み、上方側から探索を開始するための処理を実行する。
すなわち、チルト角が上方側に振られた状態(所定チルト角よりも上向きとなるチルト角が設定された状態)にて上記探索動作が実行されるように、雲台10側の制御部51に対するチルト指示・パン指示、及び信号処理部24に対する被写体検出処理の開始指示を行う。
上記ステップS403又はS404の処理を実行した後、図示するように「RETURN」となる。
<5.第4の実施の形態(移動量に応じたズーム角制御)>
[5-1.具体的な動作例]

第4の実施の形態は、移動量に応じたズーム角制御を行うものである。
ここで、第4の実施の形態において、撮像システムの構成は第1の実施の形態の場合と同様となる。但し、第4の実施の形態の場合、デジタルスチルカメラ1における信号処理部24は、図19に示されるように被写体検出機能部24Aと共に、移動量推定機能部24Bを備える。
すなわち、この場合の信号処理部24は、上記移動量推定機能部24Bとして表される機能動作として、撮像システムの静置状態からの移動が生じたときにその移動量を画像解析により推定する。
ここで、撮像システムが持ち上げられて移動される際には、撮像画像に全体的な動きが生じる。従って移動量の推定は、このような撮像画像に生じた動きを検出することで行うことができる。
具体的に本例では、撮像画像に生じた動きの速度と、該動きが生じた時間長とを検出し、これらの情報から移動量を推定するものとしている。
なお、画像解析により撮像システムの移動量を推定する手法としては上記手法に限定されるべきものではなく、もちろん他の手法を採ることもできる。
第4の実施の形態では、このように撮像システムが移動された際の移動量を検出(推定)可能とした上で、撮像システムが移動状態から静置状態に戻されたことに応じて、検出移動量に応じたズーム角制御を行う。
具体的に、この場合のズーム角制御としては、検出された移動量が小であるほどズーム角が拡大(焦点距離が短)傾向となり、逆に検出された移動量が大であるほどズーム角が縮小(焦点距離が長)傾向となるようにして行う。
なお、移動量−ズーム角の制御特性は線形、非線形の何れであってもよい。
ここで、従来の撮像システムは、使用者によりその設置位置を自由に移動する使用法を想定したものではなかったため、設置位置が移動されたとしても、特段のズーム角制御は行われないものとなる。
しかしながらこれによると、移動量が少ない場合も多い場合もズーム角に特段の変化はなく、結果として、撮像状況が変わった際にそれに対応した適切な動作を行うことができないものとなる。つまりこの意味でも、従来の撮像システムはインテリジェントさに欠け、使用者にとっての有用性を欠くものとなっている。
上記により説明した第4の実施の形態によれば、撮像システムの設置位置が移動された際には、その移動量に応じたズーム角が設定されるようにできる。つまり、撮像状況が変化した際にそれに応じた適切な対応動作を行うことができ、この点で、従来よりもインテリジェントで且つ使用者にとってより有用となる撮像システムを実現化できる。
[5-2.処理手順]

図20のフローチャートは、上記により説明した第4の実施の形態としての動作を実現するための具体的な処理の手順を示している。
なおこの場合も、「カメラ」として示す処理は図6に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表している。また「雲台」として示す処理は図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
また、この図20においても、第1の実施の形態にて説明したものと同内容となる処理については同一符号を付している。
この図20と先の図12とを比較して分かるように、この場合も雲台側の処理は第1の実施の形態の場合と同様となる。
この場合は、カメラ側の処理として、ステップS201とS202との間にステップS501の処理が挿入され、且つステップS203に代えてステップS502以降の処理が実行される点が第1の実施の形態の場合とは異なる。
この場合のカメラ側の処理としては、ステップS201において雲台側からの持ち上げ通知が為されたとの肯定結果が得られた場合に、ステップS501において、移動量推定処理の開始指示を行う。すなわち、信号処理部24に対して先に説明した移動量推定処理を開始させる指示を行う。
また、この場合のカメラ側では、ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られた場合に、ステップS502において信号処理部24に対し移動完了通知を行う。
この移動完了通知に応じて、信号処理部24は撮像画像の動きが生じた時間長を検出することができ、該時間長の情報と上記動きの速度との情報に基づく移動量の推定を行うことができる。
続くステップS503においては、移動量情報の取得処理を実行する。すなわち、上記ステップS502の移動完了通知に応じて信号処理部24により推定(検出)された移動量の情報を取得する。
そして、次のステップS504において、移動量に応じたズーム角指示処理を実行する。つまり、上記ステップS503にて取得した移動量の情報に応じたズーム角を図6に示した光学系部21に対して指示する。
当該ステップS504の処理を実行した後は図示するように「RETURN」となる。
ここで、第4の実施の形態では、撮像システムの移動が、被写体から遠ざかる方向に行われることを前提としたので、移動量が小であるほどズーム角が拡大傾向となり、移動量が大であるほどズーム角が縮小傾向となるようにして移動量に応じたズーム角制御を行う場合を例示したが、逆に撮像システムが被写体に対して近づく方向に移動された場合には、移動量に応じたズーム角制御の特性は上記とは逆特性となるようにすればよい。具体的には、移動量が小であるほどズーム角が縮小傾向となり、移動量が大であるほどズーム角が拡大傾向となるようにすればよい。
なおこのとき、撮像システムの移動が被写体に対して遠ざかる方向に対して行われたか、逆に近づく方向に対して行われたかの判定は、例えばジャイロセンサや方位センサなどを用いて行うことができる。この際、被写体の方向は、移動前におけるパン角度の情報から推定できるので、該移動前におけるパン角度と上記ジャイロセンサや方位センサなどにより検出した移動方向の情報とから、被写体を基準とした移動方向(遠ざかる方向/近づく方向)を判定できる。
このような被写体を基準とした移動方向の別についての判定結果に応じて、上記のズーム角制御特性を切り換えるようにする。これにより、撮像システムの移動が被写体に対して遠ざかる方向に対して行われた場合、及び近づく方向に対して行われた場合の双方に対応して、適切なズーム角制御を行うことができる。
<6.第5の実施の形態(移動先状況に応じた撮像モード設定制御)>
[6-1.具体的な動作例]

第5の実施の形態は、移動先の撮像状況に応じて撮像モードの設定制御を行うものである。
なお、第5の実施の形態の撮像システムについても、その構成については第1の実施の形態の場合と同様となるので改めての図示による説明は省略する。
具体的に、第5の実施の形態では、撮像システムが移動状態から再び静置状態に戻されたことに応じて、画枠内における被写体の数を検出し、その数が予め定められた所定数以上である場合に、集合写真モードを設定する。
ここで、上記集合写真モードは、画枠内に多くの被写体が映し出される場合に適した撮像モードであり、具体的に本例の場合は、少なくとも画枠内における多数の被写体にピントが合うようにすべく、絞り優先モードで且つ絞り値を大とする設定を行う。
このような第5の実施の形態によれば、撮像システムの設置位置が移動された際に、移動先の撮像状況に応じた適切な撮像モードの設定を行うことができるという、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化できる。
[6-2.処理手順]

図21のフローチャートは、上記により説明した第5の実施の形態としての動作を実現するための具体的な処理の手順を示している。
なおこの場合も、「カメラ」として示す処理は図6に示した制御部27が例えばROM28に格納されるプログラムに従って実行する処理を表している。また「雲台」として示す処理は図7に示した制御部51が例えば内部のROM等に格納されるプログラムに従って実行する処理を表している。
また、この図21においても第1の実施の形態にて説明したものと同内容となる処理については同一符号を付している。
この図21と先の図12とを比較して分かるように、この場合も雲台側の処理は第1の実施の形態の場合と同様となる。
この場合のカメラ側の処理としては、ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られた場合に、ステップS601以降の処理を実行する点が第1の実施の形態の場合とは異なる。
具体的にこの場合は、上記ステップS202において雲台側からの静置通知が為されたとの肯定結果が得られたことに応じ、ステップS601において、被写体検出情報の取得処理を実行する。すなわち、信号処理部24からの被写体検出情報の取得を行う。
そして、続くステップS602においては、上記のように取得した被写体検出情報に基づき、被写体数が所定以上であるか否かを判別する。
このステップS602において、被写体数が予め定められた所定の数以上ではないとして否定結果が得られた場合は、図示するようにして「RETURN」となる。
一方、上記ステップS602において、被写体数が上記所定の数以上であるとして肯定結果が得られた場合は、ステップS603に進み、集合写真モードの設定処理を行う。すなわち、本例の場合は、少なくとも絞り優先モードで且つ絞り値を大とする設定を行う。
当該ステップS603の処理を実行した後、図示するように「RETURN」となる。
<7.変形例>

以上、本発明の各実施の形態について説明したが、本発明としてはこれまでで説明した具体例に限定されるべきものではない。
例えば、静置状態からの移動が生じたことに応じた対応動作としては、各実施の形態で例示したものに限定されるべきものではなく、例えば以下のような変形例も可能である。
すなわち、当該変形例としては、静置状態からの移動が生じた後、再び静置状態に戻ったとの判別結果が得られたことに応じて、撮像画像の明るさ(例えば撮像画像の平均輝度)を検出し、該検出した明るさが予め定められた所定の明るさ以下(検出した平均輝度値が所定値以下)であるか否かを判別する。そしてこの結果、上記検出した明るさが上記所定の明るさ以下であるとされたことに応じて、撮像システムの電源をOFFとする。
当該変形例は、撮像システムが例えばカバンの中などにしまわれた場合に、それに対応して自動的に電源をOFFできるようにすることを意図したものとなる。
このような変形例によっても、撮像システムの静置状態からの移動が生じ、撮像システムが新たな状況下におかれる場合に対応して、該新たな状況に応じた適切な対応動作を行うことができ、その意味で、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化できる。
ここで、これまでの説明からも理解されるように、撮像システムが少なくとも静置状態→移動状態となった場合には、システムの設置位置が使用者により移動され、新たな状況下におかれると見なすことができる。
本発明は、このように静置状態からの移動が生じたか否かを判別した結果に基づき、対応する所定動作が行われるようにするものであればよく、それによって、従来よりもインテリジェントで且つ使用者にとって有用となる撮像システムを実現化することができる。
また、これまでの説明では、撮像システムの静置/持ち上げ検出は、システムの静置/持ち上げに応じてON/OFFするメカスイッチを利用した検出機構により行うものとしたが、静置/持ち上げ検出は、このようなメカスイッチを用いずに行うこともできる
例えば、画像解析によって撮像画像が全体的に上方向に流れたか否かを判定することによっても行うことができる。
或いは、少なくとも縦方向の加速度を検出するジャイロセンサを用いるものとし、該ジャイロセンサの検出信号の波形パターンと持ち上げ時に特有の波形パターンとのマッチングをとることで検出するなどといったこともできる。
なおこの点からも理解されるように、本発明における静置/移動検出手段としては、少なくとも、静置状態からの移動に応じてその出力信号が変化するように構成されたものであればよい。
また、これら画像解析やジャイロセンサを利用する手法など、メカスイッチに依らぬ静置/持ち上げ検出を行う際には、検出精度の向上のために、複数の手法を組み合わせた検出手法とするのが望ましい。具体的には、例えば複数の手法での検出結果が一致する場合にのみ静置、又は持ち上げの最終的な検出結果を得るようにすることで、検出精度の向上を図ることができる。
また、第3の実施の形態について、垂直移動方向の推定(検出)は、ジャイロセンサを用いて行うものとしたが、画像解析を利用して行うこともできる。一例としては、例えば移動中における撮像画像が全体的に上方向に流れたか下方向に流れたかの判定結果に基づき行うことができる。
或いは、例えば移動前・移動後で画枠内に同一物が映し出されていたとき、その移動前・移動後の画枠内での位置の関係から垂直移動方向を推定することもできる。
また、このような垂直移動方向の検出に関しても、1つの検出手法のみでなく、複数の検出手法を組み合わせたものとすることで検出精度の向上を図ることができる。
また、第4の実施の形態において、移動量の検出は画像解析により行うものとしたが、ジャイロセンサを用いて行うこともできる。一例としては、例えば静置→再静置の間の平均加速度から移動量を推定するなどといった手法を挙げることができる。
このような移動量の検出に関しても、1つの検出手法のみでなく複数の検出手法を組み合わせたものとすることで検出精度の向上を図ることができる。具体的にこの場合は、例えば複数の手法で検出した移動量の平均値を最終的な移動量として求めることで、検出精度の向上を図ることができる。
また、これまでの説明では、雲台側の制御部51が静置/持ち上げ検出部59からの検出信号に基づきカメラ側の制御部27に持ち上げ通知/静置通知を行い、制御部27がこれらの通知に応じて対応する制御、処理を実行するものとしたが、静置/持ち上げ検出部59からの検出信号を制御部27に入力し、制御部27が該検出信号に基づき持ち上げ/静置に応じた制御、処理を実行するように構成することもできる。
また、これまでの説明では、デジタルスチルカメラ1に対する操作入力がタッチパネルを利用して行われる場合を例示したが、例えば画面上にアイコンと方向指示操作に応じて移動するカーソルとを表示し、上記カーソルによる上記アイコンの指定操作によりユーザに各種の操作入力を行わせるといったユーザインタフェースを採用するなど、タッチパネルを利用したユーザインタフェース以外の他のユーザインタフェースを採用することもできる。
また、これまでの説明においてフローチャートに示したカメラ側の処理の少なくとも一部は、雲台側で行うようにすることもできる。但し、主立った被写体探索、構図判定、及び自動撮像記録のための制御機能を、デジタルスチルカメラ1側に設けることで、多様な機種のデジタルスチルカメラ1と雲台10とを組み合わせることが可能になって、汎用性という点では有利とできる。
また、これまでの説明では、本発明の携帯型電子機器が、撮像装置と雲台装置とが着脱可能に構成される場合(つまり別装置となり得る場合)を例示したが、もちろん、これら撮像装置と雲台装置とを着脱不能に一体的に形成した構成とすることもできる。
また、本発明に基づく構成における少なくとも一部は、CPUやDSPにプログラムを実行させることで実現できる。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USB(Universal Serial Bus)やIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールが行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することもできる。
1,45 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、14 コネクタ、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、35 ジャイロセンサ、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 静置/持ち上げ検出部

Claims (18)

  1. 可搬性を有する携帯型電子機器であって、
    当該携帯型電子機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別し、その判別結果に基づき、撮像を行う撮像部による視野を変化させながら上記撮像部により得られる撮像画像から被写体を検出する被写体検出部による被写体検出を実行させて被写体の探索を実行させる制御部を備える
    携帯型電子機器。
  2. 上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記携帯型電子機器が静置状態に戻されたか否かを判別し、該判別により上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記被写体の探索を実行させる
    請求項に記載の携帯型電子機器。
  3. 上記制御部は、
    上記携帯型電子機器が静置状態のときに接地する固定側部と、接地面に平行な面内における回転が可能となるようにして上記固定側部に対して取り付けられた可動側部とのうちの上記可動側部を回転駆動して上記可動側部のパン角度を変化させるパン駆動部に対する制御を行うように構成されると共に、
    上記静置状態からの移動が生じたか否かの判別結果に基づき、上記パン角度の原点再設定を行う
    請求項1に記載の携帯型電子機器。
  4. 上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記パン駆動部にパン停止指示を行う
    請求項に記載の携帯型電子機器。
  5. 上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記パン駆動部にパン停止指示を行うと共に上記静置/移動検出部からの入力信号に基づき上記携帯型電子機器が静置状態に戻されたか否かを判別し、該判別により上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記パン角度の原点再設定を行う
    請求項に記載の携帯型電子機器。
  6. 上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記パン駆動部にパン停止指示を行った上で上記パン角度の原点再設定を行う
    請求項に記載の携帯型電子機器。
  7. 上記制御部は、
    上記携帯型電子機器の接地面に対して垂直な軸を基準として傾斜自在となるように構成されたチルト駆動対象部を駆動するチルト駆動部に対する制御を行うように構成されると共に、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記携帯型電子機器が静置状態に戻されたか否かを判別し、
    該判別により上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記携帯型電子機器の垂直方向における移動方向を検出する垂直移動方向検出部による検出結果に基づくチルト角の設定が行われるように上記チルト駆動部を制御する
    請求項1に記載の携帯型電子機器。
  8. 撮像を行って撮像画像を得る撮像部と、
    上記撮像部による撮像画像から被写体を検出する被写体検出部とをさらに備え、
    上記制御部は、
    上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記撮像部による視野を変化させながら上記被写体検出部による被写体検出を実行させて被写体の探索を実行させる被写体探索制御処理を実行し、
    且つ、上記垂直移動方向検出部による検出結果に基づき上記携帯型電子機器の移動方向が上方向であるか下方向であるかの判別を行うと共に、
    上記携帯型電子機器の移動方向が上方向であったとの判別結果が得られた場合には、上記被写体探索制御処理として、所定チルト角よりも下向きとなるチルト角の設定状態での上記被写体探索を開始させる制御処理を行い、
    上記携帯型電子機器の移動方向が下方向であったとの判別結果が得られた場合には、上記被写体探索制御処理として、所定チルト角よりも上向きとなるチルト角の設定状態での上記被写体探索を開始させる制御処理を行う
    請求項に記載の携帯型電子機器。
  9. 上記垂直移動方向検出部は、
    撮像を行って撮像画像を得る撮像部により得られる撮像画像、又はジャイロセンサによる検出信号の少なくとも何れかを用いて上記携帯型電子機器の垂直方向における移動方向を検出する
    請求項に記載の携帯型電子機器。
  10. 撮像を行って撮像画像を得る撮像部と、
    上記撮像部による視野角を変化させるズーム機構部と、
    上記携帯型電子機器の移動量を検出する移動量検出部とをさらに備えると共に、
    上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記携帯型電子機器が静置状態に戻されたか否かを判別し、
    該判別により上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記移動量検出部により検出された移動量に基づくズーム角の設定が行われるように上記ズーム機構部を制御する
    請求項1に記載の携帯型電子機器。
  11. 上記移動量検出部は、
    上記撮像部により得られる撮像画像、又はジャイロセンサによる検出信号の少なくとも何れかを用いて上記携帯型電子機器の移動量を検出する
    請求項10に記載の携帯型電子機器。
  12. 撮像を行って撮像画像を得る撮像部と、
    上記撮像部による撮像画像から人物としての被写体を検出する被写体検出部とをさらに備えると共に、
    上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出信号に基づき上記携帯型電子機器が静置状態に戻されたか否かを判別し、
    該判別により上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記被写体検出部による被写体検出結果に基づき特定される被写体数に応じた撮像パラメータが上記撮像部に対して設定されるように制御を行う
    請求項1に記載の携帯型電子機器。
  13. 撮像を行って撮像画像を得る撮像部をさらに備えると共に、
    上記制御部は、
    上記静置状態からの移動が生じたとの判別結果が得られたことに応じて、上記静置/移動検出部からの入力信号に基づき上記携帯型電子機器が静置状態に戻されたか否かを判別し、
    該判別により上記携帯型電子機器が静置状態に戻されたとの判別結果が得られたことに応じて、上記撮像部による撮像画像の明るさが所定の明るさ以下であるか否かを判別し、
    該判別により上記撮像画像の明るさが上記所定の明るさ以下であるとの判別結果が得られたことに応じて、当該携帯型電子機器の電源がオフとなるように制御を行う
    請求項1に記載の携帯型電子機器。
  14. 上記静置/移動検出部は、
    上記携帯型電子機器が持ち上げられた状態又は静置状態の別に応じてオン又はオフするように構成されたメカスイッチ、又は撮像を行って撮像画像を得る撮像部、又はジャイロセンサの何れかを有して構成される
    請求項1に記載の携帯型電子機器。
  15. 上記静置/移動検出部は、
    撮像を行って撮像画像を得る撮像部とジャイロセンサとを有して構成される
    請求項1に記載の携帯型電子機器。
  16. 可搬性を有する携帯型電子機器の制御方法であって、
    上記携帯型電子機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別する移動判別手順と、
    上記移動判別手順による判別結果に基づき、撮像を行う撮像部による視野を変化させながら上記撮像部により得られる撮像画像から被写体を検出する被写体検出部による被写体検出を実行させて被写体の探索を実行させる制御を行う制御手順と
    を有する制御方法。
  17. 可搬性を有する携帯型電子機器に実行させるプログラムであって、
    上記携帯型電子機器の静置状態からの移動に応じた信号を出力する静置/移動検出部から入力された信号に基づき、上記静置状態からの移動が生じたか否かを判別する移動判別処理と、
    上記移動判別処理による判別結果に基づき、撮像を行う撮像部による視野を変化させながら上記撮像部により得られる撮像画像から被写体を検出する被写体検出部による被写体検出を実行させて被写体の探索を実行させる制御を行う制御処理と
    を上記携帯型電子機器に実行させるプログラム。
  18. 撮像を行って撮像画像を得る撮像部を備える撮像装置と、上記撮像部による視野を可動機構の駆動によって変化させる雲台装置とを備えた撮像システムであって、
    当該撮像システムの静置状態からの移動に応じた信号を出力する静置/移動検出部と、 上記静置/移動検出部からの入力信号に基づき、上記静置状態からの移動が生じたか否かを判別し、その判別結果に基づき、撮像を行う撮像部による視野を変化させながら上記撮像部により得られる撮像画像から被写体を検出する被写体検出部による被写体検出を実行させて被写体の探索を実行させる制御を行う制御部と
    を備える撮像システム。
JP2009181679A 2009-08-04 2009-08-04 携帯型電子機器、制御方法、プログラム、撮像システム Expired - Fee Related JP5251779B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2009181679A JP5251779B2 (ja) 2009-08-04 2009-08-04 携帯型電子機器、制御方法、プログラム、撮像システム
TW099123975A TW201112742A (en) 2009-08-04 2010-07-21 Electronic device, control method, program, and image capturing system
CN2010800446188A CN102550014A (zh) 2009-08-04 2010-07-27 电子装置、控制方法、程序和图像捕获系统
PCT/JP2010/062561 WO2011016358A1 (ja) 2009-08-04 2010-07-27 電子機器、制御方法、プログラム、及び撮像システム
US13/386,933 US20120120267A1 (en) 2009-08-04 2010-07-27 Electronic apparatus, control method, program, and image-capturing system
EP10806357A EP2464095A1 (en) 2009-08-04 2010-07-27 Electronic device, control method, program, and image capturing system
KR1020127002322A KR20120065997A (ko) 2009-08-04 2010-07-27 전자 기기, 제어 방법, 프로그램 및 촬상 시스템
BR112012001992A BR112012001992A2 (pt) 2009-08-04 2010-07-27 aparelho eletrônico, método para controlar um aparelho eletrônico, programa para fazer com que um computador realize processamento, e, sistema de captura de imagem.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009181679A JP5251779B2 (ja) 2009-08-04 2009-08-04 携帯型電子機器、制御方法、プログラム、撮像システム

Publications (2)

Publication Number Publication Date
JP2011035774A JP2011035774A (ja) 2011-02-17
JP5251779B2 true JP5251779B2 (ja) 2013-07-31

Family

ID=43544254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009181679A Expired - Fee Related JP5251779B2 (ja) 2009-08-04 2009-08-04 携帯型電子機器、制御方法、プログラム、撮像システム

Country Status (8)

Country Link
US (1) US20120120267A1 (ja)
EP (1) EP2464095A1 (ja)
JP (1) JP5251779B2 (ja)
KR (1) KR20120065997A (ja)
CN (1) CN102550014A (ja)
BR (1) BR112012001992A2 (ja)
TW (1) TW201112742A (ja)
WO (1) WO2011016358A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178896B1 (ja) * 2011-09-15 2013-04-10 株式会社東芝 電子機器
KR102273027B1 (ko) 2014-06-09 2021-07-05 삼성전자주식회사 위치정보를 사용하여 설정된 관심영역을 사용하여 영상데이터를 생성하는 방법 및 장치
JP6205070B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 カメラの初期位置設定方法、カメラ及びカメラシステム
CN106131537B (zh) * 2016-08-17 2018-11-20 重庆转购科技有限公司 一种3d智能拍摄系统和方法
JP6771639B2 (ja) * 2017-02-24 2020-10-21 シャープ株式会社 制御装置、端末装置、クレードル、通知システム、制御方法、および制御プログラム
US10015295B1 (en) * 2017-05-19 2018-07-03 Conor Penfold System and method for improving a photographic camera feature on a portable electronic device
USD926230S1 (en) 2019-10-10 2021-07-27 Ironhawk Industrial Distribution LLC Curb guard
USD921702S1 (en) 2019-10-10 2021-06-08 Ironhawk Industrial Distribution, LLC Curb guard
KR102640435B1 (ko) 2023-01-31 2024-02-23 변정훈 염수분사 노즐을 구성한 제설판

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04105472A (ja) * 1990-08-27 1992-04-07 Mitsubishi Electric Corp ビデオカメラ
JP3342041B2 (ja) * 1992-06-22 2002-11-05 キヤノン株式会社 撮像装置
JPH07236075A (ja) * 1994-02-25 1995-09-05 Sony Corp パンティルト装置
JP4301493B2 (ja) * 2003-04-09 2009-07-22 カシオ計算機株式会社 撮像装置
JP2005184689A (ja) * 2003-12-22 2005-07-07 Konica Minolta Photo Imaging Inc 撮像装置
JP2006270274A (ja) * 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
JP4931907B2 (ja) * 2006-02-27 2012-05-16 パナソニック株式会社 ウェアラブル端末、および、携帯撮像収音装置、およびそれらを実現する装置、方法、プログラム
JP2008005158A (ja) * 2006-06-21 2008-01-10 Ricoh Co Ltd 携帯機器
CN1945420A (zh) * 2006-09-20 2007-04-11 上海多丽影像设备有限公司 彩扩机云台自动控制方法
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
JP5115139B2 (ja) 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
JP4462329B2 (ja) * 2007-10-31 2010-05-12 ソニー株式会社 撮像装置、撮像方法

Also Published As

Publication number Publication date
CN102550014A (zh) 2012-07-04
US20120120267A1 (en) 2012-05-17
BR112012001992A2 (pt) 2019-09-24
KR20120065997A (ko) 2012-06-21
JP2011035774A (ja) 2011-02-17
WO2011016358A1 (ja) 2011-02-10
TW201112742A (en) 2011-04-01
EP2464095A1 (en) 2012-06-13

Similar Documents

Publication Publication Date Title
JP5251779B2 (ja) 携帯型電子機器、制御方法、プログラム、撮像システム
US10931855B2 (en) Imaging control based on change of control settings
US9516201B2 (en) Imaging control apparatus, imaging control method, and program
JP5126176B2 (ja) 撮像部駆動装置、回転角度制御方法、撮像装置、プログラム、撮像システム
JP5446546B2 (ja) 撮像制御装置、撮像制御方法、プログラム、撮像システム
US8786751B2 (en) Display control system, display control apparatus and control method therefor
US8605158B2 (en) Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5434338B2 (ja) 撮像制御装置、撮像方法、プログラム
KR101795603B1 (ko) 디지털 촬영 장치 및 그 제어방법
US20100157075A1 (en) Image capture system, image presentation method, and program
US9596415B2 (en) Control apparatus, imaging system, control method, and program for changing a composition of an image
JP5347802B2 (ja) 構図制御装置、撮像システム、構図制御方法、プログラム
CN102111540A (zh) 图像处理装置、图像处理方法以及程序
US9621799B2 (en) Imaging apparatus
JP6221504B2 (ja) 電子機器およびプログラム
JP2013012848A (ja) カメラ装置及びその制御方法
JP6242446B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2018010695A (ja) 電子機器およびプログラム
JP2012009999A (ja) 撮像装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees