JP5407640B2 - 画像対応装置、動作設定方法、プログラム - Google Patents
画像対応装置、動作設定方法、プログラム Download PDFInfo
- Publication number
- JP5407640B2 JP5407640B2 JP2009176577A JP2009176577A JP5407640B2 JP 5407640 B2 JP5407640 B2 JP 5407640B2 JP 2009176577 A JP2009176577 A JP 2009176577A JP 2009176577 A JP2009176577 A JP 2009176577A JP 5407640 B2 JP5407640 B2 JP 5407640B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- composition
- imaging
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
- H04N2201/0034—Details of the connection, e.g. connector, interface
- H04N2201/0048—Type of connection
- H04N2201/0058—Docking-station, cradle or the like
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Description
つまり、撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段と、上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手段と、判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手段とを備え、上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、上記動作決定手段は、上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手段による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、こととした。
<1.撮像システムの構成>
[1−1.全体構成]
[1−2.デジタルスチルカメラ]
[1−3.雲台]
<2.実施形態の構図制御に対応する機能構成例>
<3.自動撮像記録の基本アルゴリズム例>
<4.第1実施形態>
<5.第2実施形態>
<6.第3実施形態>
<7.第4実施形態>
<8.本実施形態の撮像システムの変形例>
<9.本実施形態の応用:トリミング処理>
また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
[1−1.全体構成]
本実施形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が載置される雲台10から成る。
先ず、図1にデジタルスチルカメラ1の外観例を示す。図1(a)、(b)は、それぞれデジタルスチルカメラ1の正面図、背面図となる。
この図に示されるデジタルスチルカメラ1は、先ず、図1(a)に示すように、本体部2の前面側においてレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
この場合のカメラ台座部12の上面部には、図2に示すようにして、突起部13とコネクタ14が設けられている。
その図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1とカメラ台座部12との通信は無線により行われるようにしてもよい。
まず、パン方向の基本的な動きは次のようになる。
この雲台10を床面などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台10に載置されているデジタルスチルカメラ1の撮像視野範囲は、左右方向(水平方向)に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有しているものとする。
ここでは、図4に示すようにして、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、即ちパン位置を0°〜360°により表すものとする。
チルト方向の動きは、図5(a)及び図5(b)に示すようにして、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで、図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また、俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。このようにして、カメラ台座部12がチルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動くことで、雲台10(カメラ台座部12)に載置されたデジタルスチルカメラ1の撮像視野範囲は、上下方向(垂直方向)沿って変化することになる。つまりチルティングの動作が得られる。
先ず、図6のブロック図は、デジタルスチルカメラ1の実際的な内部構成例を示している。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
LED部36は、例えばデジタルスチルカメラ1の筐体前面部に表出して設けられるLED(Light Emitting Diode)と、このLEDを点灯駆動する回路部などから成り、制御部27の制御に応じて、LEDを点灯、消灯する。このLEDを点灯、消灯パターンにより、所定内容の通知が行われる。
図7のブロック図は、雲台10の内部構成例を示している。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5(b)に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
このモータ駆動信号によりパン用モータ54が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くようにして駆動される。
また、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
次に、図8のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウェア(プログラム)により実現される機能構成例を示す。
この図において、デジタルスチルカメラ1は、撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、及び通信制御処理ブロック64を備えて成るものとされている。
この場合の撮像記録ブロック61における撮像画像データの記録(撮像記録)は、構図判定ブロックの指示、制御により実行される。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック62が実行する被写体検出処理(初期顔枠の設定を含む)は、図6との対応では信号処理部24が実行するようにして構成できる。また、この信号処理部24による被写体検出処理は、DSP(Digital signal Processor)による画像信号処理として実現できる。つまり、DSPに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック62が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部27としてのCPUがプログラムに従って実行する処理として実現できる。
また、例えば判定された適切画角を得るためのズームレンズの位置(ズーム倍率)を求め、このズーム位置となるようにして、撮像記録ブロック61が備えるとされるズーム機構を制御する。
通信制御処理ブロック71は、デジタルスチルカメラ1側の通信制御処理ブロック64との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック72に対して出力する。
このパン・チルト制御処理ブロック72は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
上記のようにして構成される撮像システムでは、雲台10のパン・チルト機構を駆動してデジタルスチルカメラ1の撮像視野範囲を変更していくようにして撮像画像内に収まる被写体を検出する。そして、検出した被写体があれば、これをしかるべき構図で画枠内におさめて撮像記録することができる。つまり、自動撮像記録機能を有する。
なお、この図に示す処理手順は、図8に示すデジタルスチルカメラ1における各機能ブロック(撮像記録ブロック61、構図判定ブロック62、パン・チルト・ズーム制御ブロック63、通信制御処理ブロック64)が適宜実行するものとしてみることができる。
このステップS102の被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、被写体数であるとか、被写体サイズ、画像における被写体位置などを得ることができる。
この被写体探索処理は、例えば、パン・チルト・ズーム制御ブロック63が通信制御処理ブロック64を経由して、雲台10のパン/チルト方向への移動を指示するとともに、必要に応じてはズーム制御も行って撮像視野範囲を所定のパターンで時間経過に応じて変更していく制御となる。これにより、デジタルスチルカメラ1の周囲に存在している被写体を撮像視野範囲内に収まるようにして捕捉しようというものである。
これに対して、ステップS103において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップS104に進む。
ここで判定される構図を形成する要素としては、例えば画枠における被写体のサイズ、画枠内の被写体の位置、などを挙げることができる。
撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。
例えば一定時間以上を経過したとしても構図OKとの判定が得られない場合には、ステップS105にて否定の判別結果が得られる。この場合には、ステップS107により撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。つまり、例えば、判定された構図に応じた被写体位置が画像内で得られるようにするためのパン・チルト制御、また、判定された構図に応じた被写体サイズが得られるようにするためのズーム制御などを実行する。
これに対して、ステップS105にて肯定の判別結果が得られた場合にはステップS106に進む。
ここで、例えば、上記図9に示したアルゴリズムに従って自動撮像記録を実行している過程において、例えば、1つの被写体SBJが検出されたとする。これに応じてステップS104により判定された構図が、例えば図10(a)に示すものであったとする。
図10(a)は、撮像画像データの画像に対応した画枠300において検出された被写体SBJを示している。図10(a)の画枠300に対応する画像は、水平画サイズ(水平画素数)Cx、垂直画サイズ(垂直画素数)Cyのサイズを有するものとしている。
また、この図においては、被写体位置の説明のために、垂直基準線Ld1、水平基準線Ld2、垂直分割線v1,v2、水平分割線h1,h2の各仮想線が示される。
垂直基準線Ld1は、水平画サイズCxに対して、その中点を通過して2等分する垂直な線である。水平基準線Ld2は、垂直画サイズCyに対して、その中点を通過して2等分する水平な線である。なお、この垂直基準線Ld1と水平基準線Ld2との交点が、例えば画枠300における基準座標Pとなる。この基準座標Pは、デジタルスチルカメラ1の撮像光軸に対応する。
水平分割線h1,h2は、水平画サイズCxを3等分する2本の直線であり、水平分割線h1が左側で、水平分割線h2が右側の線となる。
垂直分割線v1,v2は、垂直画サイズCyを3等分する2本の直線であり、垂直分割線v1が上側、垂直分割線v2が下側の線となる。
つまり、被写体重心Gは、水平方向においては、水平基準線Ld1を通過する座標、つまり水平方向における中間に位置すべきとされ、垂直方向においては、水平分割線h1上、即ち、垂直画サイズCyに対して上から1/3の位置に在るべきものとされる。
例えば、図11には、側面方向から見たデジタルスチルカメラ1が、最大回転角度−g°のチルト位置にある状態が示されている。なお、この図のデジタルスチルカメラ1は、実際には雲台10に取り付けられていることでこの図に示す状態が得られているのであるが、ここでは、
雲台10の図示は省略している。
また、この図においては、デジタルスチルカメラ1に設定されている画角として垂直方向における画角を、画角中央angC、画角上端angU、画角下端angDにより表現している。なお、画角中央angCは、デジタルスチルカメラ1の撮像光軸と一致するものであり、画角中央angCから画角上端angUまでの角度と、画角中央angCから画角下端angDまでの角度は同じになる。垂直方向における撮像視野範囲は、画角上端angUから画角下端angDに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角(ワイド端)に設定されているものと仮定する。
これに対して、被写体SBJは、図示するようにして、画角中央angCよりも下側に位置しているとする。
図10(b)では、被写体重心Gの位置は、水平方向においては判定された構図の通りになってはいるものの、垂直方向においては、あきらかに、水平基準線Ld2よりも下側の領域に位置している。上記したように、デジタルスチルカメラ1の撮像視野範囲は、この状態からさらに下側に向けることはできないために、画枠300における被写体の位置も、この図10(b)における位置よりも上に移動させることはできない。つまり、この場合には、垂直方向における被写体重心Gの位置が、判定された構図と一致しないことになる。
例えばこのときのステップS107の構図制御としては、構図判定ブロック62は、雲台10に対して、チルト機構を俯角の方向に回転させるように指示する。
しかし、この指示を受けても、雲台10は、これ以上、チルト機構部を俯角側に回転させることができない。
すると、この場合には、例えば図10(b)の状態のまま、次のなんらかの動作に移行できないことになってしまう。
基本的に本実施形態の雲台10は、パン方向においては、360°以上で自在に回転することができる。しかし、例えばユーザが回転角度を制限設定する操作を行ったり、雲台10の背面にケーブルが差し込まれるなどした場合には、雲台10の回転角度について、例えば180°、90°などのようにして制限される。このようにしてパン方向における可動角度が制限される場合には、その設定された可動回転角度まで回転した位置が限界位置となる。
そして、例えば検出された被写体に構図を合わせようとして、パン方向への回転を行ったところ限界位置に至ったとする。このとき、被写体が、さらに限界位置より先に回転させなければ、水平方向における被写体位置が判定構図とならないような状態になることは当然生じ得る。
なお、この図において、ステップS201〜S206,S208,S209は、図9のステップS101〜S106、S107,S108と同様となる。
ステップS207は、例えばパン機構とチルト機構の少なくとも何れかが限界位置にあり、かつ、その限界位置の状態で時間Tを経過したか否かについて判別する。なお、限界位置にあるか否かについては、例えば、デジタルスチルカメラ1(構図判定ブロック62)は、雲台10側からの通知によって認識することができる。この場合の雲台10の制御部51は、例えば、パン・チルト機構のそれぞれについて、限界位置にある場合には、その旨をデジタルスチルカメラ1側に通知するようにされている。
この場合には、ステップS208により構図合わせ制御としてのパン制御、チルト制御などを実行してステップS201に戻る。
これに対して、限界位置の状態で時間Tが経過したとしてステップS207にて否定の判別結果が得られた場合には、ステップS206に進んで、撮像記録を実行する。
図13は、第2実施形態としての自動撮像記録のアルゴリズム例を示している。
第2実施形態により決定される動作は、判定構図が得られていない状態でパン位置若しくはチルト位置が限界位置にまで至って所定時間Tが経過したとすると、撮像記録は実行せずに、判定構図が得られる可能性のある他の被写体を探索する、というものである。
ただし、ステップS307にて判定される時間Tについては、第2実施形態に対応した適切な動作が得られるべきことを考慮して、図12のステップS207と異なる長さが設定されてよい。
これに対して、ステップS307により肯定の判別が得られた場合には、ステップS309により撮像視野範囲を変更するための制御(撮像視野範囲変更制御)を実行する。
そして、このようにして求められたパン回転角度若しくはチルト回転角度の分だけ、移動が行われるように、パン制御若しくはチルト制御を実行すればよい。そして、次に説明するステップS310を経て,ステップS301に戻る。
これにより、第2実施形態では、限界位置の状態で判定構図が得られないまま時間Tを経過した場合には、撮像記録を実行することなく、他の被写体を探しにいくという動作を行うことになる。
そこで、図13においては、ステップS309による撮像視野範囲変更制御とともに、次のステップS310として示すようにして、アラートをユーザに通知するための処理を実行する。つまり、構図が得られなかったので、他の被写体を探す動作に移行する旨を通知するための処理を実行する。
このための処理としては、例えばデジタルスチルカメラ1のLED部36を形成する所定のLEDを、所定のパターンにより点灯、点滅させる、ということが考えられる。また、音声出力部35により、所定のアラート音声を出力させるということも考えられる。
この第1実施形態の動作と、第2実施形態の動作とをどのようにして使い分けるのについては、いくつか考えられるが、次の例を挙げておく。
このようなセルフタイマによる撮影のときには、ユーザが操作によって撮像記録を実行させたいことを明示しているといえる。この際には、構図よりも、とりあえず、撮像記録を実行させることが重視されるべきといえる。
そこで、セルフタイマ撮影のときには、第2実施形態のアルゴリズムを採用する。
これに対して、セルフタイマ撮影ではない通常時は、本実施形態の自動撮像記録における構図制御の特長を生かして、構図を重視し、第1実施形態を採用するというものである。
ここで、図12(第1実施形態)のステップS205、図13(第2実施形態)のステップS305としての、判定構図が得られているか否かの判別処理において、被写体位置が判定構図と同じか否かについての判別は、例えば実際には、次のようにして実行することができる。
先ず、構図判定処理によっては、被写体位置は、その被写体重心Gが位置すべき目標座標として求められる。この目標座標をここでは、(x,y)として表す。そして、構図合わせ制御によっては、この目標座標(x,y)に被写体重心Gが位置するようにして、パン制御、チルト制御を実行する。
そして、図12のステップS205、若しくは図13のステップS305の実際として、被写体位置が判定構図と同じであるか否かについて判別するのにあたっては、目標座標のx座標値、y座標値ごとに所定のマージンを与える。つまり、x座標値のマージンを±a、y座標値のマージンを±bとすると、被写体重心Gが、座標(x±a,y±b)の範囲内に位置しているか否かについて判別する。
そこで、実際においては、上記のようにしてマージンを設定し、このマージンが与えられた目標座標を判定に用いることとしている。
つまり、第3実施形態においては、パン又はチルト方向の限界位置に至ると、目標座標に設定するマージンを拡大する。ただし、このときのマージンは第1実施形態の場合のように無限大とするのではなく有限の所定値を設定する。そして、この状態で判定構図が得られているか否かについての判別を実行するが、構図OKの判別結果が得られないまま、時間Tを経過した場合には、撮像視野範囲変更制御に移行する、というものである。
この図において、ステップS401〜S404、S407〜S413は、図13のステップS301〜S304、S305〜S311と同じになる。
ステップS405において否定の判別結果が得られた場合には,ステップS406をパスして、ステップS407に進む。この場合のステップS407においては、被写体位置については、拡大されない通常のマージンが設定された目標座標を用いて判定を行うことになる。
本実施形態において問題となっている、被写体を検出しているのにかかわらず、パン又はチルト方向において限界位置に到達しているために目的の構図(画像内の被写体位置)を得ることができない、という事象は、雲台10における制限可動角度とデジタルスチルカメラ1の画角との関係が要因で起こるといえる。この点について、図15、図16により説明する。
そのうえで、この場合においては、雲台10は、パン方向における回転可動角度について、図15(a)における0°を基準として、±90°の範囲で制限されているものとする。
このとき、デジタルスチルカメラ1の画角中央angCが、+90°のパン位置と一致する。デジタルスチルカメラ1の水平方向における撮像視野範囲は、画角中央angCを中心として、画角左端angLから画角右端angRまでの範囲となる。つまり、デジタルスチルカメラ1の撮像視野範囲は、パン位置+90°に対応する限界位置を越えて、画角中央angCから画角右端angRまでの角度範囲を撮像できることになる。
このような問題は、デジタルスチルカメラの画角が広角になるほど顕著なものになる。
そこで、第4実施形態としては、この考え方に基づいた自動撮像記録のアルゴリズムを構成する。このようなアルゴリズムであれば、結果的に判定構図が得られない被写体について構図判定処理を実行し、さらに構図合わせ制御を実行して、構図OKか否かを判定する、という無駄な一連の処理を省くことが可能になり、自動撮像記録の動作がより効率的になる。
先ず、図16は、図15(b)の状態に対応して得られる撮像画像データの画像内容を示している。先にも述べたように、画角中央angCは水平方向において撮像光軸に対応するので、図16の画枠300における垂直基準線Ld1上に対応することになる。また、この場合には、図15(b)に示したように、画角中央angCがパン位置+90°と一致するので、垂直基準線Ld1は、パン位置+90°に対応する。
そして、被写体SBJは、図15(b)においては画角中央angC〜画角右端angRの範囲に位置している。これに応じて、図16の画像内の被写体SBJは、画枠300において垂直基準線Ld1より右側の領域に位置している。
第4実施形態においては、先ず、雲台10がパン方向における限界位置にあるとして、この限界位置において検出した被写体について判定された構図としての目標座標のx座標を通過する垂直な線を、垂直限度境界線LM1として設定する。
ここで、図16のようにして検出された被写体について判定した構図によって得られる目標座標におけるx座標は、基準座標Pと同じであるとする。つまり、目標座標は、垂直基準線Ld1上にあるべきことになる。これにより、図16における垂直限度境界線LM1は、垂直基準線Ld1と同じく、基準座標Pを通過する垂直な線となっている。
なお、この場合には、構図判定の結果として、目標座標のx座標が垂直基準線Ld1と同じになったために、垂直基準線Ld1と垂直限度境界線LM1とが結果的に一致しているに過ぎない。構図判定結果によっては、目標座標は、垂直基準線Ld1とは異なるx座標となる場合がある。垂直限度境界線LM1は、あくまでも判定構図における目標座標のx座標を通過する直線として設定される。
この場合において、画枠300内の垂直限度境界線LM1より右側の領域に存在する被写体SBJについては、これ以上、限界位置を越えて撮像視野範囲を右に移動させることができない。従って、被写体重心Gを、目標座標としてのx座標、つまり垂直限度境界線LM1上にまで移動させることはできない。これに対して、被写体重心Gが画枠300内の垂直限度境界線LM1より左側の領域に存在していれば、限界位置を超えない範囲でパン方向の移動を行って撮像視野範囲を左に移動させることができる。つまり、被写体重心Gを垂直限度境界線LM1上にまで移動させることができる。
このように、正のパン移動方向(時計回り方向)に対応しては、画枠300における垂直限度境界線LM1より右側の領域は、そこに被写体重心Gが位置していても目標のx座標を得ることができない領域となる。この領域は、限度境界外の領域としている。
これに対して、画枠300における垂直限度境界線LM1より左側の領域は、そこに被写体重心Gが位置していれば目標のx座標を得ることができる領域となる。つまり、限度境界内の領域としている。
つまり、上記図15、図16による説明に準じて、水平限度境界線LM2も設定し、画枠の上下についての限度境界外、限度境界内の領域を設定する。そして、被写体重心Gのy座標が限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すものである。
この図において、ステップS501〜S503、S505〜S509は、図9のステップS101〜S103、S104〜S108と同じになる。
図18(a)は、デジタルスチルカメラ1が、基準線L(パン基準位置(0°)に相当する)対して時計回りの方向にパン角度αx°分回転した位置にあって、かつ、水平画角内において被写体SBJが撮像されている状態が示されている。この場合において、水平画角はθx°により表しており、また、被写体SBJは、画角中央angCから反時計回りの方向に角度βx°だけ回転した角度に対応する線上に、その水平方向における中心位置(重心)が対応するようにして位置している。
ここで、基準線Lは、そのときの雲台10の配置の状態に応じて決まる絶対的なものとなる。従って、上記の角度γx°によって示される被写体SBJの位置は、基準線Lを基とする絶対的なものとなる。つまり、絶対位置情報として扱うことができる。なお、以降、この角度γx°のようにして、被写体の絶対的位置を示し得る角度については、絶対位置対応角度ということにする。また、角度βx°については、そのときのパン角度αx°のもとで、画角中央angCを基にして決まる被写体SBJの位置を示すものであるから、相対位置対応角度ということにする。
図18(b)は、上記図18(a)に示した位置状態のデジタルスチルカメラ1により撮像して得られる撮像画像を示している。
ここで、撮像画像の画枠300における水平画サイズ(例えば画素数により表現できる)をCxとし、この水平画サイズにおける中点を通過する垂直分割線をLd1として、この垂直分割線Ld1を撮像画像の画枠における水平方向の基準(X軸座標の基準:X=0)とする。水平方向に沿ったX軸座標としては、垂直線Mより右の領域が正となり、左の領域が負となる。そして、撮像画像の画枠300内において存在する被写体SBJについての、水平方向における座標値はX=aとして表している。なお、図18(b)の場合のX座標値aは、負の数となる。
よって、相対位置角度βx°は、
βx°=(a/Cx)*θx°・・・(式1)
により表される。
また、図18(b)によれば、パン角度αx°、相対位置対応角度βx°、及び絶対位置対応角度γx°の関係は、
αx°=γx°−βx°・・・(式2)
で表される。
よって、絶対位置対応角度γx°としては、下記のようにして求めることができる。
γx°=(a/Cx)*θx°+αx°・・・(式3)
ここで、上記パラメータのうち、水平画枠サイズCxは既知であり、撮像画像の画枠内における被写体SBJのX座標値aは、撮像画像内にて検出される被写体についての水平方向における位置情報に他ならないから、本実施の形態の被写体検出処理により得ることできる。また、水平画角θx°の情報は、画角(ズーム)制御の情報に基づいて得ることができる。より具体的には、例えば光学系部21が備えるズームレンズのズーム倍率1倍を設定しているときの標準画角の情報を保持しておいたうえで、ズーム制御に応じて得られるズーム位置と、上記標準画角とを利用して求めることができる。また、パン角度αx°についてもパン制御の情報として得ることができる。
このようにして、本実施の形態の撮像システムでは、絶対位置対応角度γx°について、特に支障なく簡単に求めることができる。
γy°=(b/Cy)*θy°+αy°・・・(式4)
により求めることができる。
ステップS504においては、今回検出された被写体の被写体重心Gについて、パン方向及びチルト方向のそれぞれにおいて、限度境界内に位置するものであるか否かについて判別する。
このためには、先ず、構図判定ブロック62は、今回検出された被写体について構図判定を行った場合において得られる目標座標から、垂直限度境界線LM1,水平限度境界線LM2を画枠300に対して設定する。
次に、今回検出した被写体の絶対位置情報から、撮像視野範囲が限界位置に対応しているときの画枠300における被写体重心Gの座標を求める。
そして、この被写体重心Gのx座標について、垂直限度境界線LM1により規定される限度境界内に位置しているか否かについて判別する。同様に、この被写体重心Gのy座標について、水平限度境界線LM2により規定される限度境界内に位置しているか否かについて判別する。
これに対して、ステップS504において、例えば上記の被写体重心Gのx座標、y座標の少なくとも何れか一方について否定の判別結果が得られた場合には、判定構図の通りに被写体重心Gを移動させることはできない。そこで、この場合には、ステップS509に進んで被写体探索処理を実行したうえで、ステップS501に戻るようにする。
被写体重心Gのx座標、y座標の何れか一方のみについて否定の判別結果が得られた場合には、肯定の判別結果が得られた方向に関しては判定された構図の通りの座標位置を得ることができるので、相応に許容範囲の構図が得られていると考えることができる。そこで、例えば構図については許容範囲を大きくして、その代わりに撮像記録すべきことを重視するような場合は、このようなアルゴリズムのほうが適切になる。
図19は、先に図7,図8に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック64を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図7の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図8に示した構図判定ブロック62と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図8の構図判定ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図7における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図19に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック74が、通信制御処理ブロック71経由で、デジタルスチルカメラ1側にズーム制御を指示するように構成すればよい。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図6に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台10若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
次に、これまで説明してきた本実施形態としての構成を、トリミング処理に適用した例を説明しておく。
図21には編集装置90が示されている。ここでの編集装置90は既存の画像データに対して画像編集を行う。
ここでは、既存の画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ(再生画像データ)を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置90が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
先ず、被写体検出・構図判定処理ブロック92は、例えば先ず、被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分(最適構図の画像部分)がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報(トリミング指示情報)をトリミング処理ブロック91に対して出力する。
トリミング処理ブロック91は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データとして出力する。これが編集画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構図となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。
このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
しかし、この場合には、再生画像94においては、既に、被写体SBJの上側において画像領域が存在していない。この場合、そのままでは、判定構図の通りの図10(a)に示した画内容でトリミングを行うことはできない。
つまり、この場合には、被写体検出・構図判定処理ブロック92は、例えば判定構図として必要な被写体サイズを求め、この被写体サイズを得ることのできるトリミング枠のサイズを決定する。ここでのトリミング枠のサイズとは、編集画像95の画枠サイズをいう。
そのうえで、例えば、目標座標におけるx座標に被写体重心Gのx座標が位置するように、水平方向におけるトリミング枠の位置を決定する。これは、例えば被写体重心Gのx座標が目標座標のx座標に一致するようにして、再生画像94上でトリミング枠を水平方向に移動させるようなイメージである。ただし、例えばこの水平方向の移動に際して、トリミング枠において再生画像94が切れて見えなくなるところまで移動したときには、これが限界位置であるとして、この段階で移動を停止する。
図22の場合には、水平方向の移動については、限界位置に到達することなく、被写体重心Gを、目標座標におけるx座標にまで移動させることができる。
図22の例では、目標座標のy座標に被写体重心Gを位置させようとすると、トリミング枠の上側において再生画像94からはみ出す領域が現れてしまう。この場合には、図22において示される編集画像95の位置が垂直方向における限界位置になる。つまり、この場合の限界位置とは、トリミング枠(編集画像95)について、これが再生画像94からはみ出すことなく、かつ、トリミング枠の縁部と再生画像94の縁部とで、上下左右何れかの一辺が重なる位置にあることをいう。
つまり、水平方向若しくは垂直方向でのトリミング枠の設定を行った結果、水平方向と垂直方向での少なくとも何れか一方の方向において上記の限界位置に至ったことで判定構図が得られなかった場合には、これまでの位置決定処理によって得られているトリミング枠で構図はOKであるとする。なお、この場合には、限界位置に至ったとするタイミングから時間Tが経過するのを待機する必要はない。そして、このトリミング枠に基づいたトリミン指示情報をトリミング処理ブロック91に対して出力する。これにより、図22に示した編集画像95としての画内容を有する編集画像データが得られる。
なお、このような編集装置90は、例えば独立した単体の装置として構成することもできるが、この編集装置90としてのプログラムを実行させたパーソナルコンピュータ装置としても構成できる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
このようなプログラムは、例えばROMなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてDSP対応の不揮発性の記憶領域やフラッシュメモリ30などに記憶させることが考えられる。また、USBやIEEE1394などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ1にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
Claims (8)
- 撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段と、
上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手段と、
判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手段とを備え、
上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
上記動作決定手段は、
上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手段による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
画像対応装置。 - 上記動作決定手段は、
上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
請求項1に記載の画像対応装置。 - 上記動作決定手段は、
上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、これまで検出されていた被写体とは異なる被写体が上記画像データの画像にて存在するようにするために、上記可動機構部を駆動制御する撮像視野範囲変更制御手段をさらに備える、
請求項1に記載の画像対応装置。 - 上記動作決定手段は、
上記判定された構図に応じた上記画像内被写体位置が得られたときには、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
請求項2又は請求項3に記載の画像対応装置。 - 上記動作決定手段は、
上記可動機構部が可動限界位置にあるときには、判定された構図に応じた上記画像内被写体位置として扱うべき目標位置に対して拡大マージンを設定したうえで、この拡大マージンが設定された目標位置に被写体が含まれるか否かに基づいて、判定された構図に応じた上記画像内被写体位置が得られているか否かを判別する、
請求項1乃至請求項4に記載の画像対応装置。 - 上記構図判定手段は、
上記検出される被写体についての情報である、被写体位置情報により示される本画像対応装置に対する位置が、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られない位置であるときには、この検出された被写体を、構図判定の対象から除外する、
請求項1に記載の画像対応装置。 - 撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順と、
上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手順と、
判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手順とを備え、
上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
上記動作決定手順は、
上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手順による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
画像対応装置の動作設定方法。 - 画像対応装置に、
撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順と、
上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手順と、
判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手順とを実行させるとともに、
上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
上記動作決定手順は、
上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手順による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
を実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009176577A JP5407640B2 (ja) | 2009-07-29 | 2009-07-29 | 画像対応装置、動作設定方法、プログラム |
US12/814,877 US20110025854A1 (en) | 2009-07-29 | 2010-06-14 | Control device, operation setting method, and program |
TW099122003A TW201113629A (en) | 2009-07-29 | 2010-07-05 | Control device, operation setting method, and program |
CN2010102353476A CN101990064A (zh) | 2009-07-29 | 2010-07-22 | 控制设备、操作设置方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009176577A JP5407640B2 (ja) | 2009-07-29 | 2009-07-29 | 画像対応装置、動作設定方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011030160A JP2011030160A (ja) | 2011-02-10 |
JP2011030160A5 JP2011030160A5 (ja) | 2012-08-02 |
JP5407640B2 true JP5407640B2 (ja) | 2014-02-05 |
Family
ID=43526636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009176577A Expired - Fee Related JP5407640B2 (ja) | 2009-07-29 | 2009-07-29 | 画像対応装置、動作設定方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110025854A1 (ja) |
JP (1) | JP5407640B2 (ja) |
CN (1) | CN101990064A (ja) |
TW (1) | TW201113629A (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206095B2 (ja) | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP5434339B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
US8605158B2 (en) * | 2009-12-28 | 2013-12-10 | Sony Corporation | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode |
US8957981B2 (en) | 2010-03-03 | 2015-02-17 | Intellectual Ventures Fund 83 Llc | Imaging device for capturing self-portrait images |
WO2015098110A1 (ja) | 2013-12-27 | 2015-07-02 | パナソニックIpマネジメント株式会社 | 撮像装置、撮像システムおよび撮像方法 |
JP6504793B2 (ja) * | 2014-11-14 | 2019-04-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN108268488B (zh) * | 2016-12-30 | 2022-04-19 | 百度在线网络技术(北京)有限公司 | 网页主图识别方法和装置 |
CN110266937A (zh) * | 2019-05-14 | 2019-09-20 | 深圳三诺信息科技有限公司 | 终端设备及摄像头的控制方法 |
JP2021052325A (ja) * | 2019-09-25 | 2021-04-01 | キヤノン株式会社 | 撮像装置、システム、撮像装置の制御方法、プログラム |
JP7328849B2 (ja) | 2019-09-25 | 2023-08-17 | キヤノン株式会社 | 撮像装置、システム、撮像装置の制御方法、プログラム |
JP7307643B2 (ja) | 2019-09-25 | 2023-07-12 | キヤノン株式会社 | 撮像装置、システム、撮像装置の制御方法、プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1408693A1 (en) * | 1998-04-07 | 2004-04-14 | Matsushita Electric Industrial Co., Ltd. | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus |
CN1178467C (zh) * | 1998-04-16 | 2004-12-01 | 三星电子株式会社 | 自动跟踪运动目标的方法和装置 |
JP2000228741A (ja) * | 1999-02-05 | 2000-08-15 | Fuji Photo Optical Co Ltd | 雲台制御システム |
JP4258060B2 (ja) * | 1999-03-29 | 2009-04-30 | フジノン株式会社 | レンズ駆動装置 |
JP2001100085A (ja) * | 1999-09-29 | 2001-04-13 | Fuji Photo Optical Co Ltd | レンズ装置 |
US7286160B2 (en) * | 2001-04-05 | 2007-10-23 | Nikon Corporation | Method for image data print control, electronic camera and camera system |
US7473218B2 (en) * | 2002-08-06 | 2009-01-06 | Olympus Corporation | Assembling method of capsule medical apparatus |
JP2004102000A (ja) * | 2002-09-11 | 2004-04-02 | Fuji Photo Optical Co Ltd | レンズ制御装置 |
KR100885917B1 (ko) * | 2007-03-16 | 2009-02-26 | 삼성전자주식회사 | 선형 변환기를 이용하여 오차를 효율적으로 분산할 수 있는디더링 시스템 및 그에 적합한 방법 |
JP5380784B2 (ja) * | 2007-04-12 | 2014-01-08 | ソニー株式会社 | オートフォーカス装置、撮像装置及びオートフォーカス方法 |
JP2008275890A (ja) * | 2007-04-27 | 2008-11-13 | Olympus Imaging Corp | レンズ交換式デジタルカメラ |
JP2008288797A (ja) * | 2007-05-16 | 2008-11-27 | Nikon Corp | 撮像装置 |
US8159519B2 (en) * | 2007-05-31 | 2012-04-17 | Eastman Kodak Company | Personal controls for personal video communications |
JP5115139B2 (ja) * | 2007-10-17 | 2013-01-09 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
JP4640456B2 (ja) * | 2008-06-25 | 2011-03-02 | ソニー株式会社 | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム |
-
2009
- 2009-07-29 JP JP2009176577A patent/JP5407640B2/ja not_active Expired - Fee Related
-
2010
- 2010-06-14 US US12/814,877 patent/US20110025854A1/en not_active Abandoned
- 2010-07-05 TW TW099122003A patent/TW201113629A/zh unknown
- 2010-07-22 CN CN2010102353476A patent/CN101990064A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
TW201113629A (en) | 2011-04-16 |
CN101990064A (zh) | 2011-03-23 |
US20110025854A1 (en) | 2011-02-03 |
JP2011030160A (ja) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5407640B2 (ja) | 画像対応装置、動作設定方法、プログラム | |
JP5434338B2 (ja) | 撮像制御装置、撮像方法、プログラム | |
JP5115139B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP4894712B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP5359645B2 (ja) | 構図判定装置、撮像システム、構図判定方法、プログラム | |
JP5504915B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
JP5434339B2 (ja) | 撮像制御装置、撮像システム、撮像方法、プログラム | |
JP4983784B2 (ja) | 撮像システム、画像提示方法、制御装置、プログラム | |
US10931855B2 (en) | Imaging control based on change of control settings | |
US9338362B2 (en) | Image capturing apparatus, image capturing control method and storage medium for capturing a subject to be recorded with intended timing | |
JP5533048B2 (ja) | 撮像制御装置、撮像制御方法 | |
JP6192940B2 (ja) | 撮影機器及び連携撮影方法 | |
JP5347802B2 (ja) | 構図制御装置、撮像システム、構図制御方法、プログラム | |
JP5577900B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
US8514285B2 (en) | Image processing apparatus, image processing method and program | |
JP2011188065A (ja) | 撮像制御装置、被写体検出方法、プログラム | |
JP4748442B2 (ja) | 撮像装置及びそのプログラム | |
JP5651951B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
JP5504887B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
EP4246994A1 (en) | Image capture apparatus and control method therefor | |
JP6412222B2 (ja) | 撮影機器、連携撮影方法及び連携撮影プログラム | |
JP2009200792A (ja) | 電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120618 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130725 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
LAPS | Cancellation because of no payment of annual fees |