JP4894712B2 - 構図判定装置、構図判定方法、プログラム - Google Patents
構図判定装置、構図判定方法、プログラム Download PDFInfo
- Publication number
- JP4894712B2 JP4894712B2 JP2007270392A JP2007270392A JP4894712B2 JP 4894712 B2 JP4894712 B2 JP 4894712B2 JP 2007270392 A JP2007270392 A JP 2007270392A JP 2007270392 A JP2007270392 A JP 2007270392A JP 4894712 B2 JP4894712 B2 JP 4894712B2
- Authority
- JP
- Japan
- Prior art keywords
- composition
- subject
- subjects
- image data
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000203 mixture Substances 0.000 title claims description 354
- 238000000034 method Methods 0.000 title claims description 122
- 238000001514 detection method Methods 0.000 claims description 124
- 230000007246 mechanism Effects 0.000 claims description 46
- 230000008859 change Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 228
- 238000003384 imaging method Methods 0.000 description 83
- 230000005484 gravity Effects 0.000 description 48
- 230000008569 process Effects 0.000 description 41
- 238000003860 storage Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 33
- 230000033001 locomotion Effects 0.000 description 30
- 238000009966 trimming Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000004091 panning Methods 0.000 description 9
- 238000007639 printing Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 241000272165 Charadriidae Species 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Description
良好な構図とするための一般的、基本的な手法はいくつかあるものの、一般のカメラユーザが良い構図の写真を撮影することは、写真撮影に関する充分な知識、技術を持っていない限り、決して簡単なことではない。このことからすると、例えば良好な構図の写真画像を手軽で簡単に得ることのできる技術構成が求められることになる。
また、特許文献2には、自動追尾装置として、人物を自動追尾する場合に、人物の顔が画面中央となるように画面上の人物像全体の面積に対してその人物上の上側から20%の面積となる位置を画面中央にして追尾することによって人物の顔を確実に撮影しながら追尾できるようにした技術構成が開示されている。
これらの技術構成を構図決定の観点から見れば、人物としての被写体を自動的に探索して、撮影画面において或る決まった構図でその被写体を配置させることが可能となっている。
そこで、本願発明では、例えば写真などとしての画像について良好な構図が手軽に得られるようにするための技術を提案することを目指すこととしたうえで、その際において、被写体の状況・状態の変化にも適応してより高度で柔軟性のある構図の決定が行われるようにすることを目的とする。
つまり、画像データに基づく画像中における特定の被写体の存在を検出する被写体検出手段と、上記被写体検出手段により検出された被写体である検出被写体の数に応じて構図を判定する構図判定手段と、を備え、上記構図判定手段は、上記検出被写体の数に応じて構図判定方法を変更し、上記検出被写体の数が2以上である場合において、左右両端に位置する被写体間の距離の、画像水平方向の長さに対する比率について、上記検出被写体の数に応じて異なる値を設定することとした。
この図に示されるように、本実施の形態の撮像システムは、デジタルスチルカメラ1と雲台10とから成る。
デジタルスチルカメラ1は、本体正面側のパネルに設けられているレンズ部3によって撮像して得られる撮像光に基づいて静止画像データを生成し、これを内部に装填されている記憶媒体に記憶させることが可能とされている。つまり、写真として撮影した画像を、静止画像データとして記憶媒体に記憶保存させる機能を有する。このような写真撮影を手動で行うときには、ユーザは、本体上面部に設けられているシャッター(レリーズ)ボタンを押し操作する。
雲台10のパン・チルト機構により与えられるデジタルスチルカメラ1のパン方向、チルト方向それぞれの動き方は例えば図2(a)(b)に示されるものとなる。図2(a)(b)は、雲台10に取り付けられているとされるデジタルスチルカメラ1を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ1の本体横方向と図2(a)に示される直線X1とが同じ向きとなる位置状態を基準にして、例えば回転軸Ct1を回転中心として回転方向+αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ1の本体縦方向が垂直方向の直線Y1と一致する一状態を基準にして、例えば回転軸Ct2を回転中心として回転方向+βへの回転が行われることで、下方向へのパンニングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのパンニングの動きが与えられる。
なお、図2(a)(b)に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
この図において、先ず、光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部27が実行するとされるズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
信号処理部24では、A/Dコンバータ23から出力されるデジタルの撮像信号について、例えば1つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成することができる。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画像データの形式に変換する。そして、このようにして生成した撮像画像データをメディアコントローラ26に転送する。メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる撮像画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
このためには、制御部27が撮像画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された撮像画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
先に述べたように、雲台10は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部53、パン用モータ55、チルト機構部56、チルト用モータ57を備える。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図2(a)に示したパン(横)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。同様にして、チルト機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図2(b)に示したチルト(縦)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
同様にして、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動量と移動方向に対応した制御信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される制御信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転角度で回転し、この結果、チルト機構部56も、これに対応した移動量と移動方向により動くようにして駆動される。
つまり、本実施の形態の撮像システムでは、デジタルスチルカメラによる写真撮影を行うのにあたり、探索された被写体について最適構図を決定(判定)して撮影記録を行うという動作が自動的に実行される。これにより、ユーザ自身が構図を判断して撮影を行わなくとも、相応に良質な写真の画像を得ることが可能になる。また、このようなシステムでは、誰かがカメラを持って撮影する必要が無くなるので、その撮影が行われる場所に居る全員が被写体となることができる。また、被写体となるユーザが、カメラの視野角範囲に入ろうと特に意識しなくとも、被写体が収まった写真が得られることになる。つまり、その撮影場所に居る人の自然な様子を撮影する機会が増えるものであり、これまでにはあまりなかった雰囲気の写真を多く得ることができる。
また、最適構図というものは、被写体数に応じては異なってくるものであるとの考え方をとることもできるが、本実施の形態における構図決定に関しては、検出された被写体の数に基づいて異なる最適構図を判定できるようにして構成される。これにより、例えば被写体数を考慮せずに構図決定を行うこととした場合と比較すれば、総合的には、本実施の形態のほうがより良質な画像を得ることが可能となる。
図5は、デジタルスチルカメラ1側が備える、本実施の形態の構図制御に対応した機能部位についての構成例を示している。
この図において被写体検出処理ブロック61は、イメージセンサ22にて得られる撮像信号に基づいて信号処理部24にて得られる撮像画像データを利用して、被写体の探索制御を含む、被写体検出処理を実行する部位とされる。ここでの被写体検出処理は、先ず撮像画像データの画面の画内容から、人としての被写体を弁別して検出する処理をいうものであり、ここでの検出結果として得られる情報(検出情報)は、人としての被写体の数と、個々の被写体(個別被写体)ごとについての画面内での位置情報、及び個別被写体ごとについての画像内におけるサイズ(占有面積)などとなる。なお、構図判定のアルゴリズムなどの構成によっては、被写体の数のみが検出情報として得られるようにされれば、本実施の形態としての構図制御は実現可能である。
また、ここでの被写体検出処理の具体的手法としては、顔検出の技術を用いることができる。また、顔検出の方式、手法もいくつか知られているが、本実施の形態においてはどの方式を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適当とされる方式が採用されればよい。
また、この被写体検出処理ブロック61が実行する被写体検出処理は、信号処理部24における画像信号処理として実現することができる。先の説明のようにして信号処理部24がDSPにより構成される場合、この被写体検出処理は、信号処理部24としてのDSPに与えるプログラム、インストラクションにより実現されることになる。
また、被写体探索制御時においては、雲台10のパン・チルト機構を制御するために、通信制御処理ブロック63経由で、上記パン・チルト機構を駆動するための制御信号を出力する。
構図制御処理ブロック62は、入力された被写体についての検出情報を利用して、最適であるとしてみなされる構図(最適構図)を決定する。そして、決定した最適構図を得るための制御(構図制御)を実行する。この場合の構図制御としては、画角(本実施の形態では、例えばズームレンズの制御に応じて変更可能な視野角をいう)の変更制御と、パン(左右)方向に沿った撮像方向の制御(パン制御)と、チルト(上下)方向に沿った撮像方向の制御(チルト制御)から成る。画角変更のためには、デジタルスチルカメラ1の光学系部21におけるズームレンズを移動するズーム制御、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の少なくとも何れか一方を行う。また、パン制御、チルト制御は、雲台10のパン・チルト機構を制御して動かすことにより行う。パン・チルト機構の制御を行うとき、構図制御処理ブロック62は、パン・チルト機構をしかるべき位置状態とするための制御信号を、通信制御処理ブロック63を経由して、雲台10側に送信させる。
なお、上記構図制御処理ブロック62が実行する構図決定と構図制御の処理は、例えば、制御部27(CPU)がプログラムに基づいて実行するように構成することができる。あるいは、これに信号処理部24がプログラムに基づいて実行する処理を併用した構成とすることも考えられる。また、通信制御処理ブロック63は、雲台10側の通信部52との通信処理を所定のプロトコルに従って実行するようにして構成される部位であり、雲台対応通信部34に対応する機能部位となる。
ここで、被写体検出処理ブロック61が、図6(a)に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が1つ存在した画を撮影して得られたものである。また、図6(a)(及び図6(b))には、1画面をマトリクス状に区切った状態を示しているが、これは、撮像画像データとしての画面が、所定数による水平・垂直画素の集合から成るものであることを模式的に示している。
図6(a)に示す画内容の撮像画像データを対象に被写体検出(顔検出)を行うことによっては、図において示される1つの個別被写体SBJの顔が検出されることになる。即ち、顔検出処理によって1つの顔が検出されることを以て、ここでは1つの個別被写体が検出されることとしている。そして、このようにして個別被写体を検出した結果としては、先にも述べたように個別被写体の数、位置、サイズの情報を得るようにされる。
先ず、個別被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図6(a)の場合には、検出される顔が1つであるから、個別被写体数としても1であるとの結果が得られる。
また、個別被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における個別被写体SBJの重心G(X,Y)を求めることとする。なお、この場合の重心G(X,Y)の基準となる撮像画像データの画面上のX,Y原点座標P(0,0)は、例えば図7に示すようにして、画面サイズに対応したX軸方向(水平方向)の幅(水平画サイズ)Cxの中間点と、Y軸方向(垂直方向)の幅(垂直画サイズ)Cyの中間点との交点であることとしている。
また、この重心Gについての個別被写体の画像内における位置の定義であるとか、重心Gをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。
また、個別被写体ごとのサイズについては、例えば顔検出処理により顔部分であるとして特定、検出される領域の画素数を求めるようにすればよい。
また、このようにして、2以上の個別被写体が検出される場合には、これら複数の個別被写体をひとまとまりの被写体(総合被写体)としてみた場合の重心である、総合被写体重心Gt(Xg,Yg)を求めるようにされる。
この総合被写体重心Gtをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個別被写体のうちで、画面の左端と右端の両端に位置する個別被写体の重心を結ぶ線分上の中間点を総合被写体重心Gtとして設定した場合を示している。この総合被写体重心Gtは、例えば後述するようにして構図制御において利用することができる情報であり、個別被写体の重心の情報が取得されれば演算により求められる情報である。従って、総合被写体重心Gtについては、被写体検出処理ブロック61により求め、これを検出情報として出力することとしてもよいが、構図制御処理ブロック62が、検出情報として取得した個別被写体の重心の位置を示す情報のうちから、左右両端に位置する個別被写体の重心に関する情報を利用して求めるようにしてもよい。
なお、ほかには例えば、複数の個別被写体のサイズに応じて重み付け係数を与え、この重み付け係数を利用して、例えばサイズの大きな個別被写体に総合被写体重心Gtの位置が近くなるように配慮した設定手法も考えることができる。
また、個別被写体のサイズについては、例えば個別被写体SBJ0、SBJ1ごとに、その検出された顔が占有するとされる画素数を求めることとすればよい。
図8(a)には、構図制御前の被写体検出の結果により得られた撮像画像データとして、1つの個別被写体SBJ0が撮像された画内容が得られた場合を示している。なお、本実施の形態にあっては、デジタルスチルカメラ1を取り付けた雲台10を通常に設置した場合には、横長の画像が撮像されるようにしてデジタルスチルカメラ1の向きが設定される。従って、第1例にあっては、撮像により横長の画像が得られることを前提とする。
また、個別被写体が1つである場合の画面内におけるその位置についてであるが、本実施の形態の場合、左右方向に関しては、ほぼ中央となるように位置させることとしている。このためには、例えば個別被写体SJB0の重心Gの左右方向における位置を、ほぼ中央となるようにすればよい。
なお、被写体間距離Kを水平画サイズCxの1/3とするのは、三分割法といわれる構図設定の手法に基づいている。三分割法は、最も基本的な構図設定手法の1つであり、方形の画面を垂直方向と水平方向のそれぞれに沿って三等分する仮想線上に被写体を位置させることにより良好な構図を得ようとするものである。被写体間距離K=Cx/3となるようにしたうえで、上記のようにして総合被写体重心Gtを左右方向における中央に位置させると、個別被写体SBJ0の重心G0は、画面縦方向に沿った左側の仮想線上にほぼ位置することとなり、また、個別被写体SBJ1の重心G1は、画面縦方向に沿った右側の仮想線上にほぼ位置することとなる。つまり三分割法に従った構図が得られることになる。
そして、この場合には、この被写体間距離Kについて、図9(b)に示すようにして、水平画サイズCxの1/2となるようにして画角の制御を行う。また、左右における被写体位置については、総合被写体Gtが画面左右方向におけるほぼ中央に位置するようにして、3つ個別被写体が存在する領域部分が、画面左右方向においてほぼ中央にくるようにする。本実施の形態としては、3以上の個別被写体が検出された場合において、この図10に示される構図制御を行うこととする。
3以上の個別被写体が画面内に在る場合には、例えば三分割法に忠実に従って被写体間距離Kを水平画サイズCxの1/3とするよりも、さらに水平画サイズCxに対する被写体間距離Kの比率を大きくとったほうが一般的には良い構図が得られる。そこで、本実施の形態としては、上記のようにして、3以上の個別被写体が検出された場合には、被写体間距離K=Cx/2となる構図を形成することとしている。
このようにして本実施の形態では、検出される個別被写体が1の場合と、2の場合と、3以上の場合とで、それぞれ異なる画角の調整による構図制御を行うようにされている。
ステップS101では、イメージセンサ22からの撮像信号に基づいた撮像画像データを取り込んで取得する。ステップS102では、上記ステップS101により取得した撮像画像データを利用して被写体検出処理を実行する。ここでの被写体検出処理としては、例えば先ず、先に述べた顔検出などの手法により、撮像画像データとしての画面内容において個別被写体が存在するか否かについての検出を行うものであり、個別被写体が存在する場合には、少なくとも個別被写体数、個別被写体ごとの位置(重心)、サイズを検出情報として得るようにされる。
なお、上記被写体探索のためのパン・チルト制御として、雲台10のパン・チルト機構をどのようなパターンで動かすのかについては、例えば探索が効率的に行われることを配慮して決めることとすればよい。
また、ステップS106においては、モードフラグfについて0を設定(f=0)し、ステップS101に戻るようにされる。
このようにして、撮像画像データの画内容において少なくとも1つの個別被写体が検出されるまでは、ステップS101〜ステップS106の手順が繰り返される。このとき、デジタルスチルカメラ1と雲台10から成るシステムは、被写体探索のために、デジタルスチルカメラ1がパン方向及びチルト方向に動かされている状態となっている。
f==0であると判別された場合には、構図制御として、最初のラフな被写体捕捉モードを実行すべき場合であることを示すものであり、図のようにしてステップS108から始まる手順を実行する。
ステップS108においては、総合被写体重心Gtが、撮像画像データの画面(撮像画像データの画内容を表したとするときに得られる画面)における原点座標P(0,0)(図7参照)に位置しているか否かについての判別を行う。ここで、総合被写体重心Gtは、未だ原点座標に位置していないとして否定の判別結果が得られた場合には、ステップS109により、総合被写体重心Gtが原点座標に位置するようにして、雲台10のパン・チルト機構を動かすための制御を実行し、ステップS101に戻る。このようにして、個別被写体の存在が検出されている状態での最初の構図制御の手順である捕捉モードは、総合被写体重心Gtを、先ずは初期の基準位置である原点座標に対して位置させるようにして雲台10のパン・チルト機構を制御することで、検出された個別被写体が写っているとされる画像領域を画面内の中央に位置させようとするものである。
モードフラグf==0の状態で個別被写体が検出される状態では、被写体検出処理ブロック61は、下記の(数1)により示される演算を行って、パン方向における必要移動量Spanとチルト方向における必要移動量Stiltを求めるようにされる。下記の(数1)において、nは検出された個別被写体数を示し、p(Xi,Yi)は0番からn−1番までの番号が与えられた個別被写体のうちのi番目の個別被写体の重心のX,Y座標を示す。確認のために、図7に示したように、この場合における原点座標(0,0)は、画面における水平方向における中点と垂直方向における中点との交点となる。
そして、ステップS108において、総合被写体重心Gtが原点座標に位置したとして肯定の判別結果が得られたとされると、ステップS110によりモードフラグfについて1を設定(f=1)してステップS101に戻る。このステップS109によりモードフラグfについて1が設定された状態は、構図制御における最初の手順である捕捉モードは完了し、次の第1の構図の調整制御(構図調整モード)を実行すべき状態であることを示す。
ステップS112においては、検出されている個別被写体のサイズがOKであるか否かについて判別する。個別被写体のサイズがOKである状態とは、図8(b)に示したように、個別被写体としての画像部分の画面内での占有率が所定の範囲値に収まっている状態である。ステップS112において否定の判別結果が得られた場合には、ステップS113に進み、上記の占有率が所定範囲値内となる(所定の範囲値内に収まる)ようにしてズームレンズの駆動制御(ズーム制御)を実行し、ステップS101に戻る。なお、このときには、個別被写体の重心G(総合被写体重心Gt)の水平方向(左右方向)における位置に関しては、ステップS109にて設定されたX座標(X=0)に対応する位置を維持するようにしてズーム制御を行うようにされる。これにより、個別被写体を左右方向においてほぼ中央に位置させた状態を維持することができる。また、被写体探索、検出動作の実行時においては、ステップS104によりズームアウト制御が行われるので、ステップS113としてのズーム制御に際してはズームイン制御となる場合が多いと考えられる。しかし、何らかの原因で上記の占有率が所定範囲値を越えるような画面内容の状態であることに応じてステップS112にて否定の判別結果が得られた場合、ステップS113ではズームアウトを実行させて占有率が所定範囲値内に収まるように制御することになる。
そして、ステップS112において肯定の判別結果が得られたのであればステップS114に進み、モードフラグfについて2を設定してステップS101に戻るようにされる。なお、モードフラグf==2は、以降の説明からも理解されるように、第1の構図調整が完了して、次の第2の構図調整を実行したうえでレリーズ動作を実行すべきであることを示す。
ステップS115においては、撮像画像データの画面における2つの個別被写体の被写体間距離Kが、図9(b)に示したようにして、水平画サイズCxの1/3となっている状態(K==Cx/3)にあるか否かについての判別を行うようにされる。ここで否定の判別結果が得られた場合には、ステップS116に進み、上記のK==Cx/3の状態となるようにズーム制御を実行する。なお、このときにも、総合被写体重心Gtの水平方向における位置については、ステップS109にて設定されたX座標(X=0)を維持するようにしてズーム制御を行うようにされる。この点については後述するステップS119も同様である。そして、ステップS115によりK==Cx/3の状態になっているとして肯定の判別結果が得られた場合には、ステップS117に進んでモードフラグfについて2を設定してステップS101に戻る。
ステップS118においては、撮像画像データの画面における被写体間距離K(この場合には、画面内における最も左の個別被写体の重心から、画面内における最も右の個別被写体の重心までの距離となる)が、図10(b)に示したようにして、水平画サイズCxの1/2となっている状態(K==Cx/2)にあるか否かについての判別を行う。ここで否定の判別結果が得られた場合には、ステップS119に進み、K==Cx/2となるようにズーム制御を実行する。そして、K==Cx/3の状態になっているとして肯定の判別結果が得られた場合には、ステップS120に進んでモードフラグfについて2を設定してステップS101に戻るようにされる。
ステップS121では、総合被写体重心Gt(個別被写体が1つの場合はその個別被写体の重心Gとなる)の位置について、画面上の原点座標Pを通過する水平直線(X軸)から所定のオフセット量だけオフセットしている状態にあるか否か(重心オフセットがOKであるか否か)を判別する。
ステップS121にて否定の判別結果が得られた場合には、ステップS122により、設定されたオフセット量だけ重心がオフセットされるようにして、雲台10のチルト機構が動くようにチルト制御を実行し、ステップS101に戻る。そして、ステップS121において肯定の判別結果が得られた段階では、個別被写体数に応じた最適構図が得られているものとされる状態が得られたことになる。
なお、このステップ121、S122に対応した重心オフセットとしてのオフセット量の値をどのようにして設定するのかについては、いくつかの手法が考えられることから、ここでは特に限定されるべきものではない。最も簡単な設定の1つとしては、例えば三分割法に基づいて、縦方向における中心位置から、垂直画サイズCyの1/6に相当する長さのオフセット値を与えることが考えられる。もちろん、例えば個別被写体数に応じた異なるオフセット値を所定の規則に従って設定するように構成することも考えられる。
上記ステップS123で否定の判別結果が得られた場合には、ステップS101に戻る。これにより、レリーズ動作を実行できる条件が満たされる状態となるのを待機することができる。そして、ステップS123において肯定の判別結果が得られると、ステップS104によりレリーズ動作を実行する。このようにして、本実施の形態では、最適構図の撮像画像データを記録することができる。
レリーズ動作が終了したとされると、ステップS125により所要のパラメータについて初期設定を行う。この処理により、モードフラグfについては初期値の0が設定される。また、ズームレンズの位置も、予め設定された初期位置に戻される。
そして、ステップS125の処理を実行した後はステップS101に戻る。このようにしてステップS125からステップS101に戻ることにより、被写体を探索し、この探索により検出されることとなった個別被写体数に応じた最適構図を得て撮像記録(レリーズ動作)を行うという動作が、自動的に繰り返し実行されることになる。
ここでいう構図判定方法の変更とは、例えば構図判定、構図制御のためのアルゴリズムを変更すること、あるいは構図判定、構図制御のためのパラメータを変更することをいう。ステップS111により検出される個別被写体数が1であると判別した場合には、ステップS112、S113により、個別被写体としての画像部分の画面内での占有率に基づいてズーム制御を行うのに対して、ステップS111により検出される個別被写体数が2以上であると判別した場合には、上記の占有率ではなく、被写体間距離Kに基づいてズーム制御を行う。これは、個別被写体のサイズを調整に関する構図判定、構図制御にあたり、そのためのアルゴリズムを、検出される個別被写体数に応じて変更しているといえる。さらに、検出される個別被写体数が2以上である場合においては、個別被写体数が2の場合と3以上の場合とで、最適構図であると判定される被写体間距離Kについて、Cx/3とCx/2のようにして異なる値が設定される。これは、検出される個別被写体数に応じて、個別被写体のサイズを調整に関する構図判定、構図制御のためのパラメータを変更しているといえる。
第2の構図制御にあっては、先ず、初期状態として横長の構図が設定された状態で被写体の検出を行うものとする。
そして、例えば図12(a)に示すようにして撮像画像データの画面内において1つの個別被写体SBJ0が検出されたとする。このようにして検出された個別被写体数が1つの場合、第2の構図制御にあっては、図12(a)から図12(b)への遷移として示すように、構図を縦長に設定するようにされる。
そのうえで、個別被写体SBJ0については、画面内における占有率が所定範囲値内となるようにしてサイズの調整(ズーム)制御を行うようにされる。また、この場合には、個別被写体SBJ0の水平方向における位置はほぼ中央となるようにしており、垂直方向における位置は、所定規則に従って中央よりも上方向にオフセットされるようにして在るようにされる。
或いは、例えば雲台10について、デジタルスチルカメラ1を横置きに対応する状態と縦置きにする状態との間で動かすことのできるような機構を設けることとしたうえで、この機構を駆動制御することで構図を変更可能とした構成も考えることができる。
被写体間距離Kが閾値以下である場合には、2つの個別被写体は、互いに相当に近い状態にあるということになる。このような状態であれば、構図としては、横長とするよりも縦長としたほうが好ましいとの考え方をとることができる。そこで、この場合には、図13(a)から図13(b)への遷移として示すようにして、構図を縦長に変更する。なお、構図を変更するための手法としては、例えば上記したとおりである。そのうえで、個別被写体SBJ0、SBJ1のサイズと位置が適切なものとなるようにして、ズーム制御やパン・チルト制御を行うようにされる。この場合にも、画面内での個別被写体SBJ0、SBJ1から成るとされる画像部分の水平方向における位置はほぼ中央となるようにしており、垂直方向における位置は、所定規則に従って中央よりも上方向に在るようにされている。
一方、検出された2つの個別被写体SBJ0、SBJ1の被写体間距離Kが閾値を越えている場合には、2つの個別被写体は、互いに相応に離れていることになるが、この場合には、構図としては、横長とすることが好ましいということになる。そこで、この場合には、先に図9により説明したのと同様の構図制御を行うようにされる。
この図において、ステップS201〜S210までの手順は、図11のステップS101〜S110までの手順と同様となる。ただし、ステップS204においては、ステップS104と同様にズームアウト制御を実行するほか、これまでに設定されていた構図が縦長であったときには、初期状態である横長に設定しなおすための制御も実行するようにされる。
先ず、ステップS211にて個別被写体数が1であると判別された場合には、ステップS212から始まる手順を実行する。
ステップS212においては、これまでにおいて設定されていた構図が横長である場合には、これを縦長に変更するための制御を実行する。この処理として、例えば先の説明のようにして、横長の構図として得られる撮像画像データから縦長サイズ分の画像領域を切り出すための信号処理を実行すればよい。このような処理は、信号処理部24における構図制御処理ブロック62としての機能により実現すべきものとなる。ステップS212の手順を実行すると、ステップS213に進む。
ステップS213〜ステップS215は、それぞれ、図11のステップS112〜S114と同じとなる。
上記ステップS212〜S215までの手順により、図12により説明した構図制御(個別被写体についての上方向へのオフセットを除く)が行われたこととなる。
ステップS216においては、検出された2つの個別被写体についての個別被写体間距離Kが閾値以下であるか否かについて判別する。ここで、肯定の判別結果が得られた場合には、ステップS217に進み、これまでにおいて設定されていた構図が横長である場合には、これを縦長に変更するための制御を実行する。そして、ステップS213〜S215の手順を実行することになる。
ただし、ステップS217からステップS213に至った場合、ステップS213〜S215の手順を実行する際には、個別被写体が2つであることに対応して設定された、個別被写体が1つのときとは異なる占有率についての所定範囲値が設定される。そして、2つの個別被写体の占有率が、この所定範囲値内に収まったとされると、個別被写体の適正サイズが得られたとして、ステップS215においてモードフラグfについて2を設定することになる。
一方、ステップS216において、否定の判別結果が得られた場合には、ステップS218からはじまる手順を実行するようにされる。
ステップS218では、これまでにおいて設定されていた構図が縦長であった場合には、これを横長に変更するための制御を実行する。これに続くステップS219〜S221の手順は、図11のステップS115〜S117と同様となる。
上記ステップS216〜S221までの手順、及びステップS217から続くステップS213〜S215の手順により、個別被写体数が2である場合の第2例の構図制御が行われる。つまり、被写体間距離Kが短いとされる場合の画面を縦長とする構図制御と、被写体間距離Kが長いとされる場合の画面を横長とする構図制御との使い分けが行われる。
例えば、実際の画面においては、上下方向において2つの個別被写体間の距離が相当に離れている場合がある。このようなときには、たとえ左右方向における2つの個別被写体間の距離が在る程度離れているとしても、縦長の構図としたほうが良好な全体構図となる場合があると考えられる。
ステップS216として、画面水平方向に対応する個別被写体間距離Kとともに、画面垂直方向に対応する個別被写体間距離Kvを判定要素に利用する場合のアルゴリズムの例を挙げておく。
例えば、画面水平方向に対応する個別被写体間距離Kと画面垂直方向に対応する個別被写体間距離Kvについての比としてK/Kvを求める。そして、このK/Kvについて、所定の閾値以上であるか否かについて判別する。K/Kvが閾値以上である場合には、上下方向における個別被写体間の距離と比べれば、水平方向における2つの個別被写体間の距離のほうが相応に広いということになる。この場合には、ステップS218により横長の構図を設定する。これに対して、K/Kvが閾値未満である場合には、上下方向における個別被写体間の距離が相応に離れていることになる。そこで、この場合には、ステップS217により縦長の構図を設定する。
あるいは、先の説明と同様に、画面水平方向に対応する個別被写体間距離Kと所定の閾値を比較し、個別被写体間距離Kが閾値以下であれば、このときには、ステップS217に進んで縦長の構図を設定する。これに対して、個別被写体間距離Kが閾値を越えた場合には、次に画面垂直方向に対応する個別被写体間距離Kvについて、所定の閾値と比較する。なお、個別被写体間距離Kvと比較する閾値は、個別被写体間距離Kに対応する閾値と同じ値である必要はなく、個別被写体間距離Kvに対応して適切に設定された値を利用すればよい。そして、個別被写体間距離Kvが閾値以内であれば、ステップS218により横長の構図を設定するが、閾値を越えるのであれば、ステップS217により縦長の構図を設定する。
あるいは、
ステップS226、S227による手順は、図11のS121、S122と同様となる。この手順が実行されることで、例えば先に図12、図13により述べたようにして、個別被写体が画面内において、中央よりも上側に位置するような構図を得ることができる。
例えば、縦長と横長の何れの構図を設定するのか、という構図判定のアルゴリズムに関して、図14の場合には、検出される個別被写体数が2のときには、個別被写体間距離Kに応じて縦長と横長の何れかが選択されるが、検出される個別被写体数が3以上の場合には、一律に横長を設定することとしている。しかし、例えば、検出される個別被写体数が3以上の場合であっても、検出される個別被写体数ごとに適合するようにして設定した閾値と、そのときの個別被写体間距離Kとを比較した結果に基づいて、横長と縦長の何れの構図とするのかを決定するように構成してもよい。つまり、検出される個別被写体数が2以上であれば、個別被写体間距離Kに基づいた縦長構図と横長構図の判定を行うようにして構成できる。また、このときにも、先にステップS216において述べた、垂直方向に対応する個別被写体間距離Kvを判定要素に加えることができる。
そして、例えば被写体探索動作(ステップ105、S205)を実行した結果、図15(a)に示す画内容の撮像画像データが得られたとする。これに対応するステップS101若しくはS202の被写体検出処理としては、顔検出により4つの個別被写体の存在を検出することになる。この段階において検出される個別被写体は、ここでは、「被写体候補」として扱われる。図では、画面内の4つの被写体候補について、左から右にかけて、被写体候補DSBJ0、DSBJ1、DSBJ2、DSBJ3と符号を付している。
この処理にあっては、例えば先ず、顔検出処理により検出された全ての被写体を被写体候補として扱うこととしている。そして、ステップS301においては、この被写体候補が少なくとも1つ検出されるのを待機しており、被写体候補が検出されたのであれば、ステップS302に進む。
ステップS302において肯定の判別結果が得られた場合には、被写体候補の数が対象個別被写体上限数を超えていないことになる。そこで、この場合には、ステップS303により、検出された全ての被写体候補を対象個別被写体として扱うものとして設定する。
これに対して、ステップS302において否定の判別結果が得られた場合には、被写体候補の数が対象個別被写体上限数よりも多いことになる。この場合には、ステップS304により、検出された被写体候補のサイズの大きい順から、対象個別被写体上限数分の被写体候補を選別する。そして、ステップS305により選別した被写体候補を、対象個別被写体として扱うものとして設定する。これにより、被写体弁別が行われたこととなる。
このような図16の手順を経ることで、図11のステップS102或いは図14のステップS202の被写体検出処理の結果としては、上記ステップS303又はステップS205により設定された対象個別被写体の数、対象個別被写体ごとのサイズ、位置などの情報を、検出情報として構図制御処理ブロック62に出力することになる。構図制御処理ブロック62は、この検出情報を利用して、図11のステップS107以降、或いは図14のステップS207以降の構図制御を実行する。
この図では、先ず、デジタルスチルカメラ1から通信制御処理ブロック63を経由して、撮像に基づいて信号処理部24にて生成される撮像画像データを、雲台10に対して送信するようにされている。
この図においては、雲台10の構成として通信制御処理ブロック71、パン・チルト制御処理ブロック72、被写体検出処理ブロック73、及び構図制御処理ブロック74が示されている。
通信制御処理ブロック71は、図4の通信部52に対応する機能部位であって、デジタルスチルカメラ1側の通信制御処理ブロック部63(雲台対応通信部34)との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック71により受信された撮像画像データは、被写体検出処理ブロック73に渡される。この被写体検出ブロッ73は、例えば図5に示した被写体検出処理ブロック61と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック74に出力する。
構図制御処理ブロック74は、図4の構図制御処理ブロック62と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック72に対して出力する。
パン・チルト制御処理ブロック72は、例えば図4における制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部53、チルト機構部56の動きをコントロールするための信号をパン用駆動部55、チルト用駆動部58に対して出力する。これにより、構図制御処理ブロック62にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図17に示す撮像システムは、デジタルスチルカメラ1から雲台10に撮像画像データを送信させることとして、雲台10側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
このシステムにおいては、雲台10側において撮像部75が備えられる。この撮像部75は、例えば撮像のための光学系と撮像素子(イメージャ)を備えて、撮像光に基づいた信号(撮像信号)を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図1に示した光学系部21、イメージセンサ22、A/Dコンバータ23、及び信号処理部24において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部75により生成される撮像画像データは被写体検出処理ブロック73に出力される。なお、撮像部75が撮像光を取り込む方向(撮像方向)は、例えば雲台10に載置されるデジタルスチルカメラ1の光学系部21(レンズ部3)の撮像方向とできるだけ一致するようにして設定される。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台10側で完結して行うことができる。
例えば、これまでにおいては、特に水平方向(左右方向)に関しての構図制御に関しては述べていないが、例えば三分割法などによれば、被写体を中央に配置するのではなく、左右何れかの方向に偏らせることによっても良い構図が得られるものとされている。そこで、実際においては、個別被写体数に応じた構図制御として、例えば被写体重心(個別被写体重心、総合被写体重心)についての左右方向における所要量の移動が行われるように構成することとしてもよい。
また、デジタルスチルカメラ1のイメージセンサ22から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台若しくはこれに準ずる、デジタルスチルカメラ1以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ1単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部21におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック81、通知制御処理ブロック82、表示部83を示している。
被写体検出・構図判定処理ブロック81は、撮像画像データを取り込んで、例えば図5の被写体検出処理ブロック61と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図5と同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作(シャッターボタン操作)を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック81では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック82に対して出力される。通知制御処理ブロック82は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部83にて行われるように表示制御を実行する。なお、通知制御処理ブロック82は、撮像装置が備えるマイクロコンピュータ(CPU)などによる表示制御機能と、表示部83に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部83は、例えば本実施の形態のデジタルスチルカメラ1の表示部33に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部83において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
先ず、この図に示す構成においては、図19と同様に、被写体検出・構図判定処理ブロック81により、そのときの撮像により得られる撮像画像データを取り込んで被写体検出処理を行うとともに、被写体検出情報に基づいて、上記の撮像画像データの画内容が最適構図であるか否かを判定するようにされる。そして、最適構図になったことを判定すると、このことをレリーズ制御処理ブロック84に対して通知する。
レリーズ制御処理ブロック84は、撮像画像データを記録するための制御を実行する部位とされ、例えば撮像装置が備えるマイクロコンピュータが実行する制御などにより実現される。上記の通知を受けたレリーズ制御処理ブロック84は、そのときに得られている撮像画像データが、例えば記憶媒体に記憶されるようにして画像信号処理、記録制御処理を実行する。
このような構成であれば、例えば最適な構図の画像が撮像されたときには、自動的にその撮像画像の記録が行われるようにした撮像装置を得ることができる。
この図においては編集装置90が示されている。ここでの編集装置90は、既に存在する画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ(再生画像データ)を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置90が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。
先ず、被写体検出・構図判定処理ブロック92は、例えば先ず、図19、図20と同様の被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生撮像画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分(最適構図の画像部分)がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報(トリミング指示情報)をトリミング処理ブロック91に対して出力する。
トリミング処理ブロック91は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生撮像画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データとして出力する。これが編集撮像画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構造となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。
ここでは図示していない撮像部により撮像して得られる撮像画像データは、撮像装置100内の被写体検出・構図判定処理ブロック101、ファイル作成処理ブロック103とに対して入力することとしている。なお、この場合において、撮像装置100内に入力された撮像画像データは、例えばレリーズ操作などに応じて記憶媒体に記憶されるべきこととなった撮像画像データであり、ここでは図示していない、撮像部での撮像により得られた撮像信号を基に生成されたものである。
先ず被写体検出・構図判定処理ブロック101では、入力された撮像画像データを対象に被写体検出を行い、その検出情報に基づいて最適構図がどのようなものであるのかを判定するようにされる。具体的には、例えば図21の場合と同様にして、入力された撮像画像データの全画面において最適構図となる画像部分を特定した情報が得られるようにされればよい。そして、このようにして得た最適構図についての判定結果を表す情報を、メタデータ作成処理ブロック102に対して出力する。
メタデータ作成処理ブロック102では、入力された情報に基づいて、対応する撮像画像データから最適構図を得るために必要な情報から成るメタデータ(構図編集メタデータ)を作成し、ファイル作成処理ブロック103に対して出力する。この構図編集メタデータの内容としては、例えば、対応する撮像画像データとしての画面においてトリミングする画像領域部分がどこであるのかを示し得る位置情報などとなる。
この図に示す撮像装置100では、撮像画像データについて、所定形式による静止画像ファイルとして管理されるようにして記憶媒体に記録するものとされる。これに対応して、ファイル作成処理ブロック103は、撮像画像データを、静止画像ファイル形式に変換(作成)する。
ファイル作成処理ブロック103は、先ず、入力される撮像画像データについて、画像ファイル形式に対応した画像圧縮符号化を行い、撮像画像データから成るファイル本体部分を作成する。これとともに、メタデータ作成処理ブロック102から入力された構図編集メタデータを、所定の格納位置に対して格納するようにしてヘッダ及び付加情報ブロックなどのデータ部分を作成する。そして、これらファイル本体部分、ヘッダ、付加情報ブロックなどから静止画像ファイルを作成し、これを出力する。これにより、図示するようにして、記憶媒体に記録すべき静止画像ファイルとしては、撮像画像データとともにメタデータ(構図編集メタデータ)が含まれる構造を有したものが得られることになる。
図に示す編集装置110は、静止画像ファイルのデータを取り込んで、先ずメタデータ分離処理ブロック111に入力する。メタデータ分離処理ブロック111は、静止画像ファイルのデータから、ファイル本体部分に相当する撮像画像データとメタデータとを分離する。分離して得られたメタデータについてはメタデータ解析処理ブロック112に対して出力し、撮像画像データについてはトリミング処理ブロック113に対して出力する。
トリミング処理ブロック113は、先の図21のトリミング処理ブロック91と同様に、メタデータ分離処理ブロック111側から入力した撮像画像データから、上記メタデータ分離処理ブロック112から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を1つの独立した画像データである、編集撮像画像データとして出力する。
この図に示す撮像装置120には、動画像データが入力される。この動画像データは、例えば同じ撮像装置120が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置120における被写体検出・構図判定処理ブロック122、及びファイル作成・記録処理ブロック124に対して入力される。
この場合の被写体検出・構図判定処理ブロック122は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック122では、予め良好とされる構図がどのようなものであるのかについてのパラメータ(良好構図対応パラメータ)を保持している。このパラメータとしては、検出される個別被写体数ごとに応じて適切であるとして設定された画面内における個別被写体の占有率、被写体間距離Kなどとなる、そして、被写体検出・構図判定処理ブロック122は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う(例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Kなどの構図パラメータを求める)と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック122は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック123に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
動画像記録処理ブロック124は、入力された動画像データについて、所定形式による動画像ファイルとして管理されるようにして記憶媒体に記録するための制御を実行する。そして、メタデータ作成処理ブロック123からメタデータが出力されてきた場合には、このメタデータが、動画像ファイルに付随するメタデータに含められるようにして記録されるようにするための制御を実行する。
これにより、図示するようにして、記憶媒体に記録される動画像ファイルは、撮像により得られたとする動画像データに、良好な構図が得られている画像区間を示すメタデータが付随された内容を有することになる。
なお、上記のようにしてメタデータにより示される、良好な構図が得られている画像区間は、或る程度の時間幅を有する動画像による画像区間とされてもよいし、動画像データから抜き出した静止画像によるものとされてもよい。また、上記のメタデータに代えて、良好な構図が得られている画像区間の動画像データ若しくは静止画像データを生成して、これを動画像ファイルに付随する副次的な画像データ静止画像データ(或いは動画像ファイルと独立したファイル)として記録する構成も考えられる。
また、図24に示されるようにして、撮像装置120に対して被写体検出・構図判定処理ブロック122を備える構成では、被写体検出・構図判定処理ブロック122により良好構図画像区間であると判定された動画像の区間のみを動画像ファイルとして記録するように構成することも考えられる。さらには、被写体検出・構図判定処理ブロック122により良好構図であると判定された画像区間に対応する画像データを、データインターフェースなどを経由して外部機器に出力するような構成も考えることができる。
この場合には、印刷装置130が、印刷すべき画像内容を有する画像データ(静止画)を取り込むこととされており、このようにして取り込んだデータは、トリミング処理ブロック131、及び被写体検出・構図判定処理ブロック132に対して入力される。
先ず、被写体検出・構図判定処理ブロック132は、図21の被写体検出・構図判定処理ブロック92と同様の被写体検出処理・構図判定処理を実行することで、入力される画像データの全画面における最適構図の画像部分を特定する処理を実行し、この処理結果に応じた内容のトリミング指示情報を生成してトリミング処理ブロック131に対して出力する。
トリミング処理ブロック131は、図21のトリミング処理ブロック91と同様にして、入力した画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行する。そして、この抜き出した画像部分のデータを、印刷用画像データとして印刷制御処理ブロック133に対して出力する。
印刷制御処理ブロック133は、入力された印刷用画像データを利用して、ここでは図示していない印刷機構を動作させるための制御を実行する。
このような動作により、印刷装置130によっては、入力した画像データの画内容から、最適構図が得られているとされる画像部分が自動的に抜き出されて、1枚の画として印刷されることになる。
記憶部141には、多数の静止画像ファイルが記憶される。
被写体検出・構図判定処理ブロック142は、所定のタイミングで、記憶部141に記憶されている静止画ファイルを取り込み、そのファイル本体部に格納される静止画像データを取り出す。そして、この静止画像データを対象として、例えば図22の被写体検出・構図判定処理ブロック101と同様の処理を実行して最適構図についての判定結果を表す情報を得て、この情報をメタデータ作成処理ブロック143に対して出力する。
静止画像ファイル出力処理ブロック144においては、内部のメタデータ作成処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて1つの静止画像データとして生成し、これを出力する。
例えば、1つにはネットワーク経由での写真のプリントサービスに適用できる。つまり、ユーザは、プリントサービスのサーバに、プリント(印刷)してもらいたい画像データ(静止画像ファイル)をネットワーク経由でアップロードする。サーバでは、このようしてアップロードされてきた静止画像ファイルを記憶部141に記憶しておき、このファイルに対応するメタデータも作成してメタデータテーブルに登録しておく。そして、実際に印刷出力するときには、静止画像ファイル出力処理ブロック144により、最適構図を抜き出した静止画像データを印刷用の画像データとして出力する。つまり、このサービスによっては、写真プリントを依頼すると、最適構図に補正されてプリントされたものが送られてくるものである。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの(撮像画像データ)のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図(最適構図)は、必ずしも、三分割法のみに基づいて決まるものに限定されない。例えば、三分割法とともに、黄金率による構図設定の手法も知られているが、黄金率などの他の手法を採用することについても特に支障はない。さらには、上記三分割法であるとか、黄金率など、一般的に良いとされる構図のみに限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図(最適構図)としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
Claims (7)
- 画像データに基づく画像中における特定の被写体の存在を検出する被写体検出手段と、
上記被写体検出手段により検出された被写体である検出被写体の数に応じて構図を判定する構図判定手段と、
を備え、
上記構図判定手段は、
上記検出被写体の数に応じて構図判定方法を変更し、
上記検出被写体の数が2以上である場合において、左右両端に位置する被写体間の距離の、画像水平方向の長さに対する比率について、上記検出被写体の数に応じて異なる値を設定する
構図判定装置。 - 上記構図判定手段は、
上記検出被写体の数が増加するにつれ上記比率を増加する
請求項1に記載の構図判定装置。 - 上記構図判定手段は、上記検出被写体の数に応じて構図判定のアルゴリズムを変更する、
請求項1に記載の構図判定装置。 - 上記構図判定手段は、
上記構図判定手段により判定された構図が得られるように機構を制御する機構制御手段をさらに備える
請求項1に記載の構図判定装置。 - 上記判定された構図になった場合に、ユーザへの通知を行う通知制御手段をさらに備える
請求項1に記載の構図判定装置。 - 画像データに基づく画像中における特定の被写体の存在を検出する被写体検出手順と、
上記被写体検出手順により検出された被写体である検出被写体の数に応じて構図を判定する構図判定手順と、
を実行し、
上記構図判定手順は、上記検出被写体の数に応じて構図判定方法を変更し、上記検出被写体の数が2以上である場合において、左右両端に位置する被写体間の距離の、画像水平方向の長さに対する比率について、上記検出被写体の数に応じて異なる値を設定する
構図判定方法。 - 画像データに基づく画像中における特定の被写体の存在を検出する被写体検出手順と、
上記被写体検出手順により検出された被写体である検出被写体の数に応じて構図を判定する構図判定手順と、
を構図判定装置に実行させ、
上記構図判定手順は、上記検出被写体の数に応じて構図判定方法を変更し、上記検出被写体の数が2以上である場合において、左右両端に位置する被写体間の距離の、画像水平方向の長さに対する比率について、上記検出被写体の数に応じて異なる値を設定する
プログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007270392A JP4894712B2 (ja) | 2007-10-17 | 2007-10-17 | 構図判定装置、構図判定方法、プログラム |
KR1020080083200A KR20090039595A (ko) | 2007-10-17 | 2008-08-26 | 구도 판정 장치, 구도 판정 방법, 프로그램 |
TW097133600A TWI410125B (zh) | 2007-10-17 | 2008-09-02 | 構圖判定裝置、構圖判定方法、程式 |
US12/287,412 US8164643B2 (en) | 2007-10-17 | 2008-10-09 | Composition determining apparatus, composition determining method, and program |
EP08166659A EP2051505A3 (en) | 2007-10-17 | 2008-10-15 | Image composition determining apparatus, image composition determining method, and program |
CN201110045756.4A CN102158650B (zh) | 2007-10-17 | 2008-10-16 | 图像处理设备和图像处理方法 |
CN2008101679423A CN101415076B (zh) | 2007-10-17 | 2008-10-16 | 构图判定设备、构图判定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007270392A JP4894712B2 (ja) | 2007-10-17 | 2007-10-17 | 構図判定装置、構図判定方法、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011245273A Division JP5440588B2 (ja) | 2011-11-09 | 2011-11-09 | 構図判定装置、構図判定方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009100301A JP2009100301A (ja) | 2009-05-07 |
JP2009100301A5 JP2009100301A5 (ja) | 2010-04-30 |
JP4894712B2 true JP4894712B2 (ja) | 2012-03-14 |
Family
ID=40010825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007270392A Expired - Fee Related JP4894712B2 (ja) | 2007-10-17 | 2007-10-17 | 構図判定装置、構図判定方法、プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8164643B2 (ja) |
EP (1) | EP2051505A3 (ja) |
JP (1) | JP4894712B2 (ja) |
KR (1) | KR20090039595A (ja) |
CN (2) | CN101415076B (ja) |
TW (1) | TWI410125B (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4904243B2 (ja) * | 2007-10-17 | 2012-03-28 | 富士フイルム株式会社 | 撮像装置及び撮像制御方法 |
JP5206095B2 (ja) | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
KR101599871B1 (ko) * | 2009-02-11 | 2016-03-04 | 삼성전자주식회사 | 촬상 장치 및 촬상 방법 |
JP2010268184A (ja) * | 2009-05-14 | 2010-11-25 | Hoya Corp | 撮像装置 |
JP5577623B2 (ja) * | 2009-05-14 | 2014-08-27 | リコーイメージング株式会社 | 撮像装置 |
JP5347802B2 (ja) * | 2009-07-27 | 2013-11-20 | ソニー株式会社 | 構図制御装置、撮像システム、構図制御方法、プログラム |
JP5446546B2 (ja) * | 2009-07-28 | 2014-03-19 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム、撮像システム |
JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
JP5434339B2 (ja) * | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
WO2011043104A1 (ja) * | 2009-10-09 | 2011-04-14 | シャープ株式会社 | 液晶表示装置、画像表示方法、プログラムおよび記録媒体 |
JP2011082881A (ja) * | 2009-10-09 | 2011-04-21 | Sanyo Electric Co Ltd | 電子カメラ |
JP2011139231A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
JP5533048B2 (ja) * | 2010-03-08 | 2014-06-25 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
JP5648298B2 (ja) * | 2010-03-15 | 2015-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP5625443B2 (ja) * | 2010-03-30 | 2014-11-19 | ソニー株式会社 | 撮像システムおよび撮像装置 |
US9526156B2 (en) * | 2010-05-18 | 2016-12-20 | Disney Enterprises, Inc. | System and method for theatrical followspot control interface |
JP5577900B2 (ja) * | 2010-07-05 | 2014-08-27 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
JP2013214858A (ja) * | 2012-04-02 | 2013-10-17 | Sony Corp | 撮像装置、撮像装置の制御方法およびコンピュータプログラム |
CN103197491B (zh) | 2013-03-28 | 2016-03-30 | 华为技术有限公司 | 快速自动聚焦的方法和图像采集装置 |
JP6171628B2 (ja) * | 2013-06-28 | 2017-08-02 | 株式会社ニコン | 撮像装置、制御プログラム、および電子機器 |
CN104883506B9 (zh) * | 2015-06-26 | 2021-09-03 | 重庆智韬信息技术中心 | 基于人脸识别技术实现的自助拍摄方法 |
KR102469694B1 (ko) * | 2015-08-24 | 2022-11-23 | 삼성전자주식회사 | 카메라를 구비하는 장치에서 사진 촬영 지원 기법 |
CN106331508B (zh) * | 2016-10-19 | 2020-04-03 | 深圳市道通智能航空技术有限公司 | 拍摄构图的方法及装置 |
JP6875196B2 (ja) * | 2017-05-26 | 2021-05-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体 |
CN113038016B (zh) * | 2017-09-27 | 2023-05-19 | 深圳市大疆创新科技有限公司 | 无人机图像采集方法及无人机 |
WO2019136636A1 (zh) * | 2018-01-10 | 2019-07-18 | 深圳前海达闼云端智能科技有限公司 | 图像识别方法、系统、电子设备和计算机程序产品 |
JP7049632B2 (ja) * | 2018-03-31 | 2022-04-07 | 株式会社ウォンツ | 車両画像撮影システム |
JP6873186B2 (ja) * | 2019-05-15 | 2021-05-19 | 日本テレビ放送網株式会社 | 情報処理装置、スイッチングシステム、プログラム及び方法 |
CN113875225A (zh) | 2019-06-04 | 2021-12-31 | 索尼集团公司 | 成像设备和成像控制方法 |
CN112154654A (zh) * | 2019-08-21 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 比赛拍摄方法、电子设备、无人机与存储介质 |
CN111277763A (zh) * | 2020-03-06 | 2020-06-12 | 维沃移动通信有限公司 | 电子设备及拍摄提示方法 |
CN111756998B (zh) * | 2020-06-22 | 2021-07-13 | 维沃移动通信有限公司 | 构图方法、装置及电子设备 |
KR20220152019A (ko) * | 2021-05-07 | 2022-11-15 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
JP6970945B1 (ja) * | 2021-06-18 | 2021-11-24 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0614698B2 (ja) | 1983-05-13 | 1994-02-23 | 株式会社日立製作所 | 自動追尾カメラ |
JP2000098456A (ja) * | 1998-09-28 | 2000-04-07 | Minolta Co Ltd | オート構図機能を有するカメラ |
JP2001268425A (ja) | 2000-03-16 | 2001-09-28 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
US6661450B2 (en) * | 1999-12-03 | 2003-12-09 | Fuji Photo Optical Co., Ltd. | Automatic following device |
JP2001167253A (ja) * | 1999-12-10 | 2001-06-22 | Fuji Photo Film Co Ltd | 撮像画像を評価する撮像装置、方法および記録媒体 |
EP1382017B1 (en) * | 2000-12-22 | 2018-08-22 | Hewlett-Packard Development Company, L.P. | Image composition evaluation |
WO2002085942A2 (en) * | 2001-04-24 | 2002-10-31 | Mcgill University | A 150 kda tgf-beta 1 accessory receptor acting as a negative modulator of tgf-beta signaling |
DE10261295A1 (de) * | 2002-12-27 | 2004-07-08 | Bernhard Rauscher | Verfahren zur Messung der Kameraposition bei einer Bildaufnahme |
JP4046079B2 (ja) * | 2003-12-10 | 2008-02-13 | ソニー株式会社 | 画像処理装置 |
US8045007B2 (en) * | 2004-12-24 | 2011-10-25 | Fujifilm Corporation | Image capturing system and image capturing method |
JP4404805B2 (ja) * | 2005-05-10 | 2010-01-27 | 富士フイルム株式会社 | 撮像装置 |
JP4630749B2 (ja) * | 2005-07-26 | 2011-02-09 | キヤノン株式会社 | 画像出力装置及びその制御方法 |
JP4555197B2 (ja) * | 2005-09-16 | 2010-09-29 | 富士フイルム株式会社 | 画像レイアウト装置および方法並びにプログラム |
JP2009521134A (ja) * | 2005-12-22 | 2009-05-28 | オリンパス株式会社 | シーン認識撮影システム及びシーン認識撮影方法 |
JP4466585B2 (ja) * | 2006-02-21 | 2010-05-26 | セイコーエプソン株式会社 | 対象物が表現された画像の数の算出 |
JP4894328B2 (ja) | 2006-03-31 | 2012-03-14 | 東レ株式会社 | 脂肪族ポリエステルカーペット用捲縮糸 |
TW200828988A (en) * | 2006-12-22 | 2008-07-01 | Altek Corp | System and method for image evaluation |
JP2009088710A (ja) * | 2007-09-27 | 2009-04-23 | Fujifilm Corp | 撮影装置、撮影方法及び撮影プログラム |
-
2007
- 2007-10-17 JP JP2007270392A patent/JP4894712B2/ja not_active Expired - Fee Related
-
2008
- 2008-08-26 KR KR1020080083200A patent/KR20090039595A/ko active IP Right Grant
- 2008-09-02 TW TW097133600A patent/TWI410125B/zh not_active IP Right Cessation
- 2008-10-09 US US12/287,412 patent/US8164643B2/en not_active Expired - Fee Related
- 2008-10-15 EP EP08166659A patent/EP2051505A3/en not_active Withdrawn
- 2008-10-16 CN CN2008101679423A patent/CN101415076B/zh not_active Expired - Fee Related
- 2008-10-16 CN CN201110045756.4A patent/CN102158650B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20090039595A (ko) | 2009-04-22 |
CN102158650B (zh) | 2015-11-25 |
CN101415076B (zh) | 2011-04-20 |
US20090102942A1 (en) | 2009-04-23 |
TW200934228A (en) | 2009-08-01 |
EP2051505A3 (en) | 2012-01-25 |
US8164643B2 (en) | 2012-04-24 |
TWI410125B (zh) | 2013-09-21 |
CN101415076A (zh) | 2009-04-22 |
CN102158650A (zh) | 2011-08-17 |
EP2051505A2 (en) | 2009-04-22 |
JP2009100301A (ja) | 2009-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4894712B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP5115139B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP4640456B2 (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
US9679394B2 (en) | Composition determination device, composition determination method, and program | |
JP5359645B2 (ja) | 構図判定装置、撮像システム、構図判定方法、プログラム | |
US8810673B2 (en) | Composition determination device, composition determination method, and program | |
JP2011030160A (ja) | 画像対応装置、動作設定方法、プログラム | |
JP2007324965A (ja) | デジタルカメラ、撮影制御方法および画像出力システム | |
JP2011030164A (ja) | 撮像装置、撮像システム、撮像方法、プログラム | |
JP5440588B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP2010074399A (ja) | 構図判定装置、構図判定方法、画像処理装置、画像処理方法、プログラム | |
JP5098917B2 (ja) | 構図判定装置、構図判定方法、プログラム | |
JP2006060329A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP2011061857A (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111129 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4894712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |