JPWO2014109125A1 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JPWO2014109125A1 JPWO2014109125A1 JP2014556331A JP2014556331A JPWO2014109125A1 JP WO2014109125 A1 JPWO2014109125 A1 JP WO2014109125A1 JP 2014556331 A JP2014556331 A JP 2014556331A JP 2014556331 A JP2014556331 A JP 2014556331A JP WO2014109125 A1 JPWO2014109125 A1 JP WO2014109125A1
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- distance
- determination
- main subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 215
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000008859 change Effects 0.000 claims abstract description 174
- 238000003384 imaging method Methods 0.000 claims abstract description 118
- 238000013459 approach Methods 0.000 claims abstract description 101
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000000926 separation method Methods 0.000 claims abstract description 31
- 230000002123 temporal effect Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 106
- 230000008569 process Effects 0.000 claims description 77
- 230000001186 cumulative effect Effects 0.000 claims description 21
- 101150110532 CFDP1 gene Proteins 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 22
- LLYXJBROWQDVMI-UHFFFAOYSA-N 2-chloro-4-nitrotoluene Chemical compound CC1=CC=C([N+]([O-])=O)C=C1Cl LLYXJBROWQDVMI-UHFFFAOYSA-N 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 101100328518 Caenorhabditis elegans cnt-1 gene Proteins 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 101150044602 Slc28a2 gene Proteins 0.000 description 3
- 101150090324 Slc28a3 gene Proteins 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000271566 Aves Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
また例えば上記特許文献2,3,4に開示された技術を用いれば、任意の被写体の全身枠を取り囲んだ被写体追尾が実現できる。
また、オートフォーカス・自動露光などは、撮像画像内の所望の領域を検出・追跡し、その領域がもっとも好適になるように光学系等を制御するような機能も存在する。
これらのように、撮像画像内で、ユーザが主要被写体として指定した画像、例えば顔等の画像領域を追尾したり、顔領域にフォーカスを合わせたりする等の技術が知られている。
例えばカメラを所持した状態で、画面表示されたスルー画(シャッタ操作時点以外に表示される被写体のモニタリング画像)に写されている複数の顔の中からタッチパネルによって任意の顔を選択するというような行為で主要被写体が選定される。あるいはユーザ指定のタイミング(シャッタ半押し等)で所定の領域内に存在する被写体を主要被写体とするなどである。
たとえば動き回る被写体に焦点を合わせ続けたいためにこの機能を使いたいのに、ユーザがカメラを構えて被写体を狙いながら指で選択すること自体が難しい。
例を挙げれば、被写体の変化(移動)に対するユーザの反応速度により、指定が困難なこともある。例えば動き回る被写体を、スルー画の画面上でうまく指定できないような場合である。
また、そもそもカメラを手に持って、被写体に向けて被写体を選定しているような状況で、ユーザが画面上で主要被写体を指で選択する行為自体が難しい。特に被写体を追っているような状況、例えばカメラがパンニングやチルティングとしての動きをするようにユーザが撮像方向を変化させている状況では、主要被写体を選択することはほぼ無理に近い。
またタッチパネルを配した表示画面の解像度によって、ユーザにとって被写体が選択しにくいことがある。
また、タッチパネルを配した表示画面上の被写体サイズとユーザの指の大きさ(太さ)によっては、所望の被写体を適切に指定できないこともある。
また、カメラシステム上のタイムラグ、例えば実際の光景と撮像画像のスルー画のタイムラグによって、ユーザが適切に被写体を指定しにくいこともある。
そこで本開示では、撮像者等のユーザが意図的に被写体を選択する行為を行わなくとも、ユーザの求める対象被写体を主要被写体と判定する技術を実現することを目的とする。
本開示の画像処理方法は、画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定し、判定された各被写体の接離傾向に基づいて主要被写体を判定する。
本開示のプログラムは、上記画像処理装置又は画像処理方法を実現する処理を演算処理装置に実行させるプログラムである。
例えばユーザが、撮像装置を構えて撮像を行う場合において、近づいてくる被写体、或いは遠ざかっていく被写体を狙うというケースがある。例えば子供、友人、ペットなどがカメラを構えた撮像者に近寄ってくるような場合、或いは列車、航空機、野鳥等がカメラから遠ざかっていくような場合である。このようにユースケース(撮像対象)に応じて、近寄ってくる被写体を撮像対象とする場合や、遠ざかる被写体を撮像対象とすることがある。そこで被写体の撮像位置に対する接離傾向を判定し、判定された各被写体の接離傾向に基づいて主要被写体を判定することで、ユーザが主要或いは主役と考えている被写体を推定することができ、これにより自動的な主要被写体判定が可能となる。
<1.実施の形態の画像処理装置の構成>
<2.撮像装置の構成>
<3.主要被写体判定機会/目的等>
<4.撮像装置としての第1の実施の形態>
<5.撮像装置としての第2の実施の形態>
<6.撮像装置としての第3の実施の形態>
<7.撮像装置としての第4の実施の形態>
<8.プログラム及びコンピュータ装置への適用>
<9.変形例>
図1に、実施の形態の画像処理装置の構成例を示す。
画像処理装置1は、主要被写体判定部2と、被写体距離変化判定部3を有する。
そして主要被写体判定部2は判定結果として、主要被写体情報Dmを出力する。
またCPU等で主要被写体判定部2としての機能を実現し、CPUと接続された画像処理用DSP等、もしくはその連携処理として被写体距離変化判定部3の機能を実現することも考えられる。
ステップF1として被写体距離変化判定部3が、画像データに含まれる被写体の距離変化を検出し、接離傾向が見られる被写体を判定する。
ステップF2として主要被写体判定部2が、接離傾向が観測された被写体を主要被写体と判定する。
ステップF3で主要被写体判定部2が、主要被写体判定結果である主要被写体情報Dmを出力しアプリケーションプログラム等に受け渡す。
アプリケーションプログラム等では、主要被写体画像が特定されたことに応じた処理を行う。例えば、フォーカス制御、追尾処理、画像効果処理などである。
図2Bの処理例は、画像データ内の被写体について、各フレームでの画像サイズを検出し、そのサイズ変化量を求めることで、各被写体の接離傾向を判定する処理である。つまり被写体の距離の時間的変化を、画像上でのサイズ変化で検出する。説明上、このような考え方の処理を「サイズ判定方式」と呼ぶこととする。後述の第1〜第3の実施の形態は、このサイズ判定方式の考え方を用いる例とする。
また図2Cの処理例は、画像データを複数の領域に分割し、画像内の分割領域(ブロック)毎の被写体の距離の時間的変化を検出する処理である。説明上、このような考え方の処理を「ブロック判定方式」と呼ぶこととする。後述の第4の実施の形態は、このブロック判定方式の考え方を用いる例とする。
ステップF10で被写体距離変化判定部3は、画像データ内で、主要被写体となり得る候補画像を検出する。候補画像とは、例えば人の顔画像、身体画像、犬画像、猫画像などである。被写体距離変化判定部3は、画像データの画像解析処理により、画像内に存在する被写体として顔画像などの1又は複数の候補画像を設定する。
ステップF11で被写体距離変化判定部3は、各候補画像のサイズ(面積)を算出する。例えば候補画像の領域の幅×高さやピクセル数などとしてサイズを算出する。
ステップF12で被写体距離変化判定部3は、各候補画像についてのサイズ変化を算出する。例えば連続するフレーム画像データにおいて、現在処理対象のフレームの候補画像のサイズと、単位時間前(例えば1フレーム前)のフレーム画像データにおける、当該候補画像のサイズの差分を算出する。候補画像の画像上でのサイズは、撮像位置(カメラマ
ンが撮像を行っている撮像装置の位置)と、その候補画像とされた被写体の間の距離に対応する。従って、候補画像としての被写体が接近しているときは、サイズはフレームの進行に従って大きくなり、また候補画像としての被写体が離遠しているときは、サイズはフレームの進行に従って小さくなる。つまりサイズ変化は、距離変化として捉えることができる。
逆に、候補画像としての被写体が離れていっているときは、被写体サイズが徐々に小さくなる。つまりある程度平均的、累積的又は継続的に、サイズ縮小方向へのサイズ変化量が観測される。そのような場合、候補画像は撮像位置から離遠傾向にあると判定できる。
以上の処理により、撮像位置に対して近寄ってくる被写体を主要被写体と判定したり、或いは逆に撮像位置から遠ざかる被写体を主要被写体と判定することを自動的に行うことができる。
ステップF20で被写体距離変化判定部3は、画像データを複数の領域に分割した各分割領域(ブロック)のそれぞれについて、被写体距離を検出する。詳しくは後述するが分割領域(ブロック)とは、図12Bの破線で示すように1つの画像を複数の領域に分けた領域の1つ1つをいう。ステップF20では、各分割領域について、その領域内にうつされた被写体の距離情報を検出する。
逆に、分割領域の被写体が離れていっているときは、距離の値が徐々に大きくなり、ある程度平均的、累積的又は継続的に、距離が長くなる方向への距離変化量が観測される。そのような場合、その分割領域の被写体は撮像位置から離遠傾向にあると判定できる。
領域(隣接領域や、隣接領域にさらに隣接する領域)などの条件で、1つの被写体画像の領域範囲を判定する。
そしてステップF24で、判定した領域範囲の被写体画像を主要被写体と判定する。
以上の処理により、撮像位置に対して近寄ってくる被写体を主要被写体と判定したり、或いは逆に撮像位置から遠ざかる被写体を主要被写体と判定することを自動的に行うことができる。
以下では、上記のような画像処理装置を内蔵した撮像装置10を例に挙げ、主要被写体判定動作について詳しく説明する。
実施の形態の撮像装置10の構成例を図3に示す。なお、この構成例は撮像装置10としての第1の実施の形態に適したものである。第2〜第4の実施の形態としての撮像装置10の構成例についてはその都度説明する。
この撮像装置10はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像/記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。
イメージャ12は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型などの撮像素子を有する。
このイメージャ12では、撮像素子での光電変換で得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部20に出力する。
例えばデジタル信号処理部20は、前処理部21、同時化部22、YC生成部23、解像度変換部24、コーデック部25、候補検出部27を備えている。
同時化部22は、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理を施す。
YC生成部23は、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換部24は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部25は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
なお、顔検出、人体検出等は、撮像画像データに対しての画像解析におけるパターンマッチングの手法などで可能であるが、パターンマッチングに用いる辞書さえ差し替えれば他の検出器も原理的には実現可能である。例えば(特定種の)犬検出・猫検出などとして主要被写体の候補画像を抽出してもよい。
また例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体を候補画像とすることも考えられるし、セイレンシ(Saliency)と呼ばれる注視領域抽出の手法を用いてもよい。候補画像の抽出、選定の手法は多様に考えられる。
抽出した候補画像については、その候補画像枠の位置情報(画面上でのx,y座標値、被写体距離の情報等)や、サイズ情報(例えば候補画像枠の幅、高さ、ピクセル数等)を、候補画像情報として制御部30に受け渡す。なお、ここでは、候補画像となる画像領域の枠を示す情報であることから、候補画像情報のことを「候補画像枠情報」ともいうこととする。
また、候補検出部27は、画像に平滑化処理、アウトライヤ(outlier)除去等の処理を行って、候補画像枠情報を生成してもよい。
なお候補検出部27は、この図3の例ではデジタル信号処理部20で実行される機能構成として示しているが、これは一例であり、制御部30によって候補検出部27の処理が実行されてもよい。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置10全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。例えば本例において後述する主要被写体判定のための処理を実行するためのプログラムや、さらに主要被写体判定結果を利用するアプリケーションプログラム等が記憶される。
この図3の構成の場合、距離変化演算部30bは、候補検出部27で設定された候補画像について、画像サイズを計算し、その画像サイズの単位時間毎の変化を計算し、その結果から接近傾向又は離遠傾向の判定を行う。
主要被写体判定部30aは、距離変化演算部30bの判定結果に基づいて、候補画像の中で主要被写体を設定する処理を行う。
この表示部34は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部30の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズ(シャッタ操作)待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画(被写体モニタリング画像)をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定による判定結果がユーザにわかるような表示も実行される。
この操作部35としては、例えば撮像装置10の筐体上に設けられた各種操作子や、表示部34に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)等が設けられる。
またタッチパネルと表示部34に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
ァイル(コンテンツファイル)や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange
Format)等の形式で記憶される。
記録部15の実際の形態は多様に考えられる。例えば記録部15は、撮像装置10に内蔵されるフラッシュメモリでもよいし、撮像装置10に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置10に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
また、本例において後述する接近判定(又は離遠判定)及び主要被写体判定処理を実行するためのプログラムは、記録部15に記憶されてもよい。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ(静止画ファイルや動画ファイル)の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部14として、光学系11におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部14として、メカアイリス(絞り機構)の開口量を検出するセンサが設けられる場合もある。
センサ部14の各種センサは、それぞれ検出した情報を制御部30に伝達する。制御部30は、センサ部14で検出された情報を用いて各種制御を行うことができる。
図1の画像処理装置1における主要被写体判定部2に相当する構成は、撮像装置10の制御部30において主要被写体判定部30aとしてソフトウエアにより実装される。また被写体距離変化判定部3に相当する構成は、撮像装置10の候補検出部27と制御部30における距離変化演算部30bとしてソフトウエアにより実装される。
制御部30は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を実行制御することになる。
本実施の形態では、後述の第1〜第4の実施の形態として説明するように主要被写体判定が行われるが、撮像装置10において主要被写体判定を行う機会や目的等について説明しておく。
主要被写体判定は、例えばユーザ(撮像者)がシャッタタイミング(レリーズタイミング)を狙っている際に実行されるが、制御部30は主要被写体を自動的に判定した後、次のような処理を行うことができる。
撮像される各フレームにおいて設定された主要被写体を追尾する。例えばスルー画表示上でユーザに主要被写体を明示して、ユーザの画角調整(例えばカメラを手に持っている状態における被写体決め)の用に供する。
なお、主要被写体の提示としては、表示部34でのスルー画表示上で主要被写体の枠を強調表示することが考えられる。また、強調表示等は、判定直後の一定期間でもよいし、スルー画内に主要被写体が存在する限り実行させてもよい。
主要被写体にオートフォーカス制御する。また、追尾処理と合わせて、主要被写体が動き回っていても、フォーカスが、その主要被写体に追尾して調整されるようにする。
・露光調整
主要被写体の明るさ(輝度)に基づいて自動露光調整を行う。
・指向性調整
撮像(例えば動画撮像)とともにマイクロホンにより音声収音を行う場合、画角空間内での主要被写体の方向に応じて、指向性調整を行う。
・ズーム制御
主要被写体に対応したオートズーム制御する。例えば主要被写体が常に所定以上のサイズで撮像画像で映り込むように自動的なズームレンズ駆動を行う。追尾処理と合わせて、主要被写体との距離が変化に応じたズームによる画角調整を行うようにしてもよい。
・録画スタート制御
動画撮像の開始のトリガーとする。例えば主要被写体が決定されたことに応じて、動画撮像記録を開始する。
・画像効果処理
撮像される各フレームにおいて主要被写体の領域にのみ、画質調整、ノイズリダクション、肌色調整などの画像処理を加える。
或いは、主要被写体の領域以外に、画像効果、例えばモザイク処理、ぼかし処理、塗りつぶし処理等を加えることも考えられる。
撮像画像、もしくは記録された画像について、フレーミング、クロッピング等の編集処理を加える。
例えば主要被写体を含むフレーム内の一部領域の切り出しや、拡大等の処理を行うことができる。
また、撮像画像データのうちで、主要被写体が画像の中心に配置されるように画像周辺部のカット等を行い、構図調整を行うことができる。
例えば撮像装置10が電源オンとされて、撮像を行っているとき(表示部34にスルー画を表示している期間)は、常時主要被写体判定処理を行っていてもよい。
また、主要被写体を判定したら、追尾処理を行う場合、追尾が外れた時点で、再度主要被写体判定処理を行うようにしてもよい。
また、ユーザ操作により主要被写体判定処理が開始されるようにしてもよい。
またユーザが、判定実行モードを選択しているときに常時実行されたり、追尾が外れたときに実行されるなどとしてもよい。
またユーザ操作にかかわらず、自動的に主要被写体判定処理が起動されることも考えられる。
先に述べたように、撮像者が撮像装置10を構えて被写体を狙っているときには、そもそも主要被写体を指定するような操作は難しい。
特にパンニングやチルティングのように撮像方向を継続的に一定方向に変化させている場合、或いは一定方向ではなくとも、撮像方向を変化させている場合は、主要被写体を指定する操作はユーザにとって困難である。
また何度も主要被写体を指定する行為は面倒である。
主要被写体判定を自動的に実行することによれば、このようなことが解消され、ユーザストレスの低減効果が得られる。
またユーザが通常使用するデジタルスチルカメラ、携帯電話機内蔵カメラなど、ユーザが携帯して使用する撮像装置10としては、表示部34も小型であり、ユーザが主要被写体を画面上で指定する操作を行ったとしても、正確に行いにくい。本実施の形態のように自動判定することで、誤指定ということもなくなる。
また撮像装置10を自然に構えていれば主役を撮れる、という感覚で使用できるため、撮像機会の増加、対応ユースケースの増加ということができ、使いやすいカメラをユーザに提供できることにもなる。
第1の実施の形態として上記図3の構成の撮像装置における主要被写体判定の動作を説明する。これは図2Bで述べたサイズ判定方式の考え方で主要被写体判定を行う例である。また第1の実施の形態は、近寄ってくる被写体を主要被写体と判定する例とする。
図には、撮像装置10の光学系11,イメージャ12の動作によりデジタル信号処理部20に入力される撮像画像信号の各フレームFR1,FR2,FR3・・・を示している。候補検出部27は、このような順次入力される連続した各フレームのそれぞれ(或いは間欠的な各フレームについて)に候補画像の検出を行う。
例えば図示のように、フレームFR1について、3人の人が存在していた場合、それぞれの顔画像部分を候補画像として抽出し、その候補画像枠E1,E2,E3についての候補画像枠情報を出力する。例えば候補画像枠E1の候補画像枠情報は、例えばこの候補画像枠E1の画像内での位置情報(x,y位置情報)、候補画像枠の幅w、高さh等である
。x,y位置情報は、例えば画像の左上角を原点(0,0)とした座標値である。幅w、高さhは例えばピクセル数でよい。候補検出部27は、このような候補画像枠情報を、候補画像枠E2,E3についても生成し、制御部30に受け渡す。
例えば図4Bには、候補画像枠E1とされた被写体人物が、撮像装置1の方向に近寄ってきている際の、撮像画像の例を示している。あるフレームFRxでは、候補画像枠E1の枠面積は比較的小さいが、ある時間を経過した時点のフレームFRyでは、この候補画像枠E1の枠面積が大きくなる。このような候補画像枠のサイズ変化を観測して、被写体が近寄っているか否かを判定するものである。
例えば撮像者が撮像装置10で、ある期間、3人の被写体をとらえていた場合を想定している。3人の各人が、それぞれ動いていたり、或いは撮像者が撮像装置10を持ちながら動いていたりすることで、時間軸上では、算出される各候補画像枠E1,E2,E3の枠面積距離は時間軸上で変化している。この例では、候補画像枠E1は、徐々に枠面積が大きくなっているが、候補画像枠E2,E3は、多少の変化はあっても平均的には大きな枠面積の変化はない。
そこで、まず面積変化量によって、近づいているか否かを判定する距離判定閾値Thdを用いて、各面積変化量についての判定結果を得る。面積変化量が距離判定閾値Thdを越えている場合は、その時点は、所定距離以上の接近有りと判定される。
図5Cに候補画像枠E1,E2,E3についての判定結果を示している。これは面積変化量が距離判定閾値Thdを越える値となっていると「H」レベルとなるフラグとする。
図からわかるように、候補画像枠E1は面積変化量が常に高い値であり、E1判定結果は「1」を継続している。
候補画像枠E2は面積変化量が高い値をとることもあったため、E2判定結果はある期間のみ「1」となっている。
候補画像枠E3は面積変化量が常時低い値をとっていることで、E3判定結果は継続して「0」となっている。
例えば候補画像枠E1については、判定結果が「1」であり期間が長いため、この判定
期間において接近傾向にあると判定できることになる。
なお、候補画像枠E2は、例えば一時的に接近したり離れたりした被写体であるといえる。また候補画像枠E3は、比較的遠い位置を維持している被写体である。
変数TSFとは、主要被写体設定済みか否かを示すフラグである。TSF=「0」は、主要被写体が未判定の状態を示すこととなる。
またカウント値Cnt(n)は、上述の面積変化量と距離判定閾値Thdを比較した判定結果について、時間長を判定するためのカウンタの値である。
また図6の処理で説明する枠面積Area(n)も同様に各候補画像枠の枠面積を示すものとし、枠面積Area(n)についての処理とは、例えば候補画像枠E1,E2,E3・・・の枠面積Area1、Area2、Area3・・・のそれぞれについての処理という意味で用いる。
さらに同様に、面積変化量Diff(n)も、各候補画像枠の面積変化量を示し、面積変化量Diff(n)についての処理とは、例えば候補画像枠E1,E2,E3・・・の面積変化量Diff1、Diff2、Diff3・・・のそれぞれについての処理という意味で用いる。
判定フラグFlg(n)、オフセット値OFS(n)も同様とする。
ステップF101で制御部30は、候補検出部27から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠E(n)について、位置情報として、画像データの二次元(x−y)座標値としてのx値、y値や、候補画像枠の幅w、高さhの情報を
取得する。
次にステップF103で制御部30は、各候補画像枠E(n)について面積変化量Diff(n)を求める。面積変化量Diff(n)は、前フレームとの差分として求める。即ち
面積変化量Diff(n)=Area(n)−Area(n)pre
として求める。Area(n)preは、候補画像枠E(n)の前フレームの枠面積Area(n)である。例えば1フレーム前の画像を対象とした際のステップF102で求められた枠面積Area(n)が、現フレームの処理時点では「Area(n)pre」とされる。
なお、例えば主要被写体判定が行われた後であったり、動作モード設定等で主要被写体判定処理が不要な期間などは、変数TSF=1とされていることで、主要被写体判定処理が行われない。
またユーザ操作や自動的な起動判断で、必要時に図6の主要被写体判定処理を実行するようにする場合などではステップF104の処理は不要としてもよい。
即ち面積変化量Diff(n)が、所定量以上の接近を示す変化量であるか否かを、図5Bで説明したように距離判定閾値Thdを用いて判定する。
このため制御部30はステップF105で、各候補画像枠E(n)の面積変化量Diff(n)と距離判定閾値Thdを比較し、Diff(n)>ThdであればステップF106で判定フラグFlg(n)=1(近づいている)とする。またDiff(n)>ThdでなければステップF107で判定フラグFlg(n)=0(近づいていない)とする。
判定フラグFlg(n)は図5Cで説明した「1」「0」の判定結果に相当する。
例えば制御部30は、判定フラグFlg(n)=1であればステップF109でオフセット値OFS(n)=αとする。αはカウンタをインクリメントする所定値である。例えばα=1とする。
また制御部30は、判定フラグFlg(n)=0であればステップF110でオフセット値OFS(n)=βとする。βはカウント値をキープ、又はカウント値をデクリメントするための所定値である。カウント値をキープする場合は、β=0とする。カウンタをデクリメントする場合は、例えばβ=−1とする。
CNT(n)=CNT(n)+OFS(n)
とする。
上記のステップF109でα=1とされて、オフセット値OFS(n)が設定される場合、カウント値CNT(n)はインクリメントされる。
ステップF110でβ=0(又はβ=−1)とされて、オフセット値OFS(n)が設定 される場合、カウント値CNT(n)はキープ(又はデクリメント)される。
このようなカウント値CNT(n)は、接近が検出された際にインクリメントされるため、候補画像枠E(n)の被写体が近づいていると検出された期間の長さに相当する値となる。なお、接近が検出されない場合(例えば被写体人物が立ち止まった状況)は、カウント値CNT(n)はキープされるようにすれば、カウント値CNT(n)は接近検出の累積値となるため、立ち止まり等があっても近接に応じて上昇する。また、接近が検出されない場合にカウント値CNT(n)はデクリメントされるようにしても、カウント値CNT(n)は平均的な近接に応じて上昇する。但し、近接が検出されない場合は、その値は減算されることで、一時的に立ち止まったり後退すると、次の接近傾向の判断には不利となる。
各候補画像枠E(n)のカウント値Cnt(n)のいずれもが時間閾値Thtに達していなければ、ステップF113で変数TSF=0のままとし、ステップF116で判定終了とは判断せず、ステップF101に戻る。この場合、次のフレームについて入力される候補画像枠情報に基づいて、ステップF101以降の処理を上記同様に実行していく。
詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部34の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図6の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数TSF=1とする。この場合、図6の処理はステップF104,F116の判断により、処理を終了(中断終了)することとすればよい。
すると或る時点で、カウント値Cnt1が時間閾値Thtに最初に到達することとなる。
このような場合、制御部30は処理をステップF112からF114に進める。
ステップF114で制御部30は、カウント値Cnt(n)が時間閾値Thtに達した候補画像枠E(n)を主要被写体と判定し、主要被写体設定を行う。そして変数TSF=1とする。つまり、ある期間で平均的に近づいている候補画像の被写体が「接近傾向」にある被写体と判定され、主要被写体に設定されることとなる。
そしてステップF115で主要被写体情報が出力され、例えば主要被写体情報を用いるアプリケーションプログラムや制御プログラムに受け渡される。
なお、この処理例では変数TSF=1となるまで続けられることになるが、実際には、所定の制限時間を設けておくことが適切である。即ち図6の処理開始時点から所定時間を経過しても主要被写体が判定できない場合は、主要被写体無しとして、処理を終了するようにする。
この接近判定及び主要被写体判定処理では、抽出された候補画像の中で、複数のフレームでの接近傾向が判定される。
例えばカメラを構えている撮像者が、ターゲットとして狙っていると思われる確度の高い被写体は、接近傾向を示すことが多々ある。例えば子供にカメラを向けると、その子供が近寄ってくるということが多くの場合に観察される。そこで近寄ってくる被写体を自動的に主要被写体と設定することで、撮像者にとって適切な処理となり、撮像時の操作性は格段に向上する。撮像操作に不慣れなユーザであっても、そのような主要被写体判定により、自動的にその主要被写体に対してフォーカス制御が行われたり、露光制御が行われるなどすれば、高品位な静止画/動画撮像が可能となる。
例えば図6のステップF110でβ=0とすると、カウント値CNT(n)は、累積的に接近検出がなされた回数の累積値に相当するものとなる。
また図6のステップF110でβ=−1とすると、カウント値CNT(n)は、平均的に接近検出がなされた値とみることができる。
つまりこのような場合、ステップF112の接近判定は、累積的或いは平均的に接近しているという判定となる。
これに対して、所定期間以上、継続的に接近している場合を接近傾向と判定するようにしてもよい。そのためにはステップF108で判定フラグFlg(n)=1とされた場合には、カウント値CNT(n)をインクリメントし、ステップF108で判定フラグFlg(n)=0とされた場合には、カウント値CNT(n)をゼロにリセットすればよい。すると、判定フラグFlg(n)=1の状態が継続的に所定時間に達した場合、ステップF112でカウント値Cnt(n)が時間閾値Thtに達して候補画像枠E(n)が「接近傾向」と判定され、候補画像枠E(n)が主要被写体と判定されることになる。
なお、以上の累積判断、平均判断、継続判断の場合では、それぞれ時間閾値Thtに相当する具体的な判断値は異なることが適切である。
例えば図6のステップF109,F110で設定するオフセット値OFS(n)に代入する値α、βを、処理の進行に伴って変化させる。
一般に撮像者がカメラを構える場合、最初は主役としたい被写体を特に決めない場合も多い。構えてみて、見える範囲で撮像対象を探すという場合である。その場合に、徐々に接近してくる人を見つけて、その人を写そうとする場合、撮像者は、徐々にその人物を中心に被写体方向を合わせていく動作を行う。つまり、時間が進むにつれ、画像内で接近が観測される被写体は、撮像者が主要被写体としたい被写体であると考えている確率が高い
。そこで接近判定及び主要被写体判定処理の実行中に、時間が進むほど、接近検出の重みを強くする。具体的にはステップF109でオフセット値OFS(n)に代入する値αを段階的に大きくする。このようにすることで、撮像者の考えに合致した主要被写体判定ができる可能性を高めることになる。
このような条件を加えることで、単に接近傾向にあるというだけでなく、より撮像者が撮像したいと思っている被写体を主要被写体と判定する確率を高めることができる。従ってユーザが、これらの追加条件を選択できるようにしてもよい。
第2の実施の形態としての主要被写体判定の動作を説明する。これも第1の実施の形態と同じく図2Bで述べたサイズ判定方式の考え方で、近寄ってくる被写体を主要被写体と判定する例としている。
この第2の実施の形態の場合、撮像装置10としての構成は図7のようになる。図7において図3と同一部分は同一符号を付し、説明を省略する。
属性識別部28は、例えば候補検出部27が画像解析により候補画像とした被写体についての属性を識別し、属性情報を制御部30に受け渡す。属性情報は、例えば候補画像とした被写体が大人であるか子供であるかの情報であったり、女性であるか男性であるかの情報である。属性識別部28は、例えば顔画像の特徴点を判別して、性別や年齢層を判定する。
なお属性識別部28をデジタル信号処理部20で実行される機能構成とするのは一例であり、制御部30における処理機能として属性識別部28を実現する例も考えられる。
制御部30は、例えば1フレームタイミング毎にステップF101〜F116の処理を行う。ステップF101Aで制御部30は、候補検出部27から或るフレームについての候補画像枠情報を取り込む。例えば各候補画像枠E(n)について、位置情報として、画像データの二次元(x−y)座標値としてのx値、y値や、候補画像枠の幅w、高さhの情報を取得する。さらに制御部30は、各候補画像枠E(n)について、属性識別部28からの属性情報AT(n)を取得する。例えば大人・子供の別、男性・女性の別などの識別情報である。具体的には候補画像枠E1,E2,E3が存在した場合、それぞれの属性
情報AT1,AT2,AT3を取得する。例えば属性情報AT1は「子供/女性」、属性情報AT2は「大人/男性」、属性情報AT3は「大人/女性」などとなる。
この図8の場合、ステップF112では、接近傾向と判定するための時間閾値を、属性情報に対応した時間閾値Tht(ATn)とする。時間閾値Tht(ATn)とは、属性情報に応じて時間閾値としての値が切り換えられることを意味する。
例えば「子供/女性」「子供/男性」の場合は比較的小さい値、大人/女性は比較的大きい値、大人/男性はさらに大きい値などとする。
制御部30は内部記憶部でのテーブルデータとして属性情報に応じた閾値を記憶して置いても良いし、或いはプログラム上の数値設定で属性情報に応じた閾値が決められていたも良い。さらには、固定の閾値Thtに対する係数値として、属性毎の係数値が設定され、制御部30はステップF112Aの際に、属性情報に応じて閾値Tht(ATn)を求めるようにしてもよい。
ステップF112Aで各候補画像枠E(n)についてのカウント値CNT(n)と時間閾値Tht(ATn)が比較され、その結果で接近傾向にあるか否かが判定される。そして接近傾向にある候補画像がステップF114で主要被写体と判定されることになる。
このように被写体の属性によって主要被写体としての判定されやすさ、判定されにくさを調整することができる。従ってユーザの望む主要被写体判定がされやすくなる。例えば主に子供を撮像するユーザにとっては、上記のような時間閾値により主要被写体判定の精度が向上するとともに、判定時間が短縮されることになる。
また顔の個人認識の手法を導入し、自分の子供、家族、知人などを判定し、その場合、時間閾値を下げて、そのような候補画像については主要被写体に判定されやすくすることも考えられる。例えば予め自分の子供や家族等の顔を登録しておき、その特徴データを求めておく。属性識別部28は特徴データに合致した顔を検出したら、近親者としての属性情報を生成し、制御部30は、その場合の時間閾値Tht(ATn)を小さい値とする。
また、人物に限らず、犬、猫などの動物、或いは動物種別などの属性情報を生成して、時間閾値を変化させてもよい。
またこの第2の実施の形態の処理も、第1の実施の形態の処理と同様の変形例が考えられる。
第3の実施の形態としての主要被写体判定の動作を説明する。これも第1の実施の形態
と同じく図2Bで述べたサイズ判定方式の考え方であるが、遠ざかってく被写体を主要被写体と判定する例とする。
この図9Aに示す場合、候補画像枠E1に注目すると、徐々に枠面積が小さくなっている。ここで、図9Bの面積変化量は、図5Bの面積変化量で説明した場合の、
(面積変化量)=(現在のフレームの枠面積)−(前フレームの枠面積)
という定義とは異なり、
(面積変化量)=(前フレームの枠面積)−(現在のフレームの枠面積)
とする。すると、面積変化量の値は、枠面積が小さくなって行く場合に大きい値をとることとなり、例えば図9Aの枠面積変化に応じて図9Bのようになる。この面積変化量について、距離判定閾値Thdと比較して判定を行うと、各候補画像枠E1、E2、E3について図9Cのようになる。
この例の場合、候補画像枠E1は判定結果が「1」となることが継続している。
候補画像枠E2は面積変化量が高い値をとった期間、判定結果は「1」となっている。
候補画像枠E3は面積変化量が常時低い値をとっていることで、E3判定結果は継続して「0」となっている。
第1の実施の形態と同様、判定結果が「1」となる継続期間や累積期間などの期間長をカウントすれば、平均的、累積的又は継続的に遠ざかっている被写体、つまり離遠傾向の被写体を判定できる。この図9の場合、候補画像枠E1はある程度の時間、平均的、累積的又は継続的に遠ざかっていることから、離遠傾向の被写体と判定される。
制御部30は、例えば1フレームタイミング毎にステップF101〜F116の処理を行う。この際にステップF103Bで制御部30は、各候補画像枠E(n)についての面積変化量Diff(n)としては、
面積変化量Diff(n)=Area(n)pre−Area(n)
とする。Area(n)preは、候補画像枠E(n)の前フレームの枠面積Area(n)である。例えば1フレーム前の画像を対象とした際のステップF102で求められた枠面積Area(n)が、現フレームの処理時点では「Area(n)pre」とされる。
以降のステップF104〜F116の処理は、図6と同様に行う。
そのため、ステップF105〜F107で距離判定閾値Thdと比較して判定フラグFlg(n)を設定し、ステップF108〜F111でカウント値Cnt(n)の処理を行うと、平均的又は累積的に遠ざかっている被写体の候補画像枠E(n)について、ある時点でステップF112でカウント値Cnt(n)が時間閾値Thtに達する。この場合、当該候補画像枠E(n)の被写体は、離遠傾向にあるとして、ステップF114で主要被写体と選定されることになる。
例えばカメラを構えている撮像者にとっては、遠ざかる被写体を狙うというケースは多々ある。列車、航空機、モータスポーツなどの高速移動する被写体の写真を撮りたい場合や、野鳥、動物など、通常人間からは離れる方向に移動するものを撮りたい場合は、遠ざかる被写体を自動的に主要被写体と設定することで、撮像者にとって適切な処理となり、撮像時の操作性は格段に向上する。
撮像操作に不慣れなユーザであっても、そのような主要被写体判定により、自動的にその主要被写体に対してフォーカス制御が行われたり、露光制御が行われるなどすれば、高品位な静止画/動画撮像が可能となる。
継続的に離遠している被写体を離遠傾向と判定して主要被写体とすることによれば、主要被写体判定を慎重に行うには適している。特に遠ざかる列車、航空機等、或いは野鳥、動物などは、ほとんどの場合、継続的に遠ざかる状況が多い。そのような対象の撮像目的であれば継続判定によって主要被写体判定精度は向上する。
一方で、必ずしも継続的な移動が観測されない被写体を目的とした場合に主要被写体の判定を短時間で行いたい場合や、なるべく主要被写体が多様に設定されやすくしたい場合は、平均的或いは累積的に離遠している被写体を離遠傾向にあると判断することが好適である。
なお、以上の累積判断、平均判断、継続判断の場合では、それぞれ時間閾値Thtに相当する具体的な判断値は異なることが適切である。
また一定の判定期間を設定し、その期間内に、カウント値CNT(n)が最も大きい候補画像枠E(n)、或いはカウント値CNT(n)が所定値以上となっている1又は複数の候補画像枠E(n)を、ステップF114の対象として主要被写体と判定する処理例も考えられる。
また主要被写体と判定するためには離遠傾向の判定に加えて、他の条件をAND条件として加えることも考えられる。例えば被写体距離が所定距離以上となっていること、被写体画像が所定サイズ以下となっていること、特定の画像種別であること、離遠傾向の被写体画像の重心がフレーム画像の中央点から所定距離(x,y座標上での距離)以内であることなどを条件に加えても良い。
このような条件を加えることで、単に離遠傾向にあるというだけでなく、より撮像者が撮像したいと思っている被写体を主要被写体と判定する確率を高めることができる。従ってユーザが、これらの追加条件を選択できるようにしてもよい。
第4の実施の形態としての主要被写体判定の動作を説明する。これは図2Cで述べたブロック判定方式の考え方で、近寄ってくる被写体を主要被写体と判定する例としている。
この第2の実施の形態の場合、撮像装置10としての構成は図11のようになる。図11において図3と同一部分は同一符号を付し、説明を省略する。
距離センサ17は撮像方向の被写体距離を検出する。距離算出部29は距離センサ17の検出値を用いて、撮像画像を分割した分割領域(ブロック)毎の被写体距離を算出する。
なお距離センサ17及び距離算出部29による被写体距離の検出技術については、位相差センサ方式、Time of Flight方式、Kinect方式など、公知の技術を用いることができる。例えば位相差センサ方式は、左右に配置したイメージャの撮像画像において、同一の対象被写体が検出される画素間の距離(ピクセル数)から、当該対象被写体の距離を求める方式である。またTime of Flight方式は、距離センサ17が赤外線の発光及び受光を行い、出射した赤外線が対象被写体に反射して受光されるまでの時間を赤外線速度で除算して距離を求める方式である。
図12Aは撮像装置10の光学系11,イメージャ12の動作によりデジタル信号処理部20に入力される撮像画像信号の各フレームFR1,FR2,FR3・・・を示している。このような画像入力と並行して、距離センサ17では被写体の距離測定のための動作が行われており、その検出情報が距離算出部29に入力される。
距離算出部29は、各フレーム画像データFR1,FR2,FR3・・・について、それぞれブロック毎の被写体距離を算出する。
制御部30には、主要被写体判定部30a及び距離変化演算部30bとしての機能が設けられる。
図1の画像処理装置1における主要被写体判定部2に相当する構成は、撮像装置10の制御部30において主要被写体判定部30aとしてソフトウエアにより実装される。また被写体距離変化判定部3に相当する構成は、距離算出部29と距離変化演算部30bとしてハードウエア又はソフトウエアにより実装される。
なお、この図12の例では距離算出部29はデジタル信号処理部20で実行される機能構成としているが、これは一例であり、制御部30に距離算出部29としての機能をソフトウエアにより実装することも考えられる。
距離算出部29は、各ブロックBK1、BK2・・・BK(M)について、被写体距離を求める。図12B下部には、各ブロックBKの被写体距離を例示している(メートル数値、又は無限遠∞)。例えばブロックBK4は20m、ブロックBK3は無限遠∞として例示している。
距離算出部29は、例えばフレーム毎にこのように各ブロックBKについて被写体距離を求め、制御部30に各ブロックBKの距離情報を受け渡す。
。
この例では、ブロックBK(x)に写っている被写体は、徐々に距離が短くなっている。ブロックBK1,BK2に写っている被写体は、多少の変化はあっても平均的には大きな距離変化はない。
なお、必ずしも同一の被写体が、撮像画像データ上で同じブロックに位置するわけではない。ここでは判定開始から判定終了までの期間、ブロックBK1,BK2,BK(x)には、それぞれ同一の被写体(例えば人物A,人物B,人物C)が写っているものとする。実際には被写体が撮像装置10に対して左右方向に動いたり、或いは撮像者が撮像装置10をパンニング、チルティングさせたりすると、ある被写体が写し込まれるブロックは、フレーム毎に変化する。そのような事情を考慮する必要性から、後述の図14の処理例ではステップF202でブロック毎の時間対応付け処理を加えている。
図13Bは、各ブロックBK1,BK2,BK(x)の距離の変化量の遷移を示している。例えば各ブロックBKについての現在のフレームでの距離から前フレームでの距離を減算した差分として、各時点の値を示したものである。従ってブロックBK内に存在する被写体が、前の時点より撮像装置10に対する相対距離が近づくと、距離変化量の値は小さく(マイナス値)、相対距離が変わらなければ距離化量は0、遠ざかると距離変化量は大きな値になる。
そこで、まず距離変化量によって、近づいているか否かを判定する距離判定閾値Thdを用いて、各ブロックBKについての判定結果を得る。距離変化量が距離判定閾値Thd未満の場合は、その時点において、当該ブロックBKの被写体は、所定距離以上の接近有りと判定される。
図からわかるように、ブロックBK(x)の判定結果は「1」を継続している。ブロックBK2は、一時的な接近を示すように、ある期間のみ「1」となっている。ブロックBK1の判定結果は継続して「0」となっている。
例えばブロックBK(x)については、判定結果が「1」であり期間が長いため、この判定期間において、当該ブロックBK(x)に含まれる被写体は接近傾向にあると判定できることになる。
なお、ブロックBK2は、例えば一時的に接近したり離れたりした被写体が含まれたブロックであるといえる。またブロックBK1は、比較的遠い位置を維持している被写体が含まれたブロックである。
する処理は、制御部30において距離変化演算部30bと主要被写体判定部30aが機能して実行される処理である。
カウント値bCnt(m)は、上述の距離変化量と距離判定閾値Thdを比較した判定結果について、時間長を判定するためのカウンタの値である。
また図14の処理で説明するDb(m)は各ブロックについて検出された距離、bDiff(m)は各ブロックBKの距離変化量を示している。距離Db(m)、距離変化量bDiff(m)についての処理とは、各ブロックBK1〜BK(M)についての距離及び距離変化量の処理という意味で用いる。
判定フラグFlg(m)、オフセット値OFS(m)も同様とする。
ステップF201で制御部30は、距離算出部29から或るフレームについての各ブロックBK1〜BK(M)についての距離情報Db1〜Db(M)を取り込む。例えば図12B下段に示した距離の値の情報である。
距離変化量bDiff(m)=Db(m)−Db(m)pre
として求める。Db(m)preは、現在処理対象のブロックBK(m)の前フレームにおける対応ブロックBK(m)の距離値である。
現フレームFRcでは、被写体Pの顔部分がブロックBK(y)に存在するとする。ところが前フレームFRpreでは、同じブロックBK(y)preには顔部分が存在せず、ブロックBK(z)preの位置となっている。本来被写体Pの距離変化を求めることが必要であるため、現フレームFRcのブロックBK(y)について求めたい距離変化量bDiff(y)は、この場合、前フレームFRpreのブロックBK(z)preの距離値
との差分である。そこで、ここでいうブロックBK(z)preが、ブロックBK(y)についての前フレームのブロックとされるようにする時間対応付け処理を行う。
制御部30はまず図15のステップF230で、現フレームFRcの対象のブロックBK(m)に対応する、前フレームFRpreのブロックBK(m)preを中心とした9ブロックの距離情報を確認する。
図16のブロックBK(y)についていえば、前フレームFRpreの同じブロックBK(y)preを中心として、太枠で囲った9個のブロックを確認する。図示のようにこれらの9ブロックをBKx1〜BKx9とする。各ブロックBKx1〜BKx9の距離値は図示のように「10」「10」「9」「10」「7」「6」「9」「7」「5」(単位は例えばメートル)であるとする。なお、現フレームのブロックBK(y)の距離値は「5」とする。
bDiffX1=|Db(m)−Db(BKx1)|
bDiffX2=|Db(m)−Db(BKx2)|
・・・
bDiffX9=|Db(m)−Db(BKx9)|
ここで距離Db(m)は、対象のブロックBK(m)の距離値であり、図16の例でいえばブロックBK(y)の距離値「5」である。
距離Db(BKx1)〜Db(BKx9)は9個の各ブロックBKx1〜BKx9の距離値であり、図16の例でいえば上記の「10」「10」「9」「10」「7」「6」「9」「7」「5」の各値となる。
例えば図16の例でいえば、ブロックBKx9が絶対距離差が最小のブロックとなるため、処理対象のブロックBK(y)に対応する前フレームのブロックはブロックBKx9であり、その距離値Db(m)pre=5とされることとなる。
つまり1フレームの時間では、被写体距離や左右上下の位置は殆ど変わらないという前提のもと、現フレームのブロックについて、前フレームにおける同一ブロック近辺で、絶対距離差の小さいブロックを探索し、それを対応する(同一被写体の)ブロックとすることになる。
図14のステップF202では、このように各ブロックBKについて対応付けを行う。これによりステップF203で算出される各ブロックBK(m)についての距離変化量bDiff(m)は、同じ被写体についての距離変化を表すこととなる。
離変化量bDiff(m)が、接近を示すものであるか否かを確認する。
即ち距離変化量bDiff(m)が、所定量以上の接近を示す変化量であるか否かを、図13Bで説明したように距離判定閾値Thdを用いて判定する。
このため制御部30はステップF205で、各ブロックBKの距離変化量bDiff(m)と距離判定閾値Thdを比較し、bDiff(m)<ThdであればステップF206で判定フラグFlg(m)=1(近づいている)とする。またbDiff(m)<ThdでなければステップF207で判定フラグFlg(m)=0(近づいていない)とする。
判定フラグFlg(n)は図13Cで説明した「1」「0」の判定結果に相当する。
例えば制御部30は、判定フラグFlg(m)=1であればステップF209でオフセット値OFS(m)=αとする。αはカウンタをインクリメントする所定値である。例えばα=1とする。
また制御部30は、判定フラグFlg(m)=0であればステップF210でオフセット値OFS(m)=βとする。βはカウント値をキープ、又はカウント値をデクリメントするための所定値である。カウント値をキープする場合は、β=0とする。カウンタをデクリメントする場合は、例えばβ=−1とする。
bCNT(m)=bCNT(m)+OFS(m)
とする。
上記のステップF209でα=1とされて、オフセット値OFS(m)が設定される場合、カウント値bCNT(m)はインクリメントされる。
ステップF210でβ=0(又はβ=−1)とされて、オフセット値OFS(m)が設定される場合、カウント値bCNT(m)はキープ(又はデクリメント)される。
このようなカウント値bCNT(m)は、接近が検出された際にインクリメントされるため、ブロックBK(m)の被写体が近づいていると検出された期間の長さに相当する値となる。なお、接近が検出されない場合(例えば被写体人物が立ち止まった状況)は、カウント値bCNT(m)がキープされるようにすれば、カウント値bCNT(m)は接近検出の累積値となるため近接検出が多ければ上昇する。また、接近が検出されない場合にカウント値bCNT(m)がデクリメントされるようにしても、カウント値bCNT(m)は平均的な近接に応じて上昇する。但し、近接が検出されない場合は、その値は減算されることで、一時的に立ち止まったり後退すると、次の接近傾向の判断には不利となる。
各ブロックBK(m)のカウント値bCnt(m)のいずれもが時間閾値Thtに達していなければ、ステップF213で変数TSF=0のままとし、ステップF217で判定終了とは判断せず、ステップF201に戻る。この場合、次のフレームについて入力される各ブロックBK(m)の距離情報Db(m)に基づいて、ステップF201以降の処理を上記同様に実行していく。
終了)することとすればよい。
接近判定による主要被写体判定は、或る時間長をもって判定されるため、ある程度の時間(フレーム数)での各ブロックBK(m)についての処理を経なければ、ステップF217で判定終了とはならずにステップF201に戻って処理が繰り返される。
このような場合、制御部30は処理をステップF212からF214に進める。
ステップF214で制御部30は、カウント値bCnt(m)が時間閾値Thtに達したブロックBK(m)が、主要被写体を含むブロックであると判定し、主要被写体設定を行う。つまり、ある期間で平均的に被写体が近づいているブロックが「接近傾向」にある被写体を含むブロックと判定され、主要被写体設定が行われる。そしてステップF215で変数TSF=1とする。
そしてステップF216で主要被写体情報が出力され、例えば主要被写体情報を用いるアプリケーションプログラムや制御プログラムに受け渡される。
この場合ステップF217で判定終了とされる。
図17,図18で詳しく説明する。
今、被写体Pが近接していたとし、或る時点で或るブロックBK(p)について、ステップF212で接近傾向と判定されたとする。ところがこのブロックBK(p)は被写体Pの一部であって、ブロックBK(p)の部分のみを主要被写体とするのは適切ではない。そこで、この被写体Pの範囲を主要被写体と設定するために、制御部30はステップF214で図17に示す処理を行う。
図18Bの斜線を付したブロックBKが、ブロックBK(p)と距離差が所定値以内であったとする。
次に制御部30はステップF242で、以上のように抽出したブロックBKのうちで、接近傾向と判定されたブロックBK(m)(図18のブロックBK(p))と連続するブロックをグルーピングする。連続するブロックとは、ブロックBK(p)と隣接するブロック及び隣接ブロックにさらに隣接するブロックというように、画像平面上で物理的に連続する関係にあるブロックをいう。例えば図18Cに示すブロック群MAがグルーピングされることとなる。
そしてステップF243で制御部30は、グルーピングされたブロック群MAを、主要
被写体画像を構成する領域とし、この画像範囲を主要被写体と設定して主要被写体情報を生成する。
なお、結果的にステップF242で他のブロックに該当がなく、グルーピングされるのは1つのブロックのみということもあり得る。その場合は、接近傾向と判定されたブロックBK(m)の範囲のみが主要被写体と判定されればよい。
なお、主要被写体と設定される被写体画像の領域は、グルーピングされたブロック群の領域そのものとしてもよいし、この複数ブロックの領域を円形、楕円形、方形に近似して主要被写体画像の領域と設定してもよい。
さらにグルーピングされたブロック群の範囲で画像解析を行って顔検出、身体検出などで輪郭を判定し、それを主要被写体と判定してもよい。
この接近判定及び主要被写体判定処理では、画像を分割したブロック毎に複数のフレームでの接近傾向が判定される。そして近接傾向のブロックの判定に基づいて主要被写体設定が行われる。これによって第1の実施の形態と同様に撮像時の操作性は格段に向上する。また主要被写体判定により、自動的にその主要被写体に対してフォーカス制御が行われたり、露光制御が行われるなどすれば、高品位な静止画/動画撮像が可能となる。
また一定の判定期間を設定し、その期間内に、カウント値bCNT(m)が最も大きいブロックBK(m)、或いはカウント値bCNT(m)が所定値以上となっている1又は複数のブロックBK(m)を、ステップF214の対象として主要被写体と判定する処理例も考えられる。
また主要被写体と判定するためには接近傾向の判定に加えて、他の条件をAND条件として加えることも考えられる。例えばブロックBK(m)の被写体距離が所定距離以内と
なっていること、ブロックBK(m)に含まれる被写体が特定の画像種別であること、フレーム画像の中央点から所定距離(x,y座標上での距離)以内のブロックBK(m)であることなどを条件に加えても良い。
ブロック毎の時間対応付け処理を行わない場合、ブロックBKと被写体が判定期間中に継続して一致するのは、或る被写体が正面から撮像装置10の方向に直進して接近してくる場合のみとなる。例えば斜め方向に近づいてくる被写体の場合、その被写体はフレームが進むにつれて異なるブロックBKに含まれるような状況となる。
これを逆に考えれば、ブロック毎の時間対応付け処理を行わなければ、自然に正面から近づいてくる被写体のみが主要被写体と選択されうるということになる。つまり正面方向での接近傾向ということを主要被写体の判定条件とする場合、図14のステップF202を無くした処理例とすればよい。
上記例ではブロックBK1〜BK(M)として説明したが、分割数は4分割、6分割、8分割、9分割・・・30分割、40分割など多様に考えられる。
ブロック数が多いほど、近接判定の処理負担は増えるが、ズーム状態や被写体が小さい場合なども確度の高い主要被写体判定ができる。逆にブロック数が少ないほど処理負担は軽くなる。
以上、画像処理装置1、撮像装置10の実施の形態を説明してきたが、上述した主要被写体判定処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
即ちこのプログラムは、画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する処理と、判定された各被写体の接離傾向に基づいて主要被写体を判定する処理とを演算処理装置に実行させるプログラムである。
た処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムにより、上述した主要被写体判定を実行する装置を、演算処理装置を用いて実現できる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
例えば、図19に示されるようなコンピュータ装置において、図1の画像処理装置1や撮像装置10における主要被写体判定処理と同様の処理が実行されるようにすることもできる。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インターフェース75も接続されている。
Disc)を含む)、若しくは半導体メモリなどよりなるリ ムーバブルメディア81により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM72や、記憶部78に含まれるハードディスクなどでも構成される。
上述の実施の形態は、各種の変形例が考えられる。
例えば第3の実施の形態として、図2Bで述べたサイズ判定方式の考え方で離遠傾向を判定する例を示したが、図2Cで述べたブロック判定方式の場合も、離遠傾向を判定し、遠ざかっていく被写体(ブロックBK)の中から主要被写体を判定することも可能である。一例として、図14の処理のステップF203を、距離変化量bDiff(m)=Db(m)pre−Db(m)の演算を行うように変形すれば良い。このようにすればブロック判定方式の場合でも離遠傾向のブロックを判定できることとなる。
また、カメラモード(風景モード、ポートレートモード等)に応じて自動的に接近判定モードと離遠判定モードの切換が行われるようにしてもよい。
また近接判定と離遠判定を同時に並行して行うことも考えられる。その場合、接近傾向、離遠傾向のいずれかで該当する被写体が見つけられた時点で、主要被写体と判定することなどが考えられる。
時間閾値Thtや距離判定閾値Thdの設定により、主要被写体となりえる画像(候補画像枠E(n)やブロックBK(m))の基準を変更できる。また時間閾値Thtの設定により、迅速な判定を優先させるか、或いは確度の高い判定を優先するかを選択できる。
このような再生画像を対象とする主要被写体判定処理は、図1の画像処理装置、図19の情報処理装置などにおいても当然に想定される。
作による主要被写体指定操作を可能としてもよい。
(1)画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する被写体距離変化判定部と、
上記被写体距離変化判定部で判定された各被写体の接離傾向に基づいて主要被写体を判定する主要被写体判定部と、
を備えた画像処理装置。
(2)上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への接近傾向の判定を行い、
上記主要被写体判定部は、上記接近傾向の判定結果に基づいて主要被写体を判定する上記(1)に記載の画像処理装置。
(3)上記被写体距離変化判定部は、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する上記(1)又は(2)に記載の画像処理装置。
(4)上記被写体距離変化判定部は、画像内で抽出された1又は複数の候補画像としての被写体画像について、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する上記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している被写体を、接近傾向の被写体と判定し、
上記主要被写体判定部は、接近傾向にあると判定された被写体の全部又は一部を主要被写体と判定する上記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)被写体の属性を識別して属性情報を出力する属性識別部を備え、
上記被写体距離変化判定部は、被写体についての接近傾向の判定条件を上記属性情報に応じて変化させる上記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)上記被写体距離変化判定部は、画像内の分割領域毎の被写体の距離の時間的変化を検出する上記(1)又は(2)に記載の画像処理装置。
(8)上記被写体距離変化判定部は、現在の処理対象の画像の分割領域の被写体が、単位時間前の画像において位置する分割領域を判定し、該判定した分割領域の被写体距離と、現在の処理対象の画像の分割領域の被写体距離の差分として、被写体の距離の時間的変化を検出する上記(7)に記載の画像処理装置。
(9)上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している分割領域の被写体を、接近傾向の被写体と判定し、
上記主要被写体判定部は、被写体が接近傾向にあると判定された分割領域の情報に基づいて主要被写体を判定する上記(7)又は(8)に記載の画像処理装置。
(10)上記主要被写体判定部は、被写体が接近傾向にあると判定された一の分割領域に含まれる被写体と、同一の被写体が含まれる他の分割領域をグルーピングし、グルーピングした1又は複数の分割領域の範囲に基づいて、主要被写体としての画像範囲を設定する上記(9)に記載の画像処理装置。
(11)上記主要被写体判定部は、上記一の分割領域と、被写体距離の距離差が所定値以内であって、かつ上記一の分割領域から連続した領域となる上記他の分割領域をグルーピングする上記(10)に記載の画像処理装置。
(12)上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への離遠傾向の判定を行い、
上記主要被写体判定部は、上記離遠傾向の判定結果に基づいて主要被写体を判定する上記(1)に記載の画像処理装置。
Claims (14)
- 画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する被写体距離変化判定部と、
上記被写体距離変化判定部で判定された各被写体の接離傾向に基づいて主要被写体を判定する主要被写体判定部と、
を備えた画像処理装置。 - 上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への接近傾向の判定を行い、
上記主要被写体判定部は、上記接近傾向の判定結果に基づいて主要被写体を判定する請求項1に記載の画像処理装置。 - 上記被写体距離変化判定部は、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する請求項1に記載の画像処理装置。
- 上記被写体距離変化判定部は、画像内で抽出された1又は複数の候補画像としての被写体画像について、上記距離の時間的変化として、画像内における被写体画像のサイズの時間的変化を検出する請求項1に記載の画像処理装置。
- 上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している被写体を、接近傾向の被写体と判定し、
上記主要被写体判定部は、接近傾向にあると判定された被写体の全部又は一部を主要被写体と判定する請求項1に記載の画像処理装置。 - 被写体の属性を識別して属性情報を出力する属性識別部を備え、
上記被写体距離変化判定部は、被写体についての接近傾向の判定条件を上記属性情報に応じて変化させる請求項1に記載の画像処理装置。 - 上記被写体距離変化判定部は、画像内の分割領域毎の被写体の距離の時間的変化を検出する請求項1に記載の画像処理装置。
- 上記被写体距離変化判定部は、現在の処理対象の画像の分割領域の被写体が、単位時間前の画像において位置する分割領域を判定し、該判定した分割領域の被写体距離と、現在の処理対象の画像の分割領域の被写体距離の差分として、被写体の距離の時間的変化を検出する請求項7に記載の画像処理装置。
- 上記被写体距離変化判定部は、上記距離の時間的変化の検出結果として、平均的、又は累積的、又は継続的に接近している分割領域の被写体を、接近傾向の被写体と判定し、
上記主要被写体判定部は、被写体が接近傾向にあると判定された分割領域の情報に基づいて主要被写体を判定する請求項7に記載の画像処理装置。 - 上記主要被写体判定部は、被写体が接近傾向にあると判定された一の分割領域に含まれる被写体と、同一の被写体が含まれる他の分割領域をグルーピングし、グルーピングした1又は複数の分割領域の範囲に基づいて、主要被写体としての画像範囲を設定する請求項9に記載の画像処理装置。
- 上記主要被写体判定部は、上記一の分割領域と、被写体距離の距離差が所定値以内であって、かつ上記一の分割領域から連続した領域となる上記他の分割領域をグルーピングする請求項10に記載の画像処理装置。
- 上記被写体距離変化判定部は、各被写体の上記距離の時間的変化の情報に基づいて、各被写体の撮像位置への離遠傾向の判定を行い、
上記主要被写体判定部は、上記離遠傾向の判定結果に基づいて主要被写体を判定する請求項1に記載の画像処理装置。 - 画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定し、
判定された各被写体の接離傾向に基づいて主要被写体を判定する画像処理方法。 - 画像内に存在する被写体についての、撮像位置からの距離の時間的変化を検出し、該検出に基づいて被写体の撮像位置に対する接離傾向を判定する処理と、
判定された各被写体の接離傾向に基づいて主要被写体を判定する処理と、
を演算処理装置に実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001798 | 2013-01-09 | ||
JP2013001798 | 2013-01-09 | ||
PCT/JP2013/080606 WO2014109125A1 (ja) | 2013-01-09 | 2013-11-12 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014109125A1 true JPWO2014109125A1 (ja) | 2017-01-19 |
JP6319101B2 JP6319101B2 (ja) | 2018-05-09 |
Family
ID=51166790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014556331A Active JP6319101B2 (ja) | 2013-01-09 | 2013-11-12 | 画像処理装置、画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10547774B2 (ja) |
EP (2) | EP2945366B1 (ja) |
JP (1) | JP6319101B2 (ja) |
CN (1) | CN104919791A (ja) |
WO (1) | WO2014109125A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106324945A (zh) * | 2015-06-30 | 2017-01-11 | 中兴通讯股份有限公司 | 非接触式自动对焦方法和装置 |
US9535423B1 (en) * | 2016-03-29 | 2017-01-03 | Adasworks Kft. | Autonomous vehicle with improved visual detection ability |
KR102623989B1 (ko) * | 2016-08-01 | 2024-01-11 | 삼성전자주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
JP6598748B2 (ja) * | 2016-08-26 | 2019-10-30 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法 |
KR102289837B1 (ko) | 2017-01-06 | 2021-08-17 | 삼성전자주식회사 | 촬영 방법 및 전자 장치 |
FR3063409B1 (fr) * | 2017-02-28 | 2021-07-16 | Thales Sa | Procede de pilotage d'une camera ptz, produit programme d'ordinateur et dispositif de pilotage associes |
CN108702452B (zh) | 2017-06-09 | 2020-02-14 | 华为技术有限公司 | 一种图像拍摄方法及装置 |
CN110110189A (zh) * | 2018-02-01 | 2019-08-09 | 北京京东尚科信息技术有限公司 | 用于生成信息的方法和装置 |
CN109064776A (zh) * | 2018-09-26 | 2018-12-21 | 广东省交通规划设计研究院股份有限公司 | 预警方法、系统、计算机设备和存储介质 |
CN111432133B (zh) * | 2019-01-09 | 2021-04-23 | 恒景科技股份有限公司 | 自动曝光成像系统与方法 |
JP7406880B2 (ja) | 2019-04-10 | 2023-12-28 | キヤノン株式会社 | 画像処理装置、その制御方法及びプログラム |
JPWO2020209097A1 (ja) * | 2019-04-10 | 2020-10-15 | ||
JP2021034875A (ja) * | 2019-08-23 | 2021-03-01 | 株式会社東海理化電機製作所 | 撮像制御システム、制御装置、およびコンピュータプログラム |
CN111131717B (zh) * | 2019-12-31 | 2021-10-26 | 深圳市维海德技术股份有限公司 | 聚焦方法、装置、设备与计算机可读存储介质 |
US20230128043A1 (en) * | 2020-01-24 | 2023-04-27 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
KR20210128736A (ko) | 2020-04-17 | 2021-10-27 | 삼성전자주식회사 | 멀티 카메라를 포함하는 전자 장치 및 촬영 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002228920A (ja) * | 2001-01-30 | 2002-08-14 | Minolta Co Ltd | 主被写体検出装置及び自動焦点カメラ |
JP2008281701A (ja) * | 2007-05-09 | 2008-11-20 | Canon Inc | 焦点調節装置、撮像装置、および焦点調節方法 |
JP2010041076A (ja) * | 2008-07-31 | 2010-02-18 | Olympus Corp | カメラ |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4720673Y1 (ja) | 1968-04-26 | 1972-07-11 | ||
US5012270A (en) * | 1988-03-10 | 1991-04-30 | Canon Kabushiki Kaisha | Image shake detecting device |
JP4140567B2 (ja) * | 2004-07-14 | 2008-08-27 | 松下電器産業株式会社 | 物体追跡装置および物体追跡方法 |
JP2006094145A (ja) * | 2004-09-24 | 2006-04-06 | Casio Comput Co Ltd | 撮影装置及びそのプログラム |
US7881496B2 (en) * | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
JP4693651B2 (ja) * | 2006-02-20 | 2011-06-01 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP4720673B2 (ja) | 2006-08-16 | 2011-07-13 | 株式会社ニコン | 被写体追尾装置およびカメラ |
US8253800B2 (en) * | 2006-06-28 | 2012-08-28 | Nikon Corporation | Tracking device, automatic focusing device, and camera |
US7725018B2 (en) | 2006-08-01 | 2010-05-25 | Canon Kabushiki Kaisha | Focus control apparatus, image sensing apparatus and focus control method |
JP2008052225A (ja) | 2006-08-28 | 2008-03-06 | Olympus Imaging Corp | カメラ、合焦制御方法、プログラム |
JP4274233B2 (ja) * | 2006-11-30 | 2009-06-03 | ソニー株式会社 | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
JP2009031760A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置及びオートフォーカス制御方法 |
JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2009118009A (ja) | 2007-11-02 | 2009-05-28 | Sony Corp | 撮像装置、その制御方法およびプログラム |
JP4964807B2 (ja) * | 2008-03-07 | 2012-07-04 | パナソニック株式会社 | 撮像装置及び撮像方法 |
US9335610B2 (en) * | 2008-05-19 | 2016-05-10 | Canon Kabushiki Kaisha | Image pickup system and lens apparatus |
JP5322629B2 (ja) * | 2008-12-25 | 2013-10-23 | キヤノン株式会社 | 自動焦点検出装置及びその制御方法、撮像装置 |
US9405970B2 (en) * | 2009-02-02 | 2016-08-02 | Eyesight Mobile Technologies Ltd. | System and method for object recognition and tracking in a video stream |
JP2010268441A (ja) * | 2009-04-16 | 2010-11-25 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置及び画像再生装置 |
JP5344608B2 (ja) * | 2009-08-24 | 2013-11-20 | キヤノン株式会社 | 撮影システム |
JP5538865B2 (ja) * | 2009-12-21 | 2014-07-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2011146826A (ja) | 2010-01-13 | 2011-07-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2011146827A (ja) | 2010-01-13 | 2011-07-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2011160379A (ja) | 2010-02-04 | 2011-08-18 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2011166305A (ja) | 2010-02-05 | 2011-08-25 | Sony Corp | 画像処理装置および撮像装置 |
US8379134B2 (en) * | 2010-02-26 | 2013-02-19 | Research In Motion Limited | Object detection and selection using gesture recognition |
US9073484B2 (en) * | 2010-03-03 | 2015-07-07 | Honda Motor Co., Ltd. | Surrounding area monitoring apparatus for vehicle |
JP5246275B2 (ja) | 2011-01-25 | 2013-07-24 | 株式会社ニコン | 撮像装置およびプログラム |
JP5554261B2 (ja) * | 2011-02-24 | 2014-07-23 | アルパイン株式会社 | 立体物検出装置および立体物検出方法 |
JP2013013061A (ja) * | 2011-05-27 | 2013-01-17 | Sanyo Electric Co Ltd | 撮像装置 |
US9266473B1 (en) * | 2012-01-06 | 2016-02-23 | Intuit Inc. | Remote hands-free backseat driver |
US20130258167A1 (en) * | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Method and apparatus for autofocusing an imaging device |
JP2015111746A (ja) * | 2012-04-09 | 2015-06-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2014126710A (ja) * | 2012-12-26 | 2014-07-07 | Canon Inc | 自動焦点検出装置およびその制御方法、撮像装置 |
-
2013
- 2013-11-12 US US14/655,621 patent/US10547774B2/en active Active
- 2013-11-12 JP JP2014556331A patent/JP6319101B2/ja active Active
- 2013-11-12 CN CN201380069149.9A patent/CN104919791A/zh active Pending
- 2013-11-12 WO PCT/JP2013/080606 patent/WO2014109125A1/ja active Application Filing
- 2013-11-12 EP EP13870934.0A patent/EP2945366B1/en active Active
- 2013-11-12 EP EP19178866.0A patent/EP3562143B1/en active Active
-
2019
- 2019-12-13 US US16/713,766 patent/US11012614B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002228920A (ja) * | 2001-01-30 | 2002-08-14 | Minolta Co Ltd | 主被写体検出装置及び自動焦点カメラ |
JP2008281701A (ja) * | 2007-05-09 | 2008-11-20 | Canon Inc | 焦点調節装置、撮像装置、および焦点調節方法 |
JP2010041076A (ja) * | 2008-07-31 | 2010-02-18 | Olympus Corp | カメラ |
Also Published As
Publication number | Publication date |
---|---|
EP2945366A1 (en) | 2015-11-18 |
EP2945366A4 (en) | 2016-09-21 |
US10547774B2 (en) | 2020-01-28 |
US20200120262A1 (en) | 2020-04-16 |
CN104919791A (zh) | 2015-09-16 |
US20150350523A1 (en) | 2015-12-03 |
WO2014109125A1 (ja) | 2014-07-17 |
JP6319101B2 (ja) | 2018-05-09 |
US11012614B2 (en) | 2021-05-18 |
EP2945366B1 (en) | 2019-10-16 |
EP3562143B1 (en) | 2021-04-21 |
EP3562143A1 (en) | 2019-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6319101B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5987306B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US10848662B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
JP5867424B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6131948B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
US9679394B2 (en) | Composition determination device, composition determination method, and program | |
US10455154B2 (en) | Image processing device, image processing method, and program including stable image estimation and main subject determination | |
JP6337779B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6274272B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP2011193066A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6319101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |