JP7462240B2 - シャッタスピード決定装置及び撮像装置 - Google Patents

シャッタスピード決定装置及び撮像装置 Download PDF

Info

Publication number
JP7462240B2
JP7462240B2 JP2022503122A JP2022503122A JP7462240B2 JP 7462240 B2 JP7462240 B2 JP 7462240B2 JP 2022503122 A JP2022503122 A JP 2022503122A JP 2022503122 A JP2022503122 A JP 2022503122A JP 7462240 B2 JP7462240 B2 JP 7462240B2
Authority
JP
Japan
Prior art keywords
motion vector
motion
image
shutter speed
detection process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022503122A
Other languages
English (en)
Other versions
JPWO2021171774A1 (ja
Inventor
典巧 吉田
岳史 浜崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021171774A1 publication Critical patent/JPWO2021171774A1/ja
Application granted granted Critical
Publication of JP7462240B2 publication Critical patent/JP7462240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本開示は、シャッタスピード決定装置及び撮像装置に関する。
特許文献1は、画像をK×Lブロックに分割して、それぞれのブロックについて動きベクトルの検出を行い、検出した動きベクトルのうち最も速い動きベクトルの速度に見合ったシャッタスピードを設定する撮像装置を開示している。
特開2006-254634号公報
本開示は、動きベクトルを検出してシャッタスピードを決定する場合に、動く被写体のぶれをより少なくすることができるシャッタスピード決定装置及び撮像装置を提供する。
本開示のシャッタスピード決定装置は、
被写体像を撮像して得られた画像データに対し、指定されたブロックサイズのブロック単位で動きベクトルの検出処理をする動き検出部と、
動き検出部に対してブロックサイズを小さくしながら検出処理を繰り返し実行させ、検出処理を実行する都度動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求め、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定する制御部と、を備える。
本開示の撮像装置は、
本開示のシャッタスピード決定装置と、
被写体像を撮像して画像データを生成する撮像センサと、
シャッタスピード決定装置で設定されたシャッタスピードで、撮像センサに撮像を行わせる制御部と、を備える。
本開示によれば、動きベクトルを検出してシャッタスピードを決定する場合に、動く被写体のぶれをより少なくすることができる。
実施の形態1のデジタルカメラの構成を示した図 本開示の課題を説明した図 デジタルカメラのシャッタスピード決定動作の一例を示した図 動きベクトル関連値とシャッタスピードの関係を示した図 動きベクトル関連値とシャッタスピードの関係の一例を示した図 本開示におけるシャッタスピード決定処理の具体例を説明した図 シャッタスピード決定動作を説明したフローチャート 実施の形態2におけるシャッタスピード決定動作を説明したフローチャート 動きベクトル検出処理の対象エリアの設定方法の第1例を説明した図 動きベクトル検出処理の対象エリアの設定方法の第2例を説明した図 動きベクトル検出処理の対象エリアの設定方法の第3例を説明した図 実施の形態3のデジタルカメラの構成を示した図 動きベクトル検出処理の対象エリアの設定方法の例を説明した図 実施の形態4の外部機器の構成を示した図 実施の形態5の外部機器の構成を示した図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
本実施の形態では、本開示に係るシャッタスピード決定装置及び撮像装置をデジタルカメラに適用した形態を説明する。
1-1.構成
図1は、実施の形態1におけるデジタルカメラ100の構成を示すブロック図である。
デジタルカメラ100は、光学系110、撮像素子130、液晶モニタ220、コントローラ180、動き検出部310、カードスロット190などを備える。
光学系110は、ズームレンズ111、フォーカスレンズ112、及び絞り113を含む。
ズームレンズ111は、光学系110で撮像素子130上に形成される被写体像の倍率を変化させるためのレンズである。ズームレンズ111は、1枚または複数枚のレンズで構成される。ズームレンズ駆動部121は、ユーザが操作可能なズームリング等を含み、ユーザによる操作をズームレンズ111に伝え、ズームレンズ111を光学系110の光軸方向に沿って移動させる。
フォーカスレンズ112は、光学系110で撮像素子130上に形成される被写体像のフォーカス状態を変化させるためのレンズである。フォーカスレンズ112は、1枚または複数枚のレンズで構成される。
フォーカスレンズ駆動部122は、モータを含み、コントローラ180の制御に基づいて、フォーカスレンズ112を光学系110の光軸に沿って移動させる。フォーカスレンズ駆動部122は、DCモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
絞り113は、撮像素子130に入射する光の量を調整する素子である。絞り113は、例えば、複数枚の絞り羽根を備え、絞り羽根により形成される開口部の大きさを調整することで、撮像素子130に入射する光の量を調整する。
絞り駆動部123は、絞り113を駆動する。絞り駆動部123は、DCモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
撮像素子130は、光学系110を介して入射される被写体像を撮像して画像データを生成する。生成された画像データは、ADコンバータ(Analog-to-Digital Converter(ADC))140でデジタル化される。撮像素子130は、タイミング発生器(Timing Generator(TG))150により制御されるタイミングで動作する。撮像素子130は、タイミング発生器150の信号に基づいて、例えば毎秒30フレームや60フレームの画像データを生成し、ADコンバータ140は、それらの画像データをそれぞれデジタル化する。
撮像素子130は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサ等である。
コントローラ180は、レリーズ釦210からの指示に応じて、撮像素子130等の構成要素を制御することで、デジタルカメラ100全体の動作を制御する。コントローラ180は、垂直同期信号をタイミング発生器150に送信する。これと並行して、コントローラ180は、露光同期信号を生成する。コントローラ180は、制御動作または画像処理動作の際に、内蔵メモリ230(DRAM(Dynamic Random Access Memory)などを含む)をワークメモリとして使用する。コントローラ180は、ADコンバータ140でデジタル化された画像データに対して、種々の画像処理を施す。種々の画像処理とは、例えば、ガンマ補正処理、ホワイトバランス補正処理、キズ補正処理、YC変換処理、電子ズーム処理、またはJPEG(Joint Photographic Experts Group)圧縮処理などの処理である。また、コントローラ180は、スルー画像(ライブビュー表示用の動画像)や、操作画面用画像などを生成する。
コントローラ180は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。例えば、コントローラ180は、CPU(Central Processing Unit)、FPGA(Field‐Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、又はDSP(Digital Signal Processor)等で構成できる。
液晶モニタ220は、コントローラ180で画像処理された画像や、コントローラ180で生成されたスルー画像、操作画面などを表示する。液晶モニタ220は、タッチセンサ機能を備える。液晶モニタ220上に表示された操作画面に対して、ユーザがタッチ操作を行うことにより、デジタルカメラ100に対する各種設定を行うことができる。
カードスロット190は、メモリカード200を装着可能である。カードスロット190は、コントローラ180からの制御に基づいて、メモリカード200を制御する。デジタルカメラ100は、メモリカード200に対して画像データを格納したり、メモリカード200から画像データを読み出したりすることができる。
動き検出部310は、コントローラ180の指示に基づいて、ADコンバータ140でデジタル化された画像データが示す撮像画像を複数個のブロックに分割し、各ブロックの動きベクトルを検出する。動きベクトルの検出にはパターンマッチングなど種々の方法を利用できる。例えば、各ブロック(の全体)について、隣接するフレームの画像データに対するパターンマッチングを行うことで、1つの動きベクトルを検出する方法(第1の方法)を利用できる。また、各ブロックに含まれる、各ブロックよりも小さなサイズの小ブロック(例えば16ピクセル×16ピクセルのブロック)の各々について、隣接するフレームの画像データに対する動きベクトルを求め、求めた複数の動きベクトルの平均値を、各ブロックの動きベクトルとする方法(第2の方法)を利用できる。また、第1の方法と第2の方法を、画像データの分割数(または分割したブロックのサイズ)に応じて使い分けてもよい。例えば、分割数が所定分割数よりも少ないときは第2の方法を用い、分割数が所定分割数よりも大きいときは第1の方法を用いてもよい。
1-2.動作
本実施の形態のデジタルカメラ100の動作について説明する前にまず本開示の具体的な課題について説明する。
図2は、本開示の課題を説明した図である。
従来においては、例えば図2に示すように、撮像画像を2×2の4個のブロックに分割し、分割後の各ブロックについて動きベクトル検出処理を行う場合がある。そして、各ブロックについて検出された動きベクトルの大きさの最大値に基づいてシャッタスピードを決定する場合がある。図2では、デジタルカメラ100を右側に首振りさせながら撮影し、少女が右に向かって走っている状況を例示している。このような状況において、例えば左側の図に示すように、撮像された被写体像のうち、少女の背景の背景像は左に流れ、少女の像は右に流れているものとする。ここで、図2のように4分割程度では、1ブロックの面積に占める少女像の面積の割合が小さい。そのため、各ブロックの動きベクトルの向き及び大きさは、背景像の流れ(移動)の影響を大きく受けて、背景像の移動量に近い大きさとなる。つまり、少女像の移動状況が動きベクトルにあまり反映されない。したがって、各ブロックについて検出された動きベクトルの大きさの最大値に基づいてシャッタスピードを決定した場合には、右側の撮像画像に示すように、背景像については像ブレがないが、少女像については像ブレによるボケが発生する。
また、上述したように撮像画像を4個程度のブロックに分割して各ブロックの動きベクトルを検出する装置では、例えばデジタルカメラ100を首振りさせずに社交ダンスのフロア全体を撮影したような場合にも、社交ダンスを行う人物に像ブレによるボケが発生しやすくなる。具体的には、フロア全体と比して人物は小さいため、上述のように4分割程度では、1ブロックの面積に占める人物像の面積の割合が小さい。そのため、人物が移動や回転動作を行っていても、フロア像(背景像)が例えば静止していると、背景像の静止の影響を大きく受け、人物の動きに対応した大きさの動きベクトルが検出されない。その結果、各ブロックについて検出された動きベクトルの大きさの最大値に基づいてシャッタスピードを決定しても、撮像画像の中の人物像に像ブレによるボケが発生する。また、撮像画像から人物の存在する領域を切り出して拡大画像を生成するような場合に、ボケが目立ちやすくなる。
このように、ブロックの面積に比べて小さい面積の物体像が移動や回転をしているような場合、動きベクトルの検出の際、背景像の動き状態の影響を大きく受けて、物体像の動きに対応した動きベクトルが検出されない。その結果、各ブロックについて検出された動きベクトルの大きさの最大値に基づいて、シャッタスピードを決定するだけでは、撮像画像における物体像に像ブレによるボケが発生するという課題がある。
上記の課題を解決する一方法として、動きが速くなる可能性がある物体を撮像する場合には、一定以上の速さのシャッタスピードを常時設定することが考えられる。しかし、シャッタスピードを必要以上に高速にすると、光量不足を補うためにゲインを上げなければならない。その結果、撮像画像にノイズが発生してしまう。また、物体像の動きに滑らかさが無くなってしまう。この課題を解決するため、本開示では、以下の構成を採用する。
図3は、デジタルカメラのシャッタスピード決定動作の一例を示した図である。
デジタルカメラ100のコントローラ180は、例えば、記録用の動画像の撮像時や、静止画や動画像の撮像前に(スルー画像を液晶モニタ220に表示している際に)、リアルタイムに、本開示のシャッタスピード決定動作を行う。具体的に、デジタルカメラ100のコントローラ180は、動画像の撮像時や、静止画や動画像の撮像前に(スルー画像を液晶モニタ220に表示している際に)、動き検出部310に、ADコンバータ140でデジタル化された画像データに対し、指定されたブロックサイズのブロック単位で動きベクトル検出処理を行わせる。より具体的には、コントローラ180は、動く物体の動きベクトルが適切に取得されるまで、動き検出部310に、ブロックサイズを小さくしながら動きベクトルの検出処理を繰り返し行わせる。例えば図3(a)、(b)、(c)に示すように、初回以後、2回目、3回目の動きベクトルの検出処理におけるブロックサイズを徐々に小さくする。コントローラ180は、検出処理を実行する都度動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求める。コントローラ180は、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定する。具体的には、コントローラ180は、前回の動きベクトル検出処理で求められた動きベクトル関連値に対する、今回の検出処理で求められた動きベクトル関連値の増加量が閾値以下になった場合、今回の動きベクトル検出処理で求められた動きベクトル関連値に基づいて、シャッタスピードを決定する。
図4は、動きベクトル関連値とシャッタスピードの関係の一例を示した図である。
デジタルカメラ100のコントローラ180は、図4に示すように、動きベクトル関連値が大きくなるにつれて、速い値のシャッタスピードを決定する。
動きベクトル関連値としては、例えば(1)、(2)、(3)のような値を用いることができる。
(1)各ブロックについて検出した動きベクトルの大きさのうちの最大値
(2)各ブロックについて検出した動きベクトルのうち、上位の大きさを有する動きベクトルの大きさの平均値
(3)各ブロックについて検出した動きベクトルのうち、上位の大きさを有する動きベクトルの大きさの中央値
ここで、(2)、(3)における「上位」とは、「上から所定個数」、「上から所定割合(%)」、「動きベクトルの大きさが所定値以上」などであり、いずれを用いてもよい。
図5は、ブロックサイズと動きベクトル関連値との関係を示した図である。
撮像画像中にその面積と比べて比較的小さい面積の物体像が含まれている場合に、ブロックサイズを小さくしていくと、図5に示すように、動きベクトル関連値は大きくなっていく。これは、ブロックサイズを小さくしていくと、ブロックの面積に占める物体像の面積の割合が大きくなるからである。しかし、差分である増加量は、A1、A2、A3…というように徐々に小さくなる。これは、検出された動きベクトルの大きさが、物体像の実際の動きに応じた動きベクトルの大きさに近づいてきていることを意味する。そのため、増加量が予め定めた閾値以下になった場合、ブロックサイズを小さくすることを止めて、このときの動きベクトル関連値を、物体像の実際の動きに応じた動きベクトル関連値と推定する。そして、この動きベクトル関連値に基づいて、シャッタスピードを決定する。閾値は、撮像画像中において動きベクトルを検出したい物体像の大きさや物体像の動く速度や、撮像画像中において視覚上許容される物体像のブレの量などを勘案して設定する。なお、閾値を小さくしすぎると、撮像画像上に発生するノイズの影響を受けやすくなるので、閾値についてはノイズの影響を受けにくくなるように設定してもよい。
なお、上述の図3では、ブロックサイズを小さくする際、2×2の4分割、4×4の16分割、8×8の16分割というようにブロックの分割数を増やしているが、これは一例である。例えば、2×2の4分割、3×3の9分割、4×4の16分割、5×5の25分割というように他の分割数としてもよい。また、横方向の分割数と縦方向の分割数を異ならせてもよい。最小ブロックサイズは、例えばマクロブロックサイズの8画素×8画素としてもよいし、それより大きいブロックサイズとしてもよい。
シャッタスピードを決定するタイミングは適宜なタイミングに設定できる。毎秒例えば30フレームずつ画像データが生成されるような場合に、1フレーム分の画像データに対して繰り返しブロックサイズを小さくしながら動きベクトル検出処理を行って、1フレーム毎にシャッタスピードを決定してもよい。また、1フレームの画像データに対してあるブロックサイズで1回の動きベクトル検出処理を行うことを、ブロックサイズを小さくしながら数フレームに亘って繰り返し、数フレーム毎にシャッタスピードを決定してもよい。前者によれば、決定したシャッタスピードで次のフレームの撮像を行うことができるため、動きの速い物体でもブレを大きく抑制して撮像できる。後者によれば、動きベクトル検出処理の負荷を少なくできる。後者の場合、決定したシャッタスピードで次のフレームの撮像を行ってもよいし、例えば次の秒の先頭フレームでシャッタスピードを上記の決定したシャッタスピードに変更して撮像を行ってもよい。
次に、図6を参照して、上記シャッタスピード決定処理の具体例について説明する。
図6は、本開示におけるシャッタスピード決定処理の具体例を説明した図である。
本具体例では、動きベクトル関連値が、検出された動きベクトルの大きさのうちの最大値である例について説明する。また、上述した前者の場合(1フレーム分の画像データに対して繰り返しブロックサイズを小さくしながら動きベクトル検出処理を行って、1フレーム毎にシャッタスピードを決定する場合)について説明するが、後者の場合(1フレーム分の画像データに対して1段階だけブロックサイズを小さくしながら動きベクトル検出処理を行って、数フレーム毎にシャッタスピードを決定する場合)にも適用できる。
まず、コントローラ180は、図6(a)に例示するように、撮像画像を例えば2×2の4個のブロックに分割し、分割後の各ブロックについて動き検出部310に動きベクトル検出処理を行わせる。コントローラ180は、各ブロックについて検出された動きベクトルの大きさのうちの最大値を、動きベクトル関連値とする。図6(a)~図6(d)では、図2同様、デジタルカメラ100を右側に振りながら撮影し、少女が右に向かって走っている状況を例示している。図6(a)のような4分割程度では、1ブロックの面積に占める少女像の面積の割合は小さい。そのため、各ブロックにおいて検出された動きベクトルの向き及び大きさは、背景像の動きの影響を大きく受けて、左向きで背景像の移動量に近い大きさとなっている。これらのブロックにおける動きベクトルの大きさはほぼ同じであるが、少女像が存在しない左上または左下のブロックの動きベクトルの大きさが最大値を持つと推定される。
次に、コントローラ180は、図6(b)に例示するように、撮像画像を4×4の16個のブロックに分割し、分割後の各ブロックについて動き検出部310に動きベクトル検出処理を行わせる。コントローラ180は、各ブロックについて検出された動きベクトルの大きさのうちの最大値を求める。図6(b)のように16分割程度に細かく分割されると、1ブロックの面積に占める少女像の面積の割合が大きくなり、少女像が存在するブロックについては、動きベクトルが右向きに変わっている。このとき、少女像が存在するブロックのうちのいずれかのブロックの動きベクトルが、最大値を持つと推定される。なお、背景部分のブロックにおける四角の(矢印でない)表示は、ブロック内の背景像に変化がないことで、動きベクトルを検出できなかったことを示す。コントローラ180は、図6(a)で検出した動きベクトルの最大値と、図6(b)で検出した動きベクトルの最大値とを比較して、最大値の増加量を求め、最大値の増加量が閾値以下か否かを判断する。ここでは、最大値の増加量が閾値以下でなかったものとする。
次に、コントローラ180は、図6(c)に例示するように、撮像画像を5×5の25個のブロックに分割し、分割後の各ブロックについて動き検出部310に動きベクトル検出処理を行わせる。コントローラ180は、各ブロックについて検出された動きベクトルの大きさのうちの最大値を求める。図6(c)のように25分割程度に細かく分割されると、1ブロックの面積に占める少女像の面積の割合が図6(b)の場合と比べてさらに大きくなる。そのため、少女像が存在するブロックの動きベクトルの大きさが図6(b)の場合よりもさらに大きくなっている。このとき、少女像が存在するブロックのうちのいずれかのブロックの動きベクトルが、最大値を持つと推定される。コントローラ180は、図6(b)で検出した動きベクトルの最大値と、図6(c)で検出した動きベクトルの最大値とを比較して、最大値の増加量を求め、最大値の増加量が閾値以下か否かを判断する。ここでは、最大値の増加量が閾値以下でなかったものとする。
次に、コントローラ180は、図6(d)に例示するように、撮像画像を8×8の64個のブロックに分割し、分割後の各ブロックについて動き検出部310に動きベクトル検出処理を行わせる。コントローラ180は、各ブロックについて検出された動きベクトルの大きさのうちの最大値を求める。図6(d)のように64分割程度に細かく分割されると、1ブロックの面積に占める少女像の面積の割合が図6(c)の場合と比べてさらに大きくなる。そのため、少女像が存在するブロックの動きベクトルの大きさが図6(c)の場合と比べ大きくなっている。このとき、少女像が存在するブロックのうちのいずれかのブロックの動きベクトルが、最大値を持つと推定される。しかし、最大値の増加の仕方は鈍化している。コントローラ180は、図6(c)で検出された動きベクトルの最大値と、図6(d)で検出された動きベクトルの最大値とを比較して、最大値の増加量を求め、最大値の増加量が閾値以下か否かを判断する。ここでは、最大値の増加量が閾値以下であったものとする。この場合、コントローラ180は、図4に示す関係にしたがって、動きベクトル関連値に対応するシャッタスピードを決定し、決定したシャッタスピードで以後の撮像を撮像センサに行わせる。これにより、撮像画像の面積に占める面積の割合が小さくかつ撮像画像内で最も速い速度で移動する少女像を、像ブレを抑制してボケが少なくなるように撮像することができる。
図7を参照して、上記のシャッタスピード決定処理の流れについて説明する。
図7は、シャッタスピード決定動作を説明したフローチャートである。
コントローラ180は、ブロックサイズを最大値に設定する(S11)。これは、ブロック分割数を最小値に設定することでもある。
コントローラ180は、動き検出部310に、各ブロックについて動きベクトルを検出させる(S12)。
コントローラ180は、各ブロックについて検出された動きベクトルに基づいて、現ブロックサイズにおける動きベクトル関連値を求める(S13)。
コントローラ180は、今回(今制御周期で)求められた動きベクトル関連値の前回(前制御周期で)求められた動きベクトル関連値に対する増加量を求める(S14)。初回(最初の制御周期)においては、前回の動きベクトル関連値が存在しないので、前回の動きベクトル関連値が0(ゼロ)であるものとして増加量を求める。
コントローラ180は、動きベクトル関連値の増加量が閾値以下であるか否かを判断する(S15)。
動きベクトル関連値の増加量が閾値以下でない場合(S15でNO)、コントローラ180は、ブロックサイズを現在のブロックサイズよりも小さいブロックサイズに設定し(S17)、ステップS12以後の処理を実行する。ブロックサイズを小さくする仕方は、前述したように任意に設定することができる。
動きベクトル関連値の増加量が閾値以下である場合(S15でYES)、コントローラ180は、今回求められた動きベクトル関連値に基づいて、シャッタスピードを決定する(S16)。具体的に、コントローラ180は、図4に示す関係にしたがって、動きベクトル関連値に対応するシャッタスピードを決定する。
1-3.効果等
以上説明したように、本実施の形態のデジタルカメラ100(シャッタスピード決定装置の一例)は、被写体像を撮像して得られた画像データに対し、指定されたブロックサイズのブロック単位で動きベクトルの検出処理をする動き検出部310と、動き検出部310に対してブロックサイズを小さくしながら検出処理を繰り返し実行させ、検出処理を実行する都度動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求め、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定するコントローラ180(制御部の一例)と、を備える。
このような構成を有する本実施の形態のデジタルカメラ100によれば、動きベクトルを検出してシャッタスピードを決定する場合に、動く被写体のぶれをより少なくすることができる。
本実施の形態において、コントローラ180は、前回の検出処理で求められた動きベクトル関連値に対する今回の検出処理で求められた動きベクトル関連値の増加量が閾値以下になった場合、今回の検出処理で求められた動きベクトル関連値に基づいてシャッタスピードを決定する。これにより、被写体のぶれを閾値に応じた一定程度以下に適切に抑制することができる。
本実施の形態において、動きベクトル関連値は、各ブロックについて検出された動きベクトルの大きさのうちの最大値であってもよい。これにより、撮像画像中において速いスピードで移動する被写体をぶれなく撮像することができる。
本実施の形態において、動きベクトル関連値は、各ブロックについて検出された動きベクトルのうち、上位の大きさを有する動きベクトルの大きさの平均値であってもよい。これにより、各ブロックについて検出された動きベクトルの中に、例えば動きベクトル検出の際にパターンマッチングにミスのある動きベクトルが含まれ、その大きさが最大値となっているような場合に、誤った最大値に基づいてシャッタスピードが決定されることが抑制される。また、上位の大きさを有する動きベクトルの大きさの平均値に基づいてシャッタスピードが決定されることで、撮像画像中における被写体のぶれを概ねなくすことができる。
本実施の形態において、動きベクトル関連値は、各ブロックについて検出された動きベクトルのうち、上位の大きさを有する動きベクトルの大きさの中央値であってもよい。これにより、各ブロックについて検出された動きベクトルの中に、例えば動きベクトル検出の際にパターンマッチングにミスのある動きベクトルが含まれ、その大きさが最大値となっているような場合に、誤った最大値に基づいてシャッタスピードが決定されることが抑制される。上位の大きさを有する動きベクトルの大きさの中央値に基づいてシャッタスピードが決定されることで、撮像画像中における被写体のぶれを概ねなくすことができる。
(実施の形態2)
実施の形態1では撮像画像内の全ブロックについて動きベクトルを検出する構成を説明したが、実施の形態2では、全ブロックのうちの一部のブロックに絞り込んで動きベクトルを検出する構成を説明する。なお、実施の形態1との相違点を中心に説明する。
2-1.構成
本実施の形態のデジタルカメラ100は、実施の形態1と同一のハードウェアを有する。そのため、ハードウェアの構成の説明については省略する。
2-2.動作
図8は、シャッタスピード決定動作を説明したフローチャートである。図8では、実施の形態1と同じステップについては同じステップ符号を付している。
コントローラ180は、ブロックサイズを最大値に設定し(S11)、動きベクトル検出処理の対象エリアを設定する(S21)。動きベクトル検出処理の対象エリアの設定方法については後に詳述する。
コントローラ180は、動き検出部310に、対象エリアに存在する各ブロックについて動きベクトルを検出させる(S22)。
コントローラ180は、対象エリアに存在する各ブロックについて検出された動きベクトルに基づいて、現ブロックサイズにおける動きベクトル関連値を求める(S23)。
ステップS23の実行後、コントローラ180は、ステップS14以後において実施の形態1同様の処理を実行する。
次に、ステップS21における、動きベクトル検出処理の対象エリアの設定方法について、第1例、第2例、第3例を説明する。
-第1例-
コントローラ180は、前回(前制御周期で)検出された動きベクトルのうち、上位の大きさを有する動きベクトルが検出されたブロックの存在エリアのみを、今回(今制御周期)の動きベクトル検出処理の対象エリアに設定する。「上位」とは、「上から所定個数」、「上から所定割合(%)」、「動きベクトルの大きさが所定値以上」などである。第2例、第3例における「上位」も同様である。なお、ここでの上位を規定する所定個数や所定割合(%)などの値は、動きベクトルの平均値や中央値を求める際の上位を規定する値とは異なってもよい。
図9は、動きベクトル検出処理の対象エリアの設定方法の第1例を説明した図である。なお、第1例~第3例では、ブロック分割数の最小値が4に設定されているものとする。また、上位が上から1個であるものとする。また、ブロックサイズを小さくする際、1個のブロックを4個のブロックに分割するものとする。
コントローラ180は、初回の動きベクトル検出処理において、図9(a)の4個のブロックの各々に対して動き検出部310に動きベクトル検出処理を行わせる。このとき、上位の大きさを有する動きベクトルが検出されたブロックが、図9(a)において実線で囲まれた1個のブロックであったものとする。この場合、コントローラ180は、この1個のブロックのエリアを、2回目の動きベクトル検出処理の対象エリアに設定する。
2回目の動きベクトル検出処理において、コントローラ180は、図9(b)に示すように、ブロックサイズを小さくし、対象エリアに存在する4個のブロック(網掛けを付したブロック)のみについて動き検出部310に動きベクトル検出処理を行わせる。
このとき、コントローラ180は、図9(a)のブロックサイズのときの動きベクトル関連値に対する、図9(b)のブロックサイズのときの動きベクトル関連値の増加量が閾値以下か否かを判断する。ここでは動きベクトル関連値の増加量が閾値以下でなかったものとする。この場合、コントローラ180は、図9(b)において上位の大きさを有する動きベクトルが検出された1個のブロックのエリア(実線で囲まれたエリア)を、3回目の動きベクトル検出処理の対象エリアに設定する。
3回目の動きベクトル検出処理において、コントローラ180は、図9(c)に示すように、ブロックサイズを小さくし、対象エリアに存在する4個のブロック(網掛けを付したブロック)のみについて、動き検出部310に、動きベクトル検出処理を行わせる。
このとき、コントローラ180は、図9(b)のブロックサイズのときの動きベクトル関連値に対する、図9(c)のブロックサイズのときの動きベクトル関連値の増加量が閾値以下か否かを判断する。ここでは動きベクトル関連値の増加量が閾値以下であったものとする。この場合、コントローラ180は、図9(c)のブロックサイズのときの動きベクトル関連値に基づいて、以降に撮像を行う際のシャッタスピードを決定する。これに対し、動きベクトル関連値の増加量が閾値以下でない場合には、コントローラ180は、上位の大きさを有する動きベクトルが検出された1個のブロックのエリアを、次回の動きベクトル検出処理の対象エリアに設定し、かつブロックサイズをさらに小さくして、対象エリアに存在する4個のブロックのみについて動き検出部310に動きベクトル検出処理を行わせる。
-第2例-
コントローラ180は、前回(前制御周期で)検出された動きベクトルのうち上位の大きさを有する動きベクトルが検出されたブロックとその近傍のブロックとを含むエリアのみを、今回(今制御周期)の動きベクトル検出処理の対象エリアに設定する。近傍のブロックとは、例えば、上位の大きさを有する動きベクトルが検出されたブロックの周囲において当該ブロックに隣接して存在するブロックである。
図10は、動きベクトル検出処理の対象エリアの設定方法の第2例を説明した図である。
コントローラ180は、初回の動きベクトル検出処理において、図10(a)の4個のブロックの各々に対して動き検出部310に動きベクトル検出処理を行わせる。このとき、上位の大きさを有する動きベクトルが検出されたブロックが、図10(a)において実線で囲まれた1個のブロックであったものとする。この場合、コントローラ180は、この1個のブロックとそれに隣接して存在するブロックを含むエリア(太い破線で囲まれたエリア)を、2回目の動きベクトル検出処理の対象エリアに設定する。
2回目の動きベクトル検出処理において、コントローラ180は、図10(b)に示すように、ブロックサイズを小さくし、対象エリアに存在する16個のブロック(網掛けを付したブロック)について、動き検出部310に、動きベクトル検出処理を行わせる。
このとき、コントローラ180は、図10(a)のブロックサイズのときの動きベクトル関連値に対する、図10(b)のブロックサイズのときの動きベクトル関連値の増加量が閾値以下か否かを判断する。ここでは動きベクトル関連値の増加量が閾値以下でなかったものとする。この場合、コントローラ180は、図10(b)において上位の大きさを有する動きベクトルが検出された1個のブロック(実線で囲まれたブロック)とそれに隣接して存在するブロックを含むエリア(太い破線で囲まれたエリア)を、3回目の動きベクトル検出処理の対象エリアに設定する。
3回目の動きベクトル検出処理において、コントローラ180は、図10(c)に示すように、ブロックサイズを小さくし、対象エリアに存在する36個のブロック(網掛けを付したブロック)のみについて動き検出部310に動きベクトル検出処理を行わせる。
このとき、コントローラ180は、図10(b)のブロックサイズのときの動きベクトル関連値に対する、図10(c)のブロックサイズのときの動きベクトル関連値の増加量が閾値以下か否かを判断する。ここでは動きベクトル関連値の増加量が閾値以下であったものとする。この場合、コントローラ180は、図10(c)のブロックサイズのときの動きベクトル関連値に基づいて、以降に撮像を行う際のシャッタスピードを決定する。これに対し、動きベクトル関連値の増加量が閾値以下でない場合には、コントローラ180は、上位の大きさを有する動きベクトルが検出された1個のブロックとそれに隣接して存在するブロックを含むエリアを、次回の動きベクトル検出処理の対象エリアに設定し、かつブロックサイズをさらに小さくして、対象エリアに存在するブロックのみについて動き検出部310に動きベクトル検出処理を行わせる。
-第3例-
コントローラ180は、前回(前制御周期)の検出処理で検出された動きベクトルの大きさを前々回のブロックサイズのブロックに対応するエリア単位で平均化して得られた各エリアの平均値と、前々回(前々制御周期)の検出処理で検出された各ブロックの動きベクトルの大きさとの差を各エリアについて求め、求めた差が上位の差を有するエリアのみを今回(今制御周期)の動きベクトル検出処理の対象エリアに設定する。
図11は、動きベクトル検出処理の対象エリアの設定方法の第3例を説明した図である。
コントローラ180は、初回の動きベクトル検出処理において、図11(a)の4個のブロックの各々に対して動き検出部310に動きベクトル検出処理を行わせる。
2回目の動きベクトル検出処理において、コントローラ180は、図11(b)に示すように、ブロックサイズを小さくし、16個のブロックの各々に対して動き検出部310に動きベクトル検出処理を行わせる。
コントローラ180は、2回目の動きベクトル検出処理で検出された動きベクトルの大きさを初回のブロックサイズのブロックに対応するエリア単位で平均化し、各エリアについて各エリア内のブロックの動きベクトルの大きさの平均値を求める。例えば、図11(b)において太い破線で示すように、初回のブロックサイズに対応するエリア内に存在する4個のブロックをエリア(グループ)単位でグルーピングし、各エリア(グループ)について、各エリア内の4個のブロックの動きベクトルの大きさの平均値を求める。コントローラ180は、各エリアについて求められた平均値に基づいて動きベクトル関連値を求める。
コントローラ180は、図11(a)のブロックサイズのときの動きベクトル関連値に対する、図11(b)のブロックサイズのときの動きベクトル関連値の増加量が閾値以下か否かを判断する。ここでは動きベクトル関連値の増加量が閾値以下でなかったものとする。この場合、コントローラ180は、2回目の検出処理で検出された動きベクトルの大きさを初回のブロックサイズのブロックに対応するエリア単位で平均化して得られた各エリアの平均値と、初回の検出処理で検出された各ブロックの動きベクトルの大きさとの差を各エリアについて求める。コントローラ180は、上位の差を有する1個のエリア(実線で囲まれたエリア)を、3回目の動きベクトル検出処理の対象エリアに設定する。
3回目の動きベクトル検出処理において、コントローラ180は、図11(c)に示すように、ブロックサイズを小さくし、対象エリアに存在する16個のブロック(網掛けを付したブロック)のみについて動き検出部310に動きベクトル検出処理を行わせる。
コントローラ180は、3回目の動きベクトル検出処理で検出された動きベクトルの大きさを2回目のブロックサイズのブロックに対応するエリア単位で平均化し、各エリアについて各エリア内のブロックの動きベクトルの大きさの平均値を求める。例えば、図11(c)において太い破線で示すように2回目のブロックサイズに対応するエリア内に存在する4個のブロックをエリア(グループ)単位でグルーピングし、各エリア(グループ)について、各エリア内の4個のブロックの動きベクトルの大きさの平均値を求める。コントローラ180は、各エリアについて求められた平均値に基づいて動きベクトル関連値を求める。
コントローラ180は、図11(b)のブロックサイズのときの動きベクトル関連値に対する、図11(c)のブロックサイズのときの動きベクトル関連値の増加量が閾値以下か否かを判断する。ここでは動きベクトル関連値の増加量が閾値以下であったものとする。この場合、コントローラ180は、図11(c)のブロックサイズのときの動きベクトル関連値に基づいて、以降に撮像を行う際のシャッタスピードを決定する。なお、動きベクトル関連値の増加量が閾値以下でない場合には、コントローラ180は、3回目の検出処理で検出された動きベクトルの大きさを2回目のブロックサイズのブロックに対応するエリア単位で平均化して得られた各エリアの平均値と、2回目の検出処理で検出された各ブロックの動きベクトルの大きさとの差を各エリアについて求める。コントローラ180は、上位の差を有する1個のエリア(実線で囲まれたエリア)を、4回目の動きベクトル検出処理の対象エリアに設定し、図11(d)に示すように、ブロックサイズを小さくし、対象エリアに存在する16個のブロック(網掛けを付したブロック)のみについて動き検出部310に4回目の動きベクトル検出処理を行わせる。
2-3.効果等
本実施の形態において、コントローラ180(制御部の一例)は、前回の検出処理で検出された動きベクトルのうち上位の大きさを有する動きベクトルが検出されたブロックのエリアのみを、今回の検出処理の対象エリアに設定する。これにより、動き検出部310における動き検出処理の負荷を軽減することができる。
本実施の形態において、コントローラ180(制御部の一例)は、前回の検出処理で検出された動きベクトルのうち上位の大きさを有する動きベクトルが検出されたブロックとその近傍のブロックとを含むエリアのみを、今回の検出処理の対象エリアに設定する。これにより、動き検出部310における動き検出処理の負荷を軽減することができる。また、上位の大きさを有する動きベクトルが検出されたブロックの近傍のブロックについても動きベクトルの検出対象とすることで、非常に動きの速い物体像などを見失うことが抑制される。そのため、撮像画像上における物体像のぶれやボケをより適切に抑制できる。
本実施の形態において、コントローラ180(制御部の一例)は、前回の検出処理で検出された動きベクトルの大きさを前々回のブロックサイズのブロックに対応するエリア単位で平均化して得られた各エリアの平均値と、前々回の検出処理で検出された各ブロックの動きベクトルの大きさとの差を各エリアについて求め、求めた差が上位の差を有するエリアのみを今回の検出処理の対象エリアに設定する。これにより、動き検出部310における動き検出処理の負荷を軽減することができる。
(実施の形態3)
実施の形態3では、撮像画像内の所定物体像を検出し、所定物体像が含まれるブロックのみについて動きベクトルを検出する。所定物体とは、撮像画像において検出を希望する物体、例えば人、動物、自動車などの物体である。どのような物体を所定物体とするかは目的に応じて任意に設定すればよい。以下では、実施の形態1、2との相違点を中心に説明する。
3-1.構成
図12は、実施の形態3のデジタルカメラ100Aの構成を示した図である。
実施の形態3のデジタルカメラ100Aは、物体検出部320をさらに有する。物体検出部320は、ADコンバータ140でデジタル化された画像データに基づいて所定物体像を検出し、所定物体像が含まれるブロックを示す信号をコントローラ180に出力する。
3-2.動作
コントローラ180は、実施の形態2で説明した図8のフローチャートにしたがって、シャッタスピード決定動作を行う。なお、ステップS21において、コントローラ180は、物体検出部320に、ADコンバータ140でデジタル化された画像データが示す撮像画像に含まれる所定物体像を検出させて、所定物体像が含まれるブロックを識別する信号を出力させる。そして、コントローラ180は、この信号に基づいて、所定物体像が含まれるブロックのエリアのみを動きベクトル検出処理の対象エリアに設定する。それ以外の処理は実施の形態2と同様に行われる。
図13は、動きベクトル検出処理の対象エリアの設定方法の例を説明した図である。
図13(a)に示すように、ブロック分割数の最小値が4に設定されている場合において、物体検出部320が、実線で囲まれた2個のブロックにおいて所定物体像を検出したものとする。この場合、コントローラ180は、この2個のブロックのエリアのみについて、図13(b)、図13(c)に示すように、ブロックサイズを小さくしながら動きベクトル検出処理及び動きベクトル関連値の演算処理を繰り返し実行して、動きベクトル関連値の増加量を求める。そして、コントローラ180は、動きベクトル関連値の増加量が閾値以下になったときに、今回の動きベクトル関連値に基づいてシャッタスピードを決定する。
3-3.効果等
本実施の形態では、画像データが示す撮像画像に含まれる所定物体像を検出する物体検出部320(所定物体検出部の一例)を備え、コントローラ180(制御部の一例)は、動き検出部310に対して、所定物体像が含まれるブロックのエリアのみについて検出処理を実行させる。これにより、動き検出部310における動き検出処理の負荷を軽減することができる。また、所定物体像の動きベクトルを適切に検出できる。そのため、撮像画像上における所定物体像のぶれやボケをより適切に抑制できる。
(実施の形態4)
本実施の形態では、本開示に係るシャッタスピード決定装置を外部機器に適用した形態を説明する。
図14は、実施の形態4の外部機器の構成を示した図である。
外部機器300は、動き検出部310と、演算部330とを有する。外部機器300は、デジタルカメラに後付けないし接続が可能な外部オプション機器や外部コンピュータにより構成される。外部機器300の動き検出部310及び演算部330は、ハードワイヤードな電子回路や、プログラムの指令に基づく処理を実行するCPUにより構成できる。動き検出部310は、デジタルカメラ100BのADコンバータ140でデジタル化された画像データを入力し、実施の形態1または2同様に、動きベクトルを検出する。演算部330は、動き検出部310の検出結果に基づいて、図7または図8のフローチャートで説明した処理を実行して、シャッタスピードを決定する。演算部330は、決定したシャッタスピードをデジタルカメラ100Bのコントローラ180に出力する。デジタルカメラ100Bのコントローラ180は、外部機器300から入力したシャッタスピードで、以後のフレームの撮像を行う。
このような構成を有する本実施の形態の外部機器300によれば、本開示のシャッタスピード決定装置を、外部コンピュータや外付けオプション機器などの外部機器として提供することができる。
(実施の形態5)
本実施の形態では、実施の形態4同様、本開示に係るシャッタスピード決定装置を外部機器に適用した形態を説明する。
図15は、実施の形態5の外部機器の構成を示した図である。
外部機器300Aは、動き検出部310と、物体検出部320と、演算部330とを有する。外部機器300Aは、デジタルカメラに後付けないし接続が可能な外部オプション機器や外部コンピュータにより構成される。外部機器300Aの動き検出部310、物体検出部320、及び演算部330は、ハードワイヤードな電子回路や、プログラムの指令に基づく処理を実行するCPUにより構成できる。動き検出部310は、デジタルカメラ100BのADコンバータ140でデジタル化された画像データを入力し、実施の形態2同様に、動きベクトルを検出する。物体検出部320は、実施の形態3同様に、ADコンバータ140でデジタル化された画像データが示す撮像画像に含まれる人物や動物などの対象物体像を検出する。演算部330は、動き検出部310の検出結果及び物体検出部の検出結果に基づいて、図8のフローチャートで説明した処理を実行して、シャッタスピードを決定する。演算部330は、決定したシャッタスピードをデジタルカメラ100Bのコントローラ180に出力する。デジタルカメラ100Bのコントローラ180は、外部機器300Aから入力したシャッタスピードで、以後のフレームの撮像を行う。
このような構成を有する本実施の形態の外部機器300Aによれば、本開示のシャッタスピード決定装置を、外部コンピュータや外付けオプション機器などの外部機器として提供することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
(1)上記の実施の形態では、レンズ一体型カメラについて説明したが、本開示は、レンズ交換式カメラにも適用可能である。
(2)上記の実施の形態では、撮像装置の一例としてデジタルカメラを説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、被写体像を撮像する際のシャッタスピードを決定する装置において広く利用可能である。
100,100A デジタルカメラ
110 光学系
111 ズームレンズ
112 フォーカスレンズ
113 絞り
121 ズームレンズ駆動部
122 フォーカスレンズ駆動部
123 絞り駆動部
130 撮像素子
140 ADC
150 TG
180 コントローラ
190 カードスロット
200 メモリカード
210 レリーズ釦
220 液晶モニタ
300,300A 外部機器
230 内蔵メモリ
310 動き検出部
320 物体検出部
330 演算部

Claims (9)

  1. 被写体像を撮像して得られた画像データに対し、指定されたブロックサイズのブロック単位で動きベクトルの検出処理をする動き検出部と、
    前記動き検出部に対して前記ブロックサイズを小さくしながら前記検出処理を繰り返し実行させ、前記検出処理を実行する都度前記動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求め、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定する制御部と、を備え
    前記制御部は、前回の検出処理で求められた動きベクトル関連値に対する今回の検出処理で求められた動きベクトル関連値の増加量が閾値以下になった場合、今回の検出処理で求められた動きベクトル関連値に基づいて前記シャッタスピードを決定する、
    シャッタスピード決定装置。
  2. 被写体像を撮像して得られた画像データに対し、指定されたブロックサイズのブロック単位で動きベクトルの検出処理をする動き検出部と、
    前記動き検出部に対して前記ブロックサイズを小さくしながら前記検出処理を繰り返し実行させ、前記検出処理を実行する都度前記動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求め、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定する制御部と、を備え
    前記制御部は、前回の検出処理で検出された動きベクトルのうち上位の大きさを有する動きベクトルが検出されたブロックのエリアのみを、今回の検出処理の対象エリアに設定する、
    シャッタスピード決定装置。
  3. 被写体像を撮像して得られた画像データに対し、指定されたブロックサイズのブロック単位で動きベクトルの検出処理をする動き検出部と、
    前記動き検出部に対して前記ブロックサイズを小さくしながら前記検出処理を繰り返し実行させ、前記検出処理を実行する都度前記動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求め、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定する制御部と、を備え
    前記制御部は、前回の検出処理で検出された動きベクトルのうち上位の大きさを有する動きベクトルが検出されたブロックとその近傍のブロックとを含むエリアのみを、今回の検出処理の対象エリアに設定する、
    シャッタスピード決定装置。
  4. 被写体像を撮像して得られた画像データに対し、指定されたブロックサイズのブロック単位で動きベクトルの検出処理をする動き検出部と、
    前記動き検出部に対して前記ブロックサイズを小さくしながら前記検出処理を繰り返し実行させ、前記検出処理を実行する都度前記動きベクトルの大きさの変化方向と同じ方向に変化する動きベクトル関連値を求め、求めた動きベクトル関連値に基づいて、以後に被写体像を撮像する際のシャッタスピードを決定する制御部と、を備え
    前記制御部は、前回の検出処理で検出された動きベクトルの大きさを前々回のブロックサイズのブロックに対応するエリア単位で平均化して得られた各エリアの平均値と、前々回の検出処理で検出された各ブロックの動きベクトルの大きさとの差を前記各エリアについて求め、求めた差が上位の差を有するエリアのみを今回の検出処理の対象エリアに設定する、
    シャッタスピード決定装置。
  5. 前記動きベクトル関連値は、各ブロックについて検出した動きベクトルの大きさのうちの最大値である、
    請求項1から4のいずれか1項に記載のシャッタスピード決定装置。
  6. 前記動きベクトル関連値は、各ブロックについて検出した動きベクトルのうち、上位の大きさを有する動きベクトルの大きさの平均値である、
    請求項1から4のいずれか1項に記載のシャッタスピード決定装置。
  7. 前記動きベクトル関連値は、各ブロックについて検出した動きベクトルのうち、上位の大きさを有する動きベクトルの大きさの中央値である、
    請求項1から4のいずれか1項に記載のシャッタスピード決定装置。
  8. 前記画像データが示す画像に含まれる所定物体像を検出する所定物体検出部を備え、
    前記制御部は、前記動き検出部に対して、前記所定物体像が含まれるブロックのみについて前記検出処理を実行させる、
    請求項1から4のいずれか1項に記載のシャッタスピード決定装置。
  9. 請求項1から8のいずれか1項に記載のシャッタスピード決定装置と、
    被写体像を撮像して画像データを生成する撮像センサと、
    前記シャッタスピード決定装置で決定されたシャッタスピードで、前記撮像センサに撮像を行わせる制御部と、を備える、
    撮像装置。
JP2022503122A 2020-02-25 2020-12-25 シャッタスピード決定装置及び撮像装置 Active JP7462240B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020029556 2020-02-25
JP2020029556 2020-02-25
PCT/JP2020/048678 WO2021171774A1 (ja) 2020-02-25 2020-12-25 シャッタスピード決定装置及び撮像装置

Publications (2)

Publication Number Publication Date
JPWO2021171774A1 JPWO2021171774A1 (ja) 2021-09-02
JP7462240B2 true JP7462240B2 (ja) 2024-04-05

Family

ID=77489923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022503122A Active JP7462240B2 (ja) 2020-02-25 2020-12-25 シャッタスピード決定装置及び撮像装置

Country Status (3)

Country Link
US (1) US20230076396A1 (ja)
JP (1) JP7462240B2 (ja)
WO (1) WO2021171774A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136174A (ja) 2006-10-24 2008-06-12 Sanyo Electric Co Ltd 撮像装置及び撮影制御方法
JP2016201626A (ja) 2015-04-08 2016-12-01 キヤノン株式会社 シフト素子制御装置、シフト素子制御プログラムおよび光学機器
JP2017005400A (ja) 2015-06-08 2017-01-05 キヤノン株式会社 撮像制御装置、撮像装置および撮像制御プログラム
JP2018025611A (ja) 2016-08-08 2018-02-15 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2018037772A (ja) 2016-08-30 2018-03-08 キヤノン株式会社 撮像装置およびその制御方法
JP2017134185A5 (ja) 2016-01-27 2019-02-28

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746457A (ja) * 1993-07-31 1995-02-14 Sony Corp 動き量検出装置及び動き量検出方法
WO2007042073A1 (en) * 2005-10-12 2007-04-19 Active Optics Pty Limited Image processing method and system
JP6702737B2 (ja) 2016-01-27 2020-06-03 キヤノン株式会社 像ブレ補正装置、および、像ブレ補正装置の制御方法
KR20180052002A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP7032871B2 (ja) * 2017-05-17 2022-03-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136174A (ja) 2006-10-24 2008-06-12 Sanyo Electric Co Ltd 撮像装置及び撮影制御方法
JP2016201626A (ja) 2015-04-08 2016-12-01 キヤノン株式会社 シフト素子制御装置、シフト素子制御プログラムおよび光学機器
JP2017005400A (ja) 2015-06-08 2017-01-05 キヤノン株式会社 撮像制御装置、撮像装置および撮像制御プログラム
JP2017134185A5 (ja) 2016-01-27 2019-02-28
JP2018025611A (ja) 2016-08-08 2018-02-15 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2018037772A (ja) 2016-08-30 2018-03-08 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JPWO2021171774A1 (ja) 2021-09-02
WO2021171774A1 (ja) 2021-09-02
US20230076396A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
JP5736796B2 (ja) 電子カメラ、プログラム及び記録媒体
JP2008129554A (ja) 撮像装置及びオートフォーカス制御方法
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
US11729503B2 (en) Image capturing apparatus and control method thereof
WO2015190156A1 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
US10334176B2 (en) Imaging apparatus
JP5696026B2 (ja) 撮像装置、撮像方法および監視システム
JP5868061B2 (ja) 撮像装置
US10594938B2 (en) Image processing apparatus, imaging apparatus, and method for controlling image processing apparatus
JP5703788B2 (ja) 撮像装置、画像処理装置、画像処理プログラム
US9883096B2 (en) Focus detection apparatus and control method thereof
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
US11196925B2 (en) Image processing apparatus that detects motion vectors, method of controlling the same, and storage medium
JP7462240B2 (ja) シャッタスピード決定装置及び撮像装置
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2012235255A (ja) 画像処理装置及びプログラム
JP6016546B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2009077321A (ja) 画像記録装置及び画像記録処理方法
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
WO2021200191A1 (ja) 画像処理装置および方法、並びにプログラム
US20240171858A1 (en) Focus control apparatus, image pickup apparatus, and focus control method
US20230247289A1 (en) Focus detecting apparatus, image pickup apparatus, focus detecting method, and storage medium
US20230421901A1 (en) Image processing apparatus and method, and image capturing apparatus
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240314

R150 Certificate of patent or registration of utility model

Ref document number: 7462240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150