JP5067323B2 - Imaging apparatus and program - Google Patents
Imaging apparatus and program Download PDFInfo
- Publication number
- JP5067323B2 JP5067323B2 JP2008230380A JP2008230380A JP5067323B2 JP 5067323 B2 JP5067323 B2 JP 5067323B2 JP 2008230380 A JP2008230380 A JP 2008230380A JP 2008230380 A JP2008230380 A JP 2008230380A JP 5067323 B2 JP5067323 B2 JP 5067323B2
- Authority
- JP
- Japan
- Prior art keywords
- size
- subject
- moving
- image
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、被写体の移動方向を算出する撮影装置、及びそのプログラムに関するものである。 The present invention relates to a photographing apparatus that calculates a moving direction of a subject and a program thereof.
従来、特許文献1において、移動している被写体までの位置情報と当該被写体の移動方向の情報とを用いて、当該被写体までの距離の変化を演算するカメラが提案されている。かかる従来のカメラによれば、カメラに対し斜め方向に移動する被写体までの距離の変化を正確に演算して、この演算結果に基づいた正確な合焦動作を行うことができる。
しかしながら、上記従来のカメラでは、ジャイロセンサによって検出されるカメラ本体が向けられる方向の変化を、被写体の移動方向として検出している。そのため、上記従来のカメラでは、被写体の移動方向の検出に際してジャイロセンサが必要となり、カメラの構造が複雑になるという問題があった。 However, in the conventional camera described above, a change in the direction in which the camera body is directed detected by the gyro sensor is detected as the moving direction of the subject. Therefore, the conventional camera requires a gyro sensor when detecting the moving direction of the subject, and there is a problem that the structure of the camera is complicated.
そこで、本発明は、簡単な構造でもって被写体の移動方向を算出できる撮影装置、プログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides a photographing apparatus and a program that can calculate a moving direction of a subject with a simple structure.
上記課題を解決するため、請求項1の発明にあっては、
被写体を順次撮影して撮影画像を順次生成する撮影手段と、
複数の特定の被写体の種類のそれぞれに対応させて、前記撮影手段の撮像面から所定の距離だけ離れた第1の地点に位置するときに撮影された前記特定の被写体の前記撮影画像上での第1のサイズと、前記特定の被写体が前記撮像手段の撮像面と第1の角度をなす方向において前記第1の位置から所定の距離だけ離れた第2の地点において撮影された前記特定の被写体の前記撮影画像上での第2のサイズと、を予め記憶している記憶手段と、
前記撮影画像に基づき、前記撮像面と第2の角度をなして移動している移動被写体の種類を特定する第1の特定手段と、
前記第1の特定手段により特定された移動被写体の種類に対応付けられている、第1のサイズと第2のサイズとを前記記憶手段から読み出す読み出し手段と、
前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったか否かを判断する第1の判断手段と、
前記第1の判断手段により前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったと判断された後、前記撮影画像に写る前記移動被写体が所定の基準距離だけ移動したか否かを判断する第2の判断手段と、
前記第2の判断手段により撮影画像に写る前記移動被写体が前記基準距離だけ移動したと判断されたときに前記撮影手段により生成された撮影画像に基づき、当該撮影画像に写る前記移動被写体の第3のサイズを特定する第3の特定手段と、
前記第1の角度と、前記読み出された第1のサイズと第2のサイズと移動距離と、前記特定された第3のサイズとに基づき、前記第2の角度を算出する算出手段と、
を備えるものとした。
In order to solve the above problems, the invention of
Photographing means for sequentially photographing a subject and sequentially generating photographed images;
Corresponding to each of a plurality of specific subject types, the specific subject photographed on the photographed image when it is located at a first point that is a predetermined distance away from the imaging surface of the photographing means. The first subject and the particular subject photographed at a second point that is a predetermined distance away from the first position in a direction in which the particular subject forms a first angle with the imaging surface of the imaging means. Storage means for storing in advance the second size of the captured image of
First identifying means for identifying a type of a moving subject moving at a second angle with the imaging surface based on the captured image;
Reading means for reading out from the storage means the first size and the second size, which are associated with the type of moving subject specified by the first specifying means;
First determination means for determining whether or not the size of the moving subject shown in the captured image has reached the read first size;
After the first determination means determines that the size of the moving subject that appears in the captured image has reached the read first size, the moving subject that appears in the captured image moves by a predetermined reference distance. A second judging means for judging whether or not
Based on the photographed image generated by the photographing means when the second judging means judges that the moving subject appearing in the photographed image has moved by the reference distance, the third of the moving subjects appearing in the photographed image is determined. A third specifying means for specifying the size of
Calculation means for calculating the second angle based on the first angle, the read first size, second size, moving distance, and the specified third size;
It was supposed to be equipped with.
また、請求項2の発明にあっては、
前記算出手段は、次式(1)により前記第2の角度を算出するものとした。
θb=arctan[(R3−R1)tanθa/(R2−R1)] (1)
ただし、
θb:前記第2の角度
θa:前記第1の角度
R1:前記第1のサイズ
R2:前記第2のサイズ
R3:前記第3のサイズ
In the invention of
The calculation means calculates the second angle by the following equation (1).
θb = arctan [(R3-R1) tan θa / (R2-R1)] (1)
However,
θb: the second angle θa: the first angle R1: the first size R2: the second size R3: the third size
また、請求項3の発明にあっては、
被写体を順次撮影して撮影画像を順次生成する撮影手段と、
複数の特定の被写体の種類のそれぞれに対応させて、前記撮影手段の撮像面から所定の距離だけ離れた第1の地点に位置するときに撮影された前記特定の被写体の前記撮影画像上での第1のサイズと、前記特定の被写体が前記撮像手段の撮像面と第1の角度をなす方向において前記第1の位置から所定の距離だけ離れた第2の地点において撮影された前記特定の被写体の前記撮影画像上での第2のサイズと、を予め記憶している記憶手段と、
を備えるコンピュータを、
前記撮影画像に基づき、前記撮像面と第2の角度をなして移動している移動被写体の種類を特定する第1の特定手段、
前記第1の特定手段により特定された移動被写体の種類に対応付けられている、第1のサイズと第2のサイズとを前記記憶手段から読み出す読み出し手段、
前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったか否かを判断する第1の判断手段、
前記第1の判断手段により前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったと判断された後、前記撮影画像に写る前記移動被写体が所定の基準距離だけ移動したか否かを判断する第2の判断手段、
前記第2の判断手段により撮影画像に写る前記移動被写体が前記基準距離だけ移動したと判断されたときに前記撮影手段により生成された撮影画像に基づき、当該撮影画像に写る前記移動被写体の第3のサイズを特定する第3の特定手段、
前記第1の角度と、前記読み出された第1のサイズと第2のサイズと移動距離と、前記特定された第3のサイズとに基づき、前記第2の角度を算出する算出手段、
として機能させるプログラムとした。
In the invention of
Photographing means for sequentially photographing a subject and sequentially generating photographed images;
Corresponding to each of a plurality of specific subject types, the specific subject photographed on the photographed image when it is located at a first point that is a predetermined distance away from the imaging surface of the photographing means. The first subject and the particular subject photographed at a second point that is a predetermined distance away from the first position in a direction in which the particular subject forms a first angle with the imaging surface of the imaging means. Storage means for storing in advance the second size of the captured image of
A computer comprising
First identifying means for identifying a type of a moving subject that is moving at a second angle with the imaging surface based on the captured image;
Reading means for reading out from the storage means the first size and the second size, which are associated with the type of moving subject specified by the first specifying means;
First determination means for determining whether or not the size of the moving subject in the captured image has reached the read first size;
After the first determination means determines that the size of the moving subject that appears in the captured image has reached the read first size, the moving subject that appears in the captured image moves by a predetermined reference distance. Second judging means for judging whether or not
Based on the photographed image generated by the photographing means when the second judging means judges that the moving subject appearing in the photographed image has moved by the reference distance, the third of the moving subjects appearing in the photographed image is determined. A third specifying means for specifying the size of
Calculation means for calculating the second angle based on the first angle, the read first size, second size, moving distance, and the specified third size;
As a program to function as.
本発明によれば、簡単な構造でもって被写体の移動方向を算出できる。 According to the present invention, the moving direction of the subject can be calculated with a simple structure.
<デジタルカメラ1の構成>
図1を参照して、本実施形態に係るデジタルカメラ1の電気的構成を説明する。図1はデジタルカメラ1の各部分の機能を示すブロック図である。デジタルカメラ1はフォーカスレンズ2、ズームレンズ3、CCD4、CDS/ADブロック5、TG(Timing Generator)6、CCDデータ前処理ブロック7、色処理(CP)ブロック8、JPEG符号化器9、DRAM10、内蔵のフラッシュメモリ11、動きベクトル検出部12、CPU13、表示部14、キーブロック15、カード・インターフェイス16、メモリカード17、絞り兼用シャッタ18を備えている。
<Configuration of
With reference to FIG. 1, the electrical configuration of the
フォーカスレンズ2及びズームレンズ3はそれぞれが図示しないレンズ群から構成されるものである。フォーカスレンズ2及びズームレンズ3は、CPU13から送られる制御信号に従い、図示しない駆動回路により駆動される。
The
撮像素子であるCCD4は、フォーカスレンズ2とズームレンズ3とを介して取り込んだ被写体像を受光面(撮像面)で光電変換して信号電荷を順次蓄積し、蓄積した信号電荷を撮像信号として順次出力する。TG(タイミングジェネレータ)6は、CPU13から送出される制御信号に従って、所定周波数のタイミング信号を生成してCCD4を駆動する。
The
CDS/ADブロック5は、CCD4からの撮像信号をサンプリングしてノイズを除去しデジタル信号に変換する。CCDデータ前処理ブロック7は、デジタル信号に変換された撮像信号に対し輝度信号処理等のデータ処理を行う。色処理(CP)ブロック8は、輝度信号処理等が行われた画像信号に対して色分離等の色処理を行い、Y(輝度信号),Cb(青色差信号),Cr(赤色差信号)の撮影画像データ(フレーム)を生成する。
The CDS /
本実施形態においては、撮影画像データ(フレーム)が生成されるフレームレートは30fpsである。本実施形態においては、撮影画像データの解像度は640×480(VGAサイズ)である。 In the present embodiment, the frame rate at which captured image data (frame) is generated is 30 fps. In the present embodiment, the resolution of the captured image data is 640 × 480 (VGA size).
JPEG符号化部9は、撮影画像データの圧縮・伸張(例えば、JPEGやMPEG形式の圧縮・伸張)を行う部分である。
The
DRAM10は、CCD4によって順次撮影された撮影画像データ(フレーム)を一時的に記憶するバッファメモリとして使用される。DRAM10は、CPU10が処理を実行するに際しワーキングメモリとしても使用される。
The
フラッシュメモリ11には、後述する被写体データテーブル20が格納されている。フラッシュメモリ11には、CPU13によるデジタルカメラ1の必要なプログラムや各種データが格納されている。
The flash memory 11 stores a subject data table 20 described later. The flash memory 11 stores necessary programs and various data for the
図2に、本実施形態における被写体データテーブル20の様子が示されている。図2に示されるように、被写体データテーブル20上には複数の被写体の種類が保持されている。被写体データテーブル20上には各被写体の種類に対応させて、特徴データ、第1基準サイズR1、第2基準サイズR2などの被写体に関するデータが保持されている。 FIG. 2 shows the state of the subject data table 20 in the present embodiment. As shown in FIG. 2, a plurality of types of subjects are held on the subject data table 20. On the subject data table 20, data relating to the subject such as feature data, the first reference size R1, and the second reference size R2 are stored in association with the type of each subject.
特徴データは、所定の登録モード等において、ユーザが任意の被写体についてデジタルカメラ1(被写体データテーブル20)に予め登録しておく。デジタルカメラ1は、ユーザによるシャッタキーの操作に応じて撮影した撮影画像データから特徴データを算出して登録する。このとき、ユーザによるキーブロック15の操作で入力された被写体の種類の名称も一緒に登録する。ここで、撮影画像データから算出される特徴データとは、被写体の輪郭等から該被写体の特徴点を複数抽出し、該抽出した特徴点の座標位置や相対位置関係を数値化したデータのことをいう。
The feature data is registered in advance in the digital camera 1 (subject data table 20) for an arbitrary subject in a predetermined registration mode or the like. The
図3、図4を参照して、第1基準サイズR1、第2基準サイズR2について説明する。図3は、デジタルカメラ1の撮像面(CCD4の受光面)に対して所定の基準角度θaをなして直線的に移動している被写体31(ボール)がデジタルカメラ1に近づいてくる様子を示す概念図である。本実施形態においては、角度θaは30°であるとする。この基準角度θa(30°)の情報は、ユーザによるキーブロック15の操作によってフラッシュメモリ11に予め記憶される。
The first reference size R1 and the second reference size R2 will be described with reference to FIGS. FIG. 3 shows a state in which an object 31 (ball) moving linearly with a predetermined reference angle θa approaches the
図3において、地点Aは、デジタルカメラ1の光軸101の方向において、デジタルカメラ1から被写体31まで所定の距離Yだけ離れている任意の地点である。地点Bは、デジタルカメラ1の光軸に直行する方向(デジタルカメラ1から見て左右方向)において、被写体31が地点Aから所定の距離Xだけ移動した地点である。本実施形態においては、上記の距離Xは30m、上記の距離Yは50mである。
In FIG. 3, a point A is an arbitrary point that is a predetermined distance Y from the
地点Bでは、被写体31が光軸方向において被写体31が、地点Aよりもデジタルカメラ1に近づいてきているため、地点Bに位置する被写体31が撮影画像に写るサイズは地点Aに位置していたときのサイズよりも大きくなっている。これを表現するため、図3においては、地点Aに位置するときの被写体31のサイズよりも、地点Bに位置する被写体31のサイズの方が大きく示されている。
At the point B, the subject 31 is closer to the
図4(A)に示されるように、基準サイズR1は、被写体31(図4では野球ボール)が地点Aにあるときに撮影された撮影画像40A上に、被写体31の像41が写る画素単位のサイズ(ボールの直径)である。例えば、図2と図4(A)に示されるように、野球ボールに対応する第1基準サイズR1は100画素である。また、第2基準サイズR2は、被写体31が地点Bにあるときに撮影された撮影画像40B上に、被写体31の像41が写る画素単位のサイズ(ボールの直径)である。例えば、図2と図4(B)に示されるように、野球ボールに対応する第2基準サイズR2は200画素である。 As shown in FIG. 4A, the reference size R1 is a pixel unit in which the image 41 of the subject 31 is captured on the captured image 40A captured when the subject 31 (baseball ball in FIG. 4) is at the point A. The size of the ball (the diameter of the ball). For example, as shown in FIGS. 2 and 4A, the first reference size R1 corresponding to the baseball is 100 pixels. The second reference size R2 is a size in pixels (ball diameter) in which an image 41 of the subject 31 appears on the captured image 40B taken when the subject 31 is at the point B. For example, as shown in FIGS. 2 and 4B, the second reference size R2 corresponding to the baseball is 200 pixels.
次に、上記の距離X(30m)に対応する撮影画像上のサイズ(画素数)について説明する。野球ボールの実寸法(直径)は10cmである。そして、上述の通り、野球ボールが地点Aにあるときに撮影された撮影画像40A上に、野球ボールが写るサイズは100画素である。そのため、撮影画像においては、デジタルカメラ1から上記の距離Y(50m)だけ離れた任意の場所に位置する被写体の像を表現する撮影画像上の1画素が、0.1cm分の被写体領域に対応する。
Next, the size (number of pixels) on the captured image corresponding to the distance X (30 m) will be described. The actual size (diameter) of the baseball is 10 cm. And as above-mentioned, the size which a baseball ball shows on the picked-up image 40A image | photographed when the baseball ball exists in the point A is 100 pixels. Therefore, in the photographed image, one pixel on the photographed image representing the image of the subject located at an arbitrary position away from the
すると、図4(B)に示されるように、デジタルカメラ1から所定の距離Yだけ離れた場所(地点A等)における上記の距離X(30m)は、撮影画像上の300画素分の距離に相当する。以下においては、撮影画像上の300画素分の距離を基準距離Xaということにする。
Then, as shown in FIG. 4B, the distance X (30 m) at a place (point A or the like) separated from the
ここで、第1基準サイズR1と第2基準サイズR2と基準距離Xaとは、それぞれ所定の登録モード等において、ユーザが任意の被写体についてデジタルカメラ1(被写体データテーブル20)に予め登録しておく。つまり、ユーザはデジタルカメラ1の撮像面に対して角度θa(30°)をなして移動している被写体が地点A、地点Bにあるときのそれぞれ撮影画像を予め撮影しておく。デジタルカメラ1は、このようにして撮影された2枚の撮影画像から第1基準サイズR1、第2基準サイズR2をそれぞれ算出して被写体データテーブル20に登録しておく。また、デジタルカメラ1は、このようにして撮影された2枚の撮影画像それぞれの被写体31の中心座標の差分値を、基準距離Xaとしてフラッシュメモリ11に記憶させておく。
Here, the first reference size R1, the second reference size R2, and the reference distance Xa are registered in advance in the digital camera 1 (subject data table 20) for an arbitrary subject in a predetermined registration mode or the like. . That is, the user previously captures each captured image when the subject moving at an angle θa (30 °) with respect to the imaging surface of the
図1に戻り、動きベクトル検出部12は、撮影画像データ(フレーム)の各領域(10画素×10画素からなる領域)の動きベクトル(動き量)を検出するものである。動きベクトル検出部12は、代表点マッチング法や、ブロックマッチング法などを用いて撮影画像データの各領域の動きベクトル(動き量)を検出する。この動きベクトルの検出においてには、あるフレームとその後又はその前に撮像されたフレームとに基づいて、該あるフレームの各領域の動きベクトルを検出する。動きベクトル検出部12は、撮像されたフレームを一定時間保持する記憶回路も含む。動きベクトル検出部12は、検出した動きベクトルをCPU13へ送る。 Returning to FIG. 1, the motion vector detection unit 12 detects a motion vector (motion amount) of each region (region consisting of 10 pixels × 10 pixels) of the captured image data (frame). The motion vector detection unit 12 detects a motion vector (motion amount) of each region of the captured image data using a representative point matching method, a block matching method, or the like. In the detection of the motion vector, the motion vector of each area of the certain frame is detected based on the certain frame and the frame captured after or before the certain frame. The motion vector detection unit 12 also includes a storage circuit that holds captured frames for a certain period of time. The motion vector detection unit 12 sends the detected motion vector to the CPU 13.
CPU13は、デジタルカメラ1の全体を制御する回路である。CPU13は、フラッシュメモリ11に格納されたプログラムとの協働で、DRAM10をワーキングエリアとして動作する。
The CPU 13 is a circuit that controls the entire
表示部14は、不図示の液晶ディスプレイとその駆動回路とで構成されている。デジタルカメラ1が撮影待機状態にあるときには、CCD4によって撮像された撮影画像データをライブユー画像として液晶ディスプレイに表示する。本実施形態では、液晶表示ディスプレイの表示解像度は640×480である。
The display unit 14 includes a liquid crystal display (not shown) and its drive circuit. When the
キーブロック15は、不図示のシャッタキーやモードキー、SETキー、十字キー、撮影モード選択キー等の複数の操作キーを含む。キーブロック15は、ユーザによる各キーの操作に応じた操作信号をCPU13へ送る。シャッタキーは、いわゆるハーフシャッタ機能を備えたものであり、ピント合わせのための半押し操作と、撮影指示(撮影画像データの記録指示)のための全押し操作が可能な構成である。 The key block 15 includes a plurality of operation keys such as a shutter key (not shown), a mode key, a SET key, a cross key, and a shooting mode selection key. The key block 15 sends an operation signal to the CPU 13 according to the operation of each key by the user. The shutter key has a so-called half-shutter function, and is configured to allow a half-press operation for focusing and a full-press operation for shooting instructions (shooting image data recording instructions).
カード・インターフェイス16には、記録媒体であるメモリカード17が着脱自在に接続されている。メモリカード17には、撮影指示に応答して、CCD4により撮影された撮影画像データ等が記録される。
A memory card 17 as a recording medium is detachably connected to the card interface 16. The memory card 17 records captured image data captured by the
絞り兼用シャッタ18は、図示しない駆動回路を含む。この駆動回路は、CPU13から送られてくる制御信号に従って絞り兼用シャッタ18を動作させる。この絞り兼用シャッタ20は、絞り、シャッタとして機能する。
The aperture /
<デジタルカメラ1の動作>
図5を参照して、デジタルカメラ1の本実施形態に係る動作を説明する。ユーザがキーブロック15に対する所定の操作により移動角度計測モードを設定すると、CPU13は、フラッシュメモリ11から読み出してDRAM10に展開したプログラムとの協働により、図5のフローチャートに示される移動方向計測モードの処理を実行する。本実施形態においては、ユーザはデジタルカメラ1の位置を動かさないで構えているものとする。
<Operation of
With reference to FIG. 5, the operation | movement which concerns on this embodiment of the
本実施形態においては、移動角度計測モードの処理によって、図6に示される野球ボール61の移動方向とデジタルカメラ1の撮像面とのなす角度θbを算出する。図6は、デジタルカメラ1の撮像面に対して角度θbをなして直線的に移動している野球ボール61がデジタルカメラ1に近づいてくる様子を示す概念図である。野球ボール61の実寸法(直径)は10cmである。
In the present embodiment, the angle θb formed by the movement direction of the baseball ball 61 shown in FIG. 6 and the imaging surface of the
図5に示されるように、CPU13は、CCD4から順次撮り込まれDRAM10に順次蓄積された撮影画像データ(フレーム)により表現される撮影画像を、ライブビュー画像として表示部14に表示させる処理を開始する(ステップS1)。
As shown in FIG. 5, the CPU 13 starts processing to display the captured image represented by the captured image data (frame) sequentially captured from the
次に、CPU13は、DRAM10に蓄積された撮影画像データにより表現される撮影画像内において、移動している被写体の像である移動被写体像を検出する(ステップS2)。具体的には、CPU13は、動きベクトル検出部12に対しDRAM10に蓄積された撮影画像データを順次出力し、この出力された撮影画像データの各領域の動きベクトルを検出させていく。動きベクトル検出部12により検出された各撮影画像データの各領域の動きベクトルはCPU13へ送られる。そして、CPU13は、撮影画像において、大きさが所定値以上の動きベクトルがある領域を、移動被写体像が写る領域として検出する。
Next, the CPU 13 detects a moving subject image that is an image of the moving subject in the photographed image expressed by the photographed image data stored in the DRAM 10 (step S2). Specifically, the CPU 13 sequentially outputs the captured image data stored in the
本実施形態では、図7に示されるように、撮影画像に写る野球ボール61の像71が、移動被写体像として検出される。 In the present embodiment, as shown in FIG. 7, an image 71 of the baseball ball 61 that appears in the captured image is detected as a moving subject image.
次に、CPU13は、DRAM10に蓄積されている撮影画像データに対して、ステップS2の処理により検出された移動被写体像をサイズを特定する処理を開始する(ステップS3)。ここで、移動被写体像のサイズとは、順次撮影される撮影画像データにより表現される撮影画像に写る移動被写体像のサイズのことをいう。 Next, the CPU 13 starts processing for specifying the size of the moving subject image detected by the processing in step S2 for the captured image data stored in the DRAM 10 (step S3). Here, the size of the moving subject image refers to the size of the moving subject image that appears in the captured image represented by the captured image data that is sequentially captured.
具体的には、CPU13は、撮影画像において大きさが所定値以上の動きベクトルがある領域(10画素×10画素からなる領域)が同一方向に隣接している個数を特定することにより、移動被写体像のサイズを特定する。例えば、撮影画像において、所定値以上の動きベクトルがある領域が同一方向に5個隣接しているなら、移動被写体像のサイズは10画素×50個=50画素であると特定される。CPU13は、ステップS3以降、CCD4による撮影画像データの取り込みに伴い、移動被写体像のサイズを特定する処理を継続する。
Specifically, the CPU 13 specifies the number of adjacent regions in the same direction that have a motion vector whose size is a predetermined value or more in the captured image (region consisting of 10 pixels × 10 pixels), thereby moving the moving subject. Specify the size of the image. For example, in the captured image, if five regions having motion vectors of a predetermined value or more are adjacent in the same direction, the size of the moving subject image is specified as 10 pixels × 50 = 50 pixels. After step S3, the CPU 13 continues the process of specifying the size of the moving subject image as the captured image data is captured by the
本実施形態では、ステップS2の処理の直後に特定される野球ボール61の像71のサイズ(野球ボールの直径)は、撮影画像上で50画素分のサイズとなるものとする。 In the present embodiment, it is assumed that the size of the image 71 of the baseball ball 61 (the diameter of the baseball) specified immediately after the process of step S2 is a size of 50 pixels on the captured image.
次に、CPU13は、ステップS2の処理により検出された移動被写体像の種類を特定する(ステップS4)。具体的には、CPU13は、DRAM10に蓄積された撮影画像データにより表現される撮影画像の全てに対して画像認識処理を行う。つまり、被写体データテーブル20に登録されている被写体の像が、各撮影画像内にあるか否かを認識する処理を行う。なお、被写体データテーブル20に登録されている被写体像がいずれも撮影画像内にない場合、CPU13は図4のフローチャートに示す処理を終了させる。
Next, the CPU 13 specifies the type of the moving subject image detected by the process of step S2 (step S4). Specifically, the CPU 13 performs image recognition processing on all of the captured images expressed by the captured image data stored in the
ここで、被写体認識処理の内容を簡単に説明する(被写体認識処理は周知技術である)。被写体認識処理においては、まず撮像された撮影画像データ(フレーム)から全被写体の特徴データを算出する。そして、この算出した被写体特徴データと、被写体データテーブル20上に保持されている被写体の特徴データとを照合することにより、登録されている被写体が撮影画像データ内にあるかであるかを認識する。ここで、撮影画像データから算出される被写体の特徴データとは、例えば、被写体の特徴点を複数抽出し、この抽出した特徴点の座標位置や相対位置関係等を数値化したデータのことをいう。 Here, the subject recognition processing will be briefly described (subject recognition processing is a well-known technique). In subject recognition processing, first, feature data of all subjects is calculated from captured image data (frames). Then, by comparing the calculated subject feature data with the subject feature data held in the subject data table 20, it is recognized whether the registered subject is in the captured image data. . Here, the feature data of the subject calculated from the captured image data refers to, for example, data obtained by extracting a plurality of feature points of the subject and quantifying the coordinate positions and relative positional relationships of the extracted feature points. .
本実施形態では、CPU13は、この被写体認識処理の結果、被写体の種類が野球ボールであると特定する。 In the present embodiment, the CPU 13 specifies that the type of the subject is a baseball as a result of the subject recognition process.
次に、CPU13は、ステップS4の処理により特定された被写体像の種類に対応する第1基準サイズR1と第2基準サイズR2と基準サイズXaとをフラッシュメモリ11に格納されている被写体データテーブル20から読み出す(ステップS5)。CPU13は、読み出した第1基準サイズR1、第2基準サイズR2、基準サイズXaをDRAM10上に展開する。
Next, the CPU 13 stores the first reference size R1, the second reference size R2, and the reference size Xa corresponding to the type of the subject image specified by the process of step S4, in the subject data table 20 stored in the flash memory 11. (Step S5). The CPU 13 develops the read first reference size R1, second reference size R2, and reference size Xa on the
本実施形態では、図2に示されるように、野球ボールの被写体の種類に対応する、第1基準サイズR1(100画素)、第2基準サイズR2(200画素)、が読み出される。 In the present embodiment, as shown in FIG. 2, the first reference size R1 (100 pixels) and the second reference size R2 (200 pixels) corresponding to the type of subject of the baseball ball are read out.
次に、CPU13は、順次撮影される撮影画像に写る移動被写体像のサイズが、ステップS5の処理にて読み出された第1基準サイズR1以上になったか否かを判断する(ステップS6)。移動被写体像は時間が経過するにつれて光軸方向においてデジタルカメラ1に近づいてくるため、撮影画像に写る移動被写体像のサイズは時間が経過するにつれて大きくなっていく。本実施形態では、ステップS6において、撮影画像上で移動する野球ボールの像のサイズが、100画素以上になったか否かを判断する。
Next, the CPU 13 determines whether or not the size of the moving subject image that appears in the captured images that are sequentially photographed is equal to or larger than the first reference size R1 that is read out in step S5 (step S6). Since the moving subject image approaches the
移動被写体像のサイズが第1基準サイズR1以下であるなら(ステップS6;NO)、CPU13はステップS6の処理をくり返す。一方、被写体がデジタルカメラ1に近づいてきて、順次撮影されている撮影画像に写る移動被写体像のサイズが第1基準サイズR1以上になると(ステップS6;YES)、CPU13は、撮影画像における移動被写体像の移動距離(画素数)を特定する処理を開始する(ステップS7)。
If the size of the moving subject image is equal to or smaller than the first reference size R1 (step S6; NO), the CPU 13 repeats the process of step S6. On the other hand, when the subject approaches the
本実施形態においては、図7(A)に示されるように、撮影画像70Aに写る野球ボール61の像71のサイズが100画素になった時点で、CPU13は、撮影画像上における野球ボール61の像71の移動距離を特定する処理を開始する。また、この時点において、野球ボール61は、図6に示される地点Aに位置していることになる。野球ボール61の実寸法は、被写体データテーブル20に登録されている野球ボールの実寸法と同じ10cmである。そのため、図6に示される地点Aは、図3に示される地点Aと同じく、デジタルカメラ1から光軸101の方向において距離Y(50m)だけ離れた地点である。
In the present embodiment, as shown in FIG. 7A, when the size of the image 71 of the baseball ball 61 shown in the photographed image 70A reaches 100 pixels, the CPU 13 determines the baseball ball 61 on the photographed image. Processing for specifying the moving distance of the image 71 is started. At this time, the baseball 61 is located at the point A shown in FIG. The actual size of the baseball 61 is 10 cm, which is the same as the actual size of the baseball registered in the subject data table 20. Therefore, the point A shown in FIG. 6 is a point away from the
具体的には、移動被写体像のサイズが第1基準サイズR1以上になった時点で撮影された撮影画像上の移動被写体像の中心座標と、順次撮影されていく撮影画像上の移動被写体像の中心座標との差分値を、移動被写体像の移動距離として順次算出していく。 Specifically, the center coordinates of the moving subject image on the photographed image taken when the size of the moving subject image becomes equal to or larger than the first reference size R1, and the moving subject image on the photographed image taken sequentially. A difference value from the center coordinate is sequentially calculated as a moving distance of the moving subject image.
CPU13は、ステップS7以降、撮影画像上の移動被写体像の移動距離を常時特定し続けている。図6に示されるように、CCD4の撮影範囲の外へと移動しているため、撮影画像上における移動被写体像の移動距離は時間が経過するにつれて大きくなっていく。
Since step S7, the CPU 13 always specifies the moving distance of the moving subject image on the photographed image. As shown in FIG. 6, since the
次に、CPU13は、撮影画像上における移動被写体像の移動距離が、基準距離Xa(本実施形態では、撮影画像上の300画素分の距離)と等しくなったか否かを判断する。(ステップS8)。本実施形態では、撮影画像に写る野球ボール61の像71の移動距離が300画素になったか否か判断する。移動被写体像の移動距離が基準距離Xa以下であるなら(ステップS8;NO)、CPU13はステップS8の処理をくり返す。 Next, the CPU 13 determines whether or not the moving distance of the moving subject image on the photographed image is equal to the reference distance Xa (in this embodiment, a distance corresponding to 300 pixels on the photographed image). (Step S8). In the present embodiment, it is determined whether or not the moving distance of the image 71 of the baseball ball 61 that appears in the captured image has become 300 pixels. If the moving distance of the moving subject image is less than or equal to the reference distance Xa (step S8; NO), the CPU 13 repeats the process of step S8.
一方、移動被写体像の移動距離が基準距離Xaに等しくなると(ステップS8;YES)、CPU13は、この時点において撮影画像に写る移動被写体像のサイズR3を特定する(ステップS9)。本実施形態では、撮影画像において移動被写体像の移動距離が基準距離Xa(300画素)に等しくなった時点で、図6に示されるように、野球ボール61は地点Aから光軸101に直行する方向(左右方向)において距離X(30m)だけ離れた地点Cに位置していることとなる。
On the other hand, when the moving distance of the moving subject image becomes equal to the reference distance Xa (step S8; YES), the CPU 13 specifies the size R3 of the moving subject image that appears in the captured image at this time (step S9). In the present embodiment, when the moving distance of the moving subject image becomes equal to the reference distance Xa (300 pixels) in the photographed image, the baseball ball 61 goes straight from the point A to the
本実施形態においては、図7(B)の撮影画像70Bに示されるように、撮影画像に写る野球ボール61の像71の移動距離が300画素になった時点において、野球ボール61の像71のサイズR3として「300画素」が特定される。この時点において、野球ボール61は、図6に示される地点Cに位置していることになる。 In this embodiment, as shown in a photographed image 70B in FIG. 7B, when the moving distance of the image 71 of the baseball ball 61 shown in the photographed image becomes 300 pixels, the image 71 of the baseball ball 61 “300 pixels” is specified as the size R3. At this time, the baseball 61 is located at the point C shown in FIG.
次に、CPU13は、下記式(1)に従い、デジタルカメラ1の撮像面と被写体の移動方向とのなす角度θbを算出する(ステップS10)。
θb=arctan[(R3−R1)tanθa/(R2−R1)] (1)
ただし、
θb:デジタルカメラ1の撮像面と被写体の移動方向とのなす角度
θa:予め登録されている基準角度
R1:被写体データテーブル20に予め保持あれている第1基準サイズ
R2:被写体データテーブル20に予め保持あれている第2基準サイズ
R3:移動被写体像の移動距離が基準距離Xaになったときの移動被写体像のサイズ
なお、基準角度θa(本実施形態では30°)は、ステップS10の処理に際して、CPU13によりフラッシュメモリ11から読み出される。
Next, the CPU 13 calculates an angle θb formed by the imaging surface of the
θb = arctan [(R3-R1) tan θa / (R2-R1)] (1)
However,
θb: angle formed by the imaging surface of the
本実施形態においては、R1=100画素、R2=200画素、R3=300画素、tanθa=tan30°≒0.577である。よって、デジタルカメラ1の撮像面と野球ボール61とのなす角度θbは、式(1)を用いて以下に示される値となる。
θb=arctan[(R3−R1)tanθa/(R2−R1)]
=arctan[(300−100)tan30°/(200−100)]
≒49°
In this embodiment, R1 = 100 pixels, R2 = 200 pixels, R3 = 300 pixels, and tan θa = tan 30 ° ≈0.577. Therefore, the angle θb formed between the imaging surface of the
θb = arctan [(R3-R1) tan θa / (R2-R1)]
= Arctan [(300-100) tan 30 ° / (200-100)]
≒ 49 °
CPU13は、ステップS10の処理により算出された角度θbを、図8に示されるようにライブビュー画像に表示させる(ステップS11)。なお、角度θbはライブビュー画像に表示させることなく、音声によってユーザに報知してもよい。CPU13は、ステップS11の処理の後、図5のフローチャートの処理を終了する。 The CPU 13 displays the angle θb calculated by the process of step S10 on the live view image as shown in FIG. 8 (step S11). The angle θb may be notified to the user by voice without being displayed on the live view image. CPU13 complete | finishes the process of the flowchart of FIG. 5 after the process of step S11.
以上説明したように、本実施形態では、予め登録されている第1基準サイズR1と第2基準サイズR2と、予め記憶されている基準角度θaと、撮影画像データより特定した移動被写体像の上記サイズR3とを用いて、デジタルカメラ1の撮像面と被写体の移動方向とのなす角度θb、つまり被写体の移動方向を算出した。これにより、本実施形態ではジャイロセンサ等を用いることなく被写体の移動方向を算出することができる。その結果、本実施形態では簡単な構造でもって被写体の移動方向を算出することができる。
As described above, in the present embodiment, the first reference size R1 and the second reference size R2 registered in advance, the reference angle θa stored in advance, and the above-described moving subject image specified from the captured image data are described above. Using the size R3, an angle θb between the imaging surface of the
また、ユーザはライブビュー画像に表示された角度を参考にすれば、被写体の移動方向と撮像面とのなす角度が所望の角度になるようにデジタルカメラ1の姿勢を変更させて、構図を容易に調整することができる。
Further, if the user refers to the angle displayed in the live view image, the posture of the
本実施形態に係る撮影装置はデジタルカメラ1であったが、カメラ付き携帯電話やカメラ付きゲーム機など、小型な電子カメラを内蔵する機器であれば、本発明を適用することができる。
The photographing apparatus according to the present embodiment is the
1 デジタルカメラ
2 フォーカスレンズ
3 ズームレンズ
4 CCD
5 CDS/ADブロック
6 TG(Timing GeneR2tor)
7 前処理ブロック
8 色処理(CP)ブロック
9 JPEG符号化部
10 DR2M
11 フラッシュメモリ
12 動きベクトル検出部
13 CPU
14 表示部
15 キーブロック
16 カード・インターフェイス
17 メモリカード
18 絞り兼用シャッタ
1
5 CDS /
7 Pre-processing block 8 Color processing (CP)
11 Flash memory 12 Motion vector detection unit 13 CPU
14 Display 15 Key Block 16 Card Interface 17
Claims (3)
複数の特定の被写体の種類のそれぞれに対応させて、前記撮影手段の撮像面から所定の距離だけ離れた第1の地点に位置するときに撮影された前記特定の被写体の前記撮影画像上での第1のサイズと、前記特定の被写体が前記撮像手段の撮像面と第1の角度をなす方向において前記第1の位置から所定の距離だけ離れた第2の地点において撮影された前記特定の被写体の前記撮影画像上での第2のサイズと、を予め記憶している記憶手段と、
前記撮影画像に基づき、前記撮像面と第2の角度をなして移動している移動被写体の種類を特定する第1の特定手段と、
前記第1の特定手段により特定された移動被写体の種類に対応付けられている、第1のサイズと第2のサイズとを前記記憶手段から読み出す読み出し手段と、
前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったか否かを判断する第1の判断手段と、
前記第1の判断手段により前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったと判断された後、前記撮影画像に写る前記移動被写体が所定の基準距離だけ移動したか否かを判断する第2の判断手段と、
前記第2の判断手段により撮影画像に写る前記移動被写体が前記基準距離だけ移動したと判断されたときに前記撮影手段により生成された撮影画像に基づき、当該撮影画像に写る前記移動被写体の第3のサイズを特定する第3の特定手段と、
前記第1の角度と、前記読み出された第1のサイズと第2のサイズと移動距離と、前記特定された第3のサイズとに基づき、前記第2の角度を算出する算出手段と、
を備える撮影装置。 Photographing means for sequentially photographing a subject and sequentially generating photographed images;
Corresponding to each of a plurality of specific subject types, the specific subject photographed on the photographed image when it is located at a first point that is a predetermined distance away from the imaging surface of the photographing means. The first subject and the particular subject photographed at a second point that is a predetermined distance away from the first position in a direction in which the particular subject forms a first angle with the imaging surface of the imaging means. Storage means for storing in advance the second size of the captured image of
First identifying means for identifying a type of a moving subject moving at a second angle with the imaging surface based on the captured image;
Reading means for reading out from the storage means the first size and the second size, which are associated with the type of moving subject specified by the first specifying means;
First determination means for determining whether or not the size of the moving subject shown in the captured image has reached the read first size;
After the first determination means determines that the size of the moving subject that appears in the captured image has reached the read first size, the moving subject that appears in the captured image moves by a predetermined reference distance. A second judging means for judging whether or not
Based on the photographed image generated by the photographing means when the second judging means judges that the moving subject appearing in the photographed image has moved by the reference distance, the third of the moving subjects appearing in the photographed image is determined. A third specifying means for specifying the size of
Calculation means for calculating the second angle based on the first angle, the read first size, second size, moving distance, and the specified third size;
An imaging device comprising:
θb=arctan[(R3−R1)tanθa/(R2−R1)] (1)
ただし、
θb:前記第2の角度
θa:前記第1の角度
R1:前記第1のサイズ
R2:前記第2のサイズ
R3:前記第3のサイズ The photographing apparatus according to claim 1, wherein the calculating unit calculates the second angle by the following equation (1).
θb = arctan [(R3-R1) tan θa / (R2-R1)] (1)
However,
θb: the second angle θa: the first angle R1: the first size R2: the second size R3: the third size
複数の特定の被写体の種類のそれぞれに対応させて、前記撮影手段の撮像面から所定の距離だけ離れた第1の地点に位置するときに撮影された前記特定の被写体の前記撮影画像上での第1のサイズと、前記特定の被写体が前記撮像手段の撮像面と第1の角度をなす方向において前記第1の位置から所定の距離だけ離れた第2の地点において撮影された前記特定の被写体の前記撮影画像上での第2のサイズと、を予め記憶している記憶手段と、
を備えるコンピュータを、
前記撮影画像に基づき、前記撮像面と第2の角度をなして移動している移動被写体の種類を特定する第1の特定手段、
前記第1の特定手段により特定された移動被写体の種類に対応付けられている、第1のサイズと第2のサイズとを前記記憶手段から読み出す読み出し手段、
前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったか否かを判断する第1の判断手段、
前記第1の判断手段により前記撮影画像に写る前記移動被写体のサイズが前記読み出された第1のサイズになったと判断された後、前記撮影画像に写る前記移動被写体が所定の基準距離だけ移動したか否かを判断する第2の判断手段、
前記第2の判断手段により撮影画像に写る前記移動被写体が前記基準距離だけ移動したと判断されたときに前記撮影手段により生成された撮影画像に基づき、当該撮影画像に写る前記移動被写体の第3のサイズを特定する第3の特定手段、
前記第1の角度と、前記読み出された第1のサイズと第2のサイズと移動距離と、前記特定された第3のサイズとに基づき、前記第2の角度を算出する算出手段、
として機能させるプログラム。 Photographing means for sequentially photographing a subject and sequentially generating photographed images;
Corresponding to each of a plurality of specific subject types, the specific subject photographed on the photographed image when it is located at a first point that is a predetermined distance away from the imaging surface of the photographing means. The first subject and the particular subject photographed at a second point that is a predetermined distance away from the first position in a direction in which the particular subject forms a first angle with the imaging surface of the imaging means. Storage means for storing in advance the second size of the captured image of
A computer comprising
First identifying means for identifying a type of a moving subject that is moving at a second angle with the imaging surface based on the captured image;
Reading means for reading out from the storage means the first size and the second size, which are associated with the type of moving subject specified by the first specifying means;
First determination means for determining whether or not the size of the moving subject in the captured image has reached the read first size;
After the first determination means determines that the size of the moving subject that appears in the captured image has reached the read first size, the moving subject that appears in the captured image moves by a predetermined reference distance. Second judging means for judging whether or not
Based on the photographed image generated by the photographing means when the second judging means judges that the moving subject appearing in the photographed image has moved by the reference distance, the third of the moving subjects appearing in the photographed image is determined. A third specifying means for specifying the size of
Calculation means for calculating the second angle based on the first angle, the read first size, second size, moving distance, and the specified third size;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008230380A JP5067323B2 (en) | 2008-09-09 | 2008-09-09 | Imaging apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008230380A JP5067323B2 (en) | 2008-09-09 | 2008-09-09 | Imaging apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010068062A JP2010068062A (en) | 2010-03-25 |
JP5067323B2 true JP5067323B2 (en) | 2012-11-07 |
Family
ID=42193290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008230380A Expired - Fee Related JP5067323B2 (en) | 2008-09-09 | 2008-09-09 | Imaging apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5067323B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5240328B2 (en) * | 2011-08-08 | 2013-07-17 | カシオ計算機株式会社 | Imaging apparatus and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002072059A (en) * | 2000-08-23 | 2002-03-12 | Olympus Optical Co Ltd | Camera with function of detecting object moving velocity |
JP4269908B2 (en) * | 2003-11-25 | 2009-05-27 | カシオ計算機株式会社 | Electronic camera, electronic camera control program |
JP2005331659A (en) * | 2004-05-19 | 2005-12-02 | Canon Inc | Imaging unit, method for measuring moving velocity of object, and program |
-
2008
- 2008-09-09 JP JP2008230380A patent/JP5067323B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010068062A (en) | 2010-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8823861B2 (en) | Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame | |
JP5251215B2 (en) | Digital camera | |
US7791668B2 (en) | Digital camera | |
JP4999268B2 (en) | Electronic camera and program | |
JP6157242B2 (en) | Image processing apparatus and image processing method | |
JP5623915B2 (en) | Imaging device | |
US8593531B2 (en) | Imaging device, image processing method, and computer program | |
JP2008187591A (en) | Imaging apparatus and imaging method | |
JP4798236B2 (en) | Imaging apparatus, image processing method, and program | |
JP2010165012A (en) | Imaging apparatus, image retrieval method, and program | |
JP2009033238A (en) | Imaging apparatus | |
JP4952920B2 (en) | Subject determination apparatus, subject determination method and program thereof | |
JP5434038B2 (en) | Imaging device | |
JP2009089220A (en) | Imaging apparatus | |
US20130076940A1 (en) | Photographing apparatus and method of detecting distortion thereof | |
US20110188844A1 (en) | Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method | |
JP5067323B2 (en) | Imaging apparatus and program | |
JP2010183253A (en) | Information display device and information display program | |
JP2004112550A (en) | Imaging apparatus, camera, program, and recording medium | |
JP4877186B2 (en) | Image processing apparatus, image processing method, and program | |
JP4983479B2 (en) | Imaging device | |
WO2011052120A1 (en) | Imaging control device and imaging control method | |
JP5229371B2 (en) | Imaging device | |
JP2014153517A (en) | Image processing device, image processing method, program, and storage medium | |
JP2016036081A (en) | Image processing device, method and program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120717 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120730 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5067323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |