JP4743048B2 - Imaging apparatus and program - Google Patents
Imaging apparatus and program Download PDFInfo
- Publication number
- JP4743048B2 JP4743048B2 JP2006236460A JP2006236460A JP4743048B2 JP 4743048 B2 JP4743048 B2 JP 4743048B2 JP 2006236460 A JP2006236460 A JP 2006236460A JP 2006236460 A JP2006236460 A JP 2006236460A JP 4743048 B2 JP4743048 B2 JP 4743048B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- ball
- image
- imaging
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、高速で運動する運動体を撮像する撮像装置及びプログラムに関する。 The present invention relates to an imaging apparatus and a program for imaging a moving body that moves at high speed.
従来、野球やテニス等のスポーツで用いるボールの速度を測定する装置としては、スピードガンが良く知られている。
このスピードガンは、例えば、ボールによる反射波のドップラー効果を測定して、ボールの速度を推定するようになっていることから、ボールの運動方向に沿ってスピードガンを設置する必要があるため、ボールとの衝突のリスクが高いという問題がある。さらに、運動するボールのどの時点での測定結果であるのかといった正確性の検証が困難であるといった問題もある。
Conventionally, a speed gun is well known as an apparatus for measuring the speed of a ball used in sports such as baseball and tennis.
Since this speed gun is designed to estimate the speed of the ball by measuring the Doppler effect of the reflected wave from the ball, for example, it is necessary to install the speed gun along the movement direction of the ball, There is a problem that the risk of collision with the ball is high. In addition, there is a problem that it is difficult to verify the accuracy of the measurement result of the moving ball.
そこで、ボールとの衝突を回避する上で、当該ボールの運動方向に略直交する方向側から運動中のボールを撮像して、その画像情報を用いて、ボールの運動速度を測定する方法が考えられる。
この方法によりボールの運動速度を測定するためにはボールの認識や追跡を適正に行う必要があるところ、画像を用いてボールを認識する手法としては、球形の物体を認識する点に着目して、Hough変換などの輪郭情報から検出する幾何的な方法1や、運動する物体という点に着目して、フレーム間差分画像を二値化する方法2等が考えられる(例えば、特許文献1参照)。
In order to measure the movement speed of the ball by this method, it is necessary to properly recognize and track the ball. As a method of recognizing the ball using an image, pay attention to the point of recognizing a spherical object. A
ところで、ボールが高速で運動することから、強い照明下にて露光時間を短くしてボールがぶれずに本来の形を保った状態で撮像される条件を作る必要がある。
しかしながら、屋内や曇天時では、テニスボールやゴルフボール等の軌跡を撮像しようとすると、1/300秒程度の露光時間は必要となるが、この程度の露光時間では、ボールは理想的な円形(図9(a)参照)とならず著しくぶれ、円形からはほど遠いレーストラックに近い形状(図9(b)参照)となってしまう。また、ボールは背景の濃淡と混ざってしまい、特に、ボールの混合割合の少なくなる両端のエッジ、及び照明のあたりにくい下側のエッジは非常に不明確となってしまう。従って、ボールのエッジが曖昧なため、方法1の幾何形状認識手法は適用困難であるといった問題がある。
By the way, since the ball moves at a high speed, it is necessary to create a condition for capturing an image in a state where the exposure time is shortened under strong illumination and the ball does not shake and keep its original shape.
However, in indoor or cloudy weather, an exposure time of about 1/300 seconds is required to capture the trajectory of a tennis ball, golf ball, etc., but with such an exposure time, the ball has an ideal circular shape ( 9 (a)), the image is significantly shaken and becomes a shape close to a race track far from a circle (see FIG. 9 (b)). In addition, the ball is mixed with the density of the background, and in particular, the edges at both ends where the mixing ratio of the balls is reduced and the lower edge that is difficult to illuminate become very unclear. Therefore, since the edge of the ball is ambiguous, there is a problem that the geometric shape recognition method of
また、照度不足のため露光時間を長くする必要があるが、この場合、手ぶれがさらに激しくなる上、蛍光灯フリッカーに起因する照明変動の問題が生じるという問題もあった。
さらに、CMOS型イメージセンサのハイスピードカメラは、ほとんどがローリングシャッター方式であり、運動歪みと激しいフレーム内照明変動が生じるという問題もある。特に、フレーム内照明変動は補正が困難であり、方法2のフレーム間差分を用いる方法だけでは好結果を得られない。
また、平均輝度の比較から輝度補正を施せば、ある程度のボールの検出は可能であったが、差分画像を二値化する際にフレーム内照明変動の影響による偏りが生じてしまい、背景が単純な場合でさえ、精度良くボールの所定位置(例えば中心位置)を捉えることができないという問題もある。
In addition, it is necessary to lengthen the exposure time due to insufficient illuminance. In this case, however, there is a problem that camera shake becomes more severe and there is a problem of illumination fluctuation caused by fluorescent flicker.
Further, most high-speed cameras of CMOS type image sensors have a rolling shutter system, and there is a problem that motion distortion and intense illumination fluctuation in a frame occur. In particular, it is difficult to correct the intra-frame illumination fluctuation, and the
In addition, it was possible to detect a certain amount of balls by performing luminance correction based on the comparison of average luminance, but when the difference image was binarized, a bias due to the influence of in-frame illumination fluctuations occurred, and the background was simple. Even in such a case, there is a problem that a predetermined position (for example, the center position) of the ball cannot be accurately captured.
そこで、本発明の課題は、運動体の位置及びぶれ幅を適正に推定することができ、運動体の運動速度を算出することができる撮像装置及びプログラムを提供することである。 Therefore, an object of the present invention is to provide an imaging apparatus and a program that can appropriately estimate the position and the blur width of a moving body and calculate the movement speed of the moving body.
請求項1に記載の発明の撮像装置(例えば、図1のデジタルカメラ100等)は、
高速度で運動する運動体を含む画像を撮像して、画像情報を出力する撮像手段(例えば、図1の撮像部1等)と、
前記運動体の寸法、前記運動体の運動速度範囲及び前記撮像手段の露光時間に基づいて、前記画像における前記運動体のぶれ幅範囲を推定するぶれ幅範囲推定手段(例えば、図1のCPU71等)と、
前記撮像手段から出力された前記画像情報の各位置において、前記運動体の寸法と前記ぶれ幅範囲推定手段によって推定される前記ぶれ幅範囲のぶれ幅に基づいて規定される領域である第1領域と前記第1領域に隣合う外側の領域である第2領域の画素の分離度を算出する分離度算出手段と、
前記画像情報の各位置と前記ぶれ幅範囲内のぶれ幅を変更しながら前記分離度算出手段による分離度が最大となる前記運動体の位置と前記運動体のぶれ幅を推定する運動体推定手段(例えば、図1のCPU71等)と、
前記運動体推定手段により推定される前記運動体の位置または前記運動体のぶれ幅、前記運動体の寸法及び前記撮像手段の撮像条件から前記運動体の速度を推定する速度推定手段とを備えることを特徴としている。
The imaging apparatus according to the first aspect of the invention (for example, the
An imaging means (for example, the
Based on the size of the moving body, the moving speed range of the moving body, and the exposure time of the imaging unit, a blur width range estimating unit that estimates the blur width range of the moving body in the image (for example, the
A first area that is defined based on the size of the moving body and the blur width of the blur width range estimated by the blur width range estimation means at each position of the image information output from the imaging means And a degree-of-separation calculating means for calculating the degree of separation of the pixels in the second area, which is an outer area adjacent to the first area,
A moving body estimating means for estimating the position of the moving body and the moving width of the moving body at which the degree of separation by the separation degree calculating means is maximized while changing each position of the image information and the shake width within the shake width range. (For example, the
Speed estimation means for estimating the speed of the moving body from the position of the moving body or the blur width of the moving body, the dimensions of the moving body, and the imaging conditions of the imaging means estimated by the moving body estimation means. It is characterized by.
請求項2に記載の発明は、請求項1に記載の撮像装置において、
前記速度推定手段は、前記運動体のぶれ幅、前記運動体の寸法及び前記撮像手段の露光時間に基づいて前記運動体の速度を算出することを特徴としている。
The invention according to
The speed estimation unit calculates the speed of the moving body based on a blur width of the moving body, a dimension of the moving body, and an exposure time of the imaging unit .
請求項3に記載の発明は、請求項1に記載の撮像装置において、
さらに、前記撮像手段によって前記運動体を所定間隔で連続撮像して、複数の画像情報を出力する連続画像取得手段とを備え、
前記速度推定手段は、少なくとも2つ以上の前記運動体の位置の差分、前記運動体の寸法及び前記連続画像取得手段による連続撮像された所定間隔に基づいて前記運動体の速度を算出することを特徴としている。
The invention according to claim 3 is the imaging apparatus according to
And a continuous image acquisition unit that continuously captures the moving body at predetermined intervals by the imaging unit and outputs a plurality of pieces of image information.
The speed estimating means calculates the speed of the moving body based on a difference between positions of at least two moving bodies, a size of the moving body, and a predetermined interval continuously captured by the continuous image acquiring means. It is a feature.
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の撮像装置において、
前記運動速度範囲はスポーツの種類に応じて求められることを特徴としている。
Invention of Claim 4 is an imaging device as described in any one of Claims 1-3 ,
The exercise speed range is obtained according to the type of sport.
請求項5に記載の発明のプログラムは、
コンピュータ(例えば、図1のデジタルカメラ100等)に、
高速度で運動する運動体の寸法、当該運動体の運動速度範囲及び当該運動体の撮像時の露光時間に基づいて、前記運動体を含む画像における当該運動体のぶれ幅範囲を推定する機能と、
前記画像に係る前記画像情報の各位置において、前記運動体の寸法と前記ぶれ幅範囲のぶれ幅に基づいて規定される領域である第1領域と前記第1領域に隣合う外側の領域である第2領域の画素の分離度を算出する機能と、
前記画像情報の各位置と前記ぶれ幅範囲内のぶれ幅を変更しながら前記算出された分離度が最大となる前記運動体の位置と前記運動体のぶれ幅を推定する機能と、
前記推定される前記運動体の位置または前記運動体のぶれ幅、前記運動体の寸法及び前記撮像時の撮像条件から前記運動体の速度を推定する機能と、
を実現させることを特徴としている。
The program of the invention described in
In a computer (for example, the
A function of estimating a blur range of the moving body in an image including the moving body based on a dimension of the moving body moving at a high speed, a moving speed range of the moving body, and an exposure time at the time of imaging the moving body; ,
In each position of the image information relating to the image, a first area which is an area defined based on a dimension of the moving body and a blur width of the blur width range and an outer area adjacent to the first area. A function of calculating the degree of separation of the pixels in the second region;
A function of estimating the position of the moving body and the moving width of the moving body where the calculated degree of separation becomes maximum while changing each position of the image information and the moving width within the moving width range;
A function of estimating the speed of the moving body from the estimated position of the moving body or the blur width of the moving body, the dimensions of the moving body, and the imaging conditions at the time of imaging;
It is characterized by realizing.
本発明によれば、運動体の想定される運動速度範囲を考慮して画像情報の解析を行うことができ、これにより、運動体の位置及びぶれ幅を適正に推定することができ、運動体の速度を算出することができる。 According to the present invention, it is possible to analyze image information in consideration of an assumed motion speed range of the moving body, thereby appropriately estimating the position and the blur width of the moving body. Can be calculated.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態のデジタルカメラ100の概略構成を示すブロック図である。
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram showing a schematic configuration of a
本実施形態のデジタルカメラ(撮像装置)100は、例えば、野球、テニス、ゴルフといったスポーツシーンにて高速度で運動するボール等の運動体を撮像して、その運動速度を推定するものである。
具体的には、デジタルカメラ100は、例えば、図1に示すように、ボール等の被写体を撮像する撮像部1と、この撮像部1による被写体の撮像の際に駆動する撮像補助部2と、撮像部1により撮像された画像を表示する表示部3、当該デジタルカメラ100の所定操作を行うための操作部4と、撮像された画像を記録する記録媒体5と、外部機器との接続用のUSB端子6と、これら各部を制御する制御部7等を備えて構成されている。
The digital camera (imaging device) 100 according to the present embodiment images a moving body such as a ball that moves at a high speed in a sports scene such as baseball, tennis, or golf, and estimates the movement speed.
Specifically, for example, as illustrated in FIG. 1, the
撮像部1は、例えば、フォーカス機能及びズーム機能を有し、複数の撮像レンズからなる撮像レンズ群11と、この撮像レンズ群11を通過した被写体像を二次元の画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等からなる電子撮像部12と、この電子撮像部12から出力される画像信号に対して所定の画像処理を施す映像信号処理部13と、画像処理後の画像信号を一時的に記憶する画像メモリ14と、CPU71の制御下にて、電子撮像部12及び映像信号処理部13を制御するための撮影制御部15等を備えている。
The
また、撮像部1は、例えば、ユーザによる操作部4のモード設定ボタン41bの所定操作に基づいて連続撮像モードに切り換えられた場合に、高速度で撮像を連続して行うことができ、具体的には、露光時間を1/300秒として300fpsで撮像(画像の取り込み)を行うことができるようになっている。
即ち、撮像部1は、撮像手段として、スポーツの種類に応じて使用されるボール等の運動体が高速度で運動中に、当該運動体を含む画像を電子撮像部12により連続して撮像して複数の画像フレーム(画像情報)を映像信号処理部13に出力するようになっている。
The
That is, the
撮像補助部2は、例えば、撮像レンズ群11に接続されたフォーカス機構部(図示略)を駆動させるためのフォーカス駆動部21と、撮像レンズ群11に接続されたズーム機構部(図示略)を駆動させるためのズーム駆動部22等を備えている。
これらフォーカス駆動部21及びズーム駆動部22は、例えば、撮影制御部15に接続され、撮影制御部15の制御下にて駆動するようになっている。
The imaging
The
表示部3は、例えば、CPU71から適宜出力される表示データを一時的に保存するビデオメモリ(VRAM)を備える表示制御部31と、この表示制御部31からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部32等を備えている。
The display unit 3 includes, for example, a
操作部4は、例えば、当該デジタルカメラ100の各部に設けられ、撮像部1による被写体の撮像を指示するシャッターボタン41a、撮像モードを通常撮像モードや連続撮像モード等に切り替えて設定するためのモード設定ボタン41b、撮像シーンとして野球、テニス、ゴルフ等のスポーツの種類を選択するためのスポーツ選択ボタン41c等の各種操作スイッチ等を備える操作入力部41と、この操作入力部41から入力された操作信号をCPU71に入力するための入力回路42等を備えている。
The operation unit 4 is provided in each unit of the
記録媒体5としては、例えば、カード型の不揮発性メモリ(フラッシュメモリ)やハードディスク等を適用することができる。
As the
制御部7は、例えば、デジタルカメラ100の各部を統括的に制御するCPU71と、CPU71の動作に必要な各種プログラムやデータを記憶するプログラムメモリ72と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ73等を備えている。
The control unit 7 includes, for example, a
プログラムメモリ72は、例えば、評価値算出プログラム72a、ぶれ幅範囲推定プログラム72b、運動体推定プログラム72c、評価値統合プログラム72d、想定動きベクトル推定プログラム72e、補正済み動きベクトル算出プログラム72f、運動パラメータ推定プログラム72g等を記憶している。
The
評価値算出プログラム72aは、CPU71を評価値算出手段として機能させるものである。即ち、評価値算出プログラム72aは、連続して撮像され電子撮像部12から出力された複数の画像フレームの各々に基づいて、画像の所定位置にボールが存する確度に係る評価値を算出する評価値算出処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、評価値算出処理では、ボールのぶれ幅範囲を推定するぶれ幅範囲推定処理を実行して、その後に、算出された評価値に基づいて運動体推定処理を実行するようになっている(詳細後述)。
The evaluation
Specifically, in the evaluation value calculation process, a blur range estimation process for estimating the blur range of the ball is executed, and then the moving body estimation process is executed based on the calculated evaluation value. (Details will be described later).
ぶれ幅範囲推定プログラム72bは、CPU71をぶれ幅範囲推定手段として機能させるものである。即ち、ぶれ幅範囲推定プログラム72bは、各種スポーツシーンでのスポーツの種類に応じたボールの想定される運動速度範囲に基づいて、画像にてボールのぼやけが生じるであろうと予想されるぶれ幅範囲rを推定するぶれ幅範囲推定処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71によるぶれ幅範囲推定プログラム72bの実行に基づいて、ユーザによるスポーツ選択ボタン41cの所定操作に基づいて選択されたスポーツにて用いられるボールの運動速度範囲、ボールの画像上における大まかな寸法(半径)、撮像部1の露光時間(例えば、1/300秒程度)に基づいて、ボールのぶれ幅範囲rを推定するようになっている。
The blur
Specifically, based on the execution of the blur
ここで、ボールのぶれ幅範囲rの推定方法について、図2を参照してより詳細に説明する。
先ず、ボールが写っている画像フレームに基づいて、ボールの半径r0の画像上における大まかな大きさ(寸法)を指定する。
半径r0の大きさの指定は、例えば、ユーザによる操作部の所定操作に基づいてボールの画像距離単位の大きさを直接指定するようにしても良いし、当該画像上にて基準となる物体(例えば、人間の身長等)を指定して、当該基準物体との比率を用いてボールの半径r0を間接的に導出するようにしても良いし、実際のボールの物理的な大きさとボールまでの物理的な距離とデジタルカメラ100の焦点距離を指定してボールの半径r0を間接的に導出するようにしても良い。
なお、ボールを静止状態で長時間露光して撮像することができる場合、例えば、当該ボールの径を円のHough変換等によって認識しても良い。
Here, a method of estimating the ball fluctuation range r will be described in more detail with reference to FIG.
First, based on the image frame in which the ball is shown, a rough size (dimension) on the image of the ball radius r 0 is designated.
The size of the radius r 0 may be specified, for example, by directly specifying the size of the image distance unit of the ball based on a predetermined operation of the operation unit by the user, or a reference object on the image (e.g., a human stature, etc.) with the, may be derived indirectly the radius r 0 of the ball by using the ratio of the reference object, the actual physical size and ball of the ball The radius r 0 of the ball may be derived indirectly by designating the physical distance up to and the focal length of the
In the case where the ball can be exposed and imaged for a long time in a stationary state, for example, the diameter of the ball may be recognized by Hough transformation of a circle or the like.
そして、ボールの半径r0と撮像時の露光時間とボールの運動速度範囲に応じた運動画素距離sに基づいて、ボールのぶれ幅範囲rを推定する。
ここで、ボールの運動画素距離sは、例えば、スポーツの種類に応じたボールの運動速度範囲と撮像時の露光時間に基づいて規定され、その最小値をs1とし最大値をs2とする。
具体的には、ボールのぶれ幅範囲の最小値r1(=max(r0,s1/2))は、ボールのぶれが大きくなるとレーストラック形状の両端の半円状の部分の輝度が次第に薄くなることを考慮して、その後の処理に余裕を持たせるためにボールの半径r0とボールの運動画素距離s1の大きい方とする。また、ボールのぶれ幅範囲の最大値r2(=r0+s2/2)は、ボールの半径r0とボールの運動画素距離s2の和とする。
Then, based on the radius r 0 of the ball, the exposure time at the time of imaging, and the motion pixel distance s corresponding to the motion speed range of the ball, the blur range r of the ball is estimated.
Here, the motion pixel distance s of the ball is defined based on, for example, the motion speed range of the ball according to the type of sport and the exposure time at the time of imaging, and the minimum value is s 1 and the maximum value is s 2 . .
Specifically, the minimum value r 1 of the blur width range of the
なお、ボールの運動速度範囲は、例えば、野球の投手の投球速度を測定する場合には、時速100〜160km程度である。 Note that the movement speed range of the ball is, for example, about 100 to 160 km / h when measuring the pitching speed of a baseball pitcher.
運動体推定プログラム72cは、CPU71を運動体推定手段として機能させるものである。即ち、運動体推定プログラム72cは、ぶれ幅範囲推定処理にて推定されたボールのぶれ幅範囲に基づいて、撮像部1から出力され入力された画像フレームを解析して画像におけるボールの位置を推定する運動体推定処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71による運動体推定プログラム72cの実行に基づいて、ボールのぶれ幅範囲とその種類(半径r)に応じて寸法が規定される領域である第1領域A1と、第1領域A1に隣合う外側の領域である第2領域A2の画素の分離度に基づいて、画像におけるボールの位置を推定するようになっている。
The moving
Specifically, based on the execution of the moving
ここで、運動体推定処理について、図2を参照してより詳細に説明する。
運動体推定処理は、画像の所定位置にボールが存する確度に係る評価値として第1領域A1と第2領域A2の画素の分離度を算出し、当該分離度は第1領域A1(内側)がボールの輪郭に対応した大きさとなるときに最大値となることを考慮してボールの位置を推定するようになっている。
具体的には、例えば、図2に示すように、画像G上の所定の座標(x,y)を中心として、(x−2r,y−2r0)、(x−2r,y+2r0)、(x+2r,y−2r0)、(x+2r,y+2r0)を頂点とする矩形領域を全体領域A0とし、このうち、(x−r,y−r0)、(x−r,y+r0)、(x+r,y−r0)、(x+r,y+r0)を頂点とする矩形領域を第1領域A1とし、全体領域A0のうちの第1領域A1以外の領域を第2領域A2とする。
そして、全体領域A0の画素数を「N」、各画素値(輝度値)を「Pi」、画素値平均を「Pm ave」とし、第1領域A1の画素数を「n1」、画素値平均を「P1 ave」とし、第2領域A2の画素数を「n2」、画素値平均を「P2 ave」とした場合に、分離度ηは、下記式(1)のように表される。
The moving body estimation process calculates the separation degree of the pixels of the first area A1 and the second area A2 as an evaluation value related to the probability that the ball exists at a predetermined position of the image, and the separation degree is determined by the first area A1 (inner side). The position of the ball is estimated in consideration of the maximum value when the size corresponds to the contour of the ball.
Specifically, for example, as shown in FIG. 2, (x−2r, y−2r 0 ), (x−2r, y + 2r 0 ), centering on a predetermined coordinate (x, y) on the image G, A rectangular area having vertices at (x + 2r, y−2r 0 ) and (x + 2r, y + 2r 0 ) is defined as an entire area A0, of which (x−r, y−r 0 ), (x−r, y + r 0 ), A rectangular area having apexes (x + r, y−r 0 ) and (x + r, y + r 0 ) is defined as a first area A1, and an area other than the first area A1 in the entire area A0 is defined as a second area A2.
Then, the number of pixels in the entire region A0 is “N”, each pixel value (luminance value) is “P i ”, the pixel value average is “P m ave ”, and the number of pixels in the first region A1 is “n 1 ”. When the pixel value average is “P 1 ave ”, the number of pixels in the second region A2 is “n 2 ”, and the pixel value average is “P 2 ave ”, the degree of separation η is expressed by the following equation (1): It is expressed in
式(1)の分離度ηは、全体の変動に占める第1領域A1と第2領域A2の領域間の変動の割合を示しており、領域間を最良に分離するときに最大値をとるようになっている。
即ち、1枚の入力画像フレームにおいて、中心座標(x,y)を所定の座標に固定した状態で、ボールのぶれ幅範囲rを最小値r1から最大値r2まで所定の刻み幅(例えば、1〜数画素)で変更してループにより各々の分離度ηを算出する。
なお、後述する変形例1、変形例2においては、分離度ηが最大となる評価値を与えた中心座標(x,y)をボールの中心位置(中心座標)として推定する。
The degree of separation η in equation (1) indicates the ratio of the variation between the first region A1 and the second region A2 in the entire variation, and takes the maximum value when the regions are best separated. It has become.
That is, in a single input image frame, with the center coordinates (x, y) fixed at predetermined coordinates, the ball blur width range r is set to a predetermined step size (for example, from a minimum value r 1 to a maximum value r 2). , 1 to several pixels), and each separation degree η is calculated by a loop.
In
ここで、上記の分離度ηは、0〜1の範囲に正規化された値であるため、異なる大きさや形状の領域に適用しても単純に比較することができる点で有用である。
つまり、評価値は分離度ηに限られるものではないが、分離度η以外を用いる場合、即ち、例えば、テンプレートマッチング等の場合には、差分二乗和を領域画素数で除算して適合率に変更するなどの正規化が必要となる場合がある。
Here, since the above-described degree of separation η is a value normalized to a range of 0 to 1, it is useful in that it can be simply compared even when applied to regions of different sizes and shapes.
That is, the evaluation value is not limited to the separation degree η, but when using a value other than the separation degree η, that is, for example, in the case of template matching or the like, the sum of squared differences is divided by the number of area pixels to obtain the matching rate. It may be necessary to normalize such as changing.
評価値統合プログラム72dは、CPU71を評価値統合手段として機能させるものである。即ち、評価値統合プログラム72dは、ボールが所定方向に所定速度(運動パラメータ)で運動したと推定して、評価値算出処理により算出された複数の評価値を累算(統合)して統合評価値を算出する評価値累算処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71による評価値統合プログラム72dの実行に基づいて、運動体位置推定処理にて推定されたボールの位置と、想定動きベクトル推定処理(後述)にて推定されるボールの想定動きベクトルと、補正済み動きベクトル算出処理(後述)にて算出される補正済み動きベクトルに基づいて、統合評価値を算出するようになっている。
The evaluation
Specifically, based on the execution of the evaluation
先ず、想定動きベクトル推定処理について説明する。
想定動きベクトル推定処理は、CPU71による想定動きベクトル推定プログラム72eの実行に基づいて実行される。
想定動きベクトル推定プログラム72eは、スポーツシーンでのボールの想定される運動速度範囲及びフレーム間隔に基づいて、画像におけるボールの想定される想定動きベクトル「xd」、「yd」を推定する想定動きベクトル推定処理に係る機能をCPU71に実現させるためのプログラムである。
ここで、想定動きベクトル推定プログラム72eは、CPU71を想定動きベクトル推定手段として機能させるものである。
First, the assumed motion vector estimation process will be described.
The assumed motion vector estimation process is executed based on the execution of the assumed motion
The assumed motion
Here, the assumed motion
次に、補正済み動きベクトル算出処理について説明する。
補正済み動きベクトル算出処理は、CPU71による補正済み動きベクトル算出プログラム72fの実行に基づいて実行される。
補正済み動きベクトル算出プログラム72fは、後述するループにより想定動きベクトルが変更される毎に、当該想定動きベクトルに係るボールを含む画像の撮像順序に基づいて、想定動きベクトル「xd」、「yd」を補正して、補正済み動きベクトル「x’d」、「y’d」を算出する処理に係る機能をCPU71に実現させるためのプログラムである。
ここで、補正済み動きベクトル算出プログラム72fは、CPU71を補正済み動きベクトル算出手段として機能させるものである。
Next, the corrected motion vector calculation process will be described.
The corrected motion vector calculation process is executed based on the execution of the corrected motion
Each time the assumed motion vector is changed by a loop to be described later, the corrected motion
Here, the corrected motion
より具体的には、CPU71は、下記式(2)に従って、x軸方向(左右幅方向)の想定動きベクトル「xd」に画像フレームの撮像番号pを乗算するとともに、動きベクトルの算出に係る画像枚数(即ち、総画像枚数Lから基準画像(p=0)1枚を引いた枚数)で除算して、補正済み動きベクトル「x’d」を算出するようになっている。また、CPU71は、下記式(3)に従って、y軸方向(上下方向)の想定動きベクトル「yd」に画像フレームの撮像番号pを乗算するとともに、動きベクトルの算出に係る画像枚数で除算して、補正済み動きベクトル「y’d」を算出するようになっている。
そして、評価値累算処理にて、CPU71は、ボールの位置(x,y)をそれぞれ所定の刻み幅で変更してループを回すとともに、想定動きベクトル推定処理にて推定されたボールの動きベクトル(xd,yd)をボールの運動速度範囲に応じた運動画素距離sに基づいて変更してループを回し、補正済み動きベクトル算出処理にて補正済み動きベクトル(x’d,y’d)を算出して、下記式(4)に従って、累算評価値を表す4次元実数配列A[x] [y] [xd] [yd]の値を加算していく。
なお、図3(a)〜図3(d)はボール輪郭を模式的に示した説明図であり、実際に輪郭処理を行うわけではない。また、図3(a)〜図3(d)における標識「○」、「△」、「□」は、ボールの背景に存する背景画像(静物体)の存在する位置を模式的に表している。
Then, in the evaluation value accumulation process, the
3A to 3D are explanatory views schematically showing the ball contour, and the contour processing is not actually performed. In addition, the signs “◯”, “Δ”, and “□” in FIGS. 3A to 3D schematically represent positions where a background image (still object) exists in the background of the ball. .
なお、配列Aに関するループのうち、ボールの位置(x,y)の刻み幅は、適宜適当な値に設定することで、メモリの容量と処理時間の削減を図ることができる。
In the loop relating to the array A, the step size of the ball position (x, y) is appropriately set to an appropriate value, so that the memory capacity and the processing time can be reduced.
運動パラメータ推定プログラム72gは、CPU71を運動パラメータ推定手段として機能させるものである。即ち、運動パラメータ推定プログラム72gは、評価値累算処理により算出された統合評価値に基づいて、ボールの運動速度(運動パラメータ)を推定する運動パラメータ推定処理に係る機能をCPU71に実現させるためのプログラムである。
具体的には、CPU71は、全ての画像pに関するループが終了すると、運動パラメータ推定プログラム72gの実行に基づいて、配列Aの各要素のうち、最大値を示す「xmax」、「ymax」、「xd max」、「yd max」を探索して、当該最大値を示す要素に基づいてボールの推定位置を(xmax,ymax)とし、基準画像(p=0)と「L−1」番目の画像の間の推定動きベクトルを(xd max,yd max)とする。そして、CPU71は、ボールの推定位置(xmax,ymax)と推定動きベクトルを(xd max,yd max)から画素距離d(図3(d)参照)を算出して、画像フレーム間隔と物理距離に対する所定の変換係数に基づいて、ボールの速度に換算するようになっている。
The motion
Specifically, when the loop for all the images p is completed, the
次に、速度算出処理について図4〜図6を参照して説明する。
ここで、図4は、速度算出処理に係る動作の一例を示すフローチャートである。
Next, the speed calculation process will be described with reference to FIGS.
Here, FIG. 4 is a flowchart showing an example of an operation related to the speed calculation process.
速度算出処理にあっては、図4に示すように、CPU71は、評価値累算処理に係る4次元実数配列Aの全ての要素[x] [y] [xd] [yd]の値をクリアする(ステップS1)。
続けて、総画像枚数Lの各画像に関して、評価値算出処理及び評価値累算処理をループにより演算する処理を行う(ステップS21〜ステップS26)。
In the speed calculation process, as shown in FIG. 4, the
Subsequently, for each image of the total number L of images, processing for calculating the evaluation value calculation processing and the evaluation value accumulation processing by a loop is performed (steps S21 to S26).
CPU71は、処理対象となる画像pを記録媒体等から読み出し、当該画像が入力されると(ステップS22)、先ず、評価値算出処理を行う(ステップS23)。
The
以下に、評価値算出処理について図5を参照して説明する。
図5は、評価値算出処理に係る動作の一例を示すフローチャートである。
The evaluation value calculation process will be described below with reference to FIG.
FIG. 5 is a flowchart illustrating an example of an operation related to the evaluation value calculation process.
評価値算出処理にあっては、図5に示すように、CPU71は、ボールの中心座標(x,y)を所定の刻み幅で変更するとともに、ボールのぶれ幅範囲rを所定の刻み幅で変更してループにより分離度ηを算出するようになっている。
即ち、CPU71は、ボールの中心座標(x,y)のうち、座標yに関するループ(ループ1)の演算(ステップS201〜S211)の中で、座標xに関するループ(ループ2)の演算(ステップS202〜S210)を行い、その中でボールのぶれ幅範囲rに関するループ(ループ3)の演算(ステップS204〜S208)を行う。
In the evaluation value calculation process, as shown in FIG. 5, the
That is, the
先ず、CPU71は、ユーザによるスポーツ選択ボタン41cの所定操作に基づいて所定のスポーツが選択されると、プログラムメモリ72から読み出した評価値算出プログラム72aの実行に基づいて、ボールの中心座標(x,y)のうち、座標yを所定の座標に固定し、続けて、座標xを所定の座標に固定する(ステップS201及びS202)。
First, when a predetermined sport is selected on the basis of a predetermined operation of the
次に、CPU71は、分離度記憶用メモリの値mをクリアし(ステップS203)、続けて、ぶれ幅範囲推定プログラム72bの実行に基づいてボールのぶれ幅範囲を推定した後、運動体推定プログラム72cの実行に基づいて、ボールのぶれ幅範囲rを最小値r1から最大値r2の範囲で変更してループ3により分離度ηを算出する(ステップS204〜S208)。具体的には、CPU71は、分離度ηを算出する毎に(ステップS205)、分離度記憶用メモリの値mと比較して(ステップS206)、算出された分離度ηの方が大きいと判定されると(ステップS206;YES)、当該分離度ηに係る評価値v(x,y,r)に分離度記憶用メモリの値mを書き換えるようになっている(ステップS207)。
上記の処理は、ボールのぶれ幅範囲rを最小値r1から最大値r2の間で変更して、全ての分離度ηが算出されると、ぶれ幅範囲rに関するループ3を終了する(ステップS208)。
これにより、rに関して最大の分離度が分離度記憶用メモリに記憶された状態となる。
Next, the
In the above processing, when the blur range r of the ball is changed from the minimum value r 1 to the maximum value r 2 and all the separation degrees η are calculated, the loop 3 relating to the blur range r is finished ( Step S208).
As a result, the maximum degree of separation with respect to r is stored in the separation degree storage memory.
続けて、CPU71は、分離度記憶用メモリの値m、即ち、rに関して最大の分離度を(x,y)に関する評価値とし、2次元実数配列F[x] [y]に格納する(ステップS209)。
ここで、分離度最大値を与えたときのぶれ幅範囲rについては、例えば、異常値を除外する目的で所定のメモリに保存するようにしても良い。
Subsequently, the
Here, the blur range r when the maximum degree of separation is given may be stored in a predetermined memory for the purpose of excluding abnormal values, for example.
そして、CPU71は、上記の処理をボールの中心座標候補(x,y)のうち、座標yを所定の座標に固定した状態で、座標xを所定の刻み幅(例えば、1〜数画素)で変更してループ2を行って分離度ηを算出し、全ての分離度ηが算出されると、座標xに関するループ2を終了する(ステップS202〜S210)。
また、CPU71は、ボールの中心座標(x,y)のうち、座標yを所定の刻み幅(例えば、1〜数画素)で変更してループ1を行って分離度ηを算出し、全ての分離度ηが算出されると、座標yに関するループ1を終了する(ステップS201〜S211)。
Then, the
Further, the
上記の処理によって、各座標(x,y)毎に求められた評価値の配列F[x] [y]が構成された。この配列Fを、分離度マップと呼ぶことにする。 With the above processing, an array F [x] [y] of evaluation values obtained for each coordinate (x, y) is constructed. This array F is called a separability map.
次に、CPU71は、分離度マップの差分計算を行う(ステップS24)。
即ち、CPU71は、2枚目以降の画像フレームに対する分離度マップFiに対して、その直前の画像フレームに対する分離度マップFi−1との間でフレーム間差分をとる分離度マップの差分計算を行う。具体的には、i番目の画像フレームの分離度マップFi[x] [y]からi−1番目の画像フレームの分離度マップFi−1[x] [y]を画素毎に減算して、減算後の値をi番目の画像フレームの分離度マップ差分Di[x] [y]とする。
或いは、差分値そのものの代わりに、画素毎にFi[x] [y] >Fi−1[x] [y]となるか否かを判定して、Fi[x] [y] >Fi−1[x] [y]となるならばDi[x] [y]=Fi[x] [y]とし、それ以外はDi[x] [y]=0とするマスク処理を行うようにしても良い。
Next, the
That is, the
Alternatively, instead of the difference value itself, it is determined whether or not F i [x] [y]> F i−1 [x] [y] for each pixel, and F i [x] [y]> If F i-1 [x] [y], then D i [x] [y] = F i [x] [y], otherwise set D i [x] [y] = 0. May be performed.
この分離度マップの差分計算により、静物体の影響を除去することができる。
つまり、背景にボールと略等しい大きさの静物体(或いは、図柄模様等)が存在する場合には、分離度がボール同様に高くなって、全ての画像フレームについて評価値の累算を行っても、紛らわしい静物体が残ってしまい、さらに、ほぼ等しい間隔で並んでいる場合には運動するボールと誤認される虞もあるためである。
ここで、画像の輝度値のフレーム間差分を直接とると、フレーム間やフレーム内の照明変動により静物体を正しく除去することができない虞があるが、分離度は輝度値の大きさに捉われずに正規化された値であるため、分離度マップのフレーム間差分は適正に静物体を除去することができると考えられる。
The influence of the static object can be removed by calculating the difference of the separability map.
In other words, if there is a static object (or a design pattern, etc.) of the same size as the ball in the background, the degree of separation is as high as the ball, and the evaluation values are accumulated for all image frames. This is because a confusing still object remains, and there is a possibility of being mistaken for a moving ball if they are arranged at almost equal intervals.
Here, if the inter-frame difference of the luminance value of the image is taken directly, there is a possibility that the static object cannot be correctly removed due to illumination fluctuations between frames or within the frame, but the degree of separation is limited by the magnitude of the luminance value. Therefore, the difference between frames of the separability map is considered to be able to properly remove a static object.
なお、当該差分計算は、一種のフレーム間差分であるので、手持ち撮像の場合には、可能なら動き補償を行うべきである。ただし、ハイスピードカメラの場合、カメラの動きが小さく、それに対して分離度マップの隣接画素間の相関が強いため、動き補償を省略しても通常は問題とはならないと考えられる。 Since the difference calculation is a kind of inter-frame difference, in the case of hand-held imaging, motion compensation should be performed if possible. However, in the case of a high-speed camera, the movement of the camera is small and the correlation between adjacent pixels of the separability map is strong. Therefore, even if the motion compensation is omitted, it is not usually considered a problem.
その後、CPU71は、評価値累算処理を行う(ステップS25;図4参照)。
以下に、評価値累算処理について図6を参照して説明する。
図7は、評価値累算処理に係る動作の一例を示すフローチャートである。
Thereafter, the
The evaluation value accumulation process will be described below with reference to FIG.
FIG. 7 is a flowchart illustrating an example of an operation related to the evaluation value accumulation process.
評価値累算処理にあっては、図6に示すように、CPU71は、ボールの中心座標(x,y)を所定の刻み幅で変更するとともに、ボールの想定動きベクトル(xd,yd)を所定の刻み幅で変更して、補正済み動きベクトルの算出後、4次元実数配列Aの値を算出するようになっている。
即ち、CPU71は、ボールの中心座標(x,y)のうち、座標yに関するループ(ループ4)の演算(ステップS301〜S311)の中で、座標xに関するループ(ループ5)の演算(ステップS302〜S310)を行い、さらに、その中で、動きベクトル(xd,yd)のうち、y軸動きベクトルに関するループ(ループ6)の演算(ステップS303〜ステップS309)を行い、さらに、その中で、x軸動きベクトルに関するループ(ループ7)の演算(ステップS304〜S308)を行う。
In the evaluation value accumulation process, as shown in FIG. 6, the
That is, the
先ず、CPU71は、プログラムメモリ72から読み出した評価値統合プログラム72dの実行に基づいて、ボールの中心座標(x,y)のうち、座標yを所定の座標に固定し、続けて、座標xを所定の座標に固定する(ステップS301及びS302)。
First, based on the execution of the evaluation
次に、CPU71は、想定動きベクトル推定プログラム72eの実行に基づいて、ボールの動きベクトル(xd,yd)を推定した後、当該動きベクトル(xd,yd)のうち、y軸動きベクトルを固定した後、x軸動きベクトルをボールの運動速度範囲に応じた運動画素距離sに基づいて変更してループを回す(ステップS304)。
続けて、CPU71は、補正済み動きベクトル算出プログラム72fの実行に基づいて、補正済み動きベクトル「x’d」、「y’d」を算出する(ステップS305及びS306)。
次に、CPU71は、ボールの位置(x,y)ボールの動きベクトル(xd,yd)、補正済み動きベクトル(x’d,y’d)に基づいて、4次元実数配列A[x] [y] [xd] [yd]にF[x+x’d] [y+y’d]を加算する(ステップS307)。
上記の処理は、x軸動きベクトルをボールの運動速度範囲に応じた運動画素距離sに基づいて変更して、配列Aに全て加算されると、x軸動きベクトルに関するループ7を終了する(ステップS308)。
Next, the
Subsequently, the
Next, the
The above processing changes the x-axis motion vector based on the motion pixel distance s according to the motion speed range of the ball, and when all are added to the array A, the loop 7 relating to the x-axis motion vector ends (step S1). S308).
そして、CPU71は、上記の処理をボールの中心座標(x,y)を固定した状態で、y軸動きベクトルをボールの運動速度範囲に応じた運動画素距離sに基づいて変更してループ6を回して、配列Aに全て加算されると、y軸動きベクトルに関するループ6を終了する(ステップS303〜S309)。
また、CPU71は、ボールの中心座標(x,y)のうち、座標yを所定の座標に固定した状態で、座標xを所定の刻み幅(例えば、1〜数画素)で変更してループ5を回して、配列Aに全て加算されると、座標xに関するループ5を終了する(ステップS302〜S310)。
また、CPU71は、ボールの中心座標(x,y)のうち、座標yを所定の刻み幅(例えば、1〜数画素)で変更してループ4を回して、配列Aに全て加算されると、座標yに関するループ4を終了する(ステップS301〜S311)。
Then, the
Further, the
In addition, when the
そして、全ての画像pに関するループが終了すると(ステップS26;図4参照)、CPU71は、プログラムメモリ72から読み出した運動パラメータ推定プログラム72gの実行に基づいて、配列Aの各要素のうち、最大値を探索して、その指標値「xmax」、「ymax」、「xd max」、「yd max」を取得(保持)する(ステップS3)。
次に、CPU71は、最大値を示す要素に基づいてボールの推定位置を(xmax,ymax)とし、基準画像(p=0)と「L−1」番目の画像の間の推定動きベクトルを(xd max,yd max)として、ボールの推定位置(xmax,ymax)と推定動きベクトルを(xd max,yd max)から画素距離d(図3(d)参照)を算出する(ステップS4)。
続けて、CPU71は、画素距離dを画像フレーム間隔と物理距離に対する所定の変換係数に基づいて、物体の速度に換算して(ステップS5)、画像表示部に表示させる(ステップS6)。
When the loop for all images p is completed (step S26; see FIG. 4), the
Next, the
Subsequently, the
以上のように、本実施形態のデジタルカメラ100によれば、連写画像にて、各画像の所定位置にボールが存する確度に係る評価値を累算して統合評価値を算出することができる。即ち、スポーツシーンでのボールの想定される運動速度範囲を考慮して画像情報の解析を行って、画像におけるボールの位置を算出して、各画像の所定位置にボールが存する確度に係る評価値を算出することができる。そして、連写画像の各画像におけるボールの位置(x,y)と想定動きベクトル(xd,yd)と補正済み動きベクトル(x’d,y’d)に基づいて、4次元実数配列Aを用いて統合評価値を適正に算出することができる。
従って、各画像にてボールの位置の推定を適正に行うことができない場合であっても、統合評価値に基づいてボールの運動速度の推定を適正に行うことができ、ボールの位置の検出を適正に行うことができる。
つまり、ボールと同じような運動をしていない限り、多少紛らわしい物体であっても誤認識されることはなくなって、照明変動を補償して背景差分画像を作成するといった処理を行わずに原画像をそのまま処理することができる。
このように、画像情報のみからボールの速度を適正に算出することができ、スポーツや計測等においてデジタルカメラ100をスピードガンとして代替することができる。
As described above, according to the
Therefore, even if it is not possible to properly estimate the position of the ball in each image, it is possible to properly estimate the movement speed of the ball based on the integrated evaluation value, and to detect the position of the ball. It can be done properly.
In other words, as long as the movement is not the same as that of the ball, even a somewhat confusing object will not be mistakenly recognized, and the original image will not be processed without creating a background difference image by compensating for illumination fluctuations. Can be processed as is.
As described above, the speed of the ball can be appropriately calculated only from the image information, and the
また、評価値F[x] [y]の累算を行ってボールの速度を推定する際に、算出された評価値F[x] [y]を単に用いるのではなく、分離度マップ差分Di[x] [y]を計算して当該差分値を用いることにより、背景画像中の静物体の影響を除去することができ、ボールの速度の推定をよりロバストに行うことができる。 Further, when the evaluation value F [x] [y] is accumulated to estimate the velocity of the ball, the calculated evaluation value F [x] [y] is not simply used, but the separation degree map difference D By calculating i [x] [y] and using the difference value, it is possible to remove the influence of the static object in the background image, and to estimate the velocity of the ball more robustly.
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、4次元評価値配列Aに関する累算は、画像の縦横の次元と対応する2次元評価値を時間軸に並べた3次元の時空間としてみた場合に、3次元空間内の直線に対する重みつき投票とみなすことができ、従って、空間直線のHough変換によって累算を行っても良い。
また、ループの順番を換えることで、4次元評価値配列Aは、配列でなく単純変数ですませることもできる。即ち、フレーム毎の評価値算出処理を所定フレーム枚数N分、先に行っておき、その結果を全て3次元配列F[p] [x] [y](pは0からN−1)に保存しておく。そして、評価値累算ループを外側からx、y、xd、yd、pの順番で行えば、累算ループと最大値探索ループを一つに統合でき、単純に累算評価値の最大値aとその最大値を与える動きベクトル値を保持するだけですむ。
なお、評価値算出、評価値累算及び最大値探索に係る具体的な演算処理は、上記実施形態と同様であり、その説明は省略するものとする。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, the accumulation related to the four-dimensional evaluation value array A is weighted with respect to a straight line in the three-dimensional space when viewed as a three-dimensional space-time in which two-dimensional evaluation values corresponding to the vertical and horizontal dimensions of the image are arranged on the time axis. It can be regarded as a vote, and therefore, accumulation may be performed by a Hough transform of a space line.
Further, by changing the order of the loops, the four-dimensional evaluation value array A can be a simple variable instead of an array. That is, evaluation value calculation processing for each frame is performed for a predetermined number of frames N first, and all the results are stored in a three-dimensional array F [p] [x] [y] (p is 0 to N−1). Keep it. If the evaluation value accumulation loop is performed in the order of x, y, x d , y d , and p from the outside, the accumulation loop and the maximum value search loop can be integrated into one, and the maximum accumulated evaluation value is simply obtained. You only need to hold the value a and the motion vector value that gives the maximum value.
Note that the specific calculation processing related to evaluation value calculation, evaluation value accumulation, and maximum value search is the same as in the above embodiment, and the description thereof will be omitted.
以下に、デジタルカメラ100の変形例について説明する。
Hereinafter, modified examples of the
<変形例1>
変形例1のデジタルカメラは、複数の画像のうちの何れか一の画像フレームを用いて、ボールの速度を推定するものである。
<
The digital camera according to the first modified example estimates the velocity of the ball using any one of a plurality of images.
即ち、CPU71は、運動体推定処理にて、ボールの位置だけでなく、ボールのぶれ幅(図7参照)も推定するようになっている。具体的には、CPU71は、運動体推定プログラム72cの実行に基づいて、1枚の画像フレームにおいて、中心座標(x,y)を所定の刻み幅(例えば、1〜数画素)で変更するとともに、ボールのぶれ幅範囲rを最小値r1から最大値r2まで所定の刻み幅で変更してループを行うことにより、分離度ηが最大となる評価値v(x,y,r)を算出する。
そして、CPU71は、当該評価値v(x,y,r)の引数の組(xmax,ymax,rmax)を算出して、ボールの水平運動速度を算出する。即ち、例えば、図7に示すように、輪郭がぼやけたボールとほぼ重なる、(xmax−rmax,ymax−r0)、(xmax−rmax,ymax+r0)、(xmax+rmax,ymax−r0)、(xmax+rmax,ymax+r0)を頂点とする矩形領域が特定され、rmaxを2倍した値が画素距離dの近似値となる。そして、CPU71は、画素距離dを画像フレーム間隔と物理距離に対する所定の変換係数に基づいてボールの速度に変換することができる。
That is, the
Then, the
次に、変形例1のデジタルカメラによる評価値算出処理について図8を参照して説明する。
この評価値算出処理にあっては、CPU71は、分離度記憶用メモリの値mをクリアした後(ステップS401)、ボールの中心座標(x,y)のうち、座標yに関するループ(ループ8)の演算(ステップS402〜S411)の中で、座標xに関するループ(ループ9)の演算(ステップS403〜S410)を行い、さらに、その中で、ボールのぶれ幅範囲rに関するループ(ループ10)の演算(ステップS404〜ステップS409)を行う。
Next, evaluation value calculation processing by the digital camera of
In this evaluation value calculation processing, the
先ず、CPU71は、プログラムメモリ72から読み出した評価値算出プログラム72aの実行に基づいて、ボールの中心座標(x,y)のうち、座標yを所定の座標に固定し、続けて、座標xを所定の座標に固定する(ステップS402及びS403)。
続けて、CPU71は、運動体推定プログラム72cの実行に基づいて、ボールのぶれ幅範囲rを最小値r1から最大値r2の範囲で変更してループ10により分離度ηを算出する(ステップS404〜S409)。具体的には、CPU71は、分離度ηを算出する毎に(ステップS405)、分離度記憶用メモリの値mと比較して(ステップS406)、算出された分離度ηの方が大きいと判定されると(ステップS406;YES)、当該分離度ηに係る評価値v(x,y,r)に分離度記憶用メモリの値mを書き換えて(ステップS407、評価値v(x,y,r)の引数の組(xmax,ymax,rmax)を算出するようになっている(ステップS408)。
上記の処理は、ボールのぶれ幅範囲rを最小値r1から最大値r2の間で変更して、全ての分離度ηが算出されると、ぶれ幅範囲rに関するループ10を終了する(ステップS409)。
First, based on the execution of the evaluation
Subsequently,
In the above processing, when the blur range r of the ball is changed from the minimum value r 1 to the maximum value r 2 and all the separation degrees η are calculated, the loop 10 regarding the blur range r is finished ( Step S409).
そして、CPU71は、上記の処理をボールの中心座標(x,y)のうち、座標yを所定の座標に固定した状態で、座標xを所定の刻み幅(例えば、1〜数画素)で変更してループ9を行って分離度ηを算出し、全ての分離度ηが算出されると、座標xに関するループ9を終了する(ステップS403〜S410)。
また、CPU71は、ボールの中心座標(x,y)のうち、座標yを所定の刻み幅(例えば、1〜数画素)で変更してループ8を行って分離度ηを算出し、全ての分離度ηが算出されると、座標yに関するループ8を終了する(ステップS402〜S411)。
Then, the
Further, the
上記の処理によって、分離度記憶用メモリの値m、即ち、分離度ηが最大となる評価値v(x,y,r)及びその引数(xmax,ymax,rmax)が推定される。
この結果、ボールの位置(xmax,ymax)及びぶれ幅2rmaxが推定される。
By the above processing, the value m of the separation degree storage memory, that is, the evaluation value v (x, y, r) that maximizes the separation degree η and its arguments (x max , y max , r max ) are estimated. .
As a result, the position (x max , y max ) of the ball and the blur width 2r max are estimated.
その後、CPU71は、ぶれ幅2rmaxを露光時間で割って画素距離dを算出して、画素距離dに基づいてボールの運動速度を推定するようになっている。
Thereafter, the
従って、変形例1のデジタルカメラによれば、スポーツシーンでのボールの想定される運動速度範囲を考慮して、複数の画像フレームのうちの何れか一の画像フレームにおけるボールのぶれ幅を推定することができる。具体的には、運動速度範囲に加えて、ボールの寸法と撮像部1の露光時間に基づいてぶれ幅範囲rを推定することができるので、ぶれ幅範囲rを過不足なく特定することができ、速度算出処理の処理時間の短縮を図ることができる。
そして、推定されたぶれ幅範囲rに基づいて画像情報の解析を行って、画像フレームの第1領域A1と第2領域A2の画素の分離度に基づいて、ボールの位置及びぶれ幅を適正に推定することができる。即ち、画像中のエッジ情報や所定の閾値を用いることなく、ボールの位置及びぶれ幅の推定を適正に行うことができる。
これにより、ボールの運動速度を適正に算出することができる。
Therefore, according to the digital camera of the first modification, the blur width of the ball in any one of the plurality of image frames is estimated in consideration of the assumed motion speed range of the ball in the sports scene. be able to. Specifically, since the blur width range r can be estimated based on the ball size and the exposure time of the
Then, the image information is analyzed based on the estimated blur width range r, and the ball position and the blur width are appropriately set based on the degree of separation of the pixels in the first area A1 and the second area A2 of the image frame. Can be estimated. That is, it is possible to appropriately estimate the position and the blur width of the ball without using edge information or a predetermined threshold in the image.
Thereby, the motion speed of the ball can be calculated appropriately.
<変形例2>
変形例2のデジタルカメラは、連続する2つの画像フレームの各々から算出された評価値v(x,y,r)に基づいて、下記式(5)に従って、画素距離dを算出して、ボールの運動速度を推定するものである。
The digital camera of
即ち、変形例2のデジタルカメラのCPU71は、速度推定手段として、変形例1に例示した図8の手順によって、評価値算出処理にて各画像フレームから評価値va(xa,ya,ra)、vb(xb,yb,rb)を算出し、それぞれの分離度ηが最大となる座標値を(xmax,ymax)のように示すと、式(5)のように画素距離d(ボールの位置の差分)を算出して、当該ボールの速度を推定するようになっている。
That,
従って、変形例2のデジタルカメラによれば、評価値累算処理を行わなくとも、複数のボールの位置に基づいて、これらボールの位置の差分を算出してボールの運動速度をある程度推定することができる。 Therefore, according to the digital camera of the second modified example, even if the evaluation value accumulation process is not performed, the movement speed of the balls is estimated to some extent by calculating the difference between the positions of the balls based on the positions of the plurality of balls. Can do.
なお、上記実施形態では、デジタルカメラ100をプログラムが記録されたパーソナルコンピュータ(PC)等の外部機器とUSB端子6を介して接続して、ボールの撮像画像データを転送し、当該PCにてボールの運動速度の推定処理を行うようにしても良い。
In the above-described embodiment, the
また、評価値累算処理における評価値の統合方法は、上記実施形態における評価値の累算に限られるものではなく、例えば、二乗平均等の方法であっても良い。 Further, the evaluation value integration method in the evaluation value accumulation process is not limited to the evaluation value accumulation in the above-described embodiment, and may be a method such as root mean square, for example.
さらに、上記実施形態では、ボールの運動を等速直線運動として説明したが、これに限られるものではなく、例えば、放物線軌道の運動であっても良く、この場合、画像フレームの取得タイミングに応じて動きベクトルの垂直方向の座標y’dを2次関数に従ってずらして評価値を取得しても良い。 Furthermore, in the above-described embodiment, the motion of the ball has been described as a constant-velocity linear motion. However, the present invention is not limited to this. For example, the motion may be a parabolic trajectory. the coordinate y 'd in the vertical direction of the motion vector may acquire the evaluation value shifted in accordance with a quadratic function Te.
また、上記実施形態では、全ての画像の評価値を累算するようにしたが、処理の高速化の観点からは、例えば、評価値が所定の値以上の座標についてのみ累算を行うようにしても良いし、所定の撮像順序の画像までに所定値以上の累算評価値が得られた座標のみ、それ以降の評価値の累算を行うようにしても良い。 In the above embodiment, the evaluation values of all the images are accumulated. However, from the viewpoint of speeding up the processing, for example, accumulation is performed only for coordinates where the evaluation value is a predetermined value or more. Alternatively, the evaluation values after that may be accumulated only for the coordinates at which the accumulated evaluation value greater than or equal to the predetermined value is obtained up to the image in the predetermined imaging order.
さらに、上記実施形態における評価値算出処理及び評価値累算処理中の各ループの順序は、例示したものに限られるものではなく、適宜変更することができる。 Furthermore, the order of the loops during the evaluation value calculation process and the evaluation value accumulation process in the above embodiment is not limited to those illustrated, and can be changed as appropriate.
加えて、上記実施形態では、評価値算出処理後に、分離度マップの差分計算を行うようにしたが、これに限られるものではなく、当該差分計算を行うか否かは適宜変更することができる。即ち、背景がほとんど平坦であればボールの誤認は生じないと考えられるので、評価値算出処理後に評価値累算処理を行うようにしても良い。 In addition, in the above embodiment, the difference calculation of the separability map is performed after the evaluation value calculation process. However, the present invention is not limited to this, and whether or not the difference calculation is performed can be changed as appropriate. . That is, if the background is almost flat, it is considered that the ball is not erroneously recognized. Therefore, the evaluation value accumulation process may be performed after the evaluation value calculation process.
また、上記実施形態では、原画像を直接処理するようにしたが、背景差分画像を用いても良く、この場合、画像枚数が少ない場合等に特に有用であると考えられる。 In the above embodiment, the original image is directly processed. However, a background difference image may be used. In this case, it is considered to be particularly useful when the number of images is small.
さらに、フレーム間の手ぶれ除去する回路やソフトウェア処理、例えば、背景物体の運動ベクトル検出値に基づく平行運動、アフィン変換、射影変換等の画像処理を行うようにしても良く、この場合、三脚を使わずに、且つ、フレームレートが比較的低い画像や望遠画像等に対して検出精度を向上させることができる。 In addition, image processing such as parallel motion based on the motion vector detection value of the background object, affine transformation, projective transformation, etc. may be performed, such as a circuit that removes camera shake between frames, and software processing. In addition, the detection accuracy can be improved for an image having a relatively low frame rate, a telephoto image, or the like.
また、上記実施形態では、第1領域A1及び第2領域A2として外形矩形状の領域を例示したが、領域の形状はこれに限られるものではなく、例えば、ボールのぼやけを考慮してレーストラック形状としても良い。また、例えば、ゴルフのティーショット等のようにボールの運動方向が水平方向よりもずれて傾く場合、即ち、その傾きを検出したりスポーツの性質上ボールの運動方向が傾くことがわかっている場合には、第1領域A1及び第2領域A2に所定の角度をつけて傾けても良い。 In the above-described embodiment, the rectangular regions are illustrated as the first region A1 and the second region A2, but the shape of the region is not limited to this, for example, a race track in consideration of blurring of the ball It is good also as a shape. Also, for example, when the movement direction of the ball is inclined with respect to the horizontal direction, such as golf tee shots, that is, when the inclination is detected or the movement direction of the ball is known to be inclined due to the nature of the sport Alternatively, the first area A1 and the second area A2 may be inclined at a predetermined angle.
さらに、上記実施形態では、運動体として、野球、テニス、ゴルフといった球技に用いられるボールを例示したが、運動体の形状はこれに限られるものではなく、例えば、バドミントンのシャトルといった球形以外の運動体であっても良い。即ち、高速度撮像では、運動体の輪郭はぼやけて、テクスチャも平均化されてしまうので、極端に不均質な物体でない限り、平面視にて矩形やレーストラック形状のものであっても良い。 Furthermore, in the above-described embodiment, the ball used for ball games such as baseball, tennis, and golf is exemplified as the moving body. However, the shape of the moving body is not limited to this, and for example, a movement other than a spherical shape such as a badminton shuttle. It may be the body. That is, in high-speed imaging, the outline of the moving body is blurred and the texture is averaged, so that it may be rectangular or racetrack in plan view as long as it is not an extremely heterogeneous object.
100 デジタルカメラ(撮像装置)
1 撮像部(撮像手段)
71 CPU(評価値算出手段、ぶれ幅範囲推定手段、運動体推定手段、評価値統合手段、想定動きベクトル推定手段、補正済み動きベクトル算出手段、運動パラメータ推定手段)
G 画像フレーム
A1 第1領域
A2 第2領域
100 Digital camera (imaging device)
1 Imaging unit (imaging means)
71 CPU (evaluation value calculation means, blur range estimation means, moving body estimation means, evaluation value integration means, assumed motion vector estimation means, corrected motion vector calculation means, motion parameter estimation means)
G Image frame A1 First area A2 Second area
Claims (5)
前記運動体の寸法、前記運動体の運動速度範囲及び前記撮像手段の露光時間に基づいて、前記画像における前記運動体のぶれ幅範囲を推定するぶれ幅範囲推定手段と、
前記撮像手段から出力された前記画像情報の各位置において、前記運動体の寸法と前記ぶれ幅範囲推定手段によって推定される前記ぶれ幅範囲のぶれ幅に基づいて規定される領域である第1領域と前記第1領域に隣合う外側の領域である第2領域の画素の分離度を算出する分離度算出手段と、
前記画像情報の各位置と前記ぶれ幅範囲内のぶれ幅を変更しながら前記分離度算出手段による分離度が最大となる前記運動体の位置と前記運動体のぶれ幅を推定する運動体推定手段と、
前記運動体推定手段により推定される前記運動体の位置または前記運動体のぶれ幅、前記運動体の寸法及び前記撮像手段の撮像条件から前記運動体の速度を推定する速度推定手段とを備えることを特徴とする撮像装置。 An imaging means for capturing an image including a moving body that moves at high speed and outputting image information;
Based on the dimensions of the moving body, the motion speed range of the moving body, and the exposure time of the imaging means, a blur width range estimating unit that estimates a blur width range of the moving body in the image;
A first area that is defined based on the size of the moving body and the blur width of the blur width range estimated by the blur width range estimation means at each position of the image information output from the imaging means And a degree-of-separation calculating means for calculating the degree of separation of the pixels in the second area, which is an outer area adjacent to the first area,
A moving body estimating means for estimating the position of the moving body and the moving width of the moving body at which the degree of separation by the separation degree calculating means is maximized while changing each position of the image information and the shake width within the shake width range. When,
Speed estimation means for estimating the speed of the moving body from the position of the moving body or the blur width of the moving body, the dimensions of the moving body, and the imaging conditions of the imaging means estimated by the moving body estimation means. An imaging apparatus characterized by the above.
前記速度推定手段は、少なくとも2つ以上の前記運動体の位置の差分、前記運動体の寸法及び前記連続画像取得手段による連続撮像された所定間隔に基づいて前記運動体の速度を算出することを特徴とする請求項1に記載の撮像装置。The speed estimating means calculates the speed of the moving body based on a difference between positions of at least two moving bodies, a size of the moving body, and a predetermined interval continuously captured by the continuous image acquiring means. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized.
高速度で運動する運動体の寸法、当該運動体の運動速度範囲及び当該運動体の撮像時の露光時間に基づいて、前記運動体を含む画像における当該運動体のぶれ幅範囲を推定する機能と、
前記画像に係る前記画像情報の各位置において、前記運動体の寸法と前記ぶれ幅範囲のぶれ幅に基づいて規定される領域である第1領域と前記第1領域に隣合う外側の領域である第2領域の画素の分離度を算出する機能と、
前記画像情報の各位置と前記ぶれ幅範囲内のぶれ幅を変更しながら前記算出された分離度が最大となる前記運動体の位置と前記運動体のぶれ幅を推定する機能と、
前記推定される前記運動体の位置または前記運動体のぶれ幅、前記運動体の寸法及び前記撮像時の撮像条件から前記運動体の速度を推定する機能と、
を実現させることを特徴とするプログラム。 On the computer,
A function of estimating a blur range of the moving body in an image including the moving body based on a dimension of the moving body moving at a high speed, a moving speed range of the moving body, and an exposure time at the time of imaging the moving body; ,
In each position of the image information relating to the image, a first area which is an area defined based on a dimension of the moving body and a blur width of the blur width range and an outer area adjacent to the first area. A function of calculating the degree of separation of the pixels in the second region;
A function of estimating the position of the moving body and the moving width of the moving body where the calculated degree of separation becomes maximum while changing each position of the image information and the moving width within the moving width range;
A function of estimating the speed of the moving body from the estimated position of the moving body or the blur width of the moving body, the dimensions of the moving body, and the imaging conditions at the time of imaging;
A program characterized by realizing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006236460A JP4743048B2 (en) | 2006-08-31 | 2006-08-31 | Imaging apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006236460A JP4743048B2 (en) | 2006-08-31 | 2006-08-31 | Imaging apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008060982A JP2008060982A (en) | 2008-03-13 |
JP4743048B2 true JP4743048B2 (en) | 2011-08-10 |
Family
ID=39243213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006236460A Active JP4743048B2 (en) | 2006-08-31 | 2006-08-31 | Imaging apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4743048B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5240328B2 (en) | 2011-08-08 | 2013-07-17 | カシオ計算機株式会社 | Imaging apparatus and program |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04276554A (en) * | 1991-03-05 | 1992-10-01 | Sony Corp | Speed measuring apparatus |
JPH0593610A (en) * | 1991-08-29 | 1993-04-16 | Sharp Corp | Camcorder |
JPH05151355A (en) * | 1991-11-29 | 1993-06-18 | Honda Motor Co Ltd | Optical flow generating system for two-dimensional moving image |
JPH1144700A (en) * | 1997-07-25 | 1999-02-16 | Sanyo Electric Co Ltd | Speed-measuring apparatus, automatic tracking system using the apparatus and display system for estimated arrival position |
JP2001061151A (en) * | 1999-08-19 | 2001-03-06 | Denso Corp | Motion vector detection method and recording medium |
JP2001183383A (en) * | 1999-12-28 | 2001-07-06 | Casio Comput Co Ltd | Imaging apparatus and method for calculating velocity of object to be imaged |
JP2002202317A (en) * | 2000-12-28 | 2002-07-19 | Yokohama Rubber Co Ltd:The | Method for measuring flight behavior of flight object |
JP2004046647A (en) * | 2002-07-12 | 2004-02-12 | Univ Waseda | Method and device for tracking moving object based on dynamic image data |
JP2004117195A (en) * | 2002-09-26 | 2004-04-15 | Pentax Corp | Digital camera with speed measuring function |
JP2004287806A (en) * | 2003-03-20 | 2004-10-14 | Mitsubishi Electric Corp | Moving target detector, tracking system and moving target identification method |
JP2005056410A (en) * | 2003-07-31 | 2005-03-03 | Samsung Electronics Co Ltd | Motion vector correction apparatus based on pattern analysis, and method therefor |
JP2005159674A (en) * | 2003-11-25 | 2005-06-16 | Casio Comput Co Ltd | Electronic camera and control program thereof |
-
2006
- 2006-08-31 JP JP2006236460A patent/JP4743048B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04276554A (en) * | 1991-03-05 | 1992-10-01 | Sony Corp | Speed measuring apparatus |
JPH0593610A (en) * | 1991-08-29 | 1993-04-16 | Sharp Corp | Camcorder |
JPH05151355A (en) * | 1991-11-29 | 1993-06-18 | Honda Motor Co Ltd | Optical flow generating system for two-dimensional moving image |
JPH1144700A (en) * | 1997-07-25 | 1999-02-16 | Sanyo Electric Co Ltd | Speed-measuring apparatus, automatic tracking system using the apparatus and display system for estimated arrival position |
JP2001061151A (en) * | 1999-08-19 | 2001-03-06 | Denso Corp | Motion vector detection method and recording medium |
JP2001183383A (en) * | 1999-12-28 | 2001-07-06 | Casio Comput Co Ltd | Imaging apparatus and method for calculating velocity of object to be imaged |
JP2002202317A (en) * | 2000-12-28 | 2002-07-19 | Yokohama Rubber Co Ltd:The | Method for measuring flight behavior of flight object |
JP2004046647A (en) * | 2002-07-12 | 2004-02-12 | Univ Waseda | Method and device for tracking moving object based on dynamic image data |
JP2004117195A (en) * | 2002-09-26 | 2004-04-15 | Pentax Corp | Digital camera with speed measuring function |
JP2004287806A (en) * | 2003-03-20 | 2004-10-14 | Mitsubishi Electric Corp | Moving target detector, tracking system and moving target identification method |
JP2005056410A (en) * | 2003-07-31 | 2005-03-03 | Samsung Electronics Co Ltd | Motion vector correction apparatus based on pattern analysis, and method therefor |
JP2005159674A (en) * | 2003-11-25 | 2005-06-16 | Casio Comput Co Ltd | Electronic camera and control program thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2008060982A (en) | 2008-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8417059B2 (en) | Image processing device, image processing method, and program | |
US8004570B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
DK1899025T3 (en) | IMAGE IMPROVEMENT IN SPORTS RECORDS | |
US8704888B2 (en) | Imaging device and image analysis method | |
JP5694300B2 (en) | Image processing apparatus, image processing method, and program | |
US20140146182A1 (en) | Device and method for detecting moving objects | |
CN108347563B (en) | Video processing method and device, electronic equipment and computer readable storage medium | |
US20100232646A1 (en) | Subject tracking apparatus, imaging apparatus and subject tracking method | |
JP6577852B2 (en) | Motion vector detection device and control method thereof | |
US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN106101522A (en) | Use the method and apparatus that non-optical field imaging equipment obtains light field data | |
JP4748230B2 (en) | Imaging apparatus, imaging method, and imaging program | |
US10275917B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US20120249593A1 (en) | Image processing apparatus, image processing method, and recording medium capable of identifying subject motion | |
JP2010114752A (en) | Device and method of imaging and program | |
JP4752685B2 (en) | Imaging apparatus and program | |
JP4743048B2 (en) | Imaging apparatus and program | |
JP2009088884A (en) | Method and device for detecting motion vector in picked-up data | |
JP2021105850A (en) | Image processing device and method, and imaging device | |
JP4654817B2 (en) | Multiple image composition method and multiple image composition device | |
WO2024024161A1 (en) | Method for measuring speed of thrown object and system for measuring speed of thrown object | |
JP7346021B2 (en) | Image processing device, image processing method, imaging device, program and recording medium | |
JP6827778B2 (en) | Image processing equipment, image processing methods and programs | |
CN118037623A (en) | Electronic image anti-shake evaluation method, electronic image anti-shake evaluation device, terminal and storage medium | |
KR20110101620A (en) | Apparatus and method for detecting subject area and movement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110328 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4743048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |