JP6658926B2 - Image processing apparatus, image processing program, and image processing method - Google Patents
Image processing apparatus, image processing program, and image processing method Download PDFInfo
- Publication number
- JP6658926B2 JP6658926B2 JP2019004421A JP2019004421A JP6658926B2 JP 6658926 B2 JP6658926 B2 JP 6658926B2 JP 2019004421 A JP2019004421 A JP 2019004421A JP 2019004421 A JP2019004421 A JP 2019004421A JP 6658926 B2 JP6658926 B2 JP 6658926B2
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- image processing
- motion
- range
- axial direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本技術は、分析対象物を経時的に撮像した動画像に対して画像解析を行う画像処理装置、画像処理プログラム及び画像処理方法に関する。 The present technology relates to an image processing apparatus, an image processing program, and an image processing method that perform image analysis on a moving image obtained by imaging an analysis target over time.
創薬や再生医療に向けて細胞の機能評価が課題となっており、種々の分析手法が検討されている。分析手法の一つに、分析対象の細胞を経時的に撮像した動画像を解析することによって細胞の情報を得る画像解析がある。 The function evaluation of cells has become an issue for drug discovery and regenerative medicine, and various analysis methods are being studied. As one of the analysis methods, there is an image analysis that obtains cell information by analyzing a moving image obtained by imaging a cell to be analyzed with time.
例えば、特許文献１には、蛍光染色と画像処理を用いて神経細胞の突起伸張を解析する方法が開示されている。また、特許文献２には、画像解析により、神経細胞による神経回路網の評価を行う方法が開示されている。 For example, Patent Literature 1 discloses a method of analyzing the elongation of a nerve cell using fluorescent staining and image processing. Further, Patent Literature 2 discloses a method of evaluating a neural network using nerve cells by image analysis.
ここで、細胞の中には、画像において検出可能な動きを有するものがある。例えば、心筋細胞は収縮や弛緩を行い、神経細胞は軸索輸送や突起伸張等を行う。このような動きを画像解析によって検出することができれば、細胞の機能評価にとって有効である。 Here, some cells have a motion that can be detected in an image. For example, cardiomyocytes contract and relax, and neurons perform axonal transport and process extension. If such movement can be detected by image analysis, it is effective for evaluating the function of cells.
しかしながら、細胞の機能評価を行う上では、単に動きを抽出すればよいわけでない。
細胞の動きには、細胞自体の動き（伸縮等）もあれば、周囲の流体の流れ等よって動く場合もあるからである。また、細胞の動きであってもその方向が重要な場合がある。例えば心筋細胞であれば、心筋の伸縮方向に沿った動きが重要であり、機能評価のためにはその方向に沿った動きを抽出する必要がある。また、神経細胞であれば、細胞体の振動、軸索輸送あるいは突起伸張等の各種の動きがあり、それぞれ動きの方向や質が異なっている。
However, in order to evaluate the function of a cell, it is not always necessary to simply extract the movement.
This is because the movement of the cell includes the movement of the cell itself (e.g., expansion and contraction) and the movement of the surrounding fluid. Also, the direction of the movement of the cell may be important. For example, in the case of cardiomyocytes, the movement along the direction of expansion and contraction of the heart muscle is important, and it is necessary to extract the movement along the direction in order to evaluate the function. In the case of a nerve cell, there are various movements such as vibration of a cell body, axonal transport, and extension of a process, and the movement direction and quality are different.
以上のような事情に鑑み、本技術の目的は、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。 In view of the circumstances described above, an object of the present technology is to provide an image processing device, an image processing program, and an image processing method that can evaluate the movement of an analysis target.
上記目的を達成するため、本技術の一形態に係る画像処理装置は、動き解析部と、軸方向設定部と、情報抽出部とを具備する。
上記動き解析部は、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する。
上記軸方向設定部は、上記分析対象動画像において、軸方向を設定する。
上記情報抽出部は、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。
In order to achieve the above object, an image processing device according to an embodiment of the present technology includes a motion analysis unit, an axial direction setting unit, and an information extraction unit.
The motion analysis unit calculates a motion vector in an analysis target moving image obtained by imaging an analysis target over time.
The axial direction setting unit sets an axial direction in the analysis target moving image.
The information extraction unit extracts, based on the motion vector and the axial direction, information on a motion of the analysis target in the analysis target moving image in the axial direction.
この構成によれば、動きベクトルから軸方向に対する動きの情報が抽出されるため、動きの量だけではなく動きの方向も含めた情報を提示することができ、ユーザは分析対象物の動きを、動きの方向も含めて評価することが可能となる。軸方向は、ユーザが任意で設定してもよく、画像処理装置が設定してもよい。 According to this configuration, since information on the motion in the axial direction is extracted from the motion vector, it is possible to present information including not only the amount of motion but also the direction of the motion. It is possible to evaluate including the direction of movement. The axis direction may be arbitrarily set by the user, or may be set by the image processing apparatus.
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定してもよい。 The axial direction setting unit may set the axial direction based on the motion vector.
この構成によれば、分析対象物の動きに応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、最も大きい動きベクトルの方向と同一方向を軸方向に設定することができる。 According to this configuration, the axial direction is set according to the movement of the analysis target, and information on the movement of the analysis target with respect to the axial direction is extracted. The axial direction setting unit can set, for example, the same direction as the direction of the largest motion vector in the axial direction.
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定してもよい。 The axial direction setting unit may perform image processing on the moving image to be analyzed, and set the axial direction based on the processing result.
この構成によれば、分析対象物に対する画像処理結果に応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、分析対象動画像において分析対象物を検出し、その延伸方向を軸方向に設定することができる。 According to this configuration, the axial direction is set according to the image processing result on the analysis target, and information on the movement of the analysis target in the axial direction is extracted. The axial direction setting unit can, for example, detect an object to be analyzed in the moving image to be analyzed, and set the extending direction thereof in the axial direction.
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出してもよい。 The information extraction unit may extract an angle of the motion vector with respect to the axial direction.
この構成によれば、ユーザが軸方向に対する分析対象物の動きの方向を評価することが可能となる。 According to this configuration, the user can evaluate the direction of the movement of the analysis target with respect to the axial direction.
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出してもよい。 The information extracting unit may project the motion vector in the axial direction and extract a motion amount in the axial direction.
この構成によれば、動きベクトルの動き量が、軸方向に対する動き量に変換され、ユーザが軸方向に対する動き量を評価することが可能となる。 According to this configuration, the amount of motion of the motion vector is converted into the amount of motion in the axial direction, and the user can evaluate the amount of motion in the axial direction.
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出してもよい。 The information extraction unit may extract a motion amount from the motion vector within a predetermined angle from the axial direction.
この構成によれば、軸方向から所定角度内の動きベクトルの動き量が抽出されるため、ユーザが軸方向及び軸方向に近い方向に対する動き量を評価することが可能となる。 According to this configuration, since the motion amount of the motion vector within a predetermined angle from the axial direction is extracted, the user can evaluate the motion amount in the axial direction and the direction close to the axial direction.
上記画像処理装置は、上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲について算出された動きベクトルと上記軸方向に基づいて、上記情報を抽出してもよい。
The image processing apparatus further includes a range specifying unit that specifies an analysis range in the analysis target moving image,
The motion analysis unit calculates a motion vector for each section of the analysis range,
The information extraction unit calculates a motion vector for the analysis range based on the motion vector calculated for each section, and extracts the information based on the motion vector calculated for the analysis range and the axial direction. May be.
この構成によれば、分析範囲について動きベクトルが算出され、軸方向に他する動きの情報が抽出される。このため、ユーザは分析対象動画像において分析を所望する範囲を分析範囲に指定することにより、分析範囲についての情報を得ることができる。分析範囲の動きベクトルは、区画毎に算出された動きベクトルを加算した動きベクトル、あるいは区画毎に算出された動きベクトルのうち最大の動きベクトル等とすることができる。 According to this configuration, a motion vector is calculated for the analysis range, and information on another motion in the axial direction is extracted. For this reason, the user can obtain information about the analysis range by designating the range in which analysis is desired in the analysis target moving image as the analysis range. The motion vector in the analysis range can be a motion vector obtained by adding the motion vectors calculated for each section, or the largest motion vector among the motion vectors calculated for each section.
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定してもよい。 The range specification unit may perform image processing on the analysis target moving image, and set the analysis range based on a result of the processing.
この構成によれば範囲指定部によって、分析範囲が指定される。範囲指定部は、分析対象動画像に画像処理を施して、分析対象動画像に含まれる分析対象物を検出し、分析対象物が含まれる範囲を分析範囲に指定することができる。 According to this configuration, the analysis range is specified by the range specifying unit. The range specifying unit can perform image processing on the analysis target moving image, detect an analysis target included in the analysis target moving image, and specify a range including the analysis target as an analysis range.
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させてもよい。 The range designator may move the analysis range based on a motion vector calculated for the analysis range.
この構成によれば、分析範囲に含まれる分析対象物の動きに応じて分析範囲を分析対象物の動きに追随させることが可能となる。 According to this configuration, the analysis range can be made to follow the movement of the analysis target according to the movement of the analysis target included in the analysis range.
上記画像処理装置は、上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。 The image processing apparatus may further include a result output unit that generates an image in which the motion vector calculated for the analysis range is superimposed on the analysis target moving image.
この構成によれば、ユーザは、分析範囲について算出された動きベクトルを参照し、分析範囲に含まれる分析対象物の動きを評価することが可能となる。 According to this configuration, the user can evaluate the motion of the analysis target included in the analysis range by referring to the motion vector calculated for the analysis range.
上記画像処理装置は、上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。 The image processing apparatus may further include a result output unit that generates an image in which a motion vector selected from the motion vectors calculated for each of the sections is superimposed on the image in accordance with an image processing result on the analysis target moving image. Good.
この構成によれば、ユーザは、区画毎に算出された動きベクトルのうち、画像処理結果に応じて選択された動きベクトルを参照することが可能となる。結果出力部は、分析対象動画像における分析対象物の形状等に応じて動きベクトルを選択することができる。 According to this configuration, the user can refer to the motion vector selected according to the image processing result among the motion vectors calculated for each section. The result output unit can select a motion vector according to the shape of the analysis target in the analysis target moving image.
上記画像処理装置は、上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成してもよい。 The image processing apparatus may include, in the analysis target moving image, a motion vector selected from a motion vector calculated for each section in a predetermined frame of the analysis target moving image, and a motion vector before the predetermined frame of the analysis target moving image. In the frame, an image in which a motion vector selected from the motion vectors calculated for each of the sections is superimposed may be generated.
この構成によれば、ユーザは、フレーム間で選択された動きベクトルを比較することが可能となる。結果出力部は例えば、各フレームで最も大きい動きベクトルを選択することができる。 According to this configuration, the user can compare the motion vectors selected between the frames. The result output unit can select, for example, the largest motion vector in each frame.
上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる。
In order to achieve the above object, an image processing program according to an embodiment of the present technology includes:
A motion analysis unit that calculates a motion vector in an analysis target moving image obtained by imaging an analysis target over time,
In the analysis target moving image, an axial direction setting unit that sets an axial direction,
The image processing apparatus functions as an information extraction unit that extracts information on the motion of the analysis target in the analysis target moving image in the axial direction based on the motion vector and the axial direction.
上記目的を達成するため、本技術の一形態に係る画像処理方法は、
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。
In order to achieve the above object, an image processing method according to an embodiment of the present technology,
The motion analysis unit calculates a motion vector in the analysis target moving image obtained by imaging the analysis target over time,
An axial direction setting unit sets an axial direction in the analysis target moving image,
An information extraction unit extracts information on the motion of the object to be analyzed in the moving image to be analyzed in the axial direction based on the motion vector and the axial direction.
以上のように、本技術によれば、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能である。 As described above, according to the present technology, it is possible to provide an image processing apparatus, an image processing program, and an image processing method that can evaluate the motion of an analysis target.
本技術の実施形態に係る画像処理装置について説明する。 An image processing device according to an embodiment of the present technology will be described.
[画像処理装置の機能的構成]
図１は、本実施形態に係る画像処理装置１０の機能的構成を示す模式図である。同図に示すように、画像処理装置１０は、動画像取得部１１、範囲指定部１２、動き解析部１３、軸方向設定部１４、情報抽出部１５及び結果出力部１６を有する。
[Functional configuration of image processing device]
FIG. 1 is a schematic diagram illustrating a functional configuration of an image processing apparatus 10 according to the present embodiment. As shown in FIG. 1, the image processing apparatus 10 includes a moving image acquisition unit 11, a range designation unit 12, a motion analysis unit 13, an axial direction setting unit 14, an information extraction unit 15, and a result output unit 16.
動画像取得部１１は、「分析対象動画像」を取得する。分析対象動画像は、分析対象物を経時的に撮像した動画像であり、分析対象動画像は連続的に撮像された複数のフレームから構成される動画や、タイムラプス撮影により撮影された静止画を含む。分析対象物は、細胞や細胞群、あるいは生体組織等であり、動きを有するものであれば本実施形態を適用することができる。分析対象動画像の撮像速度は分析対象に応じて適宜決定することが可能である。 The moving image acquisition unit 11 acquires an “analysis target moving image”. The analysis target moving image is a moving image obtained by imaging an analysis target over time, and the analysis target moving image is a moving image composed of a plurality of frames captured continuously, or a still image captured by time-lapse imaging. Including. The object to be analyzed is a cell, a group of cells, a living tissue, or the like, and the present embodiment can be applied to any object that moves. The imaging speed of the moving image to be analyzed can be appropriately determined according to the object to be analyzed.
分析対象動画像は、明視野撮像、暗視野撮像、位相差撮像、蛍光撮像、共焦点撮像、多光子励起蛍光撮像、吸収光撮像、乱光撮像等の各種の光学的な撮像方法を利用して撮像された動画像であるものとすることができる。 The moving image to be analyzed uses various optical imaging methods such as bright-field imaging, dark-field imaging, phase contrast imaging, fluorescence imaging, confocal imaging, multiphoton excitation fluorescence imaging, absorption light imaging, and irregular light imaging. Moving image captured by the
図２は、分析対象動画像の例であり、神経細胞を含む動画像である。図３は、神経細胞の動きの例を示す模式図である。神経細胞は、図３のＡに示すような細胞体の振動、Ｂに示すような軸索輸送（軸索における細胞内小器官の輸送）、Ｃに示す軸索の伸張等といった種々の動きを含んでいる。この他にも神経細胞と同様に種々の動きを含む細胞がある。また、細胞自体が動いている場合もあれば、細胞外の環境（周囲の水流等）によって動いている場合もある。本実施形態では、これらの動きの判別が可能である。 FIG. 2 is an example of a moving image to be analyzed, which is a moving image including nerve cells. FIG. 3 is a schematic diagram illustrating an example of the movement of a nerve cell. Nerve cells undergo various movements such as vibration of the cell body as shown in FIG. 3A, axonal transport (transport of intracellular organelles in the axon) as shown in B, and axonal extension as shown in C. Contains. In addition to this, there are cells including various movements similarly to nerve cells. In some cases, the cell itself is moving, and in other cases, the cell is moving due to an extracellular environment (such as surrounding water flow). In the present embodiment, these movements can be determined.
動画像取得部１１は、図示しない撮像装置（顕微鏡撮像装置）から分析対象動画像を取得してもよく、ストレージに格納されている動画像やネットワークから供給された動画像を分析対象動画像として取得するものとすることも可能である。この際、動画像取得部１１は、予め撮像された動画像から、分析対象の種類に応じて所定の周期でサンプリングし、分析対象動画像を取得してもよい。 The moving image acquisition unit 11 may acquire an analysis target moving image from an imaging device (microscope imaging device) (not shown), and uses a moving image stored in a storage or a moving image supplied from a network as an analysis target moving image. It is also possible to acquire. At this time, the moving image acquisition unit 11 may sample the moving image captured in advance at a predetermined cycle according to the type of the analysis target to obtain the analysis target moving image.
範囲指定部１２は、分析対象動画像において分析範囲を指定する。図４は、分析範囲の例を示す模式図である。同図に示すように、範囲指定部１２は、分析対象動画像において分析範囲Ｒを指定する。分析範囲Ｒは、例えば一つの細胞や細胞群を含む範囲とすることができる。また、分析範囲Ｒは、分析対象動画像の全範囲であってもよい。 The range specifying unit 12 specifies an analysis range in the analysis target moving image. FIG. 4 is a schematic diagram showing an example of the analysis range. As shown in the drawing, the range specifying unit 12 specifies an analysis range R in a moving image to be analyzed. The analysis range R can be, for example, a range including one cell or a cell group. The analysis range R may be the entire range of the moving image to be analyzed.
範囲指定部１２は、ユーザによる操作入力によって指示された範囲を分析範囲Ｒとして指定してもよく、分析対象動画像に対する画像処理によって分析対象物を検出し、その存在する範囲を分析範囲Ｒに指定してもよい。 The range designation unit 12 may designate a range instructed by an operation input by the user as the analysis range R, detect an analysis target by image processing on a moving image to be analyzed, and set the existing range as the analysis range R. May be specified.
動き解析部１３は、分析範囲Ｒから動きベクトルを算出する。動き解析部１３は、分析範囲Ｒ内に複数の算出区画を設定する。図５は、算出区画の例を示す模式図である。同図に示すように動き解析部１３は、分析範囲Ｒを複数の算出区画Ｄに区画する。 The motion analysis unit 13 calculates a motion vector from the analysis range R. The motion analysis unit 13 sets a plurality of calculation sections within the analysis range R. FIG. 5 is a schematic diagram illustrating an example of a calculation section. As shown in the figure, the motion analysis unit 13 divides the analysis range R into a plurality of calculation sections D.
算出区画Ｄの数や大きさは任意であり、動き解析部１３はユーザによる指定や分析範囲Ｒの大きさに応じて算出区画Ｄを設定するものとすることができる。なお、動き解析部１３は、分析範囲Ｒの全体を一つの算出区画Ｄとしてもよい。 The number and size of the calculation sections D are arbitrary, and the motion analysis section 13 can set the calculation sections D according to the designation by the user or the size of the analysis range R. Note that the motion analysis unit 13 may use the entire analysis range R as one calculation section D.
続いて動き解析部１３は、各算出区画Ｄの動きベクトルを算出する。動き解析部１３は、ブロックマッチングにより各算出区画Ｄの動きベクトルを算出するものとすることができる。図６は、動きベクトルの算出の態様を示す模式図である。 Subsequently, the motion analysis unit 13 calculates a motion vector of each calculation section D. The motion analysis unit 13 can calculate a motion vector of each calculation section D by block matching. FIG. 6 is a schematic diagram illustrating a manner of calculating a motion vector.
同図に示すように動き解析部１３は、分析対象動画像を構成する一つのフレームにおける、特定の算出区画Ｄ（図中算出区画Ｄ１）に含まれる画素群を前のフレームにおける画素群の範囲と比較し、最も一致する画素群の範囲を特定する（図中画素範囲Ｄ２）。なお前のフレームは１フレーム前のフレームであってもよく、複数フレーム前のフレームであってもよい。 As shown in the figure, the motion analysis unit 13 sets a pixel group included in a specific calculation section D (calculation section D1 in the figure) in one frame constituting a moving image to be analyzed in a range of a pixel group in a previous frame. Then, the range of the pixel group that matches the most is specified (pixel range D2 in the figure). The previous frame may be a frame before one frame or a frame before a plurality of frames.
動き解析部１３は、前のフレームにおいて特定した画素範囲Ｄ２から現フレームにおける算出区画Ｄ１へのベクトルを、算出区画Ｄ１の動きベクトル（以下、算出区画ベクトルＢ）として算出するものとすることができる。動き解析部１３は、分析範囲Ｒに含まれる各算出区画Ｄについて、同様に算出区画ベクトルを算出する。 The motion analysis unit 13 can calculate a vector from the pixel range D2 specified in the previous frame to the calculation section D1 in the current frame as a motion vector of the calculation section D1 (hereinafter, calculation section vector B). . The motion analysis unit 13 similarly calculates a calculation section vector for each calculation section D included in the analysis range R.
図７は、各算出区画Ｄにおいて算出された算出区画ベクトルＢの例を示す模式図であり、矢印の方向は算出区画ベクトルＢの方向を、矢印の長さは算出区画ベクトルＢの大きさを表す（点は動きベクトル０を表す）。この各算出区画ベクトルＢは、分析対象動画像のフレーム毎に算出され、したがって分析対象動画像の時刻毎に変動する。なお、動き解析部１３は、ブロックマッチング以外の手法によって算出区画ベクトルＢを算出してもよい。 FIG. 7 is a schematic diagram illustrating an example of the calculated section vector B calculated in each calculated section D. The direction of the arrow indicates the direction of the calculated section vector B, and the length of the arrow indicates the size of the calculated section vector B. (Point represents motion vector 0). Each of the calculation section vectors B is calculated for each frame of the moving image to be analyzed, and thus varies at each time of the moving image to be analyzed. Note that the motion analysis unit 13 may calculate the calculated section vector B by a method other than block matching.
軸方向設定部１４は、分析範囲Ｒについて軸方向を設定する。図８及び図９は、分析範囲Ｒについて設定された軸方向Ｓを示す模式図である。軸方向設定部１４は、ユーザによって指定された方向を軸方向とすることができる。ユーザは、分析対象動画像において、動きを抽出したい方向を軸方向として設定することができる。 The axial direction setting unit 14 sets an axial direction for the analysis range R. 8 and 9 are schematic diagrams showing the axial direction S set for the analysis range R. FIG. The axial direction setting unit 14 can set the direction specified by the user as the axial direction. The user can set the direction in which the motion is to be extracted as the axial direction in the analysis target moving image.
例えば、図８では、神経細胞の軸索に沿って軸方向Ｓが設定されている。また、軸方向設定部１４は、複数の軸方向を設定してもよい。図９は、細胞体の中心から放射状に設定された軸方向Ｓを示す。 For example, in FIG. 8, the axial direction S is set along the axon of the nerve cell. Further, the axial direction setting unit 14 may set a plurality of axial directions. FIG. 9 shows an axial direction S set radially from the center of the cell body.
また、軸方向設定部１４は、分析対象動画像に対する画像処理によって軸方向を設定してもよい。例えば、軸方向設定部１４は、分析対象動画像に含まれる分析対象物を検出してその長辺方向を軸方向に設定し、あるいは分析対象物の中心から放射状に軸方向を設定してもよい。また、軸方向設定部１４は、後述する分析範囲について算出された分析範囲の動きベクトルの方向を軸方向に設定してもよい。 Further, the axial direction setting unit 14 may set the axial direction by image processing on the moving image to be analyzed. For example, the axial direction setting unit 14 may detect the analysis target included in the analysis target moving image and set the long side direction to the axial direction, or may set the axial direction radially from the center of the analysis target. Good. Further, the axial direction setting unit 14 may set the direction of the motion vector of the analysis range calculated for the analysis range described later in the axial direction.
情報抽出部１５は、算出区画ベクトル及び軸方向に基づいて、分析対象動画像における分析対象物の軸方向に対する動きの情報（以下、動き情報）を抽出する。情報抽出部１５は、動き解析部１３から供給された各算出区画Ｄの算出区画ベクトルＢから、分析範囲Ｒについての動きベクトル（以下、分析範囲ベクトル）を算出することができる。 The information extraction unit 15 extracts information on the motion of the analysis target in the analysis target moving image in the axial direction (hereinafter, motion information) based on the calculated section vector and the axial direction. The information extraction unit 15 can calculate a motion vector (hereinafter, analysis range vector) for the analysis range R from the calculation partition vector B of each calculation partition D supplied from the motion analysis unit 13.
図１０は、分析範囲ベクトルの算出の態様を示す模式図である。同図に示すように、情報抽出部１５は、分析範囲Ｒに含まれる各算出区画Ｄの算出区画ベクトルＢを加算し、分析範囲ベクトルＣを算出するものとすることができる。 FIG. 10 is a schematic diagram showing a manner of calculating an analysis range vector. As shown in the figure, the information extraction unit 15 can calculate the analysis range vector C by adding the calculation partition vector B of each calculation partition D included in the analysis range R.
また、情報抽出部１５は、算出区画ベクトルＢのうち、最も動き量（長さ）が大きいものを分析範囲ベクトルとしてもよい。図１１は、分析範囲Ｒについて算出された分析範囲ベクトルＣと軸方向Ｓを示す模式図である。上記のように各算出区画ベクトルＢは分析対象動画像の時刻毎に変動するため、分析範囲ベクトルＣも時刻毎に変動する。 In addition, the information extraction unit 15 may set the one having the largest motion amount (length) among the calculation section vectors B as the analysis range vector. FIG. 11 is a schematic diagram showing the analysis range vector C and the axial direction S calculated for the analysis range R. As described above, since each calculation section vector B changes at each time of the moving image to be analyzed, the analysis range vector C also changes at each time.
情報抽出部１５は、分析範囲ベクトルＣと軸方向Ｓに基づいて、動き情報を抽出する。図１２は、分析範囲ベクトルＣと軸方向Ｓの関係を示す模式図である。情報抽出部１５は、分析範囲ベクトルＣを軸方向Ｓに投影することができる。 The information extracting unit 15 extracts motion information based on the analysis range vector C and the axial direction S. FIG. 12 is a schematic diagram showing the relationship between the analysis range vector C and the axial direction S. The information extraction unit 15 can project the analysis range vector C in the axial direction S.
図１２に、投影された分析範囲ベクトル（以下、投影ベクトル）Ｃ'を示す。同図に示すように、情報抽出部１５は、分析範囲ベクトルＣの座標系（Ｘ，Ｙ）を、軸方向Ｓの座標系（ｘ'、Ｙ'）座標系に変換することができる。図１３は、座標系の変換式の例を示す。図１２に示すように、軸方向Ｓと分析範囲ベクトルＣがなす角を角度θとする。 FIG. 12 shows a projected analysis range vector (hereinafter, projection vector) C ′. As shown in the figure, the information extraction unit 15 can convert the coordinate system (X, Y) of the analysis range vector C into the coordinate system (x ′, Y ′) of the axial direction S. FIG. 13 shows an example of a coordinate system conversion equation. As shown in FIG. 12, an angle between the axial direction S and the analysis range vector C is defined as an angle θ.
情報抽出部１５は、軸方向Ｓに対する分析範囲ベクトルＣの角度を動き情報として抽出することができる。図１４は、軸方向Ｓに対する分析範囲ベクトルＣの角度の時間変化の例を示すグラフである。同図に示すように、角度θは、分析対象動画像の撮像時刻（フレーム）に伴って変動する。 The information extraction unit 15 can extract the angle of the analysis range vector C with respect to the axial direction S as motion information. FIG. 14 is a graph illustrating an example of a temporal change in the angle of the analysis range vector C with respect to the axial direction S. As shown in the figure, the angle θ changes with the imaging time (frame) of the moving image to be analyzed.
角度θの値（絶対値）が大きい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していないことを示し、角度θの値が小さい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していることを示す。即ち、この動き情報から、分析対象物の動きの方向が軸方向Ｓに対して一致しているか否かを把握することが可能となる。 When the value of the angle θ (absolute value) is large, it indicates that the movement of the analysis object included in the analysis range R does not coincide with the axial direction S. When the value of the angle θ is small, the motion is included in the analysis range R. This indicates that the movement of the analysis target object coincides with the axial direction S. That is, it is possible to grasp from the motion information whether or not the direction of the motion of the object to be analyzed coincides with the axial direction S.
また、情報抽出部１５は、分析範囲ベクトルＣの軸方向Ｓに対する動き量を動き情報として抽出することができる。情報抽出部１５は、上記投影ベクトルＣ'の動き量（（ｘ',ｙ'）で表される投影ベクトルＣ'の長さ）を分析範囲ベクトルＣの軸方向Ｓに対する動き量とすることができる。図１５は、分析範囲ベクトルＣの、軸方向Ｓに対する動き量（motion)の時間変化の例を示すグラフである。 In addition, the information extracting unit 15 can extract the amount of movement of the analysis range vector C in the axial direction S as motion information. The information extracting unit 15 may use the motion amount of the projection vector C ′ (the length of the projection vector C ′ represented by (x ′, y ′)) as the motion amount of the analysis range vector C in the axial direction S. it can. FIG. 15 is a graph illustrating an example of a temporal change of a motion amount (motion) of the analysis range vector C with respect to the axial direction S.
同図に示すように、軸方向Ｓに対する動き量は、分析対象動画像の撮像時刻（フレーム）に伴って変動する。上記のように軸方向Ｓに対する動き量は、軸方向Ｓに投影された投影ベクトルＣ'の動き量である。このため、分析範囲ベクトルＣの動き量が大きくても、その動き方向が軸方向Ｓと乖離していれば、軸方向Ｓに対する動き量は小さくなる。即ち、この動き情報から、分析対象物の軸方向に対する動きの程度を把握することが可能となる。 As shown in the figure, the amount of movement in the axial direction S fluctuates with the imaging time (frame) of the moving image to be analyzed. As described above, the motion amount in the axial direction S is the motion amount of the projection vector C ′ projected in the axial direction S. For this reason, even if the motion amount of the analysis range vector C is large, if the motion direction deviates from the axial direction S, the motion amount in the axial direction S becomes small. That is, it is possible to grasp the degree of the movement of the analysis object in the axial direction from the movement information.
また、情報抽出部１５は、軸方向Ｓから所定角度内を動き方向とする動き量を動き情報として抽出することができる。情報抽出部１５は、軸方向Ｓとなす角の角度θが所定角度内の分析範囲ベクトルＣの動き量（（ｘ,ｙ）で表される分析範囲ベクトルＣの長さ）を抽出することができる。所定角度（例えば±３０°）は任意であり、予め定められていてもよく、ユーザが設定してもよい。 Further, the information extracting unit 15 can extract, as motion information, a motion amount having a motion direction within a predetermined angle from the axial direction S. The information extraction unit 15 can extract the amount of motion (the length of the analysis range vector C represented by (x, y)) of the analysis range vector C in which the angle θ formed by the angle with the axial direction S is within a predetermined angle. it can. The predetermined angle (for example, ± 30 °) is arbitrary, may be predetermined, or may be set by the user.
ユーザは、抽出したい動き方向の角度範囲が小さければ狭い角度とし、抽出したい動き方向の角度範囲が大きければ広い角度とすることができる。図１６は、軸方向Ｓから所定角度内の分析範囲ベクトルＣの動き量（motion)の時間変化の例を示すグラフである。所定角度から外れた、即ち、軸方向Ｓとは方向が乖離した分析範囲ベクトルＣの動き量は抽出されないため、ユーザは所望の動き方向についての動き量を把握することが可能となる。 The user can set the angle to be narrow if the angle range of the motion direction to be extracted is small, and can be wide if the angle range of the motion direction to be extracted is large. FIG. 16 is a graph illustrating an example of a temporal change of the motion amount (motion) of the analysis range vector C within a predetermined angle from the axial direction S. Since the amount of movement of the analysis range vector C deviating from the predetermined angle, that is, deviating from the axial direction S, is not extracted, the user can grasp the amount of movement in the desired movement direction.
なお、上記説明では、情報抽出部１５は、分析範囲Ｒについて算出された分析範囲ベクトルＣについて動き情報を抽出するものとしたが、各算出区画Ｄについて算出された算出区画ベクトルＢ（図７参照）について同様に動き情報を抽出するものとしてもよい。即ち、図１４乃至図１６に示すような動き情報が、各算出区画Ｄ毎に抽出されてもよい。 In the above description, the information extraction unit 15 extracts the motion information for the analysis range vector C calculated for the analysis range R. However, the calculation partition vector B calculated for each calculation partition D (see FIG. 7) ) May be similarly extracted as the motion information. That is, motion information as shown in FIGS. 14 to 16 may be extracted for each calculation section D.
結果出力部１６は、情報抽出部１５から供給された動き情報を出力し、ユーザに提示する。結果出力部１６は例えば、図１４乃至図１６に示したように、動き情報のグラフを含む画像を生成し、ディスプレイに表示させるものとすることができる。 The result output unit 16 outputs the motion information supplied from the information extraction unit 15 and presents it to the user. For example, as shown in FIGS. 14 to 16, the result output unit 16 can generate an image including a graph of motion information and display the image on a display.
また、結果出力部１６は、動き情報を分析対象動画像においてマッピングし、動き情報提示画像を生成してもよい。図１７は、動き情報提示画像の例であり、図１７（ａ）は時刻１における動き情報提示画像、図１７（ｂ）は時刻２における動き情報提示画像である。 Further, the result output unit 16 may map the motion information in the analysis target moving image and generate a motion information presentation image. FIG. 17 shows an example of a motion information presentation image. FIG. 17A shows a motion information presentation image at time 1, and FIG. 17B shows a motion information presentation image at time 2.
図１８は、図１７（ａ）及び（ｂ）に示す動き情報提示画像の元となった分析対象動画像であり、心筋細胞の画像である。上記のように軸方向設定部によって、分析対象動画像の一方向に軸方向Ｓが設定されている。 FIG. 18 is an analysis target moving image that is the basis of the motion information presentation image shown in FIGS. 17A and 17B and is an image of a cardiomyocyte. As described above, the axial direction S is set in one direction of the moving image to be analyzed by the axial direction setting unit.
図１７（ａ）及び（ｂ）に示すように、結果出力部１６は、算出区画Ｄ毎に算出区画ベクトルＢの軸方向Ｓに対する動き量を濃淡又は色分け等で表すことができる。図１７（ａ）及び（ｂ）において、白色の区画は軸方向Ｓに対する動き量が大きい算出区画Ｄを示し、黒色の区画は軸方向Ｓに対する動き量が小さい算出区画Ｄを示す。 As shown in FIGS. 17A and 17B, the result output unit 16 can represent the amount of movement of the calculated section vector B in the axial direction S for each of the calculated sections D by shading or color coding. 17A and 17B, a white section indicates a calculated section D having a large amount of movement in the axial direction S, and a black section indicates a calculated section D having a small amount of movement in the axial direction S.
図１７（ａ）に示す時刻１の動き情報提示画像は心筋細胞の収縮時のものであり、図１７（ｂ）に示す時刻２の動き情報提示画像は心筋細胞の弛緩時のものである。図１７（ａ）と図１７（ｂ）を比較すると、白色の区画と黒色の区画の分布が異なっている。これは、軸方向に対する動き量が大きい区画が時刻によって異なっていることを示し、この画像から心筋細胞の動きの方向が把握できることがわかる。 The motion information presentation image at time 1 shown in FIG. 17 (a) is the one at the time of contraction of the cardiomyocytes, and the motion information presentation image at time 2 shown in FIG. 17 (b) is at the time of relaxation of the cardiomyocytes. 17 (a) and FIG. 17 (b), the distributions of the white section and the black section are different. This indicates that the section having a large amount of movement in the axial direction differs depending on the time, and it can be seen from this image that the direction of movement of the cardiomyocyte can be grasped.
また、結果出力部１６は、分析範囲ベクトルＣをユーザに提示してもよい。図１９は、分析範囲ベクトルＣの提示例を示す模式図である。結果出力部１６は、同図に示すように、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣを一つのグラフで提示してもよい。 Further, the result output unit 16 may present the analysis range vector C to the user. FIG. 19 is a schematic diagram showing a presentation example of the analysis range vector C. As shown in the figure, the result output unit 16 may present the analysis range vector C calculated at different times of the analysis target moving image for the analysis range R in one graph.
また、結果出力部１６は、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣの先端を結ぶ線Ｄを提示してもよい。線Ｄの形状は分析範囲ベクトルＣの時間変換の傾向を示す。例えば図１９における線Ｄは、左下方向に多く伸張しているが、これは分析範囲Ｒにおいて同方向への動きが大きいことを示す。 In addition, the result output unit 16 may present a line D connecting the tips of the analysis range vectors C calculated at different times of the analysis target moving image for the analysis range R. The shape of the line D indicates a tendency of the time conversion of the analysis range vector C. For example, the line D in FIG. 19 extends a lot in the lower left direction, which indicates that the movement in the same direction is large in the analysis range R.
分析範囲Ｒにおける分析対象動画像の動きが等方的であれば、線Ｄは円形に近い形状となる。即ち、ユーザは、線Ｄの形状を参照することによって、分析範囲Ｒにおける動きの方向を直感的に把握することが可能となる。また、結果出力部１６は、算出区画Ｄ毎に算出された算出区画ベクトルＢを、分析範囲ベクトルＣと同様に提示してもよい。 If the motion of the analysis target moving image in the analysis range R is isotropic, the line D has a shape close to a circle. That is, the user can intuitively grasp the direction of the movement in the analysis range R by referring to the shape of the line D. In addition, the result output unit 16 may present the calculation section vector B calculated for each calculation section D in the same manner as the analysis range vector C.
また、結果出力部１６は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像を生成し、ユーザに提示してもよい。図２０は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像の例である。 Further, the result output unit 16 may generate an image in which the analysis range vector C is superimposed on the analysis target moving image and present the image to the user. FIG. 20 is an example of an image in which the analysis range vector C is superimposed on the moving image to be analyzed.
同図に示すように、結果出力部１６は、分析範囲ベクトルＣと共に算出区画ベクトルＢを提示してもよく、算出区画ベクトルＢのうち動き量が大きいもののみを提示してもよい。また、結果出力部１６は、算出区画ベクトルＢのうち、分析範囲ベクトルＣと動き方向が同一又は所定角度内のもののみを提示してもよい。 As shown in the figure, the result output unit 16 may present the calculation section vector B together with the analysis range vector C, or may present only the calculation section vector B having the larger motion amount. In addition, the result output unit 16 may present, of the calculation section vectors B, only those having the same motion direction as the analysis range vector C or within a predetermined angle.
また、結果出力部１６は、所定の算出区画Ｄの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２１は、算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。同図に示す例では、神経細胞の軸索の先端に相当する算出区画Ｄの算出区画ベクトルＢが分析対象動画像に重畳されている。 The result output unit 16 may generate an image by superimposing the calculated section vector B of the predetermined calculated section D on the moving image to be analyzed. FIG. 21 is an example of an image in which the calculation section vector B is superimposed on the moving image to be analyzed. In the example shown in the figure, the calculation section vector B of the calculation section D corresponding to the tip of the axon of the nerve cell is superimposed on the analysis target moving image.
算出区画ベクトルＢを提示する算出区画Ｄは、ユーザによって指定されたものであってもよく、分析対象動画像に対する画像処理によって決定されたものであってもよい。例えば分析対象動画像に対する画像処理によって伸張する物体が検出されると、結果出力部１６はその先端に位置する算出区画Ｄの算出区画ベクトルＢを提示するものとすることができる。 The calculation section D that presents the calculation section vector B may be specified by the user, or may be determined by image processing on the moving image to be analyzed. For example, when an object to be expanded is detected by image processing on the moving image to be analyzed, the result output unit 16 can present the calculated section vector B of the calculated section D located at the tip thereof.
さらに、結果出力部１６は、分析対象動画像における異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２２は、異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。 Further, the result output unit 16 may generate an image by superimposing the calculation section vector B of a different frame in the analysis target moving image on the analysis target moving image. FIG. 22 is an example of an image in which the calculated section vector B of a different frame is superimposed on the moving image to be analyzed.
結果出力部１６は、あるフレームにおける最も大きい算出区画ベクトルＢ２と、その前のフレームにおける最も大きい算出区画ベクトルＢ１とを分析対象動画像に重畳させることができる。結果出力部１６は、より多数の異なるフレームの算出区画ベクトルＢを提示してもよい。これによりユーザは、分析対象動画像における動きの遷移を把握することができる。 The result output unit 16 can superimpose the largest calculated partition vector B2 in a certain frame and the largest calculated partition vector B1 in the previous frame on the moving image to be analyzed. The result output unit 16 may present calculated partition vectors B of a larger number of different frames. Thereby, the user can grasp the transition of the motion in the moving image to be analyzed.
また、結果出力部１６は、算出区画ベクトルＢ又は分析範囲ベクトルＣを積分することで動きの距離、微分することで動きの加速度を算出し、提示することも可能である。 The result output unit 16 can also calculate and present a motion distance by integrating the calculated section vector B or the analysis range vector C and a motion acceleration by differentiating the distance.
画像処理装置１０は以上のような機能的構成を有する。上記のように画像処理装置１０においては、分析対象動画像における動きが動きの方向に応じて提示される。このため、分析対象物の動きをその量だけでなく、動きの方向によって評価することが可能となる。 The image processing device 10 has the above functional configuration. As described above, in the image processing apparatus 10, the motion in the analysis target moving image is presented according to the direction of the motion. For this reason, it is possible to evaluate the movement of the object to be analyzed not only by the amount but also by the direction of the movement.
なお、範囲指定部１２は、分析対象動画像において、分析範囲Ｒを指定するとしたが、分析対象動画像の時刻経過に伴って分析範囲Ｒを移動させてもよい。図２３は、分析範囲Ｒの移動を示す模式図である。分析範囲Ｒ１は、分析対象動画像における所定の時間に設定された分析範囲であり、分析範囲Ｒ２はその後の所定の時間に設定された分析範囲である。 Although the range specifying unit 12 specifies the analysis range R in the analysis target moving image, the analysis range R may be moved as the time of the analysis target moving image elapses. FIG. 23 is a schematic diagram showing the movement of the analysis range R. The analysis range R1 is an analysis range set at a predetermined time in the analysis target moving image, and the analysis range R2 is an analysis range set at a predetermined time thereafter.
同図に示すように範囲指定部１２は、分析範囲Ｒ１を分析範囲ベクトルＣの方向に移動させ、分析範囲Ｒ２を新たな分析範囲とすることができる。分析範囲の移動量は、予め定められた所定量としてもよく、分析範囲ベクトルＣの大きさに応じて調整してもよい。 As shown in the figure, the range specifying unit 12 can move the analysis range R1 in the direction of the analysis range vector C, and can set the analysis range R2 as a new analysis range. The moving amount of the analysis range may be a predetermined amount or may be adjusted according to the size of the analysis range vector C.
動き解析部１３は、新たに設定された分析範囲Ｒ２について上記のように動き解析を実施し、算出区画ベクトルを算出するものとすることができる。情報抽出部１５は、その算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて、動き情報を抽出するものとすることができる。 The motion analysis unit 13 may perform the motion analysis on the newly set analysis range R2 as described above, and calculate the calculation section vector. The information extracting unit 15 may extract the motion information based on the calculated section vector or the analysis range vector and the axial direction.
これにより、分析範囲Ｒが所定時刻毎に分析範囲ベクトルの方向に移動するため、分析対象物の動きに追随して動きを評価することが可能となる。例えば、神経細胞の軸索輸送（図３参照）において、輸送物に合わせて分析範囲Ｒを移動させ、その輸送を評価することができる。 This allows the analysis range R to move in the direction of the analysis range vector at each predetermined time, so that it is possible to evaluate the motion following the motion of the analysis target. For example, in axon transport of nerve cells (see FIG. 3), the analysis range R can be moved according to the transported object, and the transport can be evaluated.
[画像処理装置の動作]
画像処理装置１０の動作について説明する。図２４は、画像処理装置１０の動作を示すフローチャートである。
[Operation of image processing device]
The operation of the image processing device 10 will be described. FIG. 24 is a flowchart illustrating the operation of the image processing apparatus 10.
同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１０１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１０２）。続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１０３）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１０４）。 As shown in the figure, the moving image acquisition unit 11 acquires a moving image to be analyzed (St101), and the range designation unit 12 designates an analysis range (St102). Subsequently, the motion analysis unit 13 calculates a calculation section vector in the analysis range (St103), and the information extraction unit 15 calculates an analysis range vector (St104).
続いて軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１０５）する。この際軸方向設定部１４は、分析範囲ベクトルに基づいて軸方向を設定してもよい。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１０６）、結果出力部１６が動き情報を提示する（Ｓｔ１０７）。 Subsequently, the axial direction setting unit 14 sets the axial direction in the analysis range (St105). At this time, the axial direction setting unit 14 may set the axial direction based on the analysis range vector. Subsequently, the information extracting unit 15 extracts motion information based on the calculated section vector or the analysis range vector and the axial direction (St106), and the result output unit 16 presents the motion information (St107).
なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。 Note that the result output unit 16 may generate an image in which the calculated section vector or the analysis range vector is superimposed on the moving image to be analyzed. In addition, the range specification unit 12 may move the analysis range according to the analysis range vector as the time of the analysis target moving image elapses.
また、画像処理装置１０は次のように動作をしてもよい。図２５は、画像処理装置１０の別の動作を示すフローチャートである。 Further, the image processing device 10 may operate as follows. FIG. 25 is a flowchart illustrating another operation of the image processing apparatus 10.
同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１１１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１１２）。続いて、軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１１３）する。軸方向設定部１４は、ユーザによる指定又は分析対象動画像に対する画像処理により軸方向を設定することができる。 As shown in the figure, the moving image acquisition unit 11 acquires an analysis target moving image (St111), and the range specification unit 12 specifies an analysis range (St112). Subsequently, the axial direction setting unit 14 sets the axial direction in the analysis range (St113). The axial direction setting unit 14 can set the axial direction by designation by a user or image processing on a moving image to be analyzed.
続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１１４）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１１５）。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１１６）、結果出力部１６が動き情報を提示する（Ｓｔ１１７）。 Subsequently, the motion analysis unit 13 calculates a calculation section vector in the analysis range (St114), and the information extraction unit 15 calculates an analysis range vector (St115). Subsequently, the information extracting unit 15 extracts motion information based on the calculated section vector or the analysis range vector and the axial direction (St116), and the result output unit 16 presents the motion information (St117).
なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。 Note that the result output unit 16 may generate an image in which the calculated section vector or the analysis range vector is superimposed on the moving image to be analyzed. In addition, the range specification unit 12 may move the analysis range according to the analysis range vector as the time of the analysis target moving image elapses.
[画像処理装置のハードウェア構成]
上記のような画像処理装置１０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
[Hardware configuration of image processing device]
The functional configuration of the image processing device 10 as described above can be realized by the following hardware configuration.
図２６は、画像処理装置１０のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０はハードウェア構成として、ＣＰＵ１０１、ＧＰＵ１０２、メモリ１０３、ストレージ１０４及び入出力部（Ｉ／Ｏ）１０５を有する。これらはバス１０６によって互いに接続されている。 FIG. 26 is a schematic diagram illustrating a hardware configuration of the image processing apparatus 10. As shown in the figure, the image processing apparatus 10 has a CPU 101, a GPU 102, a memory 103, a storage 104, and an input / output unit (I / O) 105 as a hardware configuration. These are connected to each other by a bus 106.
ＣＰＵ（Central Processing Unit）１０１は、メモリ１０３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１０３に格納する。ＣＰＵ１０１はマイクロプロセッサであるものとすることができる。 A CPU (Central Processing Unit) 101 controls other components according to a program stored in the memory 103, performs data processing according to the program, and stores a processing result in the memory 103. CPU 101 can be a microprocessor.
ＧＰＵ（Graphic Processing Unit）」１０２は、ＣＰＵ１０１による制御を受けて、画像処理を実行する。ＣＰＵ１０１はＧＰＵ１０２に並列演算処理を実行させ、動きベクトルの算出や動き情報の抽出を高速に行うことが可能である。ＧＰＵ１０２はマイクロプロセッサであるものとすることができる。 A “GPU (Graphic Processing Unit)” 102 executes image processing under the control of the CPU 101. The CPU 101 allows the GPU 102 to execute the parallel arithmetic processing, and can calculate a motion vector and extract motion information at high speed. GPU 102 may be a microprocessor.
メモリ１０３はＣＰＵ１０１によって実行されるプログラム及びデータを格納する。メモリ１０３はＲＡＭ（Random Access Memory）であるものとすることができる。 The memory 103 stores programs executed by the CPU 101 and data. The memory 103 can be a random access memory (RAM).
ストレージ１０４は、プログラムやデータを格納する。ストレージ１０４はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。 The storage 104 stores programs and data. The storage 104 can be a hard disk drive (HDD) or a solid state drive (SSD).
入出力部１０５は画像処理装置１０に対する入力を受け付け、また画像処理装置１０の出力を外部に供給する。入出力部１０５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。 The input / output unit 105 receives an input to the image processing apparatus 10 and supplies an output of the image processing apparatus 10 to the outside. The input / output unit 105 includes input devices such as a keyboard and a mouse, output devices such as a display, and a connection interface such as a network.
画像処理装置１０のハードウェア構成はここに示すものに限られず、画像処理装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。 The hardware configuration of the image processing apparatus 10 is not limited to the one shown here, but may be any as long as the functional configuration of the image processing apparatus 10 can be realized. Further, part or all of the hardware configuration may exist on a network.
なお、本技術は以下のような構成も採ることができる。 Note that the present technology can also adopt the following configurations.
（１）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
を具備する画像処理装置。
(1)
A motion analysis unit that calculates a motion vector in an analysis target moving image obtained by imaging an analysis target over time,
In the analysis target moving image, an axial direction setting unit that sets an axial direction,
An image processing apparatus comprising: an information extracting unit configured to extract information on a motion of the analysis target in the analysis target moving image in the axial direction based on the motion vector and the axial direction.
（２）
上記（１）に記載の画像処理装置であって、
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定する
画像処理装置。
(2)
The image processing apparatus according to (1),
The image processing device, wherein the axial direction setting unit sets the axial direction based on the motion vector.
（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定する
画像処理装置。
(3)
The image processing apparatus according to (1) or (2),
The image processing device, wherein the axial direction setting unit performs image processing on the analysis target moving image and sets the axial direction based on the processing result.
（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出する
画像処理装置。
(4)
The image processing apparatus according to any one of (1) to (3),
The image processing device, wherein the information extraction unit extracts an angle of the motion vector with respect to the axial direction.
（５）
上記（１）から（４）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出する
画像処理装置。
(5)
The image processing apparatus according to any one of (1) to (4),
The image processing device, wherein the information extraction unit projects the motion vector in the axial direction and extracts a motion amount in the axial direction.
（６）
上記（１）から（５）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出する
画像処理装置。
(6)
The image processing apparatus according to any one of (1) to (5),
The image processing device, wherein the information extraction unit extracts a motion amount from the motion vector within a predetermined angle from the axial direction.
（７）
上記（１）から（６）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲についての動きベクトルと上記軸方向に基づいて、上記情報を抽出する
画像処理装置。
(7)
The image processing apparatus according to any one of (1) to (6),
The analysis target moving image further includes a range specification unit that specifies an analysis range,
The motion analysis unit calculates a motion vector for each section of the analysis range,
The information extraction unit calculates a motion vector for the analysis range based on the motion vector calculated for each section, and extracts the information based on the motion vector for the analysis range and the axial direction. Processing equipment.
（８）
上記（１）から（７）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定する
画像処理装置。
(8)
The image processing apparatus according to any one of (1) to (7),
The image processing device, wherein the range designating unit performs image processing on the moving image to be analyzed and sets the analysis range based on the processing result.
（９）
上記（１）から（８）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させる
画像処理装置。
(9)
The image processing apparatus according to any one of (1) to (8),
The image processing device, wherein the range specification unit moves the analysis range based on a motion vector calculated for the analysis range.
（１０）
上記（１）から（９）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
(10)
The image processing apparatus according to any one of (1) to (9),
An image processing apparatus further comprising: a result output unit that generates an image in which a motion vector calculated for the analysis range is superimposed on the analysis target moving image.
（１１）
上記（１）から（１０）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
(11)
The image processing apparatus according to any one of (1) to (10),
An image processing apparatus further comprising: a result output unit configured to generate an image in which a motion vector selected from the motion vectors calculated for each of the sections is superimposed according to an image processing result of the analysis target moving image.
（１２）
上記（１）から（１１）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
(12)
The image processing apparatus according to any one of (1) to (11),
In the analysis target moving image, a motion vector selected from the motion vector calculated for each section in a predetermined frame of the analysis target moving image, and a motion vector selected for each of the sections in a frame earlier than the predetermined frame of the analysis target moving image. An image processing apparatus further comprising a result output unit that generates an image in which a motion vector selected from the calculated motion vectors is superimposed.
（１３）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる画像処理プログラム。
(13)
A motion analysis unit that calculates a motion vector in an analysis target moving image obtained by imaging an analysis target over time,
In the analysis target moving image, an axial direction setting unit that sets an axial direction,
An image processing program that causes an image processing apparatus to function as an information extraction unit that extracts information on the motion of the analysis target in the analysis target moving image in the axial direction based on the motion vector and the axial direction.
（１４）
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する
画像処理方法。
(14)
The motion analysis unit calculates a motion vector in the analysis target moving image obtained by imaging the analysis target over time,
An axial direction setting unit sets an axial direction in the analysis target moving image,
An image processing method, wherein an information extraction unit extracts information on a motion of an analysis target in the analysis target moving image in the axial direction based on the motion vector and the axis direction.
１０…画像処理装置
１１…動画像取得部
１２…範囲指定部
１３…動き解析部
１４…軸方向設定部
１５…情報抽出部
１６…結果出力部
DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus 11 ... Moving image acquisition part 12 ... Range specification part 13 ... Motion analysis part 14 ... Axial direction setting part 15 ... Information extraction part 16 ... Result output part
Claims (15)
前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
前記分析範囲の区画毎に抽出された動き量を出力する結果出力部
を具備する画像処理装置。 A range designation unit for designating an analysis range in an analysis target moving image obtained by imaging an analysis target over time,
In the analysis target moving image, a motion analysis unit that calculates a motion vector for each section of the analysis range,
As information on the motion of the analysis target in the analysis target moving image with respect to the set axis direction, a motion amount is extracted from the motion vector within a predetermined angle from the axis direction, or the analysis range is determined based on the motion vector. An information extraction unit that calculates an analysis range vector that is a motion vector for and extracts a motion amount from the analysis range vector within a predetermined angle from the axial direction.
An image processing apparatus comprising: a result output unit that outputs a motion amount extracted for each section of the analysis range.
前記分析対象動画像において、前記軸方向を設定する軸方向設定部
をさらに具備する画像処理装置。 The image processing device according to claim 1,
The image processing apparatus further comprising: an axial direction setting unit configured to set the axial direction in the analysis target moving image.
異なる時刻に抽出された前記軸方向に対する動きの情報の時間変化を出力する結果出力部
をさらに具備する画像処理装置。 The image processing device according to claim 1,
An image processing apparatus further comprising: a result output unit configured to output a time change of the motion information in the axial direction extracted at different times.
前記軸方向設定部は、前記動きベクトルに基づいて前記軸方向を設定する
画像処理装置。 The image processing device according to claim 2,
The image processing device, wherein the axis direction setting unit sets the axis direction based on the motion vector.
前記軸方向設定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記軸方向を設定する
画像処理装置。 The image processing device according to claim 2,
The image processing apparatus, wherein the axial direction setting unit performs image processing on the analysis target moving image and sets the axial direction based on a result of the processing.
前記情報抽出部は、前記軸方向に対する前記動きベクトルの角度を抽出する
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the information extracting unit extracts an angle of the motion vector with respect to the axial direction.
前記情報抽出部は、前記動きベクトルを前記軸方向に投影し、前記軸方向に対する動き量を抽出する
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the information extracting unit projects the motion vector in the axial direction and extracts a motion amount in the axial direction.
前記範囲指定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記分析範囲を設定する
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the range specification unit performs image processing on the analysis target moving image, and sets the analysis range based on the processing result.
前記範囲指定部は、前記分析範囲について算出された動きベクトルの方向に前記分析範囲を移動させる
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the range designating unit moves the analysis range in a direction of a motion vector calculated for the analysis range.
前記結果出力部は、前記分析対象動画像に前記分析範囲について算出された動きベクトルを重畳させた画像を生成する
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the result output unit generates an image in which a motion vector calculated for the analysis range is superimposed on the analysis target moving image.
前記結果出力部は、前記分析対象動画像に対する画像処理結果に応じて、前記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the result output unit generates an image in which a motion vector selected from the motion vectors calculated for each of the sections is superimposed, according to an image processing result on the analysis target moving image.
前記結果出力部は、前記分析対象動画像に、前記分析対象動画像の所定フレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルと、前記分析対象動画像の前記所定フレームより前のフレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する
画像処理装置。 The image processing device according to claim 1,
The result output unit includes, in the analysis target moving image, a motion vector selected from a motion vector calculated for each section in a predetermined frame of the analysis target moving image, and a motion vector before the predetermined frame of the analysis target moving image. Generating an image in which a motion vector selected from the motion vectors calculated for each section in the frame is superimposed;
Images processing device.
前記分析対象物は、心筋細胞又は神経細胞である
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the analyte is a cardiomyocyte or a nerve cell.
前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
前記分析範囲の区画毎に抽出された動き量を出力する結果出力部
として画像処理装置を機能させる画像処理プログラム。 In a moving image of the analysis target obtained by imaging the analysis target over time, a range specification unit that specifies an analysis range,
In the analysis target moving image, a motion analysis unit that calculates a motion vector for each section of the analysis range,
As information on the motion of the analysis target in the analysis target moving image with respect to the set axis direction, a motion amount is extracted from the motion vector within a predetermined angle from the axis direction, or the analysis range is determined based on the motion vector. An information extraction unit that calculates an analysis range vector that is a motion vector for and extracts a motion amount from the analysis range vector within a predetermined angle from the axial direction.
An image processing program that causes an image processing apparatus to function as a result output unit that outputs a motion amount extracted for each section of the analysis range.
動き解析部が、前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出し、
情報抽出部が、前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出し、
結果出力部が、前記分析範囲の区画毎に抽出された動き量を出力する
画像処理方法。 The range designation unit designates an analysis range in an analysis target moving image obtained by imaging the analysis target over time,
The motion analysis unit calculates a motion vector for each section of the analysis range in the analysis target moving image,
The information extraction unit extracts the amount of motion from the motion vector within a predetermined angle from the axis direction, as information on the motion of the analysis target in the analysis target moving image with respect to the set axis direction, or Calculating an analysis range vector that is a motion vector for the analysis range based on the analysis range vector and extracting a motion amount from the analysis range vector within a predetermined angle from the axial direction;
An image processing method, wherein a result output unit outputs a motion amount extracted for each section of the analysis range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019004421A JP6658926B2 (en) | 2019-01-15 | 2019-01-15 | Image processing apparatus, image processing program, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019004421A JP6658926B2 (en) | 2019-01-15 | 2019-01-15 | Image processing apparatus, image processing program, and image processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014165564A Division JP6467813B2 (en) | 2014-08-15 | 2014-08-15 | Image processing apparatus, image processing program, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019053791A JP2019053791A (en) | 2019-04-04 |
| JP6658926B2 true JP6658926B2 (en) | 2020-03-04 |
Family
ID=66013875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019004421A Active JP6658926B2 (en) | 2019-01-15 | 2019-01-15 | Image processing apparatus, image processing program, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6658926B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006208171A (en) * | 2005-01-27 | 2006-08-10 | Mitsubishi Electric Corp | Flow rate measuring device |
| US20120028288A1 (en) * | 2005-12-07 | 2012-02-02 | Nao Nitta | Method for Measuring Cell Motility and System Therefor |
| CN102906789B (en) * | 2010-03-29 | 2017-05-17 | 索尼公司 | Data processing device, data processing method, image processing device, image processing method, and program |
| DK2939212T3 (en) * | 2012-12-27 | 2018-10-22 | Tampereen Yliopisto | Visuel cardiomyocytanalyse |
| JP6494903B2 (en) * | 2013-02-14 | 2019-04-03 | ソニー株式会社 | Analysis system, analysis program, and analysis method |
-
2019
- 2019-01-15 JP JP2019004421A patent/JP6658926B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019053791A (en) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6467813B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP6759550B2 (en) | Information processing equipment, programs, information processing methods and observation systems | |
| CN105284108B (en) | Image monitoring system, monitoring arrangement | |
| JP2020103880A5 (en) | ||
| GB2315124A (en) | Real time tracking of camera pose | |
| WO2021147905A1 (en) | Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium | |
| US9678325B2 (en) | Analysis apparatus, analysis program, and analysis system | |
| CN108256567B (en) | Target identification method and system based on deep learning | |
| JP2015114172A (en) | Image processing apparatus, microscope system, image processing method, and image processing program | |
| JP6578950B2 (en) | Analysis system, analysis program, and analysis method | |
| JP6658926B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP2020060822A (en) | Image processing method and image processing apparatus | |
| WO2017169397A1 (en) | Image processing device, image processing method, and image processing system | |
| US11055865B2 (en) | Image acquisition device and method of operating image acquisition device | |
| WO2018074982A1 (en) | Method of interactive quantification of digitized 3d objects using an eye tracking camera | |
| Ribó et al. | An approach to gesture recognition with skeletal data using dynamic time warping and nearest neighbour classifier | |
| JP7195782B2 (en) | Information processing device, control method and program | |
| JPWO2010098211A1 (en) | Outline extraction apparatus, outline extraction method, and program | |
| Challa et al. | Facial Landmarks Detection System with OpenCV Mediapipe and Python using Optical Flow (Active) Approach | |
| Martin et al. | Real time tracking of borescope tip pose | |
| JP6860043B2 (en) | Nerve cell evaluation method, nerve cell evaluation program and nerve cell evaluation method | |
| Sediono | Multicolour object detection using multithreading | |
| JP2019098168A (en) | Skin analysis method and skin analysis system | |
| JP4660736B2 (en) | Moving picture time division processing method and apparatus | |
| KR20180069272A (en) | Apparatus and method for integral imaging display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6658926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |