JP7115058B2 - Image processing device, image processing method, program, and image processing system - Google Patents
Image processing device, image processing method, program, and image processing system Download PDFInfo
- Publication number
- JP7115058B2 JP7115058B2 JP2018118262A JP2018118262A JP7115058B2 JP 7115058 B2 JP7115058 B2 JP 7115058B2 JP 2018118262 A JP2018118262 A JP 2018118262A JP 2018118262 A JP2018118262 A JP 2018118262A JP 7115058 B2 JP7115058 B2 JP 7115058B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index information
- image processing
- partial section
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法、プログラム、および画像処理システムに関する。 The present invention relates to an image processing device, an image processing method, a program, and an image processing system.
現場に設置されたカメラ等により生成される映像を利活用する、所謂映像ソリューション技術が提供されている。例えば、下記特許文献1には、監視カメラにより撮影された動画内の動きの有無を検知し、動きが検知されなかった区間の撮像映像の再生速度を、動きが検知された区間の撮像映像の再生速度よりも速くする監視カメラシステムが開示されている。
A so-called video solution technology that utilizes video generated by a camera or the like installed on site has been provided. For example, in
また、画像処理に係る技術の一例として、下記特許文献2には、動画内の動きに基づいて間引き対象のフレームを選択し、当該選択したフレームを間引いた動画を生成する技術が開示されている。
In addition, as an example of technology related to image processing,
現場の監理業務に携わる監理者は、現場の状況や現場で行われている作業の成果(進捗度合い)などを、確認する必要がある。このような監理業務をコンピュータ等の装置を使って支援する場合、当該装置で実行される画像処理の演算量は少ない方が好ましい。画像処理が入力映像に対して一定に行われる場合、画像処理に向かない映像フレームも処理対象としてしまい、装置のリソースを十分に発揮できない課題がある。 A supervisor who is involved in on-site supervision needs to confirm the on-site situation and the results (degree of progress) of work performed on-site. When such supervision work is supported using a device such as a computer, it is preferable that the amount of computation for image processing executed by the device is small. When image processing is constantly performed on the input video, video frames that are not suitable for image processing are also processed, and there is a problem that the resources of the device cannot be fully utilized.
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、現場の監理業務を画像処理技術を用いて支援する装置において、その画像処理の演算量を削減する技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for reducing the amount of computation for image processing in a device that supports on-site supervision work using image processing technology.
本発明の画像処理装置は、
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得する指標情報取得手段と、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定する区間設定手段と、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成するタイムラプス動画生成手段と、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行する画像解析手段と、
前記タイムラプス動画および前記解析処理の結果を出力する出力手段と、
を備える。
The image processing device of the present invention is
index information obtaining means for obtaining index information serving as an index for judging movement in a moving image of a civil engineering construction site or a construction site;
section setting means for setting a plurality of partial sections in the moving image based on the index information;
time-lapse moving image generation means for generating a time-lapse moving image by performing time-lapse processing for each partial interval at a rate determined according to the index information corresponding to the partial interval;
image analysis means for executing analysis processing using a frame image of a specific partial section among the plurality of partial sections in which the index information satisfies a criterion;
output means for outputting the time-lapse video and the result of the analysis processing;
Prepare.
本発明の画像処理方法は、
コンピュータが、
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定し、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成し、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
ことを含む。
The image processing method of the present invention is
the computer
Acquiring index information that serves as an index for judging movement in a video taken of a civil engineering or construction site,
setting a plurality of partial sections in the video based on the index information;
generating a time-lapse video by performing time-lapse processing for each partial section at a rate determined according to the index information corresponding to the partial section;
executing an analysis process using a frame image of a specific partial section among the plurality of partial sections in which the index information satisfies a criterion;
outputting the time-lapse video and the result of the analysis process;
Including.
本発明のプログラムは、コンピュータに、上述の画像処理方法を実行させる。 A program of the present invention causes a computer to execute the image processing method described above.
本発明の画像処理システムは、
撮像装置と、
前記撮像装置と通信可能に接続された画像処理装置と、を備える画像処理システムであって、
前記撮像装置は、
土木工事現場または建設現場を撮影して動画を生成し、
前記動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に応じて決まるレートで、前記動画を構成する複数のフレーム画像の中から、前記画像処理装置に送信する複数の送信用フレーム画像を選択し、
選択した前記複数の送信用フレーム画像を前記画像処理装置に送信し、
前記画像処理装置は、
前記撮像装置から送信された前記複数の送信用フレーム画像を用いてタイムラプス動画を構築し、
前記複数の送信用フレーム画像の中から、前記レートが基準を満たす送信用フレーム画像を用いて解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する。
The image processing system of the present invention is
an imaging device;
An image processing system comprising an image processing device communicably connected to the imaging device,
The imaging device is
Shoot a civil engineering or construction site and generate a video,
Acquiring index information that serves as an index for determining movement in the moving image;
selecting a plurality of transmission frame images to be transmitted to the image processing device from among the plurality of frame images constituting the moving image at a rate determined according to the index information;
transmitting the plurality of selected frame images for transmission to the image processing device;
The image processing device is
constructing a time-lapse video using the plurality of transmission frame images transmitted from the imaging device;
executing an analysis process using a transmission frame image whose rate satisfies a standard from among the plurality of transmission frame images;
Outputting the time-lapse moving image and the result of the analysis processing.
本発明によれば、現場の監理業務を画像処理技術を用いて支援する装置において、その画像処理の演算量を削減することができる。 According to the present invention, it is possible to reduce the amount of computation for image processing in a device that supports on-site supervision work using image processing technology.
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in all the drawings, the same constituent elements are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Moreover, in each block diagram, each block does not represent a configuration in units of hardware, but a configuration in units of functions, unless otherwise specified.
[第1実施形態]
〔処理構成〕
図1は、第1実施形態における画像処理システム1の構成を概念的に示すブロック図である。図1に示されるように、画像処理システム1は、画像処理装置10、撮像装置20、出力装置30を含んで構成される。画像処理装置10は、撮像装置20および出力装置30と通信可能に接続されている。画像処理装置10は、現場(例えば、土木工事現場や建設現場など)に設けられた撮像装置20から動画を取得し、その動画を基に生成したタイムラプス動画および映像の解析結果を、監理者用の出力装置30に出力する。以下、画像処理装置10についてより詳細に説明する。
[First embodiment]
[Processing configuration]
FIG. 1 is a block diagram conceptually showing the configuration of an
図1に示されるように、本実施形態の画像処理装置10は、指標情報取得部110、区間設定部120、タイムラプス動画生成部130、画像解析部140、および、出力部150を有する。
As shown in FIG. 1 , the
指標情報取得部110は、撮像装置20により生成された現場(土木工事現場や建設現場など)の動画から、指標情報を取得する。指標情報は、当該動画における動きを判断するための指標となる情報である。
The index
例えば、指標情報取得部110は、動画を構成する複数のフレーム画像(映像データ)を基に、動画における動きを示す指標情報を取得することができる。具体的には、指標情報取得部110は、フレーム画像間の差分情報を、動画における動きを示す指標情報として取得することができる。例えば、動画の中で何らかの動きがあった場合、異なるフレーム画像間でその動きの大きさに応じた差分が生じる。このように、異なるフレーム画像間の差分は、動画の中での動きを判断する指標として利用可能である。指標情報取得部110は、例えば、互いに隣接する2つのフレーム画像間で差分情報を取得してもよいし、予め決められた枚数の連続フレーム画像を1つのグループとして、グループ単位で差分情報を取得してもよい。
For example, the index
また例えば、指標情報取得部110は、動画に音声データが含まれている場合、当該音データを基に、動画の中での動きを示す指標情報を取得することができる。具体的には、指標情報取得部110は、音データの音量を示す情報を、動画の中での動きを示す指標情報として取得することができる。例えば、動画の中で何らかの動きがあった場合、その動きの主体(例えば、作業員や建機などの動体)が音源となって音が生じることがある。また、物体の動きによって生じた音の大きさ(音量)は、その動きの大きさを示し得る。このように、動画に含まれる音データは、動画の中での動きを判断する指標情報として利用可能である。
Further, for example, when audio data is included in a moving image, the index
区間設定部120は、指標情報に基づいて、動画の中で複数の部分区間を設定する。
The
例えば、区間設定部120は、次のように動作する。まず、区間設定部120は、指標情報に基づいて、その指標情報に対応するフレーム画像の区間が「動きの多い区間」および「動きの少ない区間」のいずれに該当するかを判別する。具体的な例として土木工事現場を撮影した動画のケースを考える。
For example, the
この場合、「動きの多い区間」では、指標情報取得部110は、例えば、予め定められた基準を超える動きを示す指標情報を得ることができる。例えば、動画中の「動きの多い区間」は、主に、物体(工事用の建機や車両、または、作業員など)が写るフレーム画像(例:図2)を含む。図2は、「動きの多い区間」におけるフレーム画像の一例を示す図である。図2には、複数の工事用車両が走行している瞬間を切り取ったフレーム画像が例示されている。指標情報取得部110は、図2に例示されるようなフレーム画像を主に含む区間については、予め定められた基準を超える動きを示す指標情報(フレーム画像間の差分や音データの音量)を得ることができる。そして、区間設定部120は、指標情報取得部110により取得された指標情報に基づいて、図2に例示されるようなフレーム画像を「動きの多い区間」の画像と判断することができる。
In this case, in a “segment with a lot of movement”, the index
また、「動きの少ない区間」では、指標情報取得部110は、例えば、予め定められた基準以下の動きを示す指標情報を得ることができる。例えば、動画中の「動きの少ない区間」は、主に、物体(工事用の建機や車両、または、作業員など)が写っていないフレーム画像(例:図3)を含む。図3は、「動きの少ない区間」におけるフレーム画像の一例を示す図である。指標情報取得部110は、図3に例示されるようなフレーム画像を主に含む区間については、予め定められた基準以下の動きを示す指標情報(フレーム画像間の差分や音データの音量)を得ることができる。そして、区間設定部120は、指標情報取得部110により取得された指標情報に基づいて、そのフレーム画像を「動きの少ない区間」の画像と判断することができる。
In addition, in a “slow motion section”, the index
そして、区間設定部120は、「動きの多い区間」または「動きの少ない区間」として連続するフレーム画像群(部分区間)をそれぞれ特定する。そして、区間設定部120は、特定された部分区間それぞれの始端および終端のフレーム画像の位置を示す情報を図示しないメモリなどに保持する。これにより、動画の中に複数の部分区間が設定される。
Then, the
なお、区間設定部120は、「動きの多い区間」を、指標情報が示す動きの大きさに応じて段階的に判別するように構成されていてもよい。その場合、「動きの多い区間」として連続するフレーム画像群(部分区間)は段階別に設定される。同様に、区間設定部120は、「動きの少ない区間」を、指標情報が示す動きの大きさに応じて段階的に判別するように構成されていてもよい。その場合、「動きの少ない区間」として連続するフレーム画像群(部分区間)は段階別に設定される。
Note that the
タイムラプス動画生成部130は、撮像装置20が生成した動画を基に、タイムラプス動画を生成する。タイムラプス動画生成部130は、区間設定部120により設定された部分区間毎に、その部分区間に対応する指標情報に応じて決まるレート(再生速度)でタイムラプス処理を施すことによって、タイムラプス動画を生成する。具体的には、タイムラプス動画生成部130は、部分区間に対応する指標情報が示す動きが大きいほど、その部分区間のレートが小さく(再生速度が遅く)なるように、その部分区間に対してタイムラプス処理を実行する。言いかえると、タイムラプス動画生成部130は、「動きの多い区間」として設定された部分区間のレートが、「動きの少ない区間」として設定された部分区間のレートよりも小さくなるように、各部分区間に対してタイムラプス処理を実行する。一例として、タイムラプス動画生成部130は、「動きの多い区間」として設定された部分区間のレートおよび「動きの少ない区間」として設定された部分区間のレートが、それぞれ、「2倍」および「10倍」となるようにタイムラプス処理を実行する。ここで、ある部分区間の再生速度をN倍にする場合、タイムラプス動画生成部130は、単純にその部分区間のフレームレートをN倍にしてもよいし、当該部分区間においてN-1枚飛ばしで再生用のフレーム画像を選択(間引き)してもよい。前者の処理では、生成されるタイムラプス動画においてデータの欠落はない。つまり、前者の処理で生成したタイムラプス動画に対しては、監理者が、タイムラプス動画の再生速度を下げれば、各フレーム画像を詳細に確認することが可能である。そのため、監理者が各フレーム画像をより詳細に見る可能性がある部分区間(具体的には、動きの多い区間)に対するタイムラプス処理としては、前者の処理が好ましい。また、後者の処理では、間引いた部分のフレーム画像については監理者が確認できなくなるが、生成されるタイムラプス動画のデータ量が削減される。そのため、監理者が再生速度を変更して見る可能性が低い部分区間(具体的には、動きの少ない区間)に対するタイムラプス処理としては、後者の処理が好ましい。なお、区間設定部120によって「動きの多い区間」および「動きの少ない区間」が複数の段階で設定される場合、タイムラプス動画生成部130は、各段階に対応するレートを使って、上述したようなタイムラプス処理を実行する。
The time-lapse
画像解析部140は、複数の部分区間のうち、特定部分区間を選択する。ここで、「特定部分区間」は、区間設定部120によって設定された複数の部分区間の中で、指標情報が示す動きが基準を満たす部分区間である。具体的には「特定部分区間」は、指標情報が示す動きが基準以下である(すなわち、動きの少ない)部分区間である。画像解析部140は、各部分区間に対応する指標情報によって示される、各部分区間の動きの大きさに基づいて、その動きが基準(例えば、予め設定された閾値)以下である部分区間を特定部分区間として選択することができる。
The
例えば、指標情報取得部110が、フレーム画像間の差分を示す情報を指標情報として取得したとする。この場合、画像解析部140は、各部分区間に対応する指標情報に基づいて、その指標情報が示す差分が基準(例えば、予め設定されたフレーム画像間の差分に関する閾値)以下である部分区間を、特定部分区間として選択することができる。また例えば、指標情報取得部110が、動画に含まれる音データの音量を示す情報を指標情報として取得したとする。この場合、画像解析部140は、各部分区間に対応する指標情報に基づいて、その指標情報が示す音量が基準(例えば、予め設定された音量に関する閾値)以下である部分区間を、特定部分区間として選択することができる。なお、指標情報が示す音量が基準以下である部分区間の映像では、例えば、建機、車両、作業員といった、監視対象の物体が活動していない可能性が高い。すなわち、指標情報が示す音量が基準以下の部分区間は、監理者が注視する必要性の低い映像区間とも言える。一方、指標情報が示す音量が基準を超える部分区間の映像では、上記で例示したような監視対象の物体が活動している可能性が高い。すなわち、指標情報が示す音量が基準を超える部分区間は、監理者が注視すべき映像区間とも言える。
For example, assume that the index
そして、画像解析部140は、特定部分区間として選択された部分区間のフレーム画像を用いて、解析処理を実行する。具体的には、画像解析部140は、特定部分区間のフレーム画像に写る解析対象物の変位を検出する処理を、上述の解析処理として実行する。
Then, the
ここで、「解析対象物」とは、現場において形状または色が時間の経過と共に少しずつ変化する物体(形状または色の経時変化が小さい物体)である。解析対象物の具体的な例としては、盛土、ダム堤体、コンクリートブロック、コンクリート舗装、法面に吹き付けられるコンクリートやモルタル、路面に散布された水分、プラントの資材置き場に置かれた資材、船舶等の積荷、埋め立て地のゴミなどが挙げられる。但し、解析対象物は、ここで挙げた例に限定されない。例えば、解析対象物が「盛土」である場合、その高さ、法長、幅などが時間の経過とともに少しずつ変化していく。また、解析対象物が「ダム堤体」である場合、その高さ、ジョイントの間隔、厚さなどが時間の経過と共に少しずつ変化していく。また、解析対象物が「コンクリートブロック」である場合、その高さ、法長、幅などが時間の経過と共に少しずつ変化していく。また、解析対象物が「コンクリート舗装」である場合、その長さや面積などが時間の経過と共に少しずつ変化していく。また、解析対象物が「路面に散布された水分」である場合、路面の水分量などが時間の経過と共に少しずつ変化していく。なお、画像解析部140は、路面の色に基づいて路面の水分量を推測することができる。また、解析対象物が「プラントの資材置き場に置かれた資材」である場合、その量などが時間の経過と共に少しずつ変化していく。また、解析対象物が「船舶等の積荷」である場合、その量などが時間の経過と共に少しずつ変化していく。また、解析対象物が「埋め立て地のゴミ」である場合、その量などが時間の経過と共に少しずつ変化していく。画像解析部140は、時間の経過と共に少しずつ変化するこれらの解析対象物について、特定部分区間(動きの少ない部分区間)のフレーム画像を解析することで、その変位を検出する。
Here, the “object to be analyzed” is an object whose shape or color gradually changes over time (an object whose shape or color changes little over time). Specific examples of objects to be analyzed include embankments, dam bodies, concrete blocks, concrete pavement, concrete and mortar sprayed on slopes, water sprayed on road surfaces, materials placed in plant storage areas, and ships. cargo, landfill waste, etc. However, the analysis target is not limited to the examples given here. For example, if the object to be analyzed is an embankment, its height, slope length, width, etc. will gradually change over time. If the object to be analyzed is a "dam body", its height, joint spacing, thickness, etc. will gradually change over time. In addition, when the object to be analyzed is a "concrete block", its height, slope, width, etc. change little by little with the passage of time. Further, when the object to be analyzed is "concrete pavement", its length, area, etc. gradually change with the passage of time. Further, when the object to be analyzed is "moisture sprayed on the road surface", the amount of water on the road surface changes little by little with the lapse of time. Note that the
また、画像解析部140は、活火山や河川の変位を検出する処理を、解析処理として行ってもよい。例えば、画像解析部140は、活火山から噴煙等が上がる前の(すなわち、動きの多いフレーム画像よりも前の)、動きの少ないフレーム画像を解析することによって、活火山の噴火の兆候を検出できる可能性がある。同様に、画像解析部140は、河川の水量が急激に増加する前の、動きの少ないフレーム画像を解析することによって、河川の氾濫の兆候を検出できる可能性がある。
Further, the
特に限定されないが、画像解析部140は、例えば次のようにして、特定部分区間のフレーム画像に写る解析対象物の変位を検出することができる。まず、画像解析部140は、特定部分区間のフレーム画像内の解析対象物を検出する。画像解析部140は、例えば、CNN(Convolutional Neural Network)などを用いて、特定部分区間のフレーム画像に写る物体それぞれの領域を識別(セグメンテーション)する。そして、画像解析部140は、セグメンテーションの結果(識別された物体毎に付与されたラベル)に基づいて、解析対象物の領域を認識する。ここで、解析対象物として扱う物体を示す情報は、例えば、予め画像処理装置10のメモリやストレージデバイスといった記憶領域に予め定義されている。画像解析部140は、記憶領域に予め定義された情報を用いて、解析対象物の領域と、解析対象物以外の物体の領域とを切り分けて認識することができる。この場合、記憶領域において予め定義されていない物体は、例えば形状などが時間の経過と共にゆっくりと変化する物体であっても解析対象物として画像解析部140に認識されない。これにより、例えば、野外の土木工事現場や建設現場で撮影された動画に写る雲など、その変位を検出する必要のない物体について、画像解析部140が余計な演算を実行しないように制御することができる。そして、画像解析部140は、異なるフレーム画像間で解析対象物の領域を比較することによって、当該解析対象物の変位(例えば、高さ、幅、奥行きといった形状の変位など)を算出することができる。
Although not particularly limited, the
画像解析部140の動作例について、図4を用いて説明する。図4は、画像解析部140により「解析対象のフレーム画像」として選択されたフレーム画像を例示する図である。図中の3つの画像は、上から下に時系列で並んでいる。なお、図4の例において、解析対象物は「盛土」である。また、画像解析部140は、図中の点線部の領域を解析対象物OBJ(盛土)が存在する領域と認識しているものとする。この場合、図中1枚目のフレーム画像において「盛土」が存在する領域が認識されていないため、画像解析部140は、盛土の高さの変位量として「0」を取得することができる。また、画像解析部140は、2枚目のフレーム画像における解析対象物(盛土)の認識結果に基づいて、盛土の高さの変位量として「h1」を取得することができる。また、画像解析部140は、2枚目のフレーム画像における解析対象物(盛土)の認識結果に基づいて、盛土の高さの変位量として「h2」と取得することができる。また、画像解析部140は、同様に、解析対象物の幅や奥行といった形状に関する情報を取得することができる。なお、画像解析部140は、動画に付与された撮像装置20のカメラパラメータを用いることにより、フレーム画像における解析対象物のスケールを、実際のスケールに変換することができる。このように特定部分区間毎に解析対象物の変位を検出することによって、画像解析部140は、当該解析対象物の時間的な変位を示す情報を得ることができる。
An operation example of the
ここで、画像解析部140は、特定部分区間毎に、所定の枚数のフレーム画像を解析処理の対象のフレーム画像として選択する。一例として、区間設定部120によって5つの部分区間が設定され、画像解析部140が、当該5つの部分区間の中の第2および第4の部分区間を特定部分区間として選択したとする。この場合、画像解析部140は、第2の部分区間における複数のフレーム画像および第4の部分区間における複数のフレーム画像それぞれから、所定の枚数(例:1枚)のフレーム画像を解析処理の対象のフレーム画像として選択する。ここで、特定部分区間は、動画の動きが少ない部分区間であるが、その区間の時間が長い場合、結果として大きな変化が生じている場合もある。そこで、画像解析部140は、特定部分区間の時間の長さに応じて、選択するフレーム画像の枚数を変化させる(増やす)ように構成されていてもよい。
Here, the
出力部150は、タイムラプス動画生成部130により生成されたタイムラプス動画と、画像解析部140による解析処理の結果とを、監理者用の出力装置30に出力する。例えば、出力部150は、解析処理の結果(解析対象物の変位量など)をメタデータとしてタイムラプス動画に付与することができる。この場合、解析処理の結果(解析対象物の変位量など)が、タイムラプス動画の再生位置と同期させて出力装置30に出力される。また、出力部150は、解析処理の結果(解析対象物の変位量など)をグラフ化して、タイムラプス動画に重畳表示させてもよい。監理者は、出力装置30に出力されるタイムラプス動画および解析処理の結果を用いて、監理業務を効率的に進めることができる。
The
〔ハードウエア構成例〕
画像処理装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、画像処理装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
[Hardware configuration example]
Each functional component of the
図5は、画像処理装置10のハードウエア構成を例示するブロック図である。画像処理装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
FIG. 5 is a block diagram illustrating the hardware configuration of the
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
A
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
The
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
The
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は画像処理装置10の各機能(指標情報取得部110、区間設定部120、タイムラプス動画生成部130、画像解析部140、出力部150など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
The
入出力インタフェース1050は、画像処理装置10と各種入出力デバイスとを接続するためのインタフェースである。入出力インタフェース1050には、例えば、キーボードやマウスなどの入力装置(図示せず)や、ディスプレイなどの出力装置(図示せず)が接続され得る。
The input/
ネットワークインタフェース1060は、画像処理装置10をネットワークに接続するためのインタフェースである。画像処理装置10は、ネットワークインタフェース1060を介して、現場に設置された撮像装置20や、監理者用の出力装置30と通信することができる。
A
なお、画像処理装置10のハードウエア構成は図5に例示される構成に限定されない。例えば、画像処理装置10の処理部の一部または全部は、画像処理システム1を構成する複数の装置に分散して或いは重複して設けられていてもよい。
Note that the hardware configuration of the
〔処理の流れ〕
本実施形態における画像処理装置10により実行される処理の流れについて説明する。図6は、第1実施形態の画像処理装置10により実行される処理の流れを例示するフローチャートである。
[Process flow]
A flow of processing executed by the
まず、画像処理装置10は、撮像装置20により生成された動画を取得する(S102)。画像処理装置10は、例えば、撮像装置20から動画を直接受信してもよいし、撮像装置20により生成された動画を蓄積する他の外部装置(図示せず)と通信し、当該外部装置を経由して動画を取得してもよい。
First, the
指標情報取得部110は、取得された動画から、指標情報を取得する(S104)。例えば、指標情報取得部110は、動画を構成する複数のフレーム画像のうち、互いに隣接するフレーム画像間の差分を、動画の動きを示す指標情報として取得する。また、指標情報取得部110は、動画に音声データが含まれている場合、音声データの音量の変化(動画内での音量の変化など)を、動画の動きを示す指標情報として取得してもよい。
The index
区間設定部120は、S104の処理で取得された指標情報に基づいて、動画の中で複数の部分区間を設定する(S106)。区間設定部120は、例えば、S104で取得された指標情報を基に、各指標情報に対応するフレーム画像の区間が「動きの多い区間」および「動きの少ない区間」のいずれに該当するかを判別する。そして、区間設定部120は、「動きの多い区間」または「動きの少ない区間」として連続するフレーム画像群を、それぞれ部分区間として設定する。
The
そして、タイムラプス動画生成部130は、タイムラプス動画生成処理(例:図7)を実行する(S108)。図7は、タイムラプス動画生成部130によるタイムラプス動画生成処理の具体的な流れを例示するフローチャートである。まず、タイムラプス動画生成部130は、区間設定部120により設定された複数の部分区間の1つを選択する(S202)。そして、タイムラプス動画生成部130は、選択した部分区間に対応する指標情報が示す動きの大きさが基準(動きの大きさに関する所定の閾値)以下か否かを判定する(S204)。すなわち、タイムラプス動画生成部130は、選択した部分区間の動きが多いか少ないかを判定する。選択した部分区間に対応する指標情報が示す動きの大きさが基準以下である(すなわち、動きが少ない)場合(S204:YES)、タイムラプス動画生成部130は、第1のレートでタイムラプス処理を実行する(S206)。一方、タイムラプス動画生成部130は、選択した部分区間に対応する指標情報が示す動きの大きさが基準を超える(すなわち、動きが多い)場合(S204:NO)、タイムラプス動画生成部130は、第2のレートでタイムラプス処理を実行する(S208)。ここで、第2のレートは、第1のレートよりも小さい値に設定されている。
Then, the time-lapse
その後、タイムラプス動画生成部130は、全ての部分区間が選択されたか否かを判定する(S210)。未選択の部分区間が残っている場合(S210:NO)、タイムラプス動画生成部130は、新たな部分区間を選択して、上述の処理を繰り返す。一方、全ての部分区間が選択された場合(S210:YES)、タイムラプス動画生成部130は、各部分区間の処理結果を結合して、1つのタイムラプス動画を生成する(S212)。
After that, the time-lapse
図6に戻り、画像解析部140は、動画を用いた解析処理(例:図8)を行う(S110)。図8は、画像解析部140による解析処理の具体的な流れを例示するフローチャートである。まず、画像解析部140は、区間設定部120により設定された複数の部分区間の1つを選択する(S302)。そして、画像解析部140は、選択した部分区間に対応する指標情報が示す動きの大きさが基準(動きの大きさに関する所定の閾値)以下か否かを判定する(S304)。すなわち、画像解析部140は、選択した部分区間の動きが多いか少ないかを判定する。選択した部分区間に対応する指標情報が示す動きの大きさが基準以下である(すなわち、動きが少ない)場合(S304:YES)、画像解析部140は、その部分区間を特定部分区間として特定する。そして、画像解析部140は、特定部分区間のフレーム画像を使って、解析対象物の変位を検出する解析処理(変位検出処理)を実行する(S306)。一方、選択した部分区間に対応する指標情報が示す動きの大きさが基準を超える(すなわち、動きが多い)場合(S304:NO)、画像解析部140は、その部分区間を特定部分区間以外の区間として特定し、その区間については変位検出処理を実行しない。ここで、画像解析部140は、指標情報が示す動きの大きさが基準を超える(すなわち、動きが多い)部分区間に対して、変位検出処理とは別の解析処理を実行するように構成されていてもよい。例えば、画像解析部140は、指標情報が示す動きの大きさが基準を超える(すなわち、動きが多い)部分区間のフレーム画像を使って、動体(例えば、建機、車両、作業員など)を検出する処理(動体検出処理)などを実行してもよい(S308)。
Returning to FIG. 6, the
その後、画像解析部140は、全ての部分区間が選択されたか否かを判定する(S310)。未選択の部分区間が残っている場合(S310:NO)、画像解析部140は、新たな部分区間を選択して、上述の処理を繰り返す。一方、全ての部分区間が選択された場合(S310:YES)、画像解析部140は、各部分区間の処理結果を、タイムラプス動画と対応付ける(S312)。
After that, the
図6に戻り、出力部150は、S108の処理およびS110の処理で得られる、タイムラプス動画および解析処理の結果を、監理者用の出力装置30に出力する(S112)。監理者は、出力装置30に出力されたタイムラプス動画および解析処理の結果を見て、監理作業を効率的に進めることができる。ここで、画像処理装置10は、監理者用の端末(図示せず)を介して、部分区間の再生速度を指定する入力や、解析処理の結果の表示態様を変える(例えば、グラフ化して映像に重畳させる)ための入力を受け付け、受け付けた入力に応じて出力の仕方を変更するように構成されていてもよい。
Returning to FIG. 6, the
以上、本実施形態では、動きの少ない部分区間(特定部分区間)のフレーム画像を使って、解析処理(具体的には、解析対象物の変位を検出する処理)が実行される。ここで、特定部分区間のフレーム画像は、動きの少ない、言いかえれば、画像解析処理で解析対象物以外のノイズとなる物体が少ない画像と言える。よって、特定部分区間のフレーム画像を解析に用いることで、画像解析処理の精度が低下することを防止することができる。また、画像解析処理の対象とする部分区間(フレーム画像数)を絞り込むことによって、その画像解析処理の演算量を削減する効果も得られる。 As described above, in the present embodiment, the analysis process (specifically, the process of detecting the displacement of the analysis object) is executed using the frame image of the partial section (specific partial section) with little movement. Here, the frame image of the specific partial section can be said to be an image with little movement, in other words, an image with few objects other than the analysis object that will become noise in the image analysis process. Therefore, by using the frame image of the specific partial section for analysis, it is possible to prevent the accuracy of the image analysis process from deteriorating. Further, by narrowing down the partial sections (the number of frame images) to be subjected to the image analysis processing, it is possible to obtain the effect of reducing the amount of calculation of the image analysis processing.
また、本実施形態では、動きの多い部分区間の再生速度が、動きの少ない部分区間の再生速度よりも小さくなるようなタイムラプス動画が生成される。これにより、動画の確認作業にかかる時間を短縮しつつ、動きの多い部分区間において監理者の見落としが発生することを抑制する、という効果が得られる。また、動体(例えば、建機、車両、作業員など)を検出する別の画像解析処理を併せて実行する場合には、当該処理の対象を動きの多い部分区間に絞り込むことにより、全体の演算量を削減できる。 Further, in this embodiment, a time-lapse moving image is generated in which the playback speed of partial sections with a lot of motion is lower than the playback speed of partial sections with little motion. As a result, it is possible to obtain the effect of reducing the time required for checking the moving image and preventing the supervisor from overlooking a partial section with a lot of movement. In addition, when another image analysis process for detecting moving objects (for example, construction machines, vehicles, workers, etc.) is also executed, by narrowing down the target of the process to partial sections with a lot of movement, the entire calculation can be performed. can reduce the amount.
[第2実施形態]
上述の第1実施形態で述べたように、動く物体(例えば、土木作業現場や建築作業現場などでは建機や人物など)が解析対象物の変位等を解析する際のノイズとなり得る。そこで、上述の第1実施形態では、動きの少ない部分区間(すなわち、ノイズが少ないと考えられる部分区間)である、特定部分区間のフレーム画像を用いて、解析対象物の変位を検出する解析処理を実行する流れを説明した。しかしながら、上述したような物体が時間的に連続して静止しているといった場合、第1実施形態の構成では、ノイズを含む部分区間が「特定部分区間」として選択されてしまう可能性がある。本実施形態の画像処理装置10は、この問題を解消する構成をさらに有する。
[Second embodiment]
As described in the above-described first embodiment, moving objects (eg, construction machines and people at civil engineering work sites and construction work sites) can become noise when analyzing the displacement of the analysis target. Therefore, in the above-described first embodiment, the analysis process detects the displacement of the object to be analyzed using a frame image of a specific partial section, which is a partial section with little movement (that is, a partial section that is considered to have little noise). explained the flow of execution. However, in the case where an object as described above is continuously stationary in time, there is a possibility that a partial section containing noise will be selected as a "specific partial section" in the configuration of the first embodiment. The
〔機能構成〕
本実施形態の画像処理装置10は、第1実施形態と同様に、指標情報取得部110、区間設定部120、タイムラプス動画生成部130、画像解析部140、および出力部150を有する(例:図1)。本実施形態の画像解析部140は、特定部分区間の複数のフレーム画像のうち、予め定められた物体を含まないフレーム画像を、解析処理の対象のフレーム画像として選択する。ここで、動画が、土木作業現場や建築作業現場などを撮影した動画である場合、「予め定められた物体」は、例えば、作業に用いる建機や車両、および、作業を行う人物などである。
[Functional configuration]
As in the first embodiment, the
〔処理の流れ〕
図を用いて、本実施形態の画像処理装置10により実行される処理について説明する。図9は、第2実施形態の画像解析部140により実行される処理の流れを例示するフローチャートである。本図のフローチャートに例示される処理は、図8のS304の処理において、判定結果が「YES」である場合に実行される。
[Process flow]
Processing executed by the
本実施形態において、S304の判定処理の結果が「YES」である場合、画像解析部140は、特定部分区間のフレーム画像の中に、特定物体(例えば、静止していて動体として認識されなかった建機、車両、人物など)が含まれているか否かを更に判定する(S402)。画像解析部140は、例えば、対象のフレーム画像をセグメンテーションした結果から、そのフレーム画像に建機、車両、人物などの特定物体が含まれているか否かを判定することができる。ここで、特定物体を示す情報は、例えば、予め画像処理装置10のメモリやストレージデバイスといった記憶領域に予め定義されている。特定部分区間のフレーム画像の中に特定物体が含まれている場合(S402:YES)、画像解析部140は、そのフレーム画像を変位検出処理で用いる画像から除外する。図10を用いて本実施形態の画像解析部140の動作の一例を具体的に説明する。図10は、画像解析部140が変位検出処理の対象から除外するフレーム画像の一例を示す図である。なお、図10において、工事用車両Vは停車中であり、静止している状態を時間的に連続して保っているものとする。画像解析部140は、CNNなどを用いたセグメンテーションの結果から、予め定義された特定物体がフレーム画像中に存在するか否かを判定することができる。図10の例において、トラック等の工事用車両が特定物体として予め定義されている場合、画像解析部140は、図10のフレーム画像を変位検出処理の対象外の画像として判断することができる。この場合、処理は図8のS310に進む。一方、特定部分区間のフレーム画像の中に特定物体が含まれていない場合(S402:NO)、画像解析部140は、そのフレーム画像を用いて変位検出処理を実行する(図8のS306)。
In this embodiment, if the result of the determination processing in S304 is “YES”, the
以上、本実施形態では、特定部分区間として選択された部分区間におけるフレーム画像であっても、そのフレーム画像の中に特定物体(ノイズとなり得る物体)が含まれている場合、そのフレーム画像は変位検出処理の対象から除外される。これにより、解析対象物の変位の検出精度が、ノイズの影響によって低下することを防止できる。 As described above, in the present embodiment, even if the frame image is in the partial section selected as the specific partial section, if the frame image contains a specific object (an object that can be noise), the frame image is displaced. Excluded from detection processing. As a result, it is possible to prevent the detection accuracy of the displacement of the object to be analyzed from deteriorating due to the influence of noise.
[第3実施形態]
撮像装置20の設置場所によっては、監理業務の対象となる現場とは関係ない別の場所が写り込んでしまうこともある。その場合、監理業務の対象となる現場とは関係ない別の場所での動きの有無が、上述の各実施形態での処理に影響を与え得る。本実施形態の画像処理装置10は、この問題を解決する構成をさらに有する。
[Third embodiment]
Depending on the installation location of the
本実施形態の画像処理装置10は、第1実施形態と同様に、指標情報取得部110、区間設定部120、タイムラプス動画生成部130、画像解析部140、および出力部150を有する(例:図1)。本実施形態の画像解析部140は、フレーム画像において指定された領域にのみ、解析処理(変位検出処理および/または動体検出処理)を実行する。例えば、本実施形態の画像解析部140は、監理者側の端末(図示せず)を介して、解析処理の対象とする領域を指定する入力を受け付け、当該入力で指定された領域にのみ解析処理を実行する。また、初期設定ファイルなどを用いて、フレーム画像内のある領域の位置座標が、解析処理の実行対象とする領域の位置座標として予め定義されていてもよい。この場合、画像解析部140は、初期設定ファイル上で定義された位置座標に基づいて、解析処理の対象とする領域を認識することができる。
As in the first embodiment, the
〔処理の流れ〕
図を用いて、本実施形態の画像処理装置10により実行される処理について説明する。図11は、第3実施形態の画像解析部140により実行される処理の流れを例示するフローチャートである。本図のフローチャートは、S502の処理を新たに有する点を除き、図6のフローチャートと同様である。以下では、S502の処理を主に説明する。
[Process flow]
Processing executed by the
本実施形態の画像解析部140は、撮像装置20により生成された動画の中で、監理業務の対象とする領域を指定する情報(対象領域指定情報)を取得する(S502)。対象領域指定情報は、例えば、監理者が監理業務を行う際に、図示しない監理者用端末を用いて監理者によって入力される。例えば、画像解析部140は、撮像装置20により生成された動画の任意の1フレームを出力装置30上に表示し、そのフレーム画像上で監理者に対象領域を指定する入力を実行させる。この場合、画像解析部140は、監理者用端末に入力された情報を、例えばネットワーク経由で取得することができる。そして、画像解析部140は、S502で取得された対象領域指定情報を、指標情報取得部110に通知する。指標情報取得部110は、対象領域指定情報によって指定される領域について、指標情報を取得する(S104)。以降の処理の流れは、上述したとおりである。
The
以上、本実施形態では、フレーム画像の中で画像解析処理の対象とする領域が指定される。これにより、監理業務で監理者が確認する領域とは関係ないその他の領域を、画像解析処理の範囲から除外することができる。これにより、解析処理の結果に誤りが生じる可能性を低減させることができる。また、解析処理の範囲を更に限定することによって、演算量のより多く削減することができる。 As described above, in the present embodiment, a region to be subjected to image analysis processing is specified in a frame image. As a result, it is possible to exclude from the scope of the image analysis processing other areas unrelated to the area checked by the supervisor in the supervision work. As a result, the possibility of an error occurring in the result of analysis processing can be reduced. Further, by further limiting the range of analysis processing, the amount of calculation can be reduced more.
<変形例>
図12は、第3実施形態の変形例で実行される処理の流れを例示するフローチャートである。本図のフローチャートは、S602の処理およびS604の処理を新たに備える点を除き、図8のフローチャートと同様である。以下では、S602およびS604の処理を主に説明する。本変形例のフローチャートでは、図11のフローチャートと異なり、解析処理の対象とする領域は、動画における動きが判断された後に指定される。
<Modification>
FIG. 12 is a flowchart illustrating the flow of processing executed in the modification of the third embodiment. The flowchart of this figure is the same as the flowchart of FIG. 8 except that the processing of S602 and the processing of S604 are newly provided. The processing of S602 and S604 will be mainly described below. In the flowchart of this modified example, unlike the flowchart of FIG. 11, the area to be analyzed is specified after the movement in the moving image is determined.
本変形例において、画像解析部140は、S306の変位検出処理およびS308の動体検出処理の実行前に、フレーム画像の中で処理の対象となる領域を指定する情報(対象領域指定情報)を取得する(S602、S604)。対象領域指定情報は、例えば、監理者が監理業務を行う際に、図示しない監理者用端末を用いて入力される。例えば、画像解析部140は、撮像装置20により生成された動画の任意のフレーム画像を出力装置30上に表示し、そのフレーム画像上で監理者に対象領域を指定する入力を実行させる。この場合、画像解析部140は、監理者用端末に入力された情報を、例えばネットワーク経由で取得することができる。そして、画像解析部140は、S302の処理で選択された部分区間のフレーム画像を用いてS306の変位検出処理を実行する際、S602で取得した情報に基づいて、変位検出処理を行う画像領域を絞りこむ。同様に、画像解析部140は、S302の処理で選択された部分区間のフレーム画像を用いてS306の動体検出処理を実行する際、S604で取得した情報に基づいて、動体検出処理を行う画像領域を絞りこむ。
In this modification, the
本変形例によっても、上述の第3実施形態の効果と同様の効果が期待できる。 The same effects as those of the above-described third embodiment can also be expected from this modification.
[第4実施形態]
本実施形態の画像処理装置10は、生成されるタイムラプス画像の容量を削減する構成を更に備える点で、上述の各実施形態と異なる。
[Fourth Embodiment]
The
〔機能構成〕
本実施形態の画像処理装置10は、第1実施形態と同様に、指標情報取得部110、区間設定部120、タイムラプス動画生成部130、画像解析部140、および出力部150を有する(例:図1)。本実施形態のタイムラプス動画生成部130は、タイムラプス画像の生成時に、指標情報が示す動きが基準以下である(すなわち、動きの少ない)部分区間について、フレーム画像の間引き処理を行う。例えば、タイムラプス動画生成部130は、指標情報が示す動きが基準以下である部分区間にタイムラプス処理を施す際、その指標情報に応じて決まるレート(再生速度)に応じて選択されるフレーム画像以外のフレーム画像を除去する(例:図13)。図13は、フレームの間引き処理を概略的に説明する図である。図13では、指標情報が示す動きが基準以下である対象区間の再生速度が5倍となるようにタイムラプス処理を施した場合におけるフレームの間引き処理が例示されている。図13の例では、タイムラプス動画生成部130は、対象区間に含まれる複数のフレーム画像の中から、5フレーム間隔でタイムラプス処理での再生用フレーム画像を選択している。更に、タイムラプス動画生成部130は、再生用フレーム画像として選択されたフレーム画像以外のフレーム画像を間引いている。
[Functional configuration]
As in the first embodiment, the
本実施形態では、タイムラプス動画を生成する際、指標情報が示す動きが基準以下である(すなわち、動きの少ない)部分区間に対してフレームの間引き処理が実行される。これにより、タイムラプス動画のデータ容量を削減し、そのタイムラプス動画を再生する環境のリソースを節約することができる。なお、動きの少ない部分区間において、隣接する或いは時間的に近いフレーム画像間での動きはそれほど大きくない。そのため、ある短い期間における複数のフレーム画像の中から、代表的なフレーム画像を選定し、残りを廃棄したとしても、映像に含まれる情報に与える影響は少ないと言える。また、本実施形態では、指標情報が示す動きが基準を超える(すなわち、動きの多い)部分区間に対しては、フレームの間引き処理は実行されない。これにより、動きの多い部分区間については、撮像装置20が撮影した動画に含まれる情報をそのまま保持するタイムラプス動画を生成することができる。
In the present embodiment, when generating a time-lapse moving image, frame thinning processing is executed for partial sections in which the movement indicated by the index information is below a reference (that is, there is little movement). As a result, it is possible to reduce the data volume of the time-lapse moving image and save the resources of the environment for reproducing the time-lapse moving image. It should be noted that the motion between adjacent or temporally close frame images is not so large in the partial section with little motion. Therefore, even if a representative frame image is selected from among a plurality of frame images in a certain short period of time and the rest are discarded, it can be said that the information contained in the video is less affected. Further, in the present embodiment, frame thinning processing is not executed for partial sections in which the movement indicated by the index information exceeds the reference (that is, there is a lot of movement). As a result, it is possible to generate a time-lapse moving image that retains the information contained in the moving image captured by the
[第5実施形態]
画像処理装置10の処理の少なくとも一部は、現場に設けられる装置(撮像装置20など)に備えられていてもよい。
[Fifth embodiment]
At least part of the processing of the
〔システム構成〕
図14は、第5実施形態における画像処理システム1のシステム構成を例示的に示す図である。図14に示されるように、本実施形態の画像処理システム1において、撮像装置20は、動画生成部210、指標情報取得部220、画像選択部230、および、画像送信部240を備える。また、本実施形態の画像処理システム1において、画像処理装置10は、タイムラプス動画構築部160、画像解析部140、および出力部150を備える。
〔System configuration〕
FIG. 14 is a diagram exemplifying the system configuration of the
動画生成部210は、撮像装置20が設置された現場(土木工事現場や建設現場等)を撮影し、動画を生成する。動画生成部210は、動画生成部210により生成された動画における動きを判断するための指標情報を取得する。動画生成部210は、上述の各実施形態の指標情報取得部110と同様である。画像選択部230は、動画を構成する複数のフレーム画像の中の一部を、画像処理装置10に送信するフレーム画像(以下、「送信用フレーム画像」とも表記)として選択する。このとき、画像選択部230は、指標情報取得部220により取得された指標情報に応じて決まるレートで、動画を構成する複数のフレーム画像の中から複数の送信用フレーム画像を選択する。画像送信部240は、画像選択部230により選択されたフレーム画像を画像処理装置10に送信する。なお、撮像装置20は、一般的な動画撮影機能(動画生成部210)のみを有しており、指標情報取得部220、画像選択部230、および画像送信部240は、現場に設置される情報処理装置(図示せず)が有していてもよい。その場合、撮像装置20は当該情報処理装置を介して画像処理装置10と通信可能に接続される。
The moving
タイムラプス動画構築部160は、撮像装置20から送信された複数のフレーム画像を取得し、それらの複数のフレーム画像を繋ぎ合わせてタイムラプス動画を構築する。画像解析部140は、撮像装置20から取得した複数のフレーム画像(タイムラプス動画)の中から、レートが基準を満たすフレーム画像を用いて解析処理を実行する。出力部150は、タイムラプス動画構築部160により構築されたタイムラプス動画と、画像解析部140による解析処理の結果とを、監理者用の出力装置30に出力する。画像解析部140および出力部150の動作は、上述の各実施形態と同様である。
The time-lapse moving
〔処理の流れ〕
図15および図16を用いて、本実施形態の画像処理システム1により実行される処理の流れについて説明する。図15は、撮像装置20により実行される処理の流れを例示するフローチャートである。また、図16は、画像処理装置10により実行される処理の流れを例示するフローチャートである。
[Process flow]
The flow of processing executed by the
<撮像装置20の処理の流れ>
まず、動画生成部210は、現場を撮影することによって動画を生成する(S702)。そして、指標情報取得部220は、S702で生成された動画から、その動画の中での動きを判断するための指標情報を取得する(S704)。指標情報取得部220は、上述の指標情報取得部110と同様にして、指標情報を取得することができる。
<Processing Flow of
First, the moving
そして、画像選択部230は、指標情報取得部220が取得した指標情報に基づいて、画像処理装置10に送信するフレーム画像(送信用フレーム画像)を選択する(S706)。画像選択部230は、例えば次のように動作する。まず、画像選択部230は、指標情報に応じて、送信用フレーム画像を選択するレートを決定する。ここで、画像選択部230は、動画のある部分区間に対応する指標情報が示す動きが大きいほど、その部分区間のレートを小さくする。特に限定されないが、一例として、画像選択部230は、指標情報が示す動きが基準を超える(すなわち、動きの多い)区間については5フレーム毎に1枚の送信用フレーム画像を選択し、指標情報が示す動きが基準以下(すなわち、動きの少ない)区間については60フレーム毎に1枚の送信用フレームを選択する。この場合、指標情報が示す動きが基準を超える(すなわち、動きの多い)区間および指標情報が示す動きが基準以下(すなわち、動きの少ない)区間のレートは、それぞれ、「5倍」および「60倍」となる。そして、画像送信部240は、S706の処理で選択された送信用フレーム画像を画像処理装置10に送信する(S708)。このとき、画像送信部240は、送信用フレーム画像にレートを識別可能な情報(例えば、指標情報取得部220で取得された指標情報、動きが多い/少ないことを示す情報など)を付与する。
Then, the
<画像処理装置10の処理の流れ>
タイムラプス動画構築部160は、撮像装置20から送信された、複数のフレーム画像を取得する(S802)。そして、タイムラプス動画構築部160は、取得した複数のフレーム画像を用いてタイムラプス動画を構築する(S804)。撮像装置20から取得するフレーム画像は、指標情報に応じた間隔で選択された上で、画像処理装置10に送信されている。そのため、タイムラプス動画構築部160は、これらのフレーム画像を繋ぎ合わせるだけで、タイムラプス動画を構築することができる。
<Processing Flow of
The time-lapse
また、画像解析部140は、撮像装置20から取得した各フレーム画像に付与された、各フレーム画像のレートを識別可能な情報に基づいて、複数の部分区間を特定する(S806)。具体的には、画像解析部140は、レートが基準以下であるフレーム画像が連続する区間を、「動きが少ない区間」として特定する。また、画像解析部140は、レートが基準を超えるフレーム画像が連続する区間を、「動きが多い区間」として特定する。そして、画像解析部140は、S806の処理結果に応じて、フレーム画像を用いた解析処理を実行する(S808)。具体的には、「動きが少ない区間」として特定された部分区間については、画像解析部140は、その部分区間のフレーム画像を用いて変位解析処理を実行する。また、「動きが少ない区間」として特定された部分区間については、画像解析部140は、その部分区間のフレーム画像を用いて動体検出処理を実行する。そして、画像解析部140は、各部分区間の処理結果を、タイムラプス動画と対応付ける(S810)。
Further, the
出力部150は、上述の処理で得られる、タイムラプス動画および解析処理の結果を、監理者用の出力装置30に出力する(S812)。監理者は、出力装置30に出力されたタイムラプス動画および解析処理の結果を見て、監理作業を効率的に進めることができる。ここで、画像処理装置10は、監理者用の端末(図示せず)を介して、部分区間の再生速度を指定する入力や、解析処理の結果の表示態様を変える(例えば、グラフ化して映像に重畳させる)ための入力を受け付け、受け付けた入力に応じて出力の仕方を変更するように構成されていてもよい。
The
以上、本実施形態によっても、第1実施形態と同様の効果が得られる。また、本実施形態では、撮像装置20が画像処理装置10に送信するフレーム画像を、指標情報に応じたレートで選択することで、撮像装置20と画像処理装置10との間の通信データ量を削減する効果が得られる。
As described above, according to the present embodiment, the same effects as those of the first embodiment can be obtained. In addition, in the present embodiment, frame images to be transmitted from the
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than those described above can also be adopted.
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。 Also, in the plurality of flowcharts used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is not limited to the described order. In each embodiment, the order of the illustrated steps can be changed within a range that does not interfere with the content. Moreover, each of the above-described embodiments can be combined as long as the contents do not contradict each other.
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得する指標情報取得手段と、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定する区間設定手段と、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成するタイムラプス動画生成手段と、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行する画像解析手段と、
前記タイムラプス動画および前記解析処理の結果を出力する出力手段と、
を備える画像処理装置。
2.
前記画像解析手段は、前記特定部分区間のフレーム画像に写る解析対象物の変位を検出する、
1.に記載の画像処理装置。
3.
前記画像解析手段は、
前記指標情報に基づく前記動きが基準以下である部分区間を前記特定部分区間として選択し、
当該選択した特定部分区間のフレーム画像を用いて前記解析対象物の変位を検出する、
2.に記載の画像処理装置。
4.
前記画像解析手段は、前記特定部分区間毎に、所定の枚数のフレーム画像を前記解析処理の対象のフレーム画像として選択する、
2.または3.に記載の画像処理装置。
5.
前記画像解析手段は、前記特定部分区間の複数のフレーム画像のうち、予め定められた物体を含まないフレーム画像を、前記解析処理の対象のフレーム画像として選択する、
2.から4.のいずれか1つに記載の画像処理装置。
6.
前記物体は、建機、車両、または人物の少なくともいずれか1つである、
5.に記載の画像処理装置。
7.
前記画像解析手段は、前記フレーム画像において指定された領域にのみ、前記解析処理を実行する、
1.から6.のいずれか1つに記載の画像処理装置。
8.
前記タイムラプス動画生成手段は、前記指標情報に基づく前記動きが基準以下である部分区間についてフレーム画像の間引き処理を実行する、
1.から7.のいずれか1つに記載の画像処理装置。
9.
前記指標情報取得手段は、前記動画を構成するフレーム画像を基に前記指標情報を取得する、
1.から8.のいずれか1つに記載の画像処理装置。
10.
前記指標情報取得手段は、前記動画を構成するフレーム画像間の差分を前記指標情報として取得し、
前記画像解析手段は、前記複数の部分区間の中から、前記差分が基準以下である前記部分区間を、前記特定部分区間として選択する、
9.に記載の画像処理装置。
11.
前記指標情報取得手段は、前記動画に音データが含まれている場合、当該音データを基に前記指標情報を取得する、
1.から8.のいずれか1つに記載の画像処理装置。
12.
前記指標情報取得手段は、前記音データの音量を前記指標情報として取得し、
前記画像解析手段は、前記複数の部分区間の中から、前記音量が基準以下である前記部分区間を、前記特定部分区間として選択する、
11.に記載の画像処理装置。
13.
コンピュータが、
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定し、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成し、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
ことを含む画像処理方法。
14.
前記コンピュータが、前記特定部分区間のフレーム画像に写る解析対象物の変位を検出する、
ことを含む13.に記載の画像処理方法。
15.
前記コンピュータが、
前記指標情報に基づく前記動きが基準以下である部分区間を前記特定部分区間として選択し、
当該選択した特定部分区間のフレーム画像を用いて前記解析対象物の変位を検出する、
ことを含む14.に記載の画像処理方法。
16.
前記コンピュータが、前記特定部分区間毎に、所定の枚数のフレーム画像を前記解析処理の対象のフレーム画像として選択する、
ことを含む14.または15.に記載の画像処理方法。
17.
前記コンピュータが、前記特定部分区間の複数のフレーム画像のうち、予め定められた物体を含まないフレーム画像を、前記解析処理の対象のフレーム画像として選択する、
ことを含む14.から16.のいずれか1つに記載の画像処理方法。
18.
前記物体は、建機、車両、または人物の少なくともいずれか1つである、
17.に記載の画像処理方法。
19.
前記コンピュータが、前記フレーム画像において指定された領域にのみ、前記解析処理を実行する、
ことを含む13.から18.のいずれか1つに記載の画像処理方法。
20.
前記コンピュータが、前記指標情報に基づく前記動きが基準以下である部分区間についてフレーム画像の間引き処理を実行する、
ことを含む13.から19.のいずれか1つに記載の画像処理方法。
21.
前記コンピュータが、前記動画を構成するフレーム画像を基に前記指標情報を取得する、
ことを含む13.から20.のいずれか1つに記載の画像処理方法。
22.
前記コンピュータが、
前記動画を構成するフレーム画像間の差分を前記指標情報として取得し、
前記複数の部分区間の中から、前記差分が基準以下である前記部分区間を、前記特定部分区間として選択する、
ことを含む21.に記載の画像処理方法。
23.
前記コンピュータが、前記動画に音データが含まれている場合、当該音データを基に前記指標情報を取得する、
ことを含む13.から20.のいずれか1つに記載の画像処理方法。
24.
前記コンピュータが、
前記音データの音量を前記指標情報として取得し、
前記複数の部分区間の中から、前記音量が基準以下である前記部分区間を、前記特定部分区間として選択する、
ことを含む23.に記載の画像処理方法。
25.
コンピュータに、13.から24.のいずれか1つに記載の画像処理方法を実行させるプログラム。
26.
撮像装置と、
前記撮像装置と通信可能に接続された画像処理装置と、を備える画像処理システムであって、
前記撮像装置は、
土木工事現場または建設現場を撮影して動画を生成し、
前記動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に応じて決まるレートで、前記動画を構成する複数のフレーム画像の中から、前記画像処理装置に送信する複数の送信用フレーム画像を選択し、
選択した前記複数の送信用フレーム画像を前記画像処理装置に送信し、
前記画像処理装置は、
前記撮像装置から送信された前記複数の送信用フレーム画像を用いてタイムラプス動画を構築し、
前記複数の送信用フレーム画像の中から、前記レートが基準を満たす送信用フレーム画像を用いて解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
画像処理システム。
Some or all of the above embodiments can also be described as the following additional remarks, but are not limited to the following.
1.
index information obtaining means for obtaining index information serving as an index for judging movement in a moving image of a civil engineering construction site or a construction site;
section setting means for setting a plurality of partial sections in the moving image based on the index information;
time-lapse moving image generation means for generating a time-lapse moving image by performing time-lapse processing for each partial interval at a rate determined according to the index information corresponding to the partial interval;
image analysis means for executing analysis processing using a frame image of a specific partial section among the plurality of partial sections in which the index information satisfies a criterion;
output means for outputting the time-lapse video and the result of the analysis processing;
An image processing device comprising:
2.
The image analysis means detects a displacement of the analysis object appearing in the frame image of the specific partial section.
1. The image processing device according to .
3.
The image analysis means is
selecting a partial section in which the movement based on the index information is below a reference as the specific partial section;
detecting the displacement of the object to be analyzed using the frame image of the selected specific partial section;
2. The image processing device according to .
4.
The image analysis means selects a predetermined number of frame images as frame images to be subjected to the analysis process for each of the specific partial sections.
2. or 3. The image processing device according to .
5.
The image analysis means selects, from among the plurality of frame images of the specific partial section, a frame image that does not include a predetermined object as a frame image to be subjected to the analysis process.
2. to 4. The image processing device according to any one of.
6.
the object is at least one of a construction machine, a vehicle, or a person;
5. The image processing device according to .
7.
The image analysis means executes the analysis processing only on the area designated in the frame image.
1. to 6. The image processing device according to any one of.
8.
The time-lapse video generating means executes thinning processing of frame images for partial sections in which the motion based on the index information is below a reference.
1. to 7. The image processing device according to any one of.
9.
the index information obtaining means obtains the index information based on frame images that constitute the moving image;
1. to 8. The image processing device according to any one of.
10.
the index information obtaining means obtains, as the index information, a difference between frame images constituting the moving image;
The image analysis means selects, from among the plurality of partial sections, the partial section in which the difference is equal to or less than a reference, as the specific partial section.
9. The image processing device according to .
11.
the index information obtaining means obtains the index information based on the sound data when the moving image contains sound data;
1. to 8. The image processing device according to any one of.
12.
the index information obtaining means obtains the volume of the sound data as the index information;
wherein the image analysis means selects, from among the plurality of partial sections, the partial section having the volume equal to or lower than a reference level as the specific partial section;
11. The image processing device according to .
13.
the computer
Acquiring index information that serves as an index for judging movement in a video taken of a civil engineering or construction site,
setting a plurality of partial sections in the video based on the index information;
generating a time-lapse moving image by performing time-lapse processing for each partial section at a rate determined according to the index information corresponding to the partial section;
executing an analysis process using a frame image of a specific partial section among the plurality of partial sections in which the index information satisfies a criterion;
outputting the time-lapse video and the result of the analysis process;
An image processing method comprising:
14.
the computer detects the displacement of the object to be analyzed appearing in the frame image of the specific partial section;
13. The image processing method described in .
15.
the computer
selecting a partial section in which the movement based on the index information is below a reference as the specific partial section;
detecting the displacement of the object to be analyzed using the frame image of the selected specific partial section;
14. including The image processing method described in .
16.
wherein the computer selects a predetermined number of frame images as frame images to be subjected to the analysis process for each of the specific partial sections;
14. including or 15. The image processing method described in .
17.
wherein the computer selects a frame image that does not include a predetermined object from among the plurality of frame images of the specific partial section as a frame image to be subjected to the analysis process;
14. including to 16. The image processing method according to any one of
18.
the object is at least one of a construction machine, a vehicle, or a person;
17. The image processing method described in .
19.
the computer executes the analysis process only on the area specified in the frame image;
13. to 18. The image processing method according to any one of
20.
the computer executes thinning processing of frame images for partial sections in which the movement based on the index information is below a reference;
13. to 19. The image processing method according to any one of
21.
the computer acquires the index information based on the frame images that make up the moving image;
13. to 20. The image processing method according to any one of
22.
the computer
acquiring a difference between frame images constituting the moving image as the index information;
Selecting, from among the plurality of partial intervals, the partial interval in which the difference is equal to or less than a reference as the specific partial interval;
21. The image processing method described in .
23.
When the moving image contains sound data, the computer acquires the index information based on the sound data.
13. to 20. The image processing method according to any one of
24.
the computer
Acquiring the volume of the sound data as the index information;
Selecting, from among the plurality of partial intervals, the partial interval in which the volume is below a reference level as the specific partial interval;
23. The image processing method described in .
25.
13. to the computer; to 24. A program for executing the image processing method according to any one of
26.
an imaging device;
An image processing system comprising an image processing device communicably connected to the imaging device,
The imaging device is
Shoot a civil engineering or construction site and generate a video,
Acquiring index information that serves as an index for determining movement in the moving image;
selecting a plurality of transmission frame images to be transmitted to the image processing device from among a plurality of frame images constituting the moving image at a rate determined according to the index information;
transmitting the plurality of selected frame images for transmission to the image processing device;
The image processing device is
constructing a time-lapse video using the plurality of transmission frame images transmitted from the imaging device;
executing an analysis process using a transmission frame image whose rate satisfies a standard from among the plurality of transmission frame images;
outputting the time-lapse video and the result of the analysis process;
image processing system.
1 画像処理システム
10 画像処理装置
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース
110 指標情報取得部
120 区間設定部
130 タイムラプス動画生成部
140 画像解析部
150 出力部
160 タイムラプス動画構築部
210 動画生成部
220 指標情報取得部
230 画像選択部
240 画像送信部
20 撮像装置
30 出力装置
1
Claims (15)
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定する区間設定手段と、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成するタイムラプス動画生成手段と、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行する画像解析手段と、
前記タイムラプス動画および前記解析処理の結果を出力する出力手段と、
を備える画像処理装置。 index information obtaining means for obtaining index information serving as an index for judging movement in a moving image of a civil engineering construction site or a construction site;
section setting means for setting a plurality of partial sections in the moving image based on the index information;
time-lapse moving image generation means for generating a time-lapse moving image by performing time-lapse processing for each partial interval at a rate determined according to the index information corresponding to the partial interval;
image analysis means for executing analysis processing using a frame image of a specific partial section among the plurality of partial sections in which the index information satisfies a criterion;
output means for outputting the time-lapse video and the result of the analysis processing;
An image processing device comprising:
請求項1に記載の画像処理装置。 The image analysis means detects a displacement of the analysis object appearing in the frame image of the specific partial section.
The image processing apparatus according to claim 1.
前記指標情報に基づく前記動きが基準以下である部分区間を前記特定部分区間として選択し、
当該選択した特定部分区間のフレーム画像を用いて前記解析対象物の変位を検出する、
請求項2に記載の画像処理装置。 The image analysis means is
selecting a partial section in which the movement based on the index information is below a reference as the specific partial section;
detecting the displacement of the object to be analyzed using the frame image of the selected specific partial section;
The image processing apparatus according to claim 2.
請求項2または3に記載の画像処理装置。 The image analysis means selects a predetermined number of frame images as frame images to be subjected to the analysis process for each of the specific partial sections.
4. The image processing apparatus according to claim 2 or 3.
請求項2から4のいずれか1項に記載の画像処理装置。 The image analysis means selects, from among the plurality of frame images of the specific partial section, a frame image that does not include a predetermined object as a frame image to be subjected to the analysis process.
The image processing apparatus according to any one of claims 2 to 4.
請求項5に記載の画像処理装置。 the object is at least one of a construction machine, a vehicle, or a person;
The image processing apparatus according to claim 5.
請求項1から6のいずれか1項に記載の画像処理装置。 The image analysis means executes the analysis processing only on the area designated in the frame image.
The image processing apparatus according to any one of claims 1 to 6.
請求項1から7のいずれか1項に記載の画像処理装置。 The time-lapse moving image generating means executes thinning processing of frame images for partial sections in which the movement based on the index information is equal to or less than a reference.
The image processing apparatus according to any one of claims 1 to 7.
請求項1から8のいずれか1項に記載の画像処理装置。 the index information obtaining means obtains the index information based on frame images that constitute the moving image;
The image processing apparatus according to any one of claims 1 to 8.
前記画像解析手段は、前記複数の部分区間の中から、前記差分が基準以下である前記部分区間を、前記特定部分区間として選択する、
請求項9に記載の画像処理装置。 the index information obtaining means obtains, as the index information, a difference between frame images constituting the moving image;
The image analysis means selects, from among the plurality of partial sections, the partial section in which the difference is equal to or less than a reference, as the specific partial section.
The image processing apparatus according to claim 9.
請求項1から8のいずれか1項に記載の画像処理装置。 the index information obtaining means obtains the index information based on the sound data when the moving image includes sound data;
The image processing apparatus according to any one of claims 1 to 8.
前記画像解析手段は、前記複数の部分区間の中から、前記音量が基準以下である前記部分区間を、前記特定部分区間として選択する、
請求項11に記載の画像処理装置。 the index information obtaining means obtains the volume of the sound data as the index information;
wherein the image analysis means selects, from among the plurality of partial sections, the partial section having the volume equal to or lower than a reference level as the specific partial section;
The image processing apparatus according to claim 11.
土木工事現場または建設現場を撮影した動画から、当該動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に基づいて、前記動画の中で複数の部分区間を設定し、
前記部分区間毎に、当該部分区間に対応する前記指標情報に応じて決まるレートでタイムラプス処理を施すことによって、タイムラプス動画を生成し、
前記複数の部分区間のうち前記指標情報が基準を満たす特定部分区間のフレーム画像を用いた解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
ことを含む画像処理方法。 the computer
Acquiring index information that serves as an index for judging movement in a video taken of a civil engineering or construction site,
setting a plurality of partial sections in the video based on the index information;
generating a time-lapse video by performing time-lapse processing for each partial section at a rate determined according to the index information corresponding to the partial section;
executing an analysis process using a frame image of a specific partial section among the plurality of partial sections in which the index information satisfies a criterion;
outputting the time-lapse video and the result of the analysis process;
An image processing method comprising:
前記撮像装置と通信可能に接続された画像処理装置と、を備える画像処理システムであって、
前記撮像装置は、
土木工事現場または建設現場を撮影して動画を生成し、
前記動画における動きを判断するための指標となる指標情報を取得し、
前記指標情報に応じて決まるレートで、前記動画を構成する複数のフレーム画像の中から、前記画像処理装置に送信する複数の送信用フレーム画像を選択し、
選択した前記複数の送信用フレーム画像を前記画像処理装置に送信し、
前記画像処理装置は、
前記撮像装置から送信された前記複数の送信用フレーム画像を用いてタイムラプス動画を構築し、
前記複数の送信用フレーム画像の中から、前記レートが基準を満たす送信用フレーム画像を用いて解析処理を実行し、
前記タイムラプス動画および前記解析処理の結果を出力する、
画像処理システム。 an imaging device;
An image processing system comprising an image processing device communicably connected to the imaging device,
The imaging device is
Shoot a civil engineering or construction site and generate a video,
Acquiring index information that serves as an index for determining movement in the moving image;
selecting a plurality of transmission frame images to be transmitted to the image processing device from among the plurality of frame images constituting the moving image at a rate determined according to the index information;
transmitting the plurality of selected frame images for transmission to the image processing device;
The image processing device is
constructing a time-lapse video using the plurality of transmission frame images transmitted from the imaging device;
executing an analysis process using a transmission frame image whose rate satisfies a standard from among the plurality of transmission frame images;
outputting the time-lapse video and the result of the analysis process;
image processing system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118262A JP7115058B2 (en) | 2018-06-21 | 2018-06-21 | Image processing device, image processing method, program, and image processing system |
JP2022116147A JP7420171B2 (en) | 2018-06-21 | 2022-07-21 | Image processing device, image processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118262A JP7115058B2 (en) | 2018-06-21 | 2018-06-21 | Image processing device, image processing method, program, and image processing system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022116147A Division JP7420171B2 (en) | 2018-06-21 | 2022-07-21 | Image processing device, image processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019220895A JP2019220895A (en) | 2019-12-26 |
JP7115058B2 true JP7115058B2 (en) | 2022-08-09 |
Family
ID=69097123
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018118262A Active JP7115058B2 (en) | 2018-06-21 | 2018-06-21 | Image processing device, image processing method, program, and image processing system |
JP2022116147A Active JP7420171B2 (en) | 2018-06-21 | 2022-07-21 | Image processing device, image processing method and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022116147A Active JP7420171B2 (en) | 2018-06-21 | 2022-07-21 | Image processing device, image processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7115058B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102609542B1 (en) * | 2022-04-26 | 2023-12-05 | 박상준 | Apparatus and Method for Providing Monitoring service of Work procedure |
CN117111858B (en) * | 2023-10-23 | 2024-04-02 | 深圳萨尔浒网络科技有限公司 | Computer file data matching system |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003084225A1 (en) | 2002-04-03 | 2003-10-09 | Mitsubishi Denki Kabushiki Kaisha | Video relay device, video distribution system, video relay method |
JP2004200989A (en) | 2002-12-18 | 2004-07-15 | Fuji Photo Film Co Ltd | Imaging apparatus and supervisory system |
JP2005236724A (en) | 2004-02-20 | 2005-09-02 | Victor Co Of Japan Ltd | Imaging device and motion detection method |
JP2006262433A (en) | 2005-03-14 | 2006-09-28 | Avermedia Technologies Inc | Monitoring system and its monitoring method with automatic regulation function |
JP2008228119A (en) | 2007-03-15 | 2008-09-25 | Fujifilm Corp | Monitoring camera system, animation retrieval apparatus, face image database updating apparatus and operation control method therefor |
JP2008311831A (en) | 2007-06-13 | 2008-12-25 | Panasonic Corp | Moving image communication equipment, moving image communication system, and semiconductor integrated circuit for moving image communication |
JP2008311910A (en) | 2007-06-14 | 2008-12-25 | Yamaha Corp | Communication equipment and conference system |
JP2013146029A (en) | 2012-01-16 | 2013-07-25 | Toyota Motor Corp | Vehicle periphery monitoring device |
WO2014118872A1 (en) | 2013-01-29 | 2014-08-07 | 有限会社ラムロック映像技術研究所 | Monitor system |
JP2015177332A (en) | 2014-03-14 | 2015-10-05 | 日本電気株式会社 | image processing apparatus and image processing method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000329522A (en) | 1999-05-21 | 2000-11-30 | Hitachi Ltd | Image processor and water level measuring system |
JP2002320198A (en) * | 2001-04-23 | 2002-10-31 | Casio Comput Co Ltd | Dynamic image recorder |
JP4727068B2 (en) * | 2001-05-29 | 2011-07-20 | 株式会社トプコン | Construction monitoring system, construction management method |
JP2006011500A (en) * | 2004-06-22 | 2006-01-12 | Matsushita Electric Ind Co Ltd | Interphone device |
JP4794386B2 (en) * | 2006-07-28 | 2011-10-19 | 三洋電機株式会社 | Imaging device |
JP5025557B2 (en) * | 2008-05-02 | 2012-09-12 | キヤノン株式会社 | Image photographing apparatus, control method therefor, and program |
JP6466638B2 (en) * | 2013-12-18 | 2019-02-06 | Kddi株式会社 | Terminal, system, program, and method for thinning frames of a captured moving image according to a motion change amount |
JP2015133561A (en) * | 2014-01-10 | 2015-07-23 | 株式会社日立製作所 | computer system |
JP6356552B2 (en) * | 2014-09-16 | 2018-07-11 | 東芝メモリ株式会社 | Information processing device |
-
2018
- 2018-06-21 JP JP2018118262A patent/JP7115058B2/en active Active
-
2022
- 2022-07-21 JP JP2022116147A patent/JP7420171B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003084225A1 (en) | 2002-04-03 | 2003-10-09 | Mitsubishi Denki Kabushiki Kaisha | Video relay device, video distribution system, video relay method |
JP2004200989A (en) | 2002-12-18 | 2004-07-15 | Fuji Photo Film Co Ltd | Imaging apparatus and supervisory system |
JP2005236724A (en) | 2004-02-20 | 2005-09-02 | Victor Co Of Japan Ltd | Imaging device and motion detection method |
JP2006262433A (en) | 2005-03-14 | 2006-09-28 | Avermedia Technologies Inc | Monitoring system and its monitoring method with automatic regulation function |
JP2008228119A (en) | 2007-03-15 | 2008-09-25 | Fujifilm Corp | Monitoring camera system, animation retrieval apparatus, face image database updating apparatus and operation control method therefor |
JP2008311831A (en) | 2007-06-13 | 2008-12-25 | Panasonic Corp | Moving image communication equipment, moving image communication system, and semiconductor integrated circuit for moving image communication |
JP2008311910A (en) | 2007-06-14 | 2008-12-25 | Yamaha Corp | Communication equipment and conference system |
JP2013146029A (en) | 2012-01-16 | 2013-07-25 | Toyota Motor Corp | Vehicle periphery monitoring device |
WO2014118872A1 (en) | 2013-01-29 | 2014-08-07 | 有限会社ラムロック映像技術研究所 | Monitor system |
JP2015177332A (en) | 2014-03-14 | 2015-10-05 | 日本電気株式会社 | image processing apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP7420171B2 (en) | 2024-01-23 |
JP2019220895A (en) | 2019-12-26 |
JP2022153507A (en) | 2022-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7420171B2 (en) | Image processing device, image processing method and program | |
US7558404B2 (en) | Detection of abnormal crowd behavior | |
JP4984575B2 (en) | Intruder detection device by image processing | |
KR20200007084A (en) | Ship detection method and system based on multi-dimensional features of scene | |
CN112511821B (en) | Video jamming detection method and device and storage medium | |
US10750127B2 (en) | Monitoring system, monitoring method, and monitoring program | |
US8644553B2 (en) | Image display device, image display method, and image display program | |
JP2022028870A (en) | Lane detection method, apparatus, electronic device, storage medium, and vehicle | |
JP2009268005A (en) | Intrusion object detecting and tracking device | |
JP2021174531A (en) | Target tracking method and device, electronic equipment, storage medium, and computer program | |
CN116343436A (en) | Landslide detection method, landslide detection device, landslide detection equipment and landslide detection medium | |
JP2006018658A (en) | Image processor and image monitoring system using this image processor | |
Chern et al. | Impact of loss functions on semantic segmentation in far‐field monitoring | |
JP7078295B2 (en) | Deformity detection device, deformation detection method, and program | |
JP2009182624A (en) | Target tracking device | |
KR102293450B1 (en) | Apparatus for monitoring metallic foreign object impact and method thereof | |
US20200258267A1 (en) | Image processing device for gas detection, image processing method for gas detection, and image processing program for gas detection | |
JP2000105137A (en) | Method and apparatus for detection of avalanche of rocks and earth | |
US20110234912A1 (en) | Image activity detection method and apparatus | |
JP2010271939A (en) | Image processing apparatus and method, and program | |
JP2004110280A (en) | Apparatus for detecting moving object | |
JP2006074460A (en) | Object detecting device and method | |
JP2014074957A (en) | Image processing apparatus and image processing method | |
WO2021181790A1 (en) | Image processing device, image processing method, and program | |
WO2023276050A1 (en) | Image processing system and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7115058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |