JPWO2019216084A1

JPWO2019216084A1 - Inspection video processing device, inspection video processing method and inspection video processing program

Info

Publication number: JPWO2019216084A1
Application number: JP2020518198A
Authority: JP
Inventors: 孝明齋藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2018-05-09
Filing date: 2019-04-08
Publication date: 2021-06-10
Anticipated expiration: 2039-04-08
Also published as: JP7158471B2; WO2019216084A1

Abstract

良質な学習用サンプル画像を効率よく収集できる検査動画処理装置、検査動画処理方法及び検査動画処理プログラムを提供する。内視鏡装置から内視鏡の検査動画を取得する。単位動画抽出部（３００Ａ）は、取得した検査動画から複数のフレームを有する単位動画を時系列順に抽出する。シーン変化判定部（３００Ｂ）は、抽出した各単位動画を解析し、単位動画内でのシーンの変化の有無を判定する。記録制御部（３００Ｃ）は、シーンの変化がないと判定された単位動画を注視シーンのデータとしてＨＤＤ（３１３）の所定の記憶領域に記録する。We provide an inspection video processing device, an inspection video processing method, and an inspection video processing program that can efficiently collect high-quality sample images for learning. Acquire an endoscopic examination video from an endoscope device. The unit moving image extraction unit (300A) extracts a unit moving image having a plurality of frames from the acquired inspection moving image in chronological order. The scene change determination unit (300B) analyzes each extracted unit moving image and determines whether or not there is a change in the scene in the unit moving image. The recording control unit (300C) records the unit moving image determined that there is no change in the scene as data of the gaze scene in a predetermined storage area of the HDD (313).

Description

本発明は検査動画処理装置、検査動画処理方法及び検査動画処理プログラムに係り、特に内視鏡の検査動画を処理する検査動画処理装置、検査動画処理方法及び検査動画処理プログラムに関する。

The present invention relates to an inspection moving image processing apparatus, an inspection moving image processing method, and an inspection moving image processing program, and more particularly to an inspection moving image processing device for processing an endoscopic examination moving image, an inspection moving image processing method, and an inspection moving image processing program.

近年、機械学習を活用して、内視鏡の検査動画から病変部を自動的に検出する技術が注目されている。本技術を開発するためには、適切な観察シーンの学習用サンプル画像を大量に用意する必要がある。

In recent years, a technique for automatically detecting a lesion from an endoscopic examination video by utilizing machine learning has attracted attention. In order to develop this technology, it is necessary to prepare a large number of sample images for learning appropriate observation scenes.

特許文献１には、動画から学習用サンプル画像を取得する技術として、動画から一定の時間間隔で学習用サンプル画像とする静止画を抽出し、かつ、映像の変化が激しい部分については、より細かい間隔で静止画を抽出する技術が提案されている。

In Patent Document 1, as a technique for acquiring a learning sample image from a moving image, a still image as a learning sample image is extracted from the moving image at regular time intervals, and a portion where the image changes drastically is finer. A technique for extracting still images at intervals has been proposed.

特開2016-76073号公報Japanese Unexamined Patent Publication No. 2016-76073

しかしながら、特許文献１の手法では、内視鏡を大きく動かしているシーンなど、術者が病変検出のために注視していないシーンの画像も大量に取得されてしまい、良質な学習用サンプル画像を効率よく収集できないという欠点がある。

However, in the method of Patent Document 1, a large amount of images of scenes in which the operator is not gazing for lesion detection, such as a scene in which the endoscope is greatly moved, are also acquired, and a high-quality sample image for learning is obtained. There is a drawback that it cannot be collected efficiently.

本発明は、このような事情に鑑みてなされたもので、良質な学習用サンプル画像を効率よく収集できる検査動画処理装置、検査動画処理方法及び検査動画処理プログラムを提供することを目的とする。

The present invention has been made in view of such circumstances, and an object of the present invention is to provide an inspection moving image processing apparatus, an inspection moving image processing method, and an inspection moving image processing program capable of efficiently collecting high-quality learning sample images.

上記課題を解決するための手段は、次のとおりである。

The means for solving the above problems are as follows.

（１）内視鏡の検査動画を取得する検査動画取得部と、検査動画取得部で取得された検査動画から複数のフレームを有する単位動画を抽出する単位動画抽出部と、単位動画抽出部で抽出された単位動画を解析し、単位動画内でのシーンの変化の有無を判定するシーン変化判定部と、シーン変化判定部でシーンの変化がないと判定された単位動画に含まれる少なくとも一部のフレームを第１記憶媒体に記録する記録制御部と、を備えた検査動画処理装置。

(1) The inspection video acquisition unit that acquires the inspection video of the endoscope, the unit video extraction unit that extracts the unit video having a plurality of frames from the inspection video acquired by the inspection video acquisition unit, and the unit video extraction unit. At least a part included in the scene change judgment unit that analyzes the extracted unit video and determines whether or not there is a change in the scene in the unit video, and the unit video that the scene change judgment unit determines that there is no change in the scene. An inspection moving image processing device including a recording control unit for recording a frame of the above on a first storage medium.

本態様によれば、取得された内視鏡の検査動画から時系列順に単位動画が抽出される。抽出された単位動画は、シーン変化判定部において、単位動画ごとにシーンの変化の有無が判定される。そして、シーンの変化がないと判定された単位動画に含まれる少なくとも一部のフレームが第１記憶媒体に記録される。

According to this aspect, unit moving images are extracted in chronological order from the acquired endoscopic examination moving images. In the extracted unit moving image, the scene change determination unit determines whether or not there is a change in the scene for each unit moving image. Then, at least a part of the frames included in the unit moving image determined that there is no change in the scene is recorded in the first storage medium.

一般に、内視鏡の検査動画において、シーンの変化がない部分は、術者が病変検出のために注視している部分と考えられる（注視する場合は、内視鏡の動きを止めるので、シーンは変化しないと考えられる。）。したがって、シーンの変化がない単位動画のみを選択して記録することにより、検査動画から術者が注視した部分のみを抽出できる。これにより、検査動画から術者が注視したシーンの画像（動画又は静止画）を効率よく収集でき、機械学習のための良質な学習用サンプル画像を効率よく収集できる。

In general, in the endoscopic examination video, the part where the scene does not change is considered to be the part that the operator is gazing at for lesion detection (when gazing, the movement of the endoscope is stopped, so the scene. Is not expected to change.) Therefore, by selecting and recording only the unit moving image in which the scene does not change, only the part watched by the operator can be extracted from the examination moving image. As a result, the image (moving image or still image) of the scene watched by the operator can be efficiently collected from the inspection moving image, and a high-quality learning sample image for machine learning can be efficiently collected.

なお、「シーンの変化がない」と認められる範囲には、実質的に変化がないと認められる範囲が含まれる。すなわち、「ほぼ変化なし」の範囲が含まれる。

The range in which "the scene does not change" is included in the range in which there is substantially no change. That is, the range of "almost no change" is included.

（２）シーン変化判定部は、単位動画から一定の時間間隔で時系列順にフレームを抽出し、抽出した前後のフレーム間で変化の有無を検出して、単位動画内でのシーンの変化の有無を判定する、上記（１）の検査動画処理装置。

(2) The scene change determination unit extracts frames from the unit video in chronological order at regular time intervals, detects the presence or absence of changes between the frames before and after the extraction, and detects the presence or absence of changes in the scene within the unit video. The inspection moving image processing device of the above (1) for determining.

本態様によれば、単位動画から一定の時間間隔で時系列順にフレームが抽出され、抽出された前後のフレーム間で変化の有無が検出される。そして、その検出結果に基づいて、シーンの変化の有無が判定される。具体的には、抽出されたすべてのフレーム間で変化がない場合にシーンの変化がないと判定される。これにより、効率よくシーンの変化の有無を判定できる。

According to this aspect, frames are extracted from the unit moving image in chronological order at regular time intervals, and the presence or absence of change between the frames before and after the extraction is detected. Then, based on the detection result, the presence or absence of a change in the scene is determined. Specifically, if there is no change between all the extracted frames, it is determined that there is no change in the scene. This makes it possible to efficiently determine whether or not there is a change in the scene.

（３）シーン変化判定部は、フレームを構成する画像のＸ方向における合計輝度値のグラフの形状の変化及び／又はＹ方向における合計輝度値のグラフの形状の変化に基づいて、前後のフレーム間の変化の有無を判定する、上記（２）の検査動画処理装置。

(3) The scene change determination unit moves between the previous and next frames based on the change in the shape of the graph of the total luminance value in the X direction and / or the change in the shape of the graph of the total luminance value in the Y direction of the images constituting the frame. The inspection moving image processing device of the above (2) for determining the presence or absence of a change in.

本態様によれば、フレームを構成する画像のＸ方向における合計輝度値のグラフの形状の変化及び／又はＹ方向における合計輝度値のグラフの形状の変化に基づいて、前後のフレーム間の変化の有無が判定される。これにより、より正確にシーンの変化の有無を判定できる。なお、画像のＸ方向における合計輝度値のグラフとは、画像のＸ方向における輝度値の合計をグラフにしたものであり、横軸を画像のＸ方向の各位置、縦軸を各位置における輝度値の合計として表わされる。同様に、画像のＹ方向における合計輝度値のグラフとは、画像のＹ方向における輝度値の合計をグラフにしたものであり、横軸を画像のＹ方向の各位置、縦軸を各位置における輝度値の合計として表わされる。

According to this aspect, the change between the previous and next frames is based on the change in the shape of the graph of the total luminance value in the X direction and / or the change in the shape of the graph of the total luminance value in the Y direction of the images constituting the frame. The presence or absence is determined. This makes it possible to more accurately determine whether or not there is a change in the scene. The graph of the total luminance value in the X direction of the image is a graph of the total luminance value in the X direction of the image, the horizontal axis is each position in the X direction of the image, and the vertical axis is the brightness in each position. Expressed as the sum of the values. Similarly, the graph of the total luminance values in the Y direction of the image is a graph of the total luminance values in the Y direction of the image, with the horizontal axis at each position in the Y direction of the image and the vertical axis at each position. Expressed as the sum of the brightness values.

（４）Ｘ方向における合計輝度値のグラフは、Ｘ方向の単一又は複数の画素列の輝度値の合計である、上記（３）の検査動画処理装置。

(4) The inspection moving image processing apparatus according to (3) above, wherein the graph of the total luminance value in the X direction is the total luminance value of a single or a plurality of pixel strings in the X direction.

本態様によれば、Ｘ方向における合計輝度値のグラフが、Ｘ方向の単一又は複数の画素列の輝度値の合計で構成される。すなわち、Ｘ方向における合計輝度値のグラフは、必ずしもX方向の全画素列のものではなく、特定の画素列のみを取り出したものでもよい。

According to this aspect, the graph of the total luminance value in the X direction is composed of the sum of the luminance values of a single or a plurality of pixel strings in the X direction. That is, the graph of the total luminance value in the X direction is not necessarily that of all the pixel strings in the X direction, but may be a graph obtained by extracting only a specific pixel sequence.

（５）Ｙ方向における合計輝度値のグラフは、Ｙ方向の単一又は複数の画素列の輝度値の合計である、上記（３）又は（４）の検査動画処理装置。

(5) The inspection moving image processing apparatus according to (3) or (4) above, wherein the graph of the total luminance value in the Y direction is the sum of the luminance values of a single or a plurality of pixel strings in the Y direction.

本態様によれば、Ｙ方向における合計輝度値のグラフが、Ｙ方向の単一又は複数の画素列の輝度値の合計で構成される。すなわち、Ｙ方向における合計輝度値のグラフは、必ずしもＹ方向の全画素列のものではなく、特定の画素列のみを取り出したものでもよい。

According to this aspect, the graph of the total luminance value in the Y direction is composed of the sum of the luminance values of a single or a plurality of pixel strings in the Y direction. That is, the graph of the total luminance value in the Y direction is not necessarily that of all the pixel strings in the Y direction, but may be a graph obtained by extracting only a specific pixel sequence.

（６）シーン変化判定部は、Ｘ方向における合計輝度値のグラフのフレーム間の差分値に基づく、上記（３）の検査動画処理装置。

(6) The scene change determination unit is the inspection moving image processing device according to (3) above, based on the difference value between frames of the graph of the total luminance value in the X direction.

本態様によれば、X方向における合計輝度値のグラフのフレーム間の差分値に基づいて、前後のフレーム間の変化の有無が判定される。

According to this aspect, the presence or absence of a change between the previous and next frames is determined based on the difference value between the frames of the graph of the total luminance value in the X direction.

（７）シーン変化判定部は、Ｙ方向における合計輝度値のグラフのフレーム間の差分値に基づく、上記（３）又は（４）の検査動画処理装置。

(7) The scene change determination unit is the inspection moving image processing device according to (3) or (4) above, based on the difference value between frames of the graph of the total luminance value in the Y direction.

本態様によれば、Ｙ方向における合計輝度値のグラフのフレーム間の差分値に基づいて、前後のフレーム間の変化の有無が判定される。

According to this aspect, the presence or absence of a change between the previous and next frames is determined based on the difference value between the frames of the graph of the total luminance value in the Y direction.

（８）シーン変化判定部でシーンの変化がないと判定された単位動画を解析し、最も鮮鋭度の高いフレームを抽出する高鮮鋭度フレーム抽出部を更に備え、記録制御部は、高鮮鋭度フレーム抽出部で抽出されたフレームを第１記憶媒体に記録する、上記（１）から（７）のいずれか一の検査動画処理装置。

(8) A high-sharpness frame extraction unit that analyzes a unit moving image determined by the scene change determination unit to extract the frame with the highest sharpness is further provided, and the recording control unit has a high-sharpness. The inspection moving image processing apparatus according to any one of (1) to (7) above, which records the frame extracted by the frame extraction unit on the first storage medium.

本態様によれば、シーン変化判定部でシーンの変化がないと判定されると、当該単位動画から最も鮮鋭度の高いフレームが抽出される。そして、抽出されたフレームが第１記憶媒体に記録される。これにより、一部のフレームのみを記録する場合に良質なフレームを選択して記録できる。

According to this aspect, if the scene change determination unit determines that there is no change in the scene, the frame with the highest sharpness is extracted from the unit moving image. Then, the extracted frame is recorded on the first storage medium. As a result, when recording only a part of the frames, a good quality frame can be selected and recorded.

（９）検査動画取得部は、検査中の検査動画をリアルタイムに取得する、上記（１）から（８）のいずれか一の検査動画処理装置。

(9) The inspection video acquisition unit is an inspection video processing device according to any one of (1) to (8) above, which acquires an inspection video during inspection in real time.

本態様によれば、検査中の検査動画がリアルタイムに取得され、リアルタイムに処理される。すなわち、検査と平行して、バックグラウンドで処理される。

According to this aspect, the inspection moving image under inspection is acquired in real time and processed in real time. That is, it is processed in the background in parallel with the inspection.

（１０）第１記憶媒体に記録したフレームを第２記憶媒体に転送する転送制御部を更に備えた、上記（１）から（９）のいずれか一の検査動画処理装置。

(10) The inspection moving image processing apparatus according to any one of (1) to (9) above, further comprising a transfer control unit for transferring a frame recorded on the first storage medium to the second storage medium.

本態様によれば、必要に応じて、第１記憶媒体に記録されたフレームが第２記憶媒体に転送される。これにより、大量のデータを効率よく保存できる。

According to this aspect, the frame recorded on the first storage medium is transferred to the second storage medium as needed. As a result, a large amount of data can be efficiently stored.

（１１）内視鏡の検査動画を取得するステップと、取得した検査動画から複数のフレームを有する単位動画を抽出するステップと、抽出した単位動画を解析し、単位動画内でのシーンの変化の有無を判定するステップと、シーンの変化がないと判定された単位動画に含まれる少なくとも一部のフレームを第１記憶媒体に記録するステップと、を含む検査動画処理方法。

(11) The step of acquiring the inspection video of the endoscope, the step of extracting the unit video having a plurality of frames from the acquired inspection video, and the analysis of the extracted unit video to change the scene in the unit video. An inspection moving image processing method including a step of determining the presence or absence and a step of recording at least a part of frames included in a unit moving image determined that there is no change in the scene on a first storage medium.

本態様によれば、取得された内視鏡の検査動画から時系列順に単位動画が抽出され、抽出された単位動画ごとにシーンの変化の有無が判定される。そして、シーンの変化がないと判定された単位動画に含まれる少なくとも一部のフレームが第１記憶媒体に記録される。これにより、術者が注視したシーンの画像（動画又は静止画）を効率よく収集でき、良質な学習用サンプル画像を効率よく収集できる。

According to this aspect, unit moving images are extracted in chronological order from the acquired endoscopic examination moving images, and it is determined whether or not there is a change in the scene for each of the extracted unit moving images. Then, at least a part of the frames included in the unit moving image determined that there is no change in the scene is recorded in the first storage medium. As a result, the image (moving image or still image) of the scene watched by the operator can be efficiently collected, and a high-quality sample image for learning can be efficiently collected.

（１２）内視鏡の検査動画を取得する機能と、取得した検査動画から複数のフレームを有する単位動画を抽出する機能と、抽出した単位動画を解析し、単位動画内でのシーンの変化の有無を判定する機能と、シーンの変化がないと判定された単位動画に含まれる少なくとも一部のフレームを第１記憶媒体に記録する機能と、をコンピュータに実現させる検査動画処理プログラム。

(12) A function to acquire the inspection video of the endoscope, a function to extract a unit video having a plurality of frames from the acquired inspection video, and an analysis of the extracted unit video to change the scene in the unit video. An inspection video processing program that allows a computer to realize a function of determining the presence or absence and a function of recording at least a part of frames included in a unit video determined to have no change in the scene on the first storage medium.

本発明によれば、良質な学習用サンプル画像を効率よく収集できる。

According to the present invention, high-quality learning sample images can be efficiently collected.

検査動画処理装置を含む内視鏡システムのシステム構成を示す図The figure which shows the system configuration of the endoscope system including the inspection moving image processing apparatus. 内視鏡装置の概略構成を示す図The figure which shows the schematic structure of the endoscope apparatus 検査動画処理装置を構成するコンピュータの概略構成を示す図The figure which shows the schematic structure of the computer which comprises the inspection moving image processing apparatus 検査動画処理装置が実現する機能のブロック図Block diagram of functions realized by inspection video processing equipment 単位動画抽出部による処理の概念図Conceptual diagram of processing by the unit video extraction unit シーン変化判定部による処理の概念図Conceptual diagram of processing by the scene change judgment unit 画像プロファイルに基づくフレーム間の変化の検出の概念図Conceptual diagram of detection of changes between frames based on image profiles 検査動画処理装置における検査動画の処理手順を示すフローチャートFlow chart showing the processing procedure of the inspection video in the inspection video processing device シーン変化判定部におけるシーンの変化の有無を判定する処理の手順を示すフローチャートA flowchart showing a procedure for determining whether or not there is a change in the scene in the scene change determination unit. 単位動画から最も鮮鋭度の高いフレームを抽出する機能を備える場合に検査動画処理装置が実現する機能のブロック図Block diagram of the function realized by the inspection video processing device when it has a function to extract the frame with the highest sharpness from the unit video 注視シーンのデータとして抽出した単位動画を転送する機能を備える場合に検査動画処理装置が実現する機能のブロック図Block diagram of the function realized by the inspection video processing device when it has a function to transfer the unit video extracted as the data of the gaze scene.

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

［内視鏡システム］

図１は、検査動画処理装置を含む内視鏡システムのシステム構成を示す図である。

[Endoscope system]

FIG. 1 is a diagram showing a system configuration of an endoscope system including an inspection moving image processing device.

同図に示すように、この内視鏡システム１は、内視鏡装置１００と、内視鏡の検査画像（動画及び静止画）を記録する画像記録装置２００と、内視鏡の検査動画を処理する検査動画処理装置３００と、を備える。各装置は、ネットワーク１０を介して互いに通信可能に接続される。

As shown in the figure, the endoscope system 1 captures the endoscope device 100, the image recording device 200 that records the inspection images (moving images and still images) of the endoscope, and the inspection moving image of the endoscope. It includes an inspection moving image processing device 300 for processing. The devices are communicably connected to each other via the network 10.

《内視鏡検査装置》

図２は、内視鏡装置の概略構成を示す図である。

《Endoscopy device》

FIG. 2 is a diagram showing a schematic configuration of an endoscope device.

図２に示すように、内視鏡装置１００は、電子内視鏡１１０、光源装置１２０、プロセッサ装置１３０、表示装置１４０及びコンソール１５０等を備える。

As shown in FIG. 2, the endoscope device 100 includes an electronic endoscope 110, a light source device 120, a processor device 130, a display device 140, a console 150, and the like.

〈電子内視鏡〉

電子内視鏡１１０は、挿入部１１２、操作部１１４及び接続部１１６を備え、接続部１１６を介して光源装置１２０及びプロセッサ装置１３０と接続される。

<Electronic endoscope>

The electronic endoscope 110 includes an insertion unit 112, an operation unit 114, and a connection unit 116, and is connected to the light source device 120 and the processor device 130 via the connection unit 116.

挿入部１１２は、体腔内に挿入される部分である。挿入部１１２は、操作部１１４の操作によって先端部が上下左右に湾曲する。挿入部１１２の先端部には、観察窓、照明窓、鉗子口、ノズル等が備えられる。画像は、挿入部１１２の先端部に組み込まれた撮影光学系及びイメージセンサを介して観察窓から撮影される。また、照明光は、挿入部１１２の先端部に組み込まれた照明光学系を介して照明窓から照射される。

The insertion portion 112 is a portion to be inserted into the body cavity. The tip of the insertion portion 112 is curved vertically and horizontally by the operation of the operation portion 114. The tip of the insertion portion 112 is provided with an observation window, an illumination window, a forceps opening, a nozzle, and the like. The image is taken from the observation window via the photographing optical system and the image sensor incorporated in the tip end portion of the insertion portion 112. Further, the illumination light is emitted from the illumination window via the illumination optical system incorporated in the tip end portion of the insertion portion 112.

操作部１１４は、各種操作を行う部分である。操作部１１４には、挿入部１１２の先端の湾曲を制御するアングルノブ、撮影を指示する撮影ボタン、ノズルからの送気又は送水を指示する送気送水ボタン、鉗子口からの吸引を指示する吸引ボタン、処置具を挿入する鉗子口等が備えられる。

The operation unit 114 is a part that performs various operations. The operation unit 114 has an angle knob for controlling the curvature of the tip of the insertion unit 112, an imaging button for instructing imaging, an air supply water supply button for instructing air supply or water supply from a nozzle, and suction for instructing suction from a forceps opening. A button, a forceps opening for inserting a treatment tool, and the like are provided.

〈光源装置〉

光源装置１２０は、照明光を電子内視鏡１１０に供給する。光源装置１２０は、自然光（太陽光）に近い特性（波長分布）の光（いわゆる白色光）を発生させて、電子内視鏡１１０に供給する。

<Light source device>

The light source device 120 supplies the illumination light to the electronic endoscope 110. The light source device 120 generates light (so-called white light) having characteristics (wavelength distribution) close to that of natural light (sunlight) and supplies it to the electronic endoscope 110.

光源装置１２０は、プロセッサ装置１３０に接続される。光源装置１２０は、プロセッサ装置１３０と連動して、照明光の明るさを自動的に調整する（いわゆる自動調光）。

The light source device 120 is connected to the processor device 130. The light source device 120 automatically adjusts the brightness of the illumination light in conjunction with the processor device 130 (so-called automatic dimming).

〈プロセッサ装置〉

プロセッサ装置１３０は、電子内視鏡１１０のイメージセンサから出力される信号を処理して、映像信号を生成する。

<Processor device>

The processor device 130 processes the signal output from the image sensor of the electronic endoscope 110 to generate a video signal.

プロセッサ装置１３０は、ネットワーク１０を介して画像記録装置２００及び検査動画処理装置３００と通信可能に接続される。プロセッサ装置１３０は、術者からの指示に応じて、検査画像（動画及び静止画）を画像記録装置２００及び検査動画処理装置３００に送信する。

The processor device 130 is communicably connected to the image recording device 200 and the inspection moving image processing device 300 via the network 10. The processor device 130 transmits the inspection image (moving image and still image) to the image recording device 200 and the inspection moving image processing device 300 in response to an instruction from the operator.

〈表示装置〉

表示装置１４０は、電子内視鏡１１０のイメージセンサで捉えた映像を映し出す装置である。表示装置１４０は、たとえば、液晶ディスプレイで構成される。表示装置１４０には、プロセッサ装置１３０で生成された映像信号が入力される。これにより、電子内視鏡１１０のイメージセンサで捉えた映像が表示装置１４０に映し出される。

<Display device>

The display device 140 is a device that displays an image captured by the image sensor of the electronic endoscope 110. The display device 140 is composed of, for example, a liquid crystal display. The video signal generated by the processor device 130 is input to the display device 140. As a result, the image captured by the image sensor of the electronic endoscope 110 is displayed on the display device 140.

〈コンソール〉

コンソール１５０は、内視鏡装置１００の機能設定、各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。

<console>

The console 150 functions as a user interface that accepts function settings of the endoscope device 100 and input operations such as various instructions.

《画像記録装置》

画像記録装置２００は、内視鏡の検査画像（動画及び静止画）を記録する。画像記録装置２００は、いわゆるファイルサーバで構成され、所定のファイル管理プログラムがインストールされたコンピュータ２１０と、そのコンピュータ２１０に接続された外部記憶装置２２０と、を備える。コンピュータ２１０は、ネットワーク１０に接続され、ネットワーク１０を介して内視鏡装置１００及び検査動画処理装置３００と通信可能に接続される。

<< Image recording device >>

The image recording device 200 records the inspection images (moving images and still images) of the endoscope. The image recording device 200 is composed of a so-called file server, and includes a computer 210 in which a predetermined file management program is installed, and an external storage device 220 connected to the computer 210. The computer 210 is connected to the network 10 and is communicably connected to the endoscope device 100 and the inspection moving image processing device 300 via the network 10.

内視鏡の検査画像は、ネットワーク１０を介して内視鏡装置１００から取得される。取得された検査画像は、外部記憶装置２２０に記録される。外部記憶装置２２０は、たとえば、ハードディスクドライブ（Hard Disk Drive , HDD）で構成される。

The inspection image of the endoscope is acquired from the endoscope device 100 via the network 10. The acquired inspection image is recorded in the external storage device 220. The external storage device 220 is composed of, for example, a hard disk drive (HDD).

画像記録装置２００が記録する内視鏡の検査画像は、動画の他に静止画を含む。動画は、時系列で並ぶ多数のフレームで構成される。静止画は、その動画の１コマ（１フレーム）分の画像で構成される。動画及び静止画の撮影は、術者からの指示に応じて実施される。すなわち、動画の撮影は、術者からの開始の指示に応じて開始され、終了の指示に応じて終了される。撮影は、あらかじめ定められたフレームレートで実施される。また、静止画の撮影は、術者からの撮影指示に応じて実施される。

The inspection image of the endoscope recorded by the image recording apparatus 200 includes a still image in addition to a moving image. The video is composed of a large number of frames arranged in chronological order. A still image is composed of an image for one frame (one frame) of the moving image. Shooting of moving images and still images is carried out according to instructions from the surgeon. That is, the shooting of the moving image is started in response to the start instruction from the surgeon and ends in response to the end instruction. Shooting is performed at a predetermined frame rate. Further, the still image is photographed in response to the photographing instruction from the operator.

《検査動画処理装置》

検査動画処理装置３００は、内視鏡の検査動画から術者が注視した部分を抽出して記録する処理を行う。より具体的には、内視鏡の検査動画からシーンの変化がない部分を術者が注視した部分として抽出して記録する処理を行う。一般に、内視鏡の検査動画において、シーンの変化がない部分は、術者が病変検出のために注視している部分と考えられる（注視する場合は、内視鏡の動きを止めるので、シーンは変化しないと考えられる。）。したがって、内視鏡の検査動画からシーンの変化がない部分のみを抽出することにより、術者が注視している部分のみを抽出できる。これにより、検査動画から術者が注視したシーンの画像を効率よく収集でき、良質な学習用サンプル画像を効率よく収集できる。

<< Inspection video processing device >>

The examination moving image processing device 300 performs a process of extracting and recording a portion gazed by the operator from the inspection moving image of the endoscope. More specifically, a process is performed in which a portion where there is no change in the scene is extracted and recorded as a portion where the operator gazes from the inspection moving image of the endoscope. In general, in the endoscopic examination video, the part where the scene does not change is considered to be the part that the operator is gazing at for lesion detection (when gazing, the movement of the endoscope is stopped, so the scene. Is not expected to change.) Therefore, by extracting only the part where the scene does not change from the inspection moving image of the endoscope, only the part that the operator is gazing at can be extracted. As a result, it is possible to efficiently collect images of the scene that the surgeon gazes at from the examination video, and it is possible to efficiently collect high-quality sample images for learning.

検査動画処理装置３００は、所定の検査動画処理プログラムがインストールされたコンピュータで構成される。

The inspection moving image processing device 300 is composed of a computer in which a predetermined inspection moving image processing program is installed.

図３は、検査動画処理装置を構成するコンピュータの概略構成を示す図である。

FIG. 3 is a diagram showing a schematic configuration of a computer constituting the inspection moving image processing apparatus.

同図に示すように、検査動画処理装置３００を構成するコンピュータは、ＣＰＵ（Central Processing Unit）３１０、ＲＯＭ（Read Only Memory）３１１、ＲＡＭ（Random Access Memory）３１２、ハードディスクドライブ（Hard Disk Drive , HDD）３１３、光学ディスクドライブ３１４、通信インターフェース（interface , I/F）３１５、入出力インターフェース（interface , I/F）３１６等を備える。このコンピュータには、入出力インターフェース３１６を介して、キーボード３２０、マウス３２１、ディスプレイ３２２が接続される。また、このコンピュータは、通信インターフェース３１５を介してネットワーク１０に接続される。

As shown in the figure, the computers constituting the inspection video processing device 300 include a CPU (Central Processing Unit) 310, a ROM (Read Only Memory) 311 and a RAM (Random Access Memory) 312, and a hard disk drive (Hard Disk Drive, HDD). ) 313, an optical disk drive 314, a communication interface (interface, I / F) 315, an input / output interface (interface, I / F) 316, and the like. A keyboard 320, a mouse 321 and a display 322 are connected to this computer via an input / output interface 316. The computer is also connected to the network 10 via the communication interface 315.

内視鏡の検査動画は、ネットワーク１０を介して内視鏡装置１００からリアルタイムに取得される。すなわち、電子内視鏡１１０による検査中の動画が、プロセッサ装置１３０から検査動画処理装置３００にリアルタイムに送信され、取得される。本実施の形態の検査動画処理装置３００では、通信インターフェース３１５が、検査動画取得部に相当する。通信インターフェース３１５を介して取得された検査動画は、ＲＡＭ３１２又はハードディスクドライブ３１３の所定の記憶領域（一時記憶領域）に格納され、以後の処理に供される。

The inspection moving image of the endoscope is acquired in real time from the endoscope device 100 via the network 10. That is, the moving image under inspection by the electronic endoscope 110 is transmitted from the processor device 130 to the inspection moving image processing device 300 in real time and acquired. In the inspection moving image processing device 300 of the present embodiment, the communication interface 315 corresponds to the inspection moving image acquisition unit. The inspection moving image acquired via the communication interface 315 is stored in a predetermined storage area (temporary storage area) of the RAM 312 or the hard disk drive 313, and is used for subsequent processing.

図４は、検査動画処理装置が実現する機能のブロック図である。

FIG. 4 is a block diagram of the functions realized by the inspection moving image processing device.

同図に示すように、検査動画処理装置３００は、取得された内視鏡の検査動画から単位動画を時系列順に抽出する単位動画抽出部３００Ａ、単位動画抽出部３００Ａで抽出された単位動画を解析し、単位動画内でのシーンの変化の有無を判定するシーン変化判定部３００Ｂ、及び、シーン変化判定部３００Ｂでシーンの変化がないと判定された単位動画をハードディスクドライブ３１３に記録する記録制御部３００Ｃとして機能する。

As shown in the figure, the inspection moving image processing device 300 extracts the unit moving image extracted by the unit moving image extraction unit 300A and the unit moving image extracting unit 300A for extracting the unit moving image from the acquired inspection moving image of the endoscope in chronological order. Recording control that records the unit moving image determined by the scene change determination unit 300B and the scene change determination unit 300B that analyze and determine whether or not there is a change in the scene in the unit moving image on the hard disk drive 313. It functions as a unit 300C.

〈単位動画抽出部〉

単位動画抽出部３００Ａは、取得された内視鏡の検査動画から単位動画を時系列順に抽出する。単位動画は、規定数のフレームを含んだ動画で構成される。

<Unit video extraction unit>

The unit moving image extraction unit 300A extracts the unit moving image from the acquired endoscopic examination moving image in chronological order. The unit moving image is composed of moving images including a specified number of frames.

図５は、単位動画抽出部による処理の概念図である。

FIG. 5 is a conceptual diagram of processing by the unit moving image extraction unit.

同図に示すように、検査動画Ｍは、時系列で並ぶ多数のフレームｆで構成される。単位動画抽出部３００Ａは、先頭から順に規定数のフレームｆを含む動画を取り出して、単位動画ＵＭを抽出する。

As shown in the figure, the inspection moving image M is composed of a large number of frames f arranged in chronological order. The unit moving image extraction unit 300A extracts moving images including a predetermined number of frames f in order from the beginning, and extracts a unit moving image UM.

なお、検査動画は、あらかじめ定められたフレームレートで撮影されるので、一定の時間間隔で順次動画を抽出してゆくことにより、一定数のフレームｆを含む動画を時系列順に抽出できる。たとえば、フレームレートが３０ｆｐｓ（frames per second；フレーム毎秒）の場合、１秒ごとに動画を抽出することにより、３０フレームの動画を抽出できる。したがって、規定数のフレームｆを含む動画の撮影時間を単位時間Ｔとすると、単位時間Ｔの間隔で順次動画を抽出してゆくことにより、検査動画Ｍから時系列順に規定数のフレームｆを含んだ単位動画ＵＭを抽出できる。

Since the inspection moving image is shot at a predetermined frame rate, the moving image containing a certain number of frames f can be extracted in chronological order by sequentially extracting the moving images at regular time intervals. For example, when the frame rate is 30 fps (frames per second), 30 frames of moving images can be extracted by extracting moving images every second. Therefore, assuming that the shooting time of the moving image including the specified number of frames f is the unit time T, the specified number of frames f are included in chronological order from the inspection moving image M by sequentially extracting the moving images at intervals of the unit time T. The unit video UM can be extracted.

〈シーン変化判定部〉

シーン変化判定部３００Ｂは、単位動画抽出部３００Ａで抽出された単位動画を解析し、単位動画内でのシーンの変化の有無を判定する。本実施の形態では、単位動画から一定の時間間隔で時系列順にフレームを抽出し、抽出した前後のフレーム間で変化の有無を検出して、単位動画内でのシーンの変化の有無を判定する。より具体的には、前後のフレーム間で画像のズレの有無を検出して、シーンの変化の有無を判定する。すなわち、前後のフレーム間で画像のズレが少ない場合にシーンの変化がないと判定する。

<Scene change judgment unit>

The scene change determination unit 300B analyzes the unit moving image extracted by the unit moving image extraction unit 300A, and determines whether or not there is a change in the scene in the unit moving image. In the present embodiment, frames are extracted from the unit moving image in chronological order at regular time intervals, the presence or absence of a change between the frames before and after the extraction is detected, and the presence or absence of a change in the scene in the unit moving image is determined. .. More specifically, it is determined whether or not there is a change in the scene by detecting the presence or absence of image deviation between the previous and next frames. That is, it is determined that there is no change in the scene when there is little deviation of the image between the previous and next frames.

図６は、シーン変化判定部による処理の概念図である。

FIG. 6 is a conceptual diagram of processing by the scene change determination unit.

同図に示すように、シーン変化判定部３００Ｂは、単位動画ＵＭから一定の時間間隔で時系列順にフレームｆを抽出する。そして、抽出した前後のフレーム間で変化の有無を検出する。いずれかのフレーム間で変化が検出された場合、シーンが変化したと判定する。一方、いずれのフレーム間においても変化が検出されない場合、シーンの変化がないと判定する。

As shown in the figure, the scene change determination unit 300B extracts frames f from the unit moving image UM in chronological order at regular time intervals. Then, the presence or absence of a change between the frames before and after the extraction is detected. If a change is detected between any of the frames, it is determined that the scene has changed. On the other hand, if no change is detected between any frames, it is determined that there is no change in the scene.

図６に示す例では、３０フレームで構成される単位動画ＵＭから５フレームごとにフレームｆを抽出する場合を示している。この場合、５フレーム目、１０フレーム目、１５フレーム目、２０フレーム目、２５フレーム目及び３０フレーム目のフレームが抽出される。そして、５フレーム目と１０フレーム目、１０フレーム目と１５フレーム目、１５フレーム目と２０フレーム目、２０フレーム目と２５フレーム目、２５フレーム目と３０フレーム目において、フレーム間の変化の有無が検出される。

In the example shown in FIG. 6, the case where the frame f is extracted every 5 frames from the unit moving image UM composed of 30 frames is shown. In this case, the 5th frame, the 10th frame, the 15th frame, the 20th frame, the 25th frame, and the 30th frame are extracted. Then, in the 5th and 10th frames, the 10th and 15th frames, the 15th and 20th frames, the 20th and 25th frames, and the 25th and 30th frames, there is a change between the frames. Detected.

本実施の形態では、画像プロファイルに基づいて、フレーム間の変化の有無を検出する。具体的には、フレームを構成する画像のＸ方向における合計輝度値のグラフの形状の変化及びＹ方向における合計輝度値のグラフの形状の変化に基づいて、前後のフレーム間の変化の有無を判定する。

In this embodiment, the presence or absence of changes between frames is detected based on the image profile. Specifically, it is determined whether or not there is a change between the previous and next frames based on the change in the shape of the graph of the total luminance value in the X direction and the change in the shape of the graph of the total luminance value in the Y direction of the images constituting the frame. To do.

図７は、画像プロファイルに基づくフレーム間の変化の検出の概念図である。

FIG. 7 is a conceptual diagram of detecting changes between frames based on an image profile.

同図において、（Ａ）は、フレームを構成する画像のＸ方向における合計輝度値のグラフを示し、（Ｂ）は、フレームを構成する画像のＹ方向における合計輝度値のグラフを示している。

In the figure, (A) shows a graph of the total luminance value in the X direction of the image constituting the frame, and (B) shows the graph of the total luminance value in the Y direction of the image constituting the frame.

画像のＸ方向における合計輝度値のグラフは、画像のＸ方向における輝度値の合計をグラフにしたものであり、横軸を画像のＸ方向の各位置、縦軸を各位置における輝度値の合計として表わされる。各位置における輝度値の合計は、各位置においてＹ方向に並ぶ画素の輝度値の合計として算出される。なお、各画素の輝度値は、Ｇ（Green；緑）画像の画素値として取得できる。

The graph of the total luminance value in the X direction of the image is a graph of the total luminance value in the X direction of the image. The horizontal axis is each position in the X direction of the image, and the vertical axis is the total luminance value in each position. It is expressed as. The total luminance value at each position is calculated as the sum of the luminance values of the pixels arranged in the Y direction at each position. The brightness value of each pixel can be acquired as a pixel value of a G (Green) image.

図７の（Ａ）において、実線で示すグラフＧＸ１は、前フレームにおけるＸ方向の合計輝度値のグラフであり、破線で示すグラフＧＸ２は、後フレームにおけるＸ方向の合計輝度値のグラフである。

In FIG. 7A, the solid line graph GX1 is a graph of the total luminance value in the X direction in the front frame, and the broken line graph GX2 is a graph of the total luminance value in the X direction in the rear frame.

画像のＹ方向における合計輝度値のグラフは、画像のＹ方向における輝度値の合計をグラフにしたものであり、横軸を画像のＹ方向の各位置、縦軸を各位置における輝度値の合計として表わされる。各位置における輝度値の合計は、各位置においてＸ方向に並ぶ画素の輝度値の合計として算出される。

The graph of the total luminance value in the Y direction of the image is a graph of the total luminance value in the Y direction of the image. The horizontal axis is each position in the Y direction of the image, and the vertical axis is the total luminance value in each position. It is expressed as. The total luminance value at each position is calculated as the sum of the luminance values of the pixels arranged in the X direction at each position.

図７の（Ｂ）において、実線で示すグラフＧＹ１は、前フレームにおけるＹ方向の合計輝度値のグラフであり、破線で示すグラフＧＹ２は、後フレームにおけるＹ方向の合計輝度値のグラフである。

In FIG. 7B, the solid line graph GY1 is a graph of the total luminance value in the Y direction in the front frame, and the broken line graph GY2 is a graph of the total luminance value in the Y direction in the rear frame.

上記のように、本実施の形態では、フレームを構成する画像のＸ方向における合計輝度値のグラフの形状の変化及びＹ方向における合計輝度値のグラフの形状の変化に基づいて、フレーム間の変化の有無を検出する。具体的には、次の手順で変化の有無を検出する。
As described above, in the present embodiment, the change between frames is based on the change in the shape of the graph of the total luminance value in the X direction and the change in the shape of the graph of the total luminance value in the Y direction of the images constituting the frame. Detects the presence or absence of. Specifically, the presence or absence of change is detected by the following procedure.

いま、前フレームを構成する画像のＸ方向の各位置における合計輝度値をＰ_Ｘ１（Ｘ）、後フレームを構成する画像のＸ方向の各位置における合計輝度値をＰ_Ｘ２（Ｘ）、前フレームを構成する画像のＹ方向の各位置における合計輝度値をＰ_Ｙ１（Ｙ）、後フレームを構成する画像のＹ方向の各位置における合計輝度値をＰ_Ｙ２（Ｙ）とする。

Now, the total luminance value at each position in the X direction of the image constituting the front frame is _PX1 (X), the total luminance value at each position in the X direction of the image constituting the rear frame is _PX2 (X), and the front frame. _Let P Y1 (Y) be the total luminance value at each position in the Y direction of the image constituting the rear frame, and P _Y2 (Y) be the total luminance value at each position in the Y direction of the image constituting the rear frame.

まず、Ｘ方向の各位置について、前フレームの合計輝度値Ｐ_Ｘ１（Ｘ）と後フレームの合計輝度値Ｐ_Ｘ２（Ｘ）の差の絶対値（|Ｐ_Ｘ１（Ｘ）−Ｐ_Ｘ２（Ｘ）|）を求め、その総和（Σ_Ｘ|Ｐ_Ｘ１（Ｘ）−Ｐ_Ｘ２（Ｘ）|）を算出する。同様に、Ｙ方向の各位置について、前フレームの合計輝度値Ｐ_Ｙ１（Ｙ）と後フレームの合計輝度値Ｐ_Ｙ２（Ｙ）の差の絶対値（|Ｐ_Ｙ１（Ｙ）−Ｐ_Ｙ２（Ｙ）|）を求め、その総和（Σ_Ｙ|Ｐ_Ｙ１（Ｙ）−Ｐ_Ｙ２
（Ｙ）|）を算出する。

First, for each position in the X direction, the absolute value of the difference between the total luminance value of the previous frame _P X1 (X) and the total luminance value of the rear frame _{_{P X2 (X) (| P}} X1 (X) -P X2 (X) |) and determined, the sum _{_{_{(Σ X | P X1 (X}}} ) -P X2 (X) |) is calculated. Similarly, for each position in the Y direction, the absolute value of the difference between the _{total luminance value P Y1} (Y) of the front frame and the total luminance value P _Y2 _{(Y) of the rear frame (| P Y1} (Y) -P _Y2 (Y) ) |) And its sum (Σ _Y | P _Y1 (Y) -P _Y2
(Y) |) is calculated.

次に、算出されたＸ方向の各位置の合計輝度値の差の絶対値の総和（|Ｐ_Ｘ１（Ｘ）−Ｐ_Ｘ２（Ｘ）|）とＹ方向の各位置の合計輝度値の差の絶対値の総和（Σ_Ｙ|Ｐ_Ｙ１（Ｙ）−Ｐ_Ｙ２（Ｙ）|）の和Ｄを算出する。すなわち、Ｄ＝Σ_Ｘ|Ｐ_Ｘ１（Ｘ）−Ｐ_Ｘ２（Ｘ）| ＋Σ_Ｙ|Ｐ_Ｙ１（Ｙ）−Ｐ_Ｙ２（Ｙ）|を算出する。

Next, the absolute value of the difference between the total luminance value of each position of the calculated X-direction sum _{(| P X1 (X) -P} X2 (X) |) and the Y-direction of the difference between the total luminance value of each position The sum D of the sum of the absolute values (Σ _Y | P _Y1 (Y) -P _Y2 (Y) |) is calculated. That is, D = Σ _X | P _X1 (X) -P _X2 (X) | + Σ _Y | P _Y1 (Y) -P _Y2 (Y) | is calculated.

次に、算出されたＤを閾値と比較する。算出されたＤが、閾値を超える場合、前後のフレーム間で変化あり、と判定する。一方、算出されたＤが、閾値以下の場合、前後のフレーム間で変化なし、と判定する。

Next, the calculated D is compared with the threshold value. When the calculated D exceeds the threshold value, it is determined that there is a change between the preceding and following frames. On the other hand, when the calculated D is equal to or less than the threshold value, it is determined that there is no change between the preceding and following frames.

このように、本実施の形態では、フレームを構成する画像のＸ方向における合計輝度値のグラフの形状の変化及びＹ方向における合計輝度値のグラフの形状の変化に基づいて、前後のフレーム間の変化の有無を判定する。

As described above, in the present embodiment, the frames between the preceding and following frames are based on the change in the shape of the graph of the total luminance value in the X direction and the change in the shape of the graph of the total luminance value in the Y direction of the images constituting the frame. Determine if there is a change.

〈記録制御部〉

記録制御部３００Ｃは、シーン変化判定部３００Ｂで判定処理された単位動画を判定結果に基づいて処理する。具体的には、シーン変化判定部３００Ｂでシーンの変化なしと判定された単位動画をハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録する。ハードディスクドライブ３１３は第１記憶媒体の一例である。

<Record control unit>

The recording control unit 300C processes the unit moving image determined by the scene change determination unit 300B based on the determination result. Specifically, the unit moving image determined by the scene change determination unit 300B that there is no change in the scene is recorded in a predetermined storage area (gaze scene storage area) of the hard disk drive 313. The hard disk drive 313 is an example of the first storage medium.

ハードディスクドライブ３１３に記録される単位動画は、シーンの変化のない部分の動画である。シーンの変化がないということは、内視鏡の動きのないということであり、術者が注視している部分の動画であると考えられる。このような部分を選択的に抽出して記録することにより、学習用サンプル画像となり得る良質な画像を効率よく収集できる。

The unit moving image recorded on the hard disk drive 313 is a moving image of a portion where the scene does not change. The fact that there is no change in the scene means that there is no movement of the endoscope, and it is considered that the video is the part that the surgeon is watching. By selectively extracting and recording such a portion, it is possible to efficiently collect a high-quality image that can be a sample image for learning.

記録制御部３００Ｃは、シーンの変化なしと判定された単位動画をハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録後、ＲＡＭ３１２又はハードディスクドライブ３１３の一時記憶領域に記憶された当該単位動画をＲＡＭ３１２又はハードディスクドライブ３１３の一時記憶領域から消去する。シーンの変化ありと判定された単位動画についても同様であり、シーン変化判定部３００Ｂによる判定処理後、ＲＡＭ３１２又はハードディスクドライブ３１３の一時記憶領域から消去する。これにより、ＲＡＭ３１２又はハードディスクドライブ３１３の記憶領域を効率よく使用できる。

The recording control unit 300C records the unit moving image determined to have no change in the scene in a predetermined storage area (gaze scene storage area) of the hard disk drive 313, and then stores the unit in the temporary storage area of the RAM 312 or the hard disk drive 313. Erase the moving image from the temporary storage area of the RAM 312 or the hard disk drive 313. The same applies to the unit moving image determined to have a change in the scene, and after the determination process by the scene change determination unit 300B, the unit moving image is erased from the temporary storage area of the RAM 312 or the hard disk drive 313. As a result, the storage area of the RAM 312 or the hard disk drive 313 can be efficiently used.

［検査動画処理方法］

図８は、検査動画処理装置における検査動画の処理手順を示すフローチャートである。
[Inspection video processing method]

FIG. 8 is a flowchart showing a processing procedure of the inspection moving image in the inspection moving image processing device.

内視鏡検査が開始されると、電子内視鏡１１０で撮影された動画（検査動画）が内視鏡装置１００からネットワーク１０を介して検査動画処理装置３００にリアルタイムに送信される。検査動画処理装置３００は、内視鏡装置１００から送信される検査動画をリアルタイムに取得する（ステップＳ１０）。取得された検査動画は、ＲＡＭ３１２又はハードディスクドライブ３１３の一時記憶領域に記録される。

When the endoscopic examination is started, a moving image (inspection moving image) taken by the electronic endoscope 110 is transmitted from the endoscope device 100 to the examination moving image processing device 300 via the network 10 in real time. The inspection moving image processing device 300 acquires the inspection moving image transmitted from the endoscope device 100 in real time (step S10). The acquired inspection moving image is recorded in the temporary storage area of the RAM 312 or the hard disk drive 313.

検査動画が取得されると、単位動画抽出部３００Ａにおいて、取得された検査動画から時系列順に単位動画が抽出される（ステップＳ１１）。

When the inspection moving image is acquired, the unit moving image extraction unit 300A extracts the unit moving image from the acquired inspection moving image in chronological order (step S11).

抽出された単位動画は、シーン変化判定部３００Ｂにおいて、シーンの変化の有無が判定される（ステップＳ１２）。

The extracted unit moving image is determined by the scene change determination unit 300B whether or not there is a change in the scene (step S12).

図９は、シーン変化判定部におけるシーンの変化の有無を判定する処理の手順を示すフローチャートである。

FIG. 9 is a flowchart showing a procedure for determining whether or not there is a change in the scene in the scene change determination unit.

シーン変化判定部３００Ｂは、まず、単位動画から時系列順に一定の時間間隔でフレームを抽出する（ステップＳ１２Ａ）。次に、抽出した各フレームを前後で比較し、その変化の有無を検出する（ステップＳ１２Ｂ）。

The scene change determination unit 300B first extracts frames from the unit moving image in chronological order at regular time intervals (step S12A). Next, each extracted frame is compared before and after, and the presence or absence of the change is detected (step S12B).

本実施の形態では、フレームを構成する画像のＸ方向における合計輝度値のグラフの形状の変化及びＹ方向における合計輝度値のグラフの形状の変化に基づいて、前後のフレーム間の変化の有無が判定される。具体的には、Ｄ＝Σ_Ｘ|Ｐ_Ｘ１（Ｘ）−Ｐ_Ｘ２（Ｘ）| +Σ_Ｙ|Ｐ_Ｙ１（Ｙ）−Ｐ_Ｙ２（Ｙ）| を算出し、算出されたＤが閾値以下か否かに基づいて、前後のフレーム間の変化の有無を判定する。算出されたＤが閾値を超える場合、前後のフレーム間で変化あり、と判定され、閾値以下の場合、前後のフレーム間で変化なし、と判定される。

In the present embodiment, there is a change between the previous and next frames based on the change in the shape of the graph of the total luminance value in the X direction of the image constituting the frame and the change in the shape of the graph of the total luminance value in the Y direction. It is judged. Specifically, D = Σ _X | P _X1 (X) -P _X2 (X) | + Σ _Y | P _Y1 (Y) -P _Y2 (Y) | Based on whether or not, it is determined whether or not there is a change between the previous and next frames. When the calculated D exceeds the threshold value, it is determined that there is a change between the preceding and following frames, and when it is below the threshold value, it is determined that there is no change between the preceding and following frames.

すべてのフレーム間で変化の有無を検出後、その検出結果にシーンの変化の有無を判定する（ステップＳ１２Ｃ）。すなわち、すべてのフレーム間において、変化がなかったか否かを判定する。すべてのフレーム間において、変化がない場合、当該単位動画内でシーンの変化なし、と判定する（ステップＳ１２Ｄ）。一方、いずれかのフレーム間において、変化があった場合、当該単位動画内でシーンの変化あり、と判定する（ステップＳ１２Ｅ）。

After detecting the presence or absence of a change between all the frames, the presence or absence of a change in the scene is determined based on the detection result (step S12C). That is, it is determined whether or not there is a change between all the frames. If there is no change between all the frames, it is determined that there is no change in the scene in the unit moving image (step S12D). On the other hand, if there is a change between any of the frames, it is determined that there is a change in the scene in the unit moving image (step S12E).

このように、シーン変化判定部３００Ｂでは、一定の時間間隔で抽出したフレームを前後で比較して、シーンの変化の有無を検出する。

In this way, the scene change determination unit 300B compares the frames extracted at regular time intervals before and after, and detects the presence or absence of a change in the scene.

シーン変化判定部３００Ｂによる判定処理後、その判定結果に基づいて、当該単位動画を注視シーンのデータとして記録するか否か判定される（ステップＳ１３）。シーン変化判定部３００Ｂでシーンの変化なし、と判定されると、当該単位動画を注視シーンのデータとして記録する、と判定される。一方、シーン変化判定部３００Ｂでシーンの変化あり、と判定されると、当該単位動画を注視シーンのデータとして記録しない、と判定される。

After the determination process by the scene change determination unit 300B, it is determined whether or not to record the unit moving image as the data of the gaze scene based on the determination result (step S13). If the scene change determination unit 300B determines that there is no change in the scene, it is determined that the unit moving image is recorded as data of the gaze scene. On the other hand, if the scene change determination unit 300B determines that the scene has changed, it is determined that the unit moving image is not recorded as the data of the gaze scene.

注視シーンのデータとして記録する、と判定されると、当該単位動画が、ハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記憶される（ステップＳ１４）。その後、ＲＡＭ３１２又はハードディスクドライブ３１３の一時記憶領域に記録された当該単位動画が消去される（ステップＳ１５）。

If it is determined that the data is to be recorded as the gaze scene data, the unit moving image is stored in a predetermined storage area (gaze scene storage area) of the hard disk drive 313 (step S14). After that, the unit moving image recorded in the temporary storage area of the RAM 312 or the hard disk drive 313 is erased (step S15).

一方、注視シーンのデータとして記録しない、と判定されると、ＲＡＭ３１２又はハードディスクドライブ３１３の一時記憶領域に記録された当該単位動画が消去される（ステップＳ１５）。

On the other hand, if it is determined that the data is not recorded as the gaze scene data, the unit moving image recorded in the temporary storage area of the RAM 312 or the hard disk drive 313 is deleted (step S15).

この後、次の単位動画の有無が判定される（ステップＳ１６）。すなわち、次に抽出された単位動画の有無が判定される。次に抽出された単位動画ある場合、ステップＳ１２に戻り、上記処理を再度実施する。一方、次に抽出された単位動画がない場合、処理を終了する。

After that, the presence or absence of the next unit moving image is determined (step S16). That is, the presence or absence of the next extracted unit moving image is determined. Next, if there is a unit moving image extracted, the process returns to step S12, and the above process is performed again. On the other hand, if there is no unit moving image extracted next, the process ends.

このように、本実施の形態の検査動画処理装置３００によれば、内視鏡の検査動画から時系列順に単位動画が抽出され、抽出された単位動画ごとにシーンの変化の有無が判定される。そして、シーンの変化がないと判定された単位動画のみがハードディスクドライブ３１３に記録される。一般に、内視鏡の検査動画において、シーンの変化がない部分は、術者が病変検出のために注視している部分と考えられる（注視する場合は、内視鏡の動きを止めるので、シーンは変化しないと考えられる。）。したがって、シーンの変化がない単位動画のみを選択して記録することにより、検査動画から術者が注視した部分のみを抽出できる。これにより、検査動画から術者が注視したシーンの画像を効率よく収集でき、機械学習のための良質な学習用サンプル画像を効率よく収集できる。

As described above, according to the inspection moving image processing device 300 of the present embodiment, unit moving images are extracted from the inspection moving image of the endoscope in chronological order, and the presence or absence of a change in the scene is determined for each extracted unit moving image. .. Then, only the unit moving image determined that there is no change in the scene is recorded in the hard disk drive 313. In general, in the endoscopic examination video, the part where the scene does not change is considered to be the part that the operator is gazing at for lesion detection (when gazing, the movement of the endoscope is stopped, so the scene. Is not expected to change.) Therefore, by selecting and recording only the unit moving image in which the scene does not change, only the part watched by the operator can be extracted from the examination moving image. As a result, it is possible to efficiently collect images of the scene that the operator gazes at from the examination video, and it is possible to efficiently collect high-quality learning sample images for machine learning.

［変形例］

《検査動画の取得形態の変形例》

上記実施の形態では、検査中の動画をリアルタイムに取得する構成としているが、検査動画の取得形態は、これに限定されるものではない。たとえば、画像記録装置２００に記録されている検査動画を取得して、処理する構成としてもよい。あるいは、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）などの光ディスクに格納された検査動画を光学ディスクドライブ３１４から読み出して処理してもよい。また、検査動画処理装置３００に接続された外部ストレージに格納された検査動画を取得して、処理する構成としてもよい。その他、ネットワークを介して他の機器から検査動画を取得して、処理する構成としてもよい。

[Modification example]

<< Modified example of acquisition form of inspection video >>

In the above embodiment, the moving image being inspected is acquired in real time, but the acquisition form of the inspection moving image is not limited to this. For example, the inspection moving image recorded in the image recording device 200 may be acquired and processed. Alternatively, the inspection moving image stored in an optical disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disc) may be read from the optical disk drive 314 and processed. Further, the inspection moving image stored in the external storage connected to the inspection moving image processing device 300 may be acquired and processed. In addition, the inspection video may be acquired from another device via the network and processed.

《単位動画抽出部の変形例》

検査動画から抽出する単位動画については、フレーム数又は長さを任意に設定できるようにしてもよい。最小は、２フレームとなる。

<< Modification example of unit video extraction unit >>

For the unit moving image extracted from the inspection moving image, the number of frames or the length may be arbitrarily set. The minimum is 2 frames.

《シーン変化判定部の変形例》

〈フレームの抽出〉

上記実施の形態では、単位動画から一定の時間間隔でフレームを抽出して、フレーム間の変化の有無を検出する構成としているが、単位動画を構成するすべてのフレーム間で変化の有無を検出する構成としてもよい。

<< Modification example of scene change judgment part >>

<Extracting frames>

In the above embodiment, frames are extracted from the unit moving image at regular time intervals to detect the presence or absence of change between frames. However, the presence or absence of change between all the frames constituting the unit moving image is detected. It may be configured.

また、上記実施の形態では、抽出したすべてのフレーム間で変化の有無を検出する構成としているが、変化が検出された段階で処理を終了してもよい。この場合、変化が検出された段階で当該単位動画は、シーンの変化ありと判定される。

Further, in the above embodiment, the presence / absence of change is detected among all the extracted frames, but the process may be terminated when the change is detected. In this case, when the change is detected, the unit moving image is determined to have a change in the scene.

〈フレーム間の変化の有無の検出〉

上記実施の形態では、画像のプロファイル（輝度値の合計）のフレーム間の差分に基づいて、フレーム間の変化の有無を検出する構成としているが、前後のフレーム間の変化の有無を検出する方法は、これに限定されるものではない。内視鏡の動きによる画像のズレの有無を検出できる構成であればよい。

<Detection of the presence or absence of changes between frames>

In the above embodiment, the presence or absence of a change between frames is detected based on the difference between the frames of the image profile (total brightness value), but a method of detecting the presence or absence of a change between the previous and next frames. Is not limited to this. Any configuration may be used as long as it can detect the presence or absence of image misalignment due to the movement of the endoscope.

たとえば、Ｘ方向の差分値列Ｐ_Ｘ１（Ｘ）−Ｐ_Ｘ２（Ｘ）又はＹ方向の差分値列Ｐ_Y１（Ｙ）−Ｐ_Y２（Ｙ）が、所定の範囲外の値を含む場合に変化ありと判定してもよい。

For example, it changes when the difference value sequence P _X1 (X) -P _X2 (X) in the X direction or the difference value sequence P _Y1 (Y) -P _Y2 (Y) in the Y direction contains a value outside the predetermined range. It may be determined that there is.

また、プロファイルは、ＸあるいはＹ方向の全画素列のものではなく、特定の画素列のみを取り出したものでもよい。

Further, the profile may be one in which only a specific pixel string is extracted, not one in which all the pixel strings in the X or Y direction are taken out.

また、Ｘ方向及びＹ方向のいずれか一方の画像のプロファイルに基づいて、フレーム間の変化の有無を検出する構成としてもよい。

Further, the presence or absence of a change between frames may be detected based on the profile of the image in either the X direction or the Y direction.

また、その他の方法として、前後のフレーム間で動きベクトルを検出して、変化の有無を検出する構成としてもよい。この場合、たとえば、検出された動きベクトルを閾値と比較し、閾値以下の場合にフレーム間の変化なしと判定する。

Further, as another method, a motion vector may be detected between the preceding and following frames to detect the presence or absence of a change. In this case, for example, the detected motion vector is compared with the threshold value, and if it is equal to or less than the threshold value, it is determined that there is no change between frames.

この他、前後のフレームの比較に関わらず、動画内のシーンの変化の有無を検出する技術に関して、公知の技術を採用できる。

In addition, a known technique can be adopted as a technique for detecting the presence or absence of a change in a scene in a moving image regardless of a comparison between front and rear frames.

《記録制御部の変形例》

〈記録対象〉

上記実施の形態では、シーン変化判定部３００Ｂでシーンの変化ありと判定された場合、当該単位動画の全体を注視シーンのデータとして、ハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録する構成としているが、当該単位動画の一部のフレームをハードディスクドライブ３１３の所定の記憶領域に記録する構成としてもよい。たとえば、当該単位動画の先頭フレームをハードディスクドライブ３１３の所定の記憶領域に記録する構成としてもよい。この他、最終フレーム、中間フレーム等をハードディスクドライブ３１３の所定の記憶領域に記録する構成としてもよい。また、この場合、単一のフレームではなく複数枚のフレームを記録する構成としてもよい。たとえば、単位動画から一定の時間間隔で抽出したフレームを記録する構成としてもよい。

<< Modification example of recording control unit >>

<Recording target>

In the above embodiment, when the scene change determination unit 300B determines that there is a change in the scene, the entire unit moving image is recorded as the data of the gaze scene in a predetermined storage area (gaze scene storage area) of the hard disk drive 313. However, a configuration in which a part of the frame of the unit moving image is recorded in a predetermined storage area of the hard disk drive 313 may be used. For example, the first frame of the unit moving image may be recorded in a predetermined storage area of the hard disk drive 313. In addition, the final frame, the intermediate frame, and the like may be recorded in a predetermined storage area of the hard disk drive 313. Further, in this case, a configuration in which a plurality of frames are recorded instead of a single frame may be used. For example, it may be configured to record frames extracted from a unit moving image at regular time intervals.

また、単位動画から最も鮮鋭度の高いフレームを抽出し、当該フレームを注視シーンのデータとしてハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録する構成としてもよい。

Further, a frame having the highest sharpness may be extracted from the unit moving image, and the frame may be recorded as data of a gaze scene in a predetermined storage area (gaze scene storage area) of the hard disk drive 313.

図１０は、単位動画から最も鮮鋭度の高いフレームを抽出する機能を備える場合に検査動画処理装置が実現する機能のブロック図である。

FIG. 10 is a block diagram of a function realized by the inspection moving image processing apparatus when the function of extracting the frame having the highest sharpness from the unit moving image is provided.

同図に示すように、この場合、検査動画処理装置３００には、高鮮鋭度フレーム抽出部３００Ｄが更に備えられる。

As shown in the figure, in this case, the inspection moving image processing device 300 is further provided with a high-sharpness frame extraction unit 300D.

高鮮鋭度フレーム抽出部３００Ｄは、処理対象の単位動画が、シーン変化判定部３００Ｂでシーンの変化なしと判定された場合に、当該単位動画を解析し、最も鮮鋭度の高いフレームを抽出する処理を行う。鮮鋭度は、一般的に、画像内の細部の明瞭度又はエッジ部の遷移度の測定値で表される。

The high-sharpness frame extraction unit 300D analyzes the unit video to be processed when the scene change determination unit 300B determines that there is no change in the scene, and extracts the frame with the highest sharpness. I do. Sharpness is generally expressed as a measure of the intelligibility of details in an image or the transition of edges.

高鮮鋭度フレーム抽出部３００Ｄは、単位動画を構成する各フレームの鮮鋭度を測定し、最も鮮鋭度の高いフレームを抽出する。鮮鋭度の測定には、公知の手法が採用される。
たとえば、画像のエッジ領域における高周波成分の強度の平均によって鮮鋭度を測定する方法などを採用できる。

The high sharpness frame extraction unit 300D measures the sharpness of each frame constituting the unit moving image, and extracts the frame having the highest sharpness. A known method is adopted for measuring the sharpness.
For example, a method of measuring sharpness by averaging the intensities of high-frequency components in the edge region of an image can be adopted.

記録制御部３００Ｃは、高鮮鋭度フレーム抽出部３００Ｄによって抽出されたフレームを注視シーンのデータとしてハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録する。

The recording control unit 300C records the frame extracted by the high-sharpness frame extraction unit 300D as data of the gaze scene in a predetermined storage area (gaze scene storage area) of the hard disk drive 313.

このように、最も鮮鋭度の高いフレームを注視シーンのデータとしてハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録することにより、より良質な学習用サンプル画像を収集できる。

In this way, by recording the frame with the highest sharpness as the data of the gaze scene in a predetermined storage area (gaze scene storage area) of the hard disk drive 313, a higher quality learning sample image can be collected.

なお、上記の例では、単位動画を構成するすべてのフレームを対象にして最も鮮鋭度の高いフレームを抽出する構成としているが、間引いて処理してもよい。たとえば、単位動画から一定の時間間隔でフレームを抽出し、抽出したフレームの中から最も鮮鋭度の高いフレームを抽出する構成としてもよい。

In the above example, the frame having the highest sharpness is extracted from all the frames constituting the unit moving image, but the frames may be thinned out. For example, the frame may be extracted from the unit moving image at regular time intervals, and the frame having the highest sharpness may be extracted from the extracted frames.

また、鮮鋭度の高い複数のフレームを抽出して記録してもよい。たとえば、鮮鋭度の高い上位Ｎ枚のフレームを記録してもよい。

Further, a plurality of frames having high sharpness may be extracted and recorded. For example, the top N frames with high sharpness may be recorded.

〈記録先〉

上記実施の形態では、注視シーンのデータとして単位動画を検査動画処理装置３００に備えられたハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録する構成としているが、注視シーンのデータとして抽出した単位動画の記録先は、これに限定されるものではない。たとえば、ネットワーク１０を介して画像記録装置２００に転送し、画像記録装置２００に記録する構成としてもよい。

<Recording destination>

In the above embodiment, the unit moving image is recorded as the data of the gaze scene in a predetermined storage area (gaze scene storage area) of the hard disk drive 313 provided in the inspection moving image processing device 300, but as the data of the gaze scene. The recording destination of the extracted unit moving image is not limited to this. For example, the image may be transferred to the image recording device 200 via the network 10 and recorded in the image recording device 200.

図１１は、注視シーンのデータとして抽出した単位動画を転送する機能を備える場合に検査動画処理装置が実現する機能のブロック図である。

FIG. 11 is a block diagram of a function realized by the inspection moving image processing apparatus when the function of transferring the unit moving image extracted as the data of the gaze scene is provided.

同図に示すように、この場合、検査動画処理装置３００には、転送制御部３００Ｅが更に備えられる。転送制御部３００Ｅは、ハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に記録された単位動画を、ネットワーク１０を介して画像記録装置２００に転送する。画像記録装置２００は、検査動画処理装置３００から転送された単位動画を受け取り、外部記憶装置２２０に記録する。画像記録装置２００は、第２記憶媒体の一例である。

As shown in the figure, in this case, the inspection moving image processing device 300 is further provided with a transfer control unit 300E. The transfer control unit 300E transfers the unit moving image recorded in the predetermined storage area (gaze scene storage area) of the hard disk drive 313 to the image recording device 200 via the network 10. The image recording device 200 receives the unit moving image transferred from the inspection moving image processing device 300 and records it in the external storage device 220. The image recording device 200 is an example of a second storage medium.

なお、転送制御部３００Ｅは、注視シーンのデータとして抽出した単位動画を逐次転送してもよいし、また、内視鏡の検査終了後にまとめて転送してもよい。また、ハードディスクドライブ３１３の所定の記憶領域（注視シーン記憶領域）に一定容量の単位動画が蓄積された段階でまとめて転送してもよい。

The transfer control unit 300E may sequentially transfer the unit moving images extracted as the data of the gaze scene, or may collectively transfer the unit moving images after the endoscopic examination is completed. Further, the unit moving images of a certain capacity may be collectively transferred at the stage when a fixed amount of unit moving images are accumulated in a predetermined storage area (gaze scene storage area) of the hard disk drive 313.

〈検査画像等との関連付け〉

注視シーンのデータとして抽出した単位動画は、抽出元の検査動画に関連付けて、画像記録装置２００に記録してもよい。

<Association with inspection images, etc.>

The unit moving image extracted as the data of the gaze scene may be recorded in the image recording device 200 in association with the inspection moving image of the extraction source.

また、一般に内視鏡検査では、検査後にレポートが作成されるが、そのレポートに関連付けて画像記録装置２００に記録してもよい。診断結果の情報等を付加して記録してもよい。

Further, in endoscopy, a report is generally created after the examination, but the report may be recorded in the image recording apparatus 200 in association with the report. Information on the diagnosis result may be added and recorded.

《内視鏡装置の変形例》

〈内視鏡の種類〉

上記実施の形態では、いわゆる軟性内視鏡の検査動画を処理する場合を例に説明したが、硬性内視鏡の検査動画を処理する場合にも同様に適用できる。

<< Modified example of endoscopic device >>

<Type of endoscope>

In the above embodiment, the case of processing the inspection moving image of the so-called flexible endoscope has been described as an example, but the same can be applied to the case of processing the inspection moving image of the rigid endoscope.

〈観察の種類〉

上記実施の形態は、いわゆる通常観察の例で説明したが、ＮＢＩ（Narrow Band Imaging；狭帯域光観察）、ＢＬＩ（Blue LASER Imaging；狭帯域光観察）、ＦＩＣＥ（Flexible spectral Imaging Color Enhancement ；分光推定処理）等の特殊光観察を行う場合にも同様に適用できる。特殊光観察を行う場合は、その特殊光観察に対応した光を光源装置１２０から供給し、特殊光観察に対応した画像処理をプロセッサ装置１３０で実施する。
<Type of observation>

The above embodiment has been described with the example of so-called normal observation, but NBI (Narrow Band Imaging; Narrow Band Imaging), BLI (Blue LASER Imaging), FICE (Flexible spectral Imaging Color Enhancement; Spectral Estimate). The same can be applied to special light observation such as processing). When the special light observation is performed, the light corresponding to the special light observation is supplied from the light source device 120, and the image processing corresponding to the special light observation is performed by the processor device 130.

たとえば、狭帯域光観察では、照明光に特定の波長帯域の光（狭帯域光）を使用して、観察対象を撮影する。そして、撮影により得られた信号から観察対象の特定深さ領域にある血管を強調した可視化画像を生成する。これにより、血管の観察に適した画像を表示装置１４０に表示できる。

For example, in narrow-band light observation, an observation target is photographed by using light of a specific wavelength band (narrow-band light) as illumination light. Then, a visualization image emphasizing the blood vessels in the specific depth region of the observation target is generated from the signal obtained by the imaging. As a result, an image suitable for observing blood vessels can be displayed on the display device 140.

〈光源の波長帯域〉

光源装置１２０に備える光源は、白色帯域の光、又は、白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。

<Wavelength band of light source>

The light source provided in the light source device 120 may be light in a white band, light in a plurality of wavelength bands as light in a white band, or light in a specific wavelength band narrower than the white wavelength band. It may be a light source.

特定の波長帯域は、可視域の青色帯域若しくは緑色帯域、あるいは、可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域若しくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、又は６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

The specific wavelength band may be a blue band or a green band in the visible range, or a red band in the visible range. When a specific wavelength band is a visible blue band or green band, it includes a wavelength band of 390 nm or more and 450 nm or less, or 530 nm or more and 550 nm or less, and peaks in a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. It may have a wavelength. When the specific wavelength band is the red band in the visible region, the light in the specific wavelength band includes the wavelength band of 585 nm or more and 615 nm or less, or 610 nm or more and 730 nm or less, and the light in the specific wavelength band is 585 nm or more and 615 nm or less or 610 nm or more. It may have a peak wavelength in the wavelength band of 730 nm or less.

上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

Even if the light in the specific wavelength band described above includes a wavelength band in which the oxidation hemoglobin and the reduced hemoglobin have different absorption coefficients and has a peak wavelength in the wavelength band in which the oxidation hemoglobin and the reduced hemoglobin have different absorption coefficients. Good. In this case, the specific wavelength band includes a wavelength band of 400 ± 10 nm, 440 ± 10 nm, 470 ± 10 nm, or 600 nm or more and 750 nm, and 400 ± 10 nm, 440 ± 10 nm, 470 ± 10 nm, or 600 nm or more and 750 nm. It may have a peak wavelength in the following wavelength band.

また、光源が発生する光は、７９０ｎｍ以上８２０ｎｍ以下、又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

Further, the light generated by the light source may include a wavelength band of 790 nm or more and 820 nm or less, or 905 nm or more and 970 nm or less, and may have a peak wavelength in a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.

また、光源は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体内の蛍光物質が発する蛍光の情報を有する画像を取得できる。

Further, the light source may include a light source that irradiates excitation light having a peak of 390 nm or more and 470 nm or less. In this case, it is possible to acquire an image having information on the fluorescence emitted by the fluorescent substance in the subject.

光源の種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は、観察対象の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は観察対象の種類、観察の目的等に応じて照明光の波長を組合せ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

The type of light source (laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.), wavelength, presence / absence of filter, etc. are preferably configured according to the type of observation target, the purpose of observation, and the like. When observing, it is preferable to combine and / or switch the wavelength of the illumination light according to the type of observation target, the purpose of observation, and the like. When switching wavelengths, for example, the wavelength of the emitted light is changed by rotating a disk-shaped filter (rotary color filter) arranged in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength. You may switch.

［その他］

上記の実施の形態において、コンピュータに実現させている機能は、各種のプロセッサに実現させることができる。各種のプロセッサには、プログラムを実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

[Other]

In the above embodiment, the functions realized by the computer can be realized by various processors. Various processors include CPUs, which are general-purpose processors that function as processing units that execute programs and perform various processes, and PLDs, which are processors whose circuit configurations can be changed after manufacturing, such as FPGAs (Field Programmable Gate Arrays). (Programmable Logic Device), a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit), and the like are included.

一つの機能は、同種又は異種の二つ以上のプロセッサに実現させてもよい。たとえば、複数のＦＰＧＡで実現させる構成としてもよいし、ＣＰＵ及びＦＰＧＡの組み合わせで実現させる構成としてもよい。

One function may be realized by two or more processors of the same type or different types. For example, it may be a configuration realized by a plurality of FPGAs, or a configuration realized by a combination of a CPU and an FPGA.

また、複数の機能を一つのプロセッサで構成してもよい。複数の機能を一つのプロセッサで実現する構成の例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組合せで一つのプロセッサを構成し、このプロセッサに複数の機能を実現させる形態がある。第２に、システムオンチップ（SoC：System On Chip）などに代表されるように、複数の機能を一つのＩＣチップ（IC：Integrated Circuit）で実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて実現される。

Further, a plurality of functions may be configured by one processor. As an example of a configuration that realizes a plurality of functions with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server. , There is a form in which this processor realizes multiple functions. Secondly, as represented by a system on chip (SoC), there is a form in which a processor that realizes a plurality of functions with one IC chip (IC: Integrated Circuit) is used. As described above, various functions are realized by using one or more of the above-mentioned various processors as a hardware structure.

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。

Further, the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.

１内視鏡システム

１０ネットワーク

１００内視鏡装置

１１０電子内視鏡

１１２挿入部

１１４操作部

１１６接続部

１２０光源装置

１３０プロセッサ装置

１４０表示装置

１５０コンソール

２００画像記録装置

２１０コンピュータ

２２０外部記憶装置

３００検査動画処理装置

３００Ａ単位動画抽出部

３００Ｂシーン変化判定部

３００Ｃ記録制御部

３００Ｄ高鮮鋭度フレーム抽出部

３００Ｅ転送制御部

３１２ＲＡＭ３１３ハードディスクドライブ

３１４光学ディスクドライブ

３１５通信インターフェース

３１６入出力インターフェース

３２０キーボード

３２１マウス

３２２ディスプレイ

ＧＸ１前フレームにおけるＸ方向の合計輝度値のグラフ

ＧＸ２後フレームにおけるＸ方向の合計輝度値のグラフ

ＧＹ１前フレームにおけるＹ方向の合計輝度値のグラフ

ＧＹ２後フレームにおけるＹ方向の合計輝度値のグラフ

Ｅｎ輝度値

Ｐｎ１輝度値Ｅｎにおける前フレームの画素数

Ｐｎ２輝度値Ｅｎにおける後フレームの画素数

Ｍ検査動画

Ｔ単位時間

ＵＭ単位動画

ｆフレーム

Ｓ１０〜Ｓ１６検査動画の処理手順

Ｓ１２Ａ〜Ｓ１２Ｅシーンの変化の有無を判定する処理の手順
1 Endoscope system

10 networks

100 Endoscope device

110 electronic endoscope

112 Insert

114 Operation unit

116 Connection

120 light source device

130 processor device

140 display device

150 console

200 image recording device

210 computer

220 external storage device

300 Inspection video processing device

300A unit video extraction unit

300B scene change judgment unit

300C recording control unit

300D high sharpness frame extractor

300E transfer control unit

312 RAM313 hard disk drive

314 optical disc drive

315 communication interface

316 I / O interface

320 keyboard

321 mouse

322 display

GX1 Graph of total brightness value in X direction in the previous frame

Graph of total brightness value in the X direction in the frame after GX2

GY1 Graph of total brightness value in Y direction in the previous frame

Graph of total brightness value in Y direction in the frame after GY2

En brightness value

Pn1 Number of pixels in the previous frame at the brightness value En

Pn2 Number of pixels in the back frame at the brightness value En

M inspection video

T unit time

UM unit video

f frame

S10-S16 Inspection video processing procedure

S12A to S12E Procedure for determining whether or not there is a change in the scene

Claims

The inspection video acquisition department that acquires the inspection video of the endoscope,

A unit moving image extraction unit that extracts a unit moving image having a plurality of frames from the inspection moving image acquired by the inspection moving image acquisition unit, and a unit moving image extracting unit.

A scene change determination unit that analyzes the unit moving image extracted by the unit moving image extraction unit and determines whether or not there is a change in the scene in the unit moving image.

A recording control unit that records at least a part of the frames included in the unit moving image, which is determined by the scene change determination unit to have no change in the scene, on the first storage medium.

Inspection video processing device equipped with.

The scene change determination unit extracts frames from the unit moving image in chronological order at regular time intervals, detects whether or not there is a change between the frames before and after the extraction, and whether or not there is a change in the scene in the unit moving image. To judge,

The inspection moving image processing apparatus according to claim 1.

The scene change determination unit changes between the previous and next frames based on the change in the shape of the graph of the total luminance value in the X direction and / or the change in the shape of the graph of the total luminance value in the Y direction of the images constituting the frame. Judge the presence or absence of

The inspection moving image processing apparatus according to claim 2.

The graph of the total luminance value in the X direction is the sum of the luminance values of a single or a plurality of pixel strings in the X direction.

The inspection moving image processing apparatus according to claim 3.

The graph of the total luminance value in the Y direction is the sum of the luminance values of a single or a plurality of pixel strings in the Y direction.

The inspection moving image processing apparatus according to claim 3 or 4.

The scene change determination unit is based on the difference value between the frames of the graph of the total luminance value in the X direction.

The inspection moving image processing apparatus according to claim 3.

The scene change determination unit is based on the difference value between the frames of the graph of the total luminance value in the Y direction.

The inspection moving image processing apparatus according to claim 3 or 4.

The scene change determination unit further includes a high-sharpness frame extraction unit that analyzes the unit moving image determined that there is no change in the scene and extracts the frame with the highest sharpness.

The recording control unit records the frame extracted by the high-sharpness frame extraction unit on the first storage medium.

The inspection moving image processing apparatus according to any one of claims 1 to 4.

The inspection video acquisition unit acquires the inspection video being inspected in real time.

The inspection moving image processing apparatus according to any one of claims 1 to 7.

A transfer control unit for transferring a frame recorded on the first storage medium to the second storage medium is further provided.

The inspection moving image processing apparatus according to any one of claims 1 to 9.

Steps to get an endoscopic examination video,

A step of extracting a unit video having a plurality of frames from the acquired inspection video, and

A step of analyzing the extracted unit moving image and determining whether or not there is a change in the scene in the unit moving image, and

A step of recording at least a part of the frames included in the unit moving image determined that there is no change in the scene on the first storage medium, and

Inspection video processing method including.

The function to acquire endoscopic examination videos and

A function to extract a unit video having a plurality of frames from the acquired inspection video, and

A function that analyzes the extracted unit video and determines whether or not there is a change in the scene within the unit video.

A function of recording at least a part of the frames included in the unit moving image determined that there is no change in the scene on the first storage medium, and

Inspection video processing program that realizes on a computer.