JP3993554B2

JP3993554B2 - Image processing apparatus, method, and program

Info

Publication number: JP3993554B2
Application number: JP2003365636A
Authority: JP
Inventors: 健次中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-10-27
Filing date: 2003-10-27
Publication date: 2007-10-17
Anticipated expiration: 2023-10-27
Also published as: JP2005124965A

Description

医療用機器、特にカプセル型内視鏡により撮影した膨大な量の画像の画像処理に関する。 The present invention relates to image processing of an enormous amount of images photographed by a medical device, particularly a capsule endoscope.

近年、内視鏡においては、飲込み型のカプセル型内視鏡が登場している。このカプセル型内視鏡には、撮像機能と無線機能とが設けられている。カプセル型内視鏡は、観察（検査）のために患者の口から飲み込まれた後、人体から自然排出されるまでの観察期間、胃、小腸などの臓器を順次撮像する仕組みである（特許文献１）。 In recent years, swallowable capsule endoscopes have appeared in endoscopes. This capsule endoscope is provided with an imaging function and a wireless function. The capsule endoscope is a mechanism that sequentially images the organs such as the stomach and small intestine after being swallowed from the patient's mouth for observation (examination) until it is naturally discharged from the human body (Patent Document) 1).

この観察期間、カプセル型内視鏡によって体内で撮像された画像データは、順次無線通信により外部に送信され、メモリに蓄積される。患者がこの無線通信機能とメモリ機能とを備えた受信機を携帯することにより、患者は、カプセル型内視鏡を飲み込んだ後、排出されるまでの観察期間、自由に行動できる。観察後、医者もしくは看護士においては、メモリに蓄積された画像データに基づいて臓器の画像をディスプレイに表示させて診断を行うことができる。 During this observation period, image data captured in the body by the capsule endoscope is sequentially transmitted to the outside by wireless communication and stored in the memory. When the patient carries the receiver having the wireless communication function and the memory function, the patient can freely act during the observation period until the patient is discharged after swallowing the capsule endoscope. After observation, the doctor or nurse can make a diagnosis by displaying an organ image on the display based on the image data stored in the memory.

今日、この種のカプセル型内視鏡としては、イスラエルのギブン・イメージング社のＭ２Ａ（登録商標）や日本の株式会社アールエフのＮＯＲＩＫＡ（登録商標）があり、すでに実用化の段階に移行している。
米国特許出願公開第２００２／００９３４８４号明細書 Today, as this type of capsule endoscope, there are M2A (registered trademark) of Given Imaging Inc. in Israel and NORIKA (registered trademark) of RF Co., Ltd. in Japan, which have already entered the stage of practical use. .
US Patent Application Publication No. 2002/0093484

しかしながら、上述したカプセル型内視鏡においては、通常の内視鏡と異なり被験者が飲み込んで自然に排出されるまでの期間、各臓器を撮像させるので、観察（検査）時間がたとえば８時間以上となるように長時間に及ぶ。そして、その間の撮影は、例えば２［フレーム／秒］で行われている。このため、時系列に撮像される画像の枚数は、膨大である。 However, in the capsule endoscope described above, unlike the normal endoscope, each organ is imaged during a period until the subject is swallowed and discharged naturally, so that the observation (examination) time is, for example, 8 hours or more. It takes so long. And the image | photographing in the meantime is performed at 2 [frame / second], for example. For this reason, the number of images captured in time series is enormous.

よって、診察などの段階において、長時間撮像された膨大な画像すべてを確認したり、所望の画像を検索したりするにも多大な時間や労力がかかっていた。
上記の課題に鑑み、本発明では、カプセル型内視鏡で撮影した画像のうち、必要な画像のみを抽出し、参照する画像枚数を極力抑えることができる画像処理装置、該方法、該プログラムを提供する。 Therefore, it takes a lot of time and labor to check all the enormous images taken for a long time and to search for a desired image at the stage of medical examination.
In view of the above problems, in the present invention, an image processing apparatus, method, and program for extracting only necessary images from images captured by a capsule endoscope and suppressing the number of images to be referenced as much as possible are provided. provide.

上記課題は、特許請求の範囲の請求項１に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定手段と、前記体内画像判定手段による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手段と、を備えることを特徴とする画像処理装置を提供することによって達成できる。 According to the first aspect of the present invention, in the image processing apparatus that performs image processing of a plurality of images photographed by a medical device, the in-vivo image obtained by photographing the inside of the body And an in-vivo image determining means for determining whether or not the in-vivo image is determined, and an in-vivo image extracting means for extracting the in-vivo image based on the determination result by the in-vivo image determining means. Can be achieved.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記体内画像判定手段は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定をすることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
According to the second aspect of the present invention, the in-vivo image determination means determines whether the in-vivo image is based on color component information of a pixel value included in the image. This can be achieved by providing the image processing apparatus according to claim 1.

このように構成することによって、体内画像特有の色味を有する画像のみを抽出することができる。
また上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥＵ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項２に記載の画像処理装置を提供することによって達成できる。 By comprising in this way, only the image which has the color peculiar to an in-vivo image can be extracted.
Further, according to the invention described in claim 3 of the present invention, the color component information includes the color elements x, y, CIE U * V * W * color space of the XYZ color system. At least one of the ratios from the color elements u, v, the color elements u ′, v ′ of the CIE LUV color space, the color elements a *, b * of the CIE LAB color space, and the RGB signal values It can be achieved by providing the image processing apparatus according to claim 2, which is information indicated by any one of the color components.

このように構成することによって、様々な表色系や色空間の色味を用いることができる。
また上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記体内画像判定手段は、前記医療機器により撮影した前記複数の画像のうち所定枚数の該画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定することを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。 With this configuration, various color systems and color spaces can be used.
Further, according to the invention described in claim 4, the in-vivo image determination unit is configured so that a predetermined number of the images taken by the medical device are the in-vivo images. If it is determined that there is an image, it can be achieved by providing the image processing apparatus according to claim 1, wherein it is determined that all the images that have not been determined are in-vivo images.

このように構成することによって、処理の高速化を図ることができる。
また上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記画像処理装置は、さらに、前記体内画像抽出手段により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、を備えることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。 With this configuration, the processing speed can be increased.
According to the invention described in claim 5, the image processing apparatus further includes the predetermined two of the in-vivo images extracted by the in-vivo image extracting means. The image identity determination unit for determining whether the image is different from the image, or another image extraction unit for extracting the other image based on a determination result by the image identity determination unit. This can be achieved by providing an image processing apparatus.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記画像同一判定手段は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かを判定することを特徴とする請求項５に記載の画像処理装置を提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
According to the invention described in claim 6, the image identity determination means calculates a difference between pixel values of two consecutive in-vivo images, and 2 based on the difference. It can be achieved by providing the image processing apparatus according to claim 5, wherein it is determined whether the two images are substantially the same image or different images.

このように構成することによって、連続する２つのフレーム画像が実質的に同一画像か別画像かを判定することができる。
また上記課題は、特許請求の範囲の請求項７に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、を備えることを特徴とする画像処理装置を提供することによって達成できる。 With this configuration, it is possible to determine whether two consecutive frame images are substantially the same image or different images.
According to the seventh aspect of the present invention, in the image processing apparatus that performs image processing of a plurality of images photographed by a medical device, the predetermined two of the images are substantially An image processing apparatus comprising: an image identity determination unit that determines whether the image is the same or a different image; and another image extraction unit that extracts the different image based on a determination result by the image identity determination unit. Can be achieved by providing.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項８に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１、または７に記載の画像処理装置を提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
In addition, according to the invention described in claim 8, the medical device is a capsule endoscope. The image processing apparatus according to claim 1 or 7, wherein the medical device is a capsule endoscope. Can be achieved by providing.

このように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち必要な画像のみを効率よく取得することができる。
また上記課題は、特許請求の範囲の請求項９に記載の発明によれば、医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定処理と、前記体内画像判定処理による判定結果に基づいて、前記体内画像を抽出する体内画像抽出処理と、をコンピュータに実行させる画像処理プログラムを提供することによって達成できる。 By configuring in this way, it is possible to efficiently acquire only necessary images out of a vast number of images taken with a capsule endoscope.
According to the ninth aspect of the present invention, there is provided an image processing program for causing a computer to perform image processing of a plurality of images photographed by a medical device. An image processing program for causing a computer to execute an in-vivo image determination process for determining whether or not an in-vivo image is obtained, and an in-vivo image extraction process for extracting the in-vivo image based on a determination result of the in-vivo image determination process Can be achieved by providing.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、前記体内画像判定処理は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定処理をコンピュータに実行させる請求項９に記載の画像処理プログラムを提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
Further, according to the invention of claim 10, the in-vivo image determination process determines whether the in-vivo image is the in-vivo image based on color component information of a pixel value included in the image. It can achieve by providing the image processing program of Claim 9 which makes a computer perform determination processing.

このように構成することによって、体内画像特有の色味を有する画像のみを抽出することができる。
また上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥＵ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報である請求項１０に記載の画像処理プログラムを提供することによって達成できる。 By comprising in this way, only the image which has the color peculiar to an in-vivo image can be extracted.
Further, according to the invention described in claim 11, the color component information includes the color elements x, y, CIE U * V * W * color space of the XYZ color system. At least one of the ratios from the color elements u, v, the color elements u ′, v ′ of the CIE LUV color space, the color elements a *, b * of the CIE LAB color space, and the RGB signal values It can be achieved by providing the image processing program according to claim 10, which is information indicated by any one color component.

このように構成することによって、様々な表色系や色空間の色味を用いることができる。
また上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、前記体内画像判定処理は、前記医療機器により撮影した前記複数の画像のうち所定枚数の前記画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定する処理をコンピュータに実行させる請求項９に記載の画像処理プログラムを提供することによって達成できる。 With this configuration, various color systems and color spaces can be used.
Further, according to the invention described in claim 12, the in-vivo image determination process is characterized in that a predetermined number of the images among the plurality of images taken by the medical device are the in-vivo images. If it is determined that there is an image, it can be achieved by providing an image processing program according to claim 9, which causes a computer to execute a process of determining that all the images that have not been determined are in-vivo images.

このように構成することによって、処理の高速化を図ることができる。
また上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記画像処理プログラムは、さらに、前記体内画像抽出処理により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、をコンピュータに実行させる請求項９に記載の画像処理プログラムを提供することによって達成できる。 With this configuration, the processing speed can be increased.
According to the invention described in claim 13, the image processing program further includes the predetermined two of the in-vivo images extracted by the in-vivo image extraction process. The image according to claim 9, wherein an image identity determination process for determining whether the image is a different image or another image extraction process for extracting the another image based on a determination result obtained by the image identity determination process is executed by the computer. This can be achieved by providing a processing program.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１４に記載の発明によれば、前記画像同一判定処理は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かの判定処理をコンピュータに実行させる請求項１３に記載の画像処理プログラムを提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
According to the invention described in claim 14, the image identity determination processing calculates a difference between pixel values of two successive in-vivo images, and 2 based on the difference. It can achieve by providing the image processing program of Claim 13 which makes a computer perform the determination process whether these two said images are substantially the same image or another image.

このように構成することによって、連続する２つのフレーム画像が実質的に同一画像か別画像かを判定することができる。
また上記課題は、特許請求の範囲の請求項１５に記載の発明によれば、医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、をコンピュータに実行させる画像処理プログラムを提供することによって達成できる。 With this configuration, it is possible to determine whether two consecutive frame images are substantially the same image or different images.
According to the invention described in claim 15 of the claim, the above-described problem is an image processing program for causing a computer to perform image processing of a plurality of images taken by a medical device.
An image identity determination process for determining whether two of the images are substantially the same image or different images, and another image extraction process for extracting the other image based on a determination result by the image identity determination process; Can be achieved by providing an image processing program that causes a computer to execute the above.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１６に記載の発明によれば、前記医療機器は、カプセル型内視鏡である請求項９、または１５に記載の画像処理プログラムを提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
According to the invention described in claim 16, the medical device is a capsule endoscope. By providing the image processing program according to claim 9 or 15, the object is provided. Can be achieved.

このように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち必要な画像のみを効率よく取得することができる。
また上記課題は、特許請求の範囲の請求項１７に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定手順と、前記体内画像判定手順による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手順と、を行うことを特徴とする画像処理方法を提供することによって達成できる。 By configuring in this way, it is possible to efficiently acquire only necessary images out of a vast number of images taken with a capsule endoscope.
According to the invention described in claim 17, the above-described problem is an image processing method for performing image processing of a plurality of images photographed by a medical device. An image processing method comprising: an in-vivo image determination procedure for determining whether an image is an image; and an in-vivo image extraction procedure for extracting the in-vivo image based on a determination result obtained by the in-vivo image determination procedure. Can be achieved by providing.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１８に記載の発明によれば、前記体内画像判定手順は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定をすることを特徴とする請求項１７に記載の画像処理方法を提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
Further, according to the invention described in claim 18 of the claim, the in-vivo image determination procedure determines whether the in-vivo image is based on color component information of a pixel value included in the image. This can be achieved by providing an image processing method according to claim 17.

このように構成することによって、体内画像特有の色味を有する画像のみを抽出することができる。
また上記課題は、特許請求の範囲の請求項１９に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥＵ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１８に記載の画像処理方法を提供することによって達成できる。 By comprising in this way, only the image which has the color peculiar to an in-vivo image can be extracted.
Further, according to the invention described in claim 19, the color component information includes color elements x, y, CIE U * V * W * color space of the XYZ color system. At least one of the ratios from the color elements u, v, the color elements u ′, v ′ of the CIE LUV color space, the color elements a *, b * of the CIE LAB color space, and the RGB signal values It can be achieved by providing the image processing method according to claim 18, wherein the information is information indicated by any one color component.

このように構成することによって、様々な表色系や色空間の色味を用いることができる。
また上記課題は、特許請求の範囲の請求項２０に記載の発明によれば、前記体内画像判定手順は、前記医療機器により撮影した前記複数の画像のうち所定枚数の該画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定することを特徴とする請求項１７に記載の画像処理方法を提供することによって達成できる。 With this configuration, various color systems and color spaces can be used.
Further, according to the invention described in claim 20, the in-vivo image determination procedure is such that a predetermined number of the images taken by the medical device are the in-vivo images. If it is determined that there is an image, it can be achieved by providing the image processing method according to claim 17, wherein it is determined that all the images that have not been determined are in-vivo images.

このように構成することによって、処理の高速化を図ることができる。
また上記課題は、特許請求の範囲の請求項２１に記載の発明によれば、前記画像処理方法は、さらに、前記体内画像抽出手順により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手順と、前記画像同一判定手順による判定結果に基づいて、前記別画像を抽出する別画像抽出手順と、を行うことを特徴とする請求項１７に記載の画像処理方法を提供することによって達成できる。 With this configuration, the processing speed can be increased.
According to the invention described in claim 21, the image processing method is further characterized in that predetermined two of the in-vivo images extracted by the in-vivo image extraction procedure are substantially the same. 18. The image identity determination procedure for determining whether the image is a separate image or another image extraction procedure for extracting the image based on a determination result obtained by the image identity determination procedure. This can be achieved by providing an image processing method.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項２２に記載の発明によれば、前記画像同一判定手順は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かを判定することを特徴とする請求項２１に記載の画像処理方法を提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
According to the invention described in claim 22, the image identity determination procedure calculates a difference between pixel values of two successive in-vivo images, and 2 based on the difference. It can be achieved by providing the image processing method according to claim 21, wherein it is determined whether the two images are substantially the same image or different images.

このように構成することによって、連続する２つのフレーム画像が実質的に同一画像か別画像かを判定することができる。
また上記課題は、特許請求の範囲の請求項２３に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手順と、前記画像同一判定手順による判定結果に基づいて、前記別画像を抽出する別画像抽出手順と、を行うことを特徴とする画像処理方法を提供することによって達成できる。 With this configuration, it is possible to determine whether two consecutive frame images are substantially the same image or different images.
Further, according to the invention described in claim 23 of the claims, in the image processing method for performing image processing of a plurality of images photographed by a medical device, predetermined two of the images are substantially An image processing method comprising: an image identity determination procedure for determining whether an image is the same or a different image; and another image extraction procedure for extracting the other image based on a determination result obtained by the image identity determination procedure. Can be achieved by providing.

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項２４に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１７、または２３に記載の画像処理方法を提供することによって達成できる。 With this configuration, unnecessary images can be excluded and only necessary images can be extracted.
24. The image processing method according to claim 17, wherein the medical device is a capsule endoscope according to the invention described in claim 24. Can be achieved by providing.

このように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち必要な画像のみを効率よく取得することができる。 By configuring in this way, it is possible to efficiently acquire only necessary images out of a vast number of images taken with a capsule endoscope.

本発明を用いることにより、医師が診察時に見るべき画像の枚数の削減を（非常に高速で）行うことにより、診療の効率化及び診療時間の短縮化を図ることができる。 By using the present invention, it is possible to reduce the number of images that a doctor should see at the time of medical examination (at a very high speed), thereby improving the efficiency of medical treatment and shortening the medical treatment time.

本実施形態では、膨大な画像データのうち必要なもののみを抽出して表示対象とする画像処理を説明する。ここで、必要な画像および不必要な画像データについて説明する。カプセル型内視鏡による撮影は、通常、飲み込む直前から開始されているので、体外の画像や口内の画像など撮影対象外の画像データが含まれている。 In the present embodiment, image processing for extracting only necessary ones from a vast amount of image data and displaying them will be described. Here, necessary images and unnecessary image data will be described. Imaging with a capsule endoscope is normally started immediately before swallowing, and therefore includes image data that is not to be captured, such as an image outside the body or an image in the mouth.

また、カプセル型内視鏡は、消化器系器官の蠕動（ぜんどう）運動によって体内を進行していくので、この蠕動運動が小休止していたり、また体内の様態により（疾患や消化器の門などに起因）カプセル型内視鏡の動きが抑制される場合には、カプセル型内視鏡の進行が一時的に停止する可能性がある。しかし、この場合にも撮影は随時行われているので、その間に撮影される画像は同一、または実質同一なものである。 In addition, the capsule endoscope advances in the body due to the peristaltic movement of the digestive system organs, so that this peristaltic movement may be paused, or depending on the state of the body (disease and digestive organs). When the movement of the capsule endoscope is suppressed, the progress of the capsule endoscope may be temporarily stopped. However, even in this case, since shooting is performed as needed, the images shot during that time are the same or substantially the same.

このように、膨大に撮影される画像データの中のうち、体外の画像データや体内の画像のうち実質的に同一のデータは、特に診察時に確認する必要はない（すなわち不必要な画像）ので、これらの画像以外の必要な画像のみを抽出する。それでは、以下に本実施形態について詳述する。 As described above, among the enormous amount of image data that is taken, substantially the same data among the image data outside the body and the image inside the body does not need to be confirmed at the time of the diagnosis (that is, an unnecessary image). Only necessary images other than these images are extracted. The embodiment will be described in detail below.

図１は、本実施形態における体腔内検査で利用されるカプセル型内視鏡及びその周辺機器を示す。図１（Ａ）に示すように、カプセル型内視鏡１を用いた検査システムは、カプセル型内視鏡１を患者２が口から飲み込むことにより体腔内を検査するカプセル型内視鏡１と、この患者２の体外に配置され、カプセル型内視鏡１で撮像した画像データを無線で受信するアンテナユニット４に接続される受信機である外部装置５とからなる。 FIG. 1 shows a capsule endoscope and its peripheral devices used in an in-vivo examination in this embodiment. As shown in FIG. 1A, an inspection system using a capsule endoscope 1 includes a capsule endoscope 1 that inspects the inside of a body cavity when a patient 2 swallows the capsule endoscope 1 from the mouth, The external device 5 is a receiver that is disposed outside the body of the patient 2 and is connected to an antenna unit 4 that wirelessly receives image data captured by the capsule endoscope 1.

体腔内検査時には外部装置５に装着されて、カプセル型内視鏡１から送信され外部装置５で受信した画像情報を記録するための、コンパクトフラッシュ（登録商標）メモリ等の可搬型記憶媒体を介して、パーソナルコンピュータ、ワークステーション等の端末装置７（本実施形態では、ワークステーション７を用いる）に前述の画像情報を取り込むようになっている。 Via a portable storage medium such as a compact flash (registered trademark) memory that is attached to the external device 5 and is recorded from the capsule endoscope 1 and received by the external device 5 during the body cavity examination. Thus, the above-described image information is taken into a terminal device 7 such as a personal computer or a workstation (in this embodiment, the workstation 7 is used).

または、図１（Ｂ）に示すように、この外部装置５はクレードル６に装着して、若しくは図示しないＵＳＢケーブル等によってワークステーション７に電気的に接続できるようになっている。これにより、この外部装置５に挿入された可搬型記憶媒体に記憶された画像データをワークステーション７へ取り込むことができる。また、可搬型記憶媒体の読取装置をワークステーション７へ接続し、その読み取り装置に可搬型記憶を挿入して、可搬型記憶に記憶された画像データを読み出してワークステーション７へ取り込むようにしてもよい。 Alternatively, as shown in FIG. 1B, the external device 5 can be attached to the cradle 6 or electrically connected to the workstation 7 by a USB cable or the like (not shown). Thereby, the image data stored in the portable storage medium inserted in the external device 5 can be taken into the workstation 7. In addition, a portable storage medium reader may be connected to the workstation 7, the portable memory may be inserted into the reader, and the image data stored in the portable memory may be read out and loaded into the workstation 7. Good.

上記の画像の取り込みは、キーボード９やマウス１０等の入力・操作デバイスの操作により実行される。ワークステーション７へ取り込まれた画像は、ディスプレイ８に表示したり、プリンタに出力したりすることができる。
図１（Ａ）に示すように、カプセル型内視鏡１を飲み込んで内視鏡検査を行う場合、患者２が着るジャケット３には複数のアンテナ１１が取り付けられたアンテナユニット４が装着されており、カプセル型内視鏡１により撮像された画像データは無線によりアンテナ１１へ送信され、その画像データをアンテナユニット４で受信するようになっている。そして、その画像データは、アンテナユニット４に接続された外部装置５に保存される。この外部装置５は、例えば患者２のベルトに着脱自在のフックにより取り付けられる。 The above image capture is executed by operating an input / operation device such as the keyboard 9 or the mouse 10. The image captured in the workstation 7 can be displayed on the display 8 or output to a printer.
As shown in FIG. 1 (A), when a capsule endoscope 1 is swallowed and an endoscopic examination is performed, an antenna unit 4 having a plurality of antennas 11 is attached to a jacket 3 worn by a patient 2. The image data captured by the capsule endoscope 1 is transmitted to the antenna 11 by radio, and the image data is received by the antenna unit 4. The image data is stored in the external device 5 connected to the antenna unit 4. The external device 5 is attached to the belt of the patient 2 by a detachable hook, for example.

カプセル型内視鏡１は、カプセル形状となって水密構造となっており、その内部に、体内を撮影する撮像部、撮影対象物を照明するための照明部、撮影した画像をアンテナ１１へ送信するための送信部、これらを駆動させるための電池、電源基板部等から構成されている。 The capsule endoscope 1 has a capsule shape and has a watertight structure. Inside the capsule endoscope 1, an imaging unit that captures an image of the inside of the body, an illumination unit that illuminates an object to be imaged, and the captured image are transmitted to the antenna 11. A transmission section for driving the battery, a battery for driving them, a power supply board section, and the like.

カプセル型内視鏡１の起動手段としては、電源供給開始手段としてのＯＮ／ＯＦＦスイッチがカプセル内部に設けられており、このスイッチがＯＮ操作されることによって、撮像部、照明部等への電源供給を開始させ得るものである。このＯＮ／ＯＦＦスイッチは、カプセル型内視鏡１の電源基板部に設けてあるもので、電源基板部に設けた電池（例えば酸化銀電池等）がカプセル型内視鏡１内の各部に電源を供給するのを開始するスイッチである。 As an activation means of the capsule endoscope 1, an ON / OFF switch as a power supply start means is provided inside the capsule, and when this switch is turned on, the power to the imaging unit, the illumination unit, etc. The supply can be started. This ON / OFF switch is provided on the power supply board portion of the capsule endoscope 1, and a battery (for example, a silver oxide battery) provided on the power supply board portion supplies power to each part in the capsule endoscope 1. It is a switch that starts to supply.

カプセル型内視鏡１の外部から（例えばカプセル型内視鏡１を梱包するパッケージに設けられる）磁力を発生する外部磁石がＯＮ／ＯＦＦスイッチをＯＦＦ状態に付勢し、且つカプセル型内視鏡１の内部におけるＯＮ／ＯＦＦスイッチの近傍に設けられてこのＯＮ／ＯＦＦスイッチをＯＮ状態に付勢する内部磁石を設けている。 An external magnet that generates a magnetic force from the outside of the capsule endoscope 1 (for example, provided in a package for packaging the capsule endoscope 1) urges the ON / OFF switch to the OFF state, and the capsule endoscope An internal magnet is provided in the vicinity of the ON / OFF switch in 1 to urge the ON / OFF switch to the ON state.

しかして、カプセル型内視鏡１を外部磁石から遠ざけることによって（すなわち、カプセル型内視鏡１を梱包するパッケージからカプセル型内視鏡１を取り出すことによって）、ＯＦＦ位置にあったＯＮ／ＯＦＦスイッチをＯＮ位置とできるようにしてある。このようにして、カプセル型内視鏡１が起動し、撮影が開始される。 Thus, by moving the capsule endoscope 1 away from the external magnet (that is, by removing the capsule endoscope 1 from the package that packs the capsule endoscope 1), the ON / OFF that has been in the OFF position The switch can be set to the ON position. In this way, the capsule endoscope 1 is activated and imaging is started.

したがって、カプセル型内視鏡１を梱包するパッケージからカプセル型内視鏡１を取り出すことによって撮影は開始するので、カプセル型内視鏡装置１を体内に取り込む前の診断には不要な体外の画像が撮影されている。
図２は、本実施形態におけるカプセル型内視鏡１で撮影した画像データの画像処理を行うワークステーション７の内部構成の概要を示す。ワークステーション７は、各種の処理で利用するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）やＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等のメモリ２０と、大容量のデータを格納する大容量記憶装置２１と、ワークステーション７全体をあらかじめ用意されたプログラムにしたがって制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２２と、外部装置５（または、コンパクトフラッシュ（登録商標）メモリ等の可搬型記憶媒体）からの画像データを取り込んだり、キーボード９やマウス１０等の操作部からデータや指示を入力したりする入力Ｉ／Ｆ２３、本実施形態による体内の画像などをディスプレイ８に出力したり、プリンタ等にデータを出力したりするための出力Ｉ／Ｆ２４、及びこれらを接続するバス２５から構成される。 Therefore, since imaging is started by taking out the capsule endoscope 1 from the package for packaging the capsule endoscope 1, an extracorporeal image unnecessary for diagnosis before taking the capsule endoscope apparatus 1 into the body. Has been filmed.
FIG. 2 shows an outline of the internal configuration of the workstation 7 that performs image processing of image data captured by the capsule endoscope 1 according to the present embodiment. The workstation 7 includes a memory 20 such as a RAM (Random Access Memory) and a ROM (Read Only Memory) used for various processes, a mass storage device 21 for storing a large amount of data, and the entire workstation 7 in advance. Captures image data from a CPU (Central Processing Unit) 22 controlled according to a prepared program and an external device 5 (or a portable storage medium such as a compact flash (registered trademark) memory), a keyboard 9 or a mouse 10 An input I / F 23 for inputting data and instructions from an operation unit such as an output, an output I / F 24 for outputting an in-vivo image or the like according to the present embodiment to the display 8, or outputting data to a printer or the like, And the bus connecting them Consisting of 5.

カプセル型内視鏡１により撮影された画像データは、逐一外部装置５に送信され、外部装置５内の可搬型記憶媒体に記憶される。この記憶された画像データは、上述の通り、外部装置５をクレードル６に装着したり、可搬型記憶媒体を読み取り装置にセットしたりすることによってワークステーション７に電気的に接続し、ワークステーション７内の大容量記憶装置２１に格納される。このようにして、カプセル型内視鏡１で撮影した画像は、ワークステーション７に取り込まれる。ワークステーション７に取り込まれた画像データは、本実施形態における画像処理により所定の処理が施され、ディスプレイ８に表示される。 Image data photographed by the capsule endoscope 1 is transmitted to the external device 5 one by one and stored in a portable storage medium in the external device 5. As described above, the stored image data is electrically connected to the workstation 7 by mounting the external device 5 on the cradle 6 or setting a portable storage medium in the reading device. Is stored in the large-capacity storage device 21. In this way, the image photographed by the capsule endoscope 1 is taken into the workstation 7. The image data captured by the workstation 7 is subjected to predetermined processing by image processing in the present embodiment and displayed on the display 8.

図３は、本実施形態におけるカプセル型内視鏡１で撮影した画像の画像処理の全体フローを示す。まず、ユーザが、マウス１０等の入力デバイスの操作により、ワークステーション７の大容量記憶装置２１に予めインストールしてある本実施形態にかかるプログラムを起動させる。このプログラムの起動指示を受けたＣＰＵ２２は、大容量記憶装置２１よりこのプログラムを読み出し、図３のフローを実行させ、順次、画像の体内・体外判別処理（ステップ１。以下ステップをＳと略する。）、画像の別・同一判別処理（Ｓ２）が実行される。 FIG. 3 shows an overall flow of image processing of an image photographed by the capsule endoscope 1 in the present embodiment. First, a user activates a program according to the present embodiment that is installed in advance in the mass storage device 21 of the workstation 7 by operating an input device such as the mouse 10. Upon receiving this program start instruction, the CPU 22 reads this program from the mass storage device 21 and executes the flow of FIG. 3 to sequentially determine the in-vivo / ex-vivo discrimination process of the image (step 1; step is abbreviated as S hereinafter). ), Image distinction / identity discrimination processing (S2) is executed.

まず、画像の体内・体外判別処理（Ｓ１）では、カプセル型内視鏡１で撮影されたデータのうち、不要な体外の画像を取り除き、必要な画像である体内の画像のみ取得する処理を行う。次に、画像の別・同一判別処理（Ｓ２）では、体内の画像のうち実質的に同一の画像データを取り除き、異なる画像データを取得する処理を行う。 First, in the in-vivo / in-vivo discrimination process (S1) of the image, unnecessary extra-corporeal images are removed from the data captured by the capsule endoscope 1, and only the in-vivo images that are necessary images are acquired. . Next, in the image distinction / identity discrimination process (S2), a process of removing substantially the same image data from the in-vivo images and acquiring different image data is performed.

図４は、図３のＳ１の画像の体内・体外判別処理の詳細な処理フローを示す。同図のフローでは、撮影順に記録媒体に保存された画像データを順に読み込み、ＲＧＢデータからＸＹＺデータに変換し、後述するｘｙ色度値の閾値処理により、画像が体内か体外かを判別する判断処理を行う。 FIG. 4 shows a detailed processing flow of the in-vivo / ex-vivo discrimination processing of the image of S1 in FIG. In the flow of the figure, image data stored in a recording medium is sequentially read in order of photographing, converted from RGB data to XYZ data, and a determination to determine whether the image is internal or external by threshold processing of xy chromaticity values described later. Process.

ＲＧＢデータとは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のＲＧＢ表色系で示される画像データのことをいう。また、ＸＹＺデータとは、ＸＹＺ表色系で画像データを表すことである。ＸＹＺ表色系とは、色刺激値を表示するために国際照明委員会（ＣＩＥ）が定めた基本的な表色体系である。ＸＹＺ表色系では、ＲＧＢ表色系では表現できない鮮やかな色まで表現できる。以下において、ＸＹＺ表色系で表される色を色味と呼ぶ。 RGB data refers to image data represented by the RGB color system of the three primary colors R (red), G (green), and B (blue). The XYZ data is to represent image data in the XYZ color system. The XYZ color system is a basic color system defined by the International Commission on Illumination (CIE) for displaying color stimulus values. In the XYZ color system, even vivid colors that cannot be expressed in the RGB color system can be expressed. Hereinafter, a color represented by the XYZ color system is referred to as color.

それでは、以下に本フローについて説明する。
まず、記録媒体（例えば、コンパクトフラッシュ（登録商標）等）へ保存された後、上記でワークステーション７の大容量記憶装置２１へ格納された画像データの画像枚数をＡ枚とすると、撮影全画像の枚数を示す変数ＴＡにＡを代入する（Ｓ１０）。ただし、大容量記憶装置２１へ格納された画像データのうち、処理したい画像だけを「全画像データＡ枚」としても、もちろん構わない（対象フォルダ内、など）。 Now, this flow will be described below.
First, assuming that A is the number of image data stored in the mass storage device 21 of the workstation 7 after being stored in a recording medium (for example, CompactFlash (registered trademark)), all the captured images are recorded. A is substituted into a variable TA indicating the number of sheets (S10). However, of the image data stored in the large-capacity storage device 21, only the image to be processed may be “all image data A” (of course, in the target folder).

次に、カウンタを示す変数ＣｎｔＡ＝１とし、１枚目の画像データを読み込む（Ｓ１１）。次に、「体内」という判別をされた画像が予め決められた所定枚数以上あるか否かを判別する（Ｓ１２）。初めてＳ１２を通過する場合には、「体内」という判別がまだされていないので、Ｎｏ方向へ進む。 Next, a variable CntA = 1 indicating a counter is set, and the first image data is read (S11). Next, it is determined whether or not there are more than a predetermined number of images determined to be “inside” (S12). When passing through S12 for the first time, since “in-body” is not yet determined, the process proceeds in the No direction.

Ｓ１２でＮｏ方向へ進んだ場合、画像の色味から判別処理を行う（Ｓ１３）。ここでは、まず、ＲＧＢデータからＸＹＺデータへの変換を行う。ワークステーション７に取り込まれた画像データは、ＲＧＢデータであるので、これをＸＹＺデータへ変換する。この変換は、一般的な手法により行われるので、ここでは割愛する。 When the process proceeds in the No direction in S12, a discrimination process is performed based on the color of the image (S13). Here, first, conversion from RGB data to XYZ data is performed. Since the image data captured by the workstation 7 is RGB data, it is converted into XYZ data. Since this conversion is performed by a general method, it is omitted here.

そして、このＸＹＺデータからｘｙ色度値を求める。このｘｙ色度値が予め決められた閾値範囲内か否かを判断する。ここで、この閾値範囲は、体内の画像データのｘｙ色度値の一般的な値の分布に基づいて設定される。したがって、算出したｘｙ色度値が閾値範囲内であれば、その画像データは体内を撮影したものであると考えられる。また、算出したｘｙ色度値が閾値範囲外であれば、その画像データは体外を撮影したものであると考えられる。 And xy chromaticity value is calculated | required from this XYZ data. It is determined whether the xy chromaticity value is within a predetermined threshold range. Here, the threshold range is set based on a general value distribution of xy chromaticity values of the image data in the body. Therefore, if the calculated xy chromaticity value is within the threshold range, the image data is considered to be an image of the inside of the body. If the calculated xy chromaticity value is outside the threshold range, the image data is considered to be taken outside the body.

次に、Ｓ１３で算出したｘｙ色度値が閾値範囲内であれば、その画像が「体内」の画像である旨のメッセージを返す。また、算出したｘｙ色度値が閾値範囲外であれば、その画像が「体外」の画像である旨のメッセージを返す（Ｓ１４）。それから、ＣｎｔＡをインクリメントする（ＣｎｔＡ＝ＣｎｔＡ＋１）。 Next, if the xy chromaticity value calculated in S13 is within the threshold range, a message indicating that the image is an “in-body” image is returned. If the calculated xy chromaticity value is outside the threshold range, a message indicating that the image is an “external” image is returned (S14). Then, CntA is incremented (CntA = CntA + 1).

次に、Ｓ１６で取得した全画像データＡ枚分の処理が終了しているか否かを判断する（Ｓ１６）。つまり、ＴＡ＜ＣｎｔＡの場合、「Ｙｅｓ」方向へ進み、ＴＡ≧ＣｎｔＡの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＡ＝２なので、「Ｎｏ」へ進み（ＴＡ≠１の場合）、２枚目の画像を読み込んで、Ｓ１１→Ｓ１２→Ｓ１３→Ｓ１４→Ｓ１６の処理を行い、ＣｎｔＡをインクリメントして３枚目以降も同様の処理を実行する。これらの処理を繰り返す。 Next, it is determined whether or not the processing for all A image data acquired in S16 has been completed (S16). That is, when TA <CntA, the process proceeds in the “Yes” direction, and when TA ≧ CntA, the process proceeds to “No”. Here, since CntA = 2, the process proceeds to “No” (when TA ≠ 1), the second image is read, the processing of S11 → S12 → S13 → S14 → S16 is performed, and CntA is incremented to 3 The same processing is executed for the first and subsequent sheets. These processes are repeated.

そうすると、Ｓ１２において、「体内」という判別をされた画像が所定枚数に達すると、「体内」の結果メッセージが返される（Ｓ１５）。したがって、これ以降の画像については、Ｓ１１→Ｓ１２→Ｓ１５→Ｓ１６となり、無条件で「体内」の結果メッセージが返される。この処理は、体外にあるカプセル型内視鏡１を口から飲み込んでしまうと、それ以降に撮影されるのは体内の画像であるということに基づいている。 Then, when the number of images determined as “inside” in S12 reaches a predetermined number, a result message of “inside” is returned (S15). Accordingly, for the subsequent images, S11.fwdarw.S12.fwdarw.S15.fwdarw.S16, and the "in-body" result message is returned unconditionally. This process is based on the fact that if the capsule endoscope 1 outside the body is swallowed from the mouth, it is an image inside the body that is taken after that.

これにより、「体内」という判別が所定フレーム以上なされた場合には、それ以降の画像は全て「体内」であると判断し、Ｓ１３によるしきい値の判別処理を打ち切るので、処理の高速化を図ることが可能となる。
こうして、全画像データＡ枚分の処理を終了すると、Ｓ１６でＴＡ＜ＣｎｔＡとなるので「Ｙｅｓ」方向へ進み、Ｓ１４またはＳ１５で「体内」の結果メッセージが返された画像の抽出し（Ｓ１７）、本フローは終了する。なお、本実施形態では、全画像の枚数とカウンタを用いていたが、それらを用いずとも「先頭画像ファイルから順に読み込んでいき、次のファイルが見つかればＳ１６で「Ｎｏ」へ、見つからなければ「Ｙｅｓ」へ進む」、としても可能である。また、Ｓ１７で抽出された画像の枚数をＢ枚とする。 As a result, when the determination of “internal” is made for a predetermined frame or more, all subsequent images are determined to be “internal”, and the threshold determination processing in S13 is terminated. It becomes possible to plan.
When the processing for all the image data A has been completed, TA <CntA in S16, so that the process proceeds in the “Yes” direction, and an image in which the result message “internal” is returned in S14 or S15 is extracted (S17). This flow ends. In the present embodiment, the number of all images and the counter are used. However, even if they are not used, “the first image file is read in order, and if the next file is found,“ No ”is found in S16, if it is not found. It is also possible to “go to“ Yes ””. The number of images extracted in S17 is B.

なお、本実施形態では、ＸＹＺ表色系（ＣＩＥ１９３１）の色味のファクターｘ、ｙを用いたがこれに限られない。よって、例えば、ＣＩＥＵ＊Ｖ＊Ｗ＊色空間を用いた場合なら、色味のファクターｕ，ｖを色度値として用い、また、ＣＩＥＬＵＶ色空間を用いた場合なら、色味のファクターｕ’，ｖ’を色度値として用い、ＣＩＥＬＡＢ色空間を用いた場合なら、色味のファクターａ＊，ｂ＊を色度値として用いてもよい。 In the present embodiment, the color factors x and y of the XYZ color system (CIE 1931) are used, but the present invention is not limited to this. Thus, for example, if the CIE U * V * W * color space is used, the color factor u, v is used as the chromaticity value, and if the CIE LUV color space is used, the color factor u. If ', v' is used as the chromaticity value and the CIE LAB color space is used, the color factors a * and b * may be used as the chromaticity value.

すなわち、本実施形態では、ｘｙ色度値を用いたが、これに限らず、ｘｙ色度値の代わりに、Ｌ＊ａ＊ｂ＊，Ｌ＊ｕ＊Ｖ＊などの何らかの色相・彩度等、色味に関連するファクターで有れば、判別基準は何でも構わない。
また、取り込んだ画像を、これらの他の表色系または色空間に変換せずに、ＲＧＢ系を用いてもよい。この場合には、ＲＧＢの信号値から、Ｒ／Ｇ，Ｒ／Ｂ等の（別にＧ／Ｒ，ｂ／Ｒでも良い）値を判断基準の閾値として用いても構わない。 That is, in this embodiment, the xy chromaticity value is used. However, the present invention is not limited to this, and any hue / saturation such as L * a * b *, L * u * V *, etc. is used instead of the xy chromaticity value. Any criterion can be used as long as it is a factor related to color.
In addition, the RGB system may be used without converting the captured image into these other color systems or color spaces. In this case, values such as R / G, R / B, etc. (separately G / R and b / R) may be used as threshold values for determination criteria from RGB signal values.

すわなち、Ｓ１３において、画像から得られる何らかの値から色味を判断することができれば、判別処理にあたってＲＧＢや表色系の種類には限定されない。
上記より、本フローにより処理することで、カプセル型内視鏡１で撮影した画像データのうち体内の画像のみを抽出することができる。 That is, in S13, as long as the color can be determined from some value obtained from the image, the determination process is not limited to the type of RGB or color system.
As described above, only the in-vivo image can be extracted from the image data captured by the capsule endoscope 1 by performing the processing according to this flow.

図５は、図３のＳ２の画像の別・同一判別処理の詳細な処理フローを示す。同図のフローでは、直前フレームと対象フレームとの画素値の例えば平均値を調べ、平均値の変化量がある閾値以下(または未満)で有れば同一な画像と判断し、そうでなければ別画像と判断する判断処理を行い、別画像と判断された画像を抽出する。それでは、以下に本フローについて説明する。 FIG. 5 shows a detailed processing flow of the different / identical discrimination processing of the image in S2 of FIG. In the flow of the figure, for example, the average value of the pixel values of the immediately preceding frame and the target frame is examined, and if the amount of change in the average value is below a certain threshold value (or less), it is determined that they are the same image, otherwise A determination process for determining a different image is performed, and an image determined to be a different image is extracted. Now, this flow will be described below.

まず、図４に示したＳ１の画像の体内・体外判別処理で取得した画像枚数Ｂを本フローで用いる全画像の枚数を示す変数ＴＢに代入する。それから、カウンタを示す変数ＣｎｔＢ＝１とし、Ｓ１で抽出した画像データＢ枚のうち１枚目の画像データを読み込む（Ｓ２０）。 First, the number of images B acquired in the in-body / out-of-body discrimination process of the image of S1 shown in FIG. 4 is substituted into a variable TB indicating the number of all images used in this flow. Then, a variable CntB = 1 indicating a counter is set, and the first image data of the B image data extracted in S1 is read (S20).

次に、Ｓ２０で読み込んだ画像が最初の画像（ＣｎｔＢ＝１の画像）か否かを判断する（Ｓ２１）。すわなち、ＣｎｔＢ＝１の場合、「Ｙｅｓ」方向へ進み、ＣｎｔＢ≧２の場合、「Ｎｏ」方向へ進む。ＣｎｔＢ＝１であるので、「Ｙｅｓ」方向へ進み、その画像が直前の画像とは「別画像」の画像である旨のメッセージ（「別画像」結果メッセージ）を返す（Ｓ２５）。それから、ＣｎｔＢをインクリメントする（ＣｎｔＢ＝ＣｎｔＢ＋１）。 Next, it is determined whether or not the image read in S20 is the first image (image of CntB = 1) (S21). That is, when CntB = 1, the process proceeds in the “Yes” direction, and when CntB ≧ 2, the process proceeds in the “No” direction. Since CntB = 1, the process proceeds in the “Yes” direction, and a message indicating that the image is an image of “different image” from the previous image (“different image” result message) is returned (S25). Then, CntB is incremented (CntB = CntB + 1).

次に、Ｓ１で抽出した画像データＢ枚分の処理が終了しているか否かを判断する。つまり、ＴＢ＜ＣｎｔＢの場合、「Ｙｅｓ」方向へ進み、ＴＢ≧ＣｎｔＢの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＢ＝２なので、「Ｎｏ」へ進み（ＴＢ≠１の場合）、Ｓ２０で２枚目の画像を読み込んで（Ｓ２０）、Ｓ２１の処理を行う。 Next, it is determined whether or not the processing for B image data extracted in S1 has been completed. That is, when TB <CntB, the process proceeds in the “Yes” direction, and when TB ≧ CntB, the process proceeds to “No”. Here, since CntB = 2, the process proceeds to “No” (when TB ≠ 1), the second image is read in S20 (S20), and the process of S21 is performed.

Ｓ２１で、ＣｎｔＢ＝２であるので「Ｎｏ」方向へ進み、直前の画像と画素値を比較する（Ｓ２２）。ここでは、例えば、今回の画像の各画素値とそれに対応する直前の画像の各画素値との差分を算出しても良い。また、予めサンプリングするエリアを決めておき、そのエリアでの画素値の差分を求めてもよい。この場合、Ｓ２２での処理は、画像全体で実行したときに比べ、処理の高速化を図ることが可能となる。 In S21, since CntB = 2, the process proceeds in the “No” direction, and the pixel value is compared with the immediately preceding image (S22). Here, for example, a difference between each pixel value of the current image and each corresponding pixel value of the immediately preceding image may be calculated. Alternatively, a sampling area may be determined in advance, and a difference between pixel values in the area may be obtained. In this case, the processing at S22 can be performed at a higher speed than when the processing is executed on the entire image.

また、今回の画像全体の画素値の平均と直前の画像全体の画素値の平均を算出し、その差分を算出してもよい。また、今回の画像に含まれる画素のうち最大（または最小）の画素値と直前の画像に含まれる画素のうち最大（または最小）の画素値を算出し、その差分を算出してもよい。 Further, the average of the pixel values of the entire current image and the average of the pixel values of the entire previous image may be calculated, and the difference may be calculated. Further, the maximum (or minimum) pixel value among the pixels included in the current image and the maximum (or minimum) pixel value among the pixels included in the immediately preceding image may be calculated, and the difference between them may be calculated.

次に、Ｓ２２での２つの画像の比較の結果、両者の画素値の差（すなわち、Ｓ２２で算出した差分）が予め決められたしきい値以下（または未満）の場合（Ｓ２３）、これらの２つの画像が「同一画像」である旨のメッセージ（「同一画像」結果メッセージ）を返し、ＣｎｔＢをインクリメントする（Ｓ２４）。 Next, as a result of the comparison of the two images in S22, when the difference between the two pixel values (that is, the difference calculated in S22) is less than (or less than) a predetermined threshold value (S23), A message indicating that the two images are “same image” (“same image” result message) is returned, and CntB is incremented (S24).

また、Ｓ２２での２つの画像の比較の結果、両者の画素値の差がしきい値より大きい（または以上）の場合（Ｓ２３）、これらの２つの画像が「別画像」である旨のメッセージ（「別画像」結果メッセージ）を返し、ＣｎｔＢをインクリメントする（Ｓ２５）。
全画像データＢ枚分の処理が終了すると、Ｓ２６でＴＢ＜ＣｎｔＢを満たすので「Ｙｅｓ」方向へ進み、Ｓ２５で「別画像」と判断された画像が抽出され（Ｓ２７）、本フローは終了する。なお本実施形態では、全画像の枚数を用いていたが、それを用いずとも、「Ｂ枚に属する先頭画像ファイルから順に読み込んで行き、次のファイルが見つかればＳ２６で「Ｎｏ」へ、見つからなければ「Ｙｅｓ」へ進む」、としても可能である。また、Ｓ２７で抽出された「別画像」と判断された画像の枚数をＣ枚とする。 If the difference between the two images in S22 is greater than (or greater than) the threshold value (S23), a message that these two images are “different images”. ("Other image" result message) is returned, and CntB is incremented (S25).
When the processing for all B image data is completed, TB <CntB is satisfied in S26, so that the process proceeds in the “Yes” direction, and an image determined as “different image” is extracted in S25 (S27), and this flow ends. . In this embodiment, the total number of images is used. However, even if not used, “the first image file belonging to B images is read in order, and if the next file is found,“ No ”is found in S26. If no, go to “Yes”. The number of images determined as “different images” extracted in S27 is C.

こうして、図３のフローにより処理された画像データＣ枚がディスプレイ８に表示され、医師は診療時において、そのＣ枚を確認すればよい。つまり、本フローを実施することにより、医師は多くともＣ枚（Ｃ＜Ａ）の画像だけを見れば良いので、長時間撮像された膨大な画像Ａ枚すべてを確認したり、所望の画像を検索したりする時間や労力を軽減することができる。なお、この図３の処理を実行後のデータは、実行前のデータとは（大容量記憶装置の）別の領域に格納され、実行前のデータは未加工のまま保全される。 In this way, C pieces of image data processed according to the flow of FIG. 3 are displayed on the display 8, and the doctor only has to confirm the C pieces at the time of medical treatment. In other words, by carrying out this flow, the doctor only needs to see at most C images (C <A), so it is possible to check all the vast images A taken for a long time, Searching time and effort can be reduced. Note that the data after execution of the processing of FIG. 3 is stored in a different area (in the mass storage device) from the data before execution, and the data before execution is preserved unprocessed.

以上より、Ｃ＜Ｂ＜Ａより、ドクターが診療時に見るべき画像の枚数を削減することで、診療の効率化及び短縮化が可能となる。このように、体内の画像のみを抽出し、また実質的に同一画像を取り除くことことができる。これにより医師が診断時に見るべき画像の枚数の削減を（非常に短時間で）行うことにより、診療の効率化及び診断時間の短縮が図れる。 As described above, since C <B <A, it is possible to improve the efficiency and shortening of the medical treatment by reducing the number of images that the doctor should see during the medical treatment. In this way, only the in-vivo image can be extracted, and substantially the same image can be removed. Thus, by reducing the number of images to be viewed by the doctor at the time of diagnosis (in a very short time), it is possible to improve the efficiency of diagnosis and shorten the diagnosis time.

本実施形態における体腔内検査に使用されるカプセル型内視鏡及びその周辺機器を示す図である。It is a figure which shows the capsule endoscope used for the body cavity inspection in this embodiment, and its peripheral device. 本実施形態におけるカプセル型内視鏡で撮影した画像データの画像処理を行うワークステーション７の内部構成を示す図である。It is a figure which shows the internal structure of the workstation 7 which performs image processing of the image data image | photographed with the capsule type endoscope in this embodiment. 本実施形態における画像処理の全体のフローを示す図である。It is a figure which shows the whole flow of the image processing in this embodiment. 図３に示すＳ１の画像の体内・体外判別処理の詳細な処理フローを示す図である。It is a figure which shows the detailed processing flow of the in-vivo / ex-vivo discrimination | determination process of the image of S1 shown in FIG. 図３に示すＳ２の画像の別・同一判別処理の詳細な処理フローを示す図である。It is a figure which shows the detailed processing flow of another and the same discrimination | determination process of the image of S2 shown in FIG.

Explanation of symbols

１カプセル型内視鏡
２患者
３ジャケット
４アンテナユニット
５外部装置
６クレードル
７ワークステーション
８ディスプレイ
９キーボード
１０マウス
１１アンテナ
２０メモリ（ＲＡＭ，ＲＯＭ）
２１大容量記憶装置
２２ＣＰＵ
２３入力Ｉ／Ｆ
２４出力Ｉ／Ｆ
２５バス

DESCRIPTION OF SYMBOLS 1 Capsule type endoscope 2 Patient 3 Jacket 4 Antenna unit 5 External apparatus 6 Cradle 7 Workstation 8 Display 9 Keyboard 10 Mouse 11 Antenna 20 Memory (RAM, ROM)
21 Mass storage device 22 CPU
23 Input I / F
24 output I / F
25 bus

Claims

In an image processing apparatus that performs image processing of a plurality of images taken by a medical device,
In-vivo image determination means for determining whether the image is an in-vivo image obtained by photographing the inside of the body;
An in-vivo image extracting means for extracting the in-vivo image based on a determination result by the in-vivo image determining means;
An image processing apparatus comprising:

The image processing apparatus according to claim 1, wherein the in-vivo image determining unit determines whether the in-vivo image is based on color component information of a pixel value included in the image.

The color component information includes the color elements x, y of the XYZ color system, the color elements u, v of the CIE U * V * W * color space, and the color elements u ′, v of the CIE LUV color space. 3. The information indicated by at least one color component of a *, b *, and a ratio from an RGB signal value of a color element of a CIE LAB color space. The image processing apparatus described.

The in-vivo image determining means, when it is determined that a predetermined number of the images taken by the medical device are the in-vivo images, all the undetermined images are the in-vivo images. The image processing apparatus according to claim 1, wherein the determination is performed.

The image processing apparatus further includes:
Image identity determination means for determining whether two of the in-vivo images extracted by the in-vivo image extraction means are substantially the same image or different images;
Another image extracting means for extracting the different image based on the determination result by the image identity determining means;
The image processing apparatus according to claim 1, further comprising:

The image identity determination means calculates a difference between pixel values of two consecutive in-vivo images, and determines whether the two images are substantially the same image or different images based on the difference. The image processing apparatus according to claim 5.

In an image processing apparatus that performs image processing of a plurality of images taken by a medical device,
Image identity determination means for determining whether two of the images are substantially the same image or different images;
Another image extracting means for extracting the different image based on the determination result by the image identity determining means;
An image processing apparatus comprising:

The image processing apparatus according to claim 1, wherein the medical device is a capsule endoscope.

In an image processing program for causing a computer to execute image processing of a plurality of images taken by a medical device,
In-vivo image determination processing for determining whether the image is an in-vivo image obtained by photographing the inside of the body;
An in-vivo image extraction process for extracting the in-vivo image based on a determination result by the in-vivo image determination process;
An image processing program for causing a computer to execute.

The image processing program according to claim 9, wherein the in-vivo image determination process causes a computer to execute a determination process as to whether the in-vivo image is based on color component information of a pixel value included in the image.

The color component information includes the color elements x, y of the XYZ color system, the color elements u, v of the CIE U * V * W * color space, and the color elements u ′, v of the CIE LUV color space. The image processing program according to claim 10, which is information indicated by at least one color component of a *, b *, and a ratio from RGB signal values of a color element of CIE LAB color space. .

In the in-vivo image determination process, when it is determined that a predetermined number of the images taken by the medical device are the in-vivo images, all the undetermined images are the in-vivo images. The image processing program according to claim 9, which causes a computer to execute a determination process.

The image processing program further includes:
An image identity determination process for determining whether two of the in-vivo images extracted by the in-vivo image extraction process are substantially the same image or different images;
Another image extraction process for extracting the different image based on the determination result of the image identity determination process;
The image processing program according to claim 9, wherein the image processing program is executed by a computer.

In the image identity determination process, a difference between pixel values of two consecutive in-vivo images is calculated, and based on the difference, the computer determines whether the two images are substantially the same image or different images. The image processing program according to claim 13.

In an image processing program for causing a computer to execute image processing of a plurality of images taken by a medical device,
Image identity determination processing for determining whether two of the images are substantially the same image or different images; and
Another image extraction process for extracting the different image based on the determination result of the image identity determination process;
An image processing program for causing a computer to execute.

The image processing program according to claim 9, wherein the medical device is a capsule endoscope.

In an image processing method for performing image processing of a plurality of images taken by a medical device,
An in-vivo image determination procedure for determining whether the image is an in-vivo image obtained by photographing the inside of the body;
An in-vivo image extraction procedure for extracting the in-vivo image based on a determination result by the in-vivo image determination procedure;
And an image processing method.

The image processing method according to claim 17, wherein the in-vivo image determination procedure determines whether the in-vivo image is based on color component information of a pixel value included in the image.

The color component information includes the color elements x, y of the XYZ color system, the color elements u, v of the CIE U * V * W * color space, and the color elements u ′, v of the CIE LUV color space. The information represented by at least one color component of a *, b *, and a ratio from RGB signal values of a color element of a CIE LAB color space. The image processing method as described.

In the in-vivo image determination procedure, when it is determined that a predetermined number of the images taken by the medical device are the in-vivo images, all the undetermined images are the in-vivo images. The image processing method according to claim 17, wherein the determination is performed.

The image processing method further includes:
An image identity determination procedure for determining whether two of the in-vivo images extracted by the in-vivo image extraction procedure are substantially the same image or different images;
Another image extraction procedure for extracting the other image based on the determination result of the image identity determination procedure;
The image processing method according to claim 17, wherein:

The image identity determination procedure calculates a difference between pixel values of two consecutive in-vivo images, and determines whether the two images are substantially the same image or different images based on the difference. The image processing method according to claim 21.

In an image processing method for performing image processing of a plurality of images taken by a medical device,
An image identity determination procedure for determining whether two of the images are substantially the same image or different images;
Another image extraction procedure for extracting the other image based on the determination result of the image identity determination procedure;
And an image processing method.

The image processing method according to claim 17 or 23, wherein the medical device is a capsule endoscope.