JP6559531B2 - 信号処理装置及び信号処理方法 - Google Patents

Description

本発明は、撮像装置によって時間的に連続して撮像された画像信号を処理する信号処理装置及び信号処理方法に関する。

従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡システムは、一般に、患者等の被検体内に細長形状をなす挿入部を挿入し、この挿入部先端から照明光を照明する一方、この照明光の反射光を撮像部で受光することによって、体内画像を順次撮像する。このように撮像された一連の複数の体内画像は、処理装置（プロセッサ）で所定の画像処理が施された後、ほぼリアルタイムで、ディスプレイに動画像形式の映像として表示される。医師等は、ディスプレイに表示された映像を通じて生体内を観察しながら、検査を行う。

ところで、近年、画像の高精細化や画像処理内容の多様化に対応するために複数の画像処理基板或いは画像処理用ＩＣをプロセッサ内に設け、これらの基板間或いはＩＣ間を伝送システムで接続する構成が採用されている。例えば、この伝送システムとして、送信側で伝送データの中に定期的に特定コードを重畳し、受信側で、この特定コードの中にエラーデータが連続して３回検出されると、自動的に伝送システムがリセットされる伝送プロトコルを用いたものが知られている（例えば、非特許文献１参照）。

Aurora 8B/10B Protocol Specification SP002(v2.2)（page28 "Soft Error Handling"）、［online］October 1, 2014 Xilinx、［平成２７年１０月２日検索］、インターネット＜http://www.xilinx.com/support/documentation/ip_documentation/aurora_8b10b_protocol_spec_sp002.pdf＞

一般的に、内視鏡システムは、内視鏡検査中に、生体画像を動画像形式で表示しながら、所望の部位の静止画像（レリーズ画像）も生成して記録できる構成を有する。具体的には、内視鏡の操作部に設けられたレリーズボタンが押されると、プロセッサは、レリーズボタン押圧時にディスプレイに表示された動画像に対応するレリーズ画像を生成し、生成したレリーズ画像をデータベース等に記録する。このレリーズ画像には、医学的有用性の観点から、エラーデータが含まれないことが望ましい。しかしながら、非特許文献１記載の伝送システムでは、エラーデータが３連続で発生しない限り伝送システムにリセットがかからないため、エラーデータはそのまま伝送され、レリーズ画像にエラーを有する画素データが含まれるおそれがある。

本発明は、上記に鑑みてなされたものであって、伝送エラーによるエラー画素データが含まれていない記録用の静止画像を生成することができる信号処理装置及び信号処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる信号処理装置は、撮像装置によって時間的に連続して撮像された画像信号を処理する信号処理装置であって、前記画像信号を出力する送信部と、前記送信部から出力された前記画像信号を受信する受信部と、前記受信部において受信した画像信号のエラーを検出するエラー検出部と、前記エラー検出部によって前記エラーが検出された回数をカウントするエラーカウント部と、を有し、前記画像信号を順次伝送する伝送部と、前記伝送部が伝送した画像信号を処理することによって記録用の静止画像を生成する画像信号処理部と、前記エラーカウント部のカウント数が１になったときには、前記記録用の静止画像の生成を指示する指示情報の再入力を促す警告情報を出力させる制御部と、を備えたことを特徴とする。

また、本発明に係る信号処理装置は、各種情報を出力する出力部をさらに備え、前記制御部は、前記警告情報を前記出力部から出力させることを特徴とする。

また、本発明にかかる信号処理装置は、前記指示情報を入力する入力部をさらに備え、前記制御部は、前記指示情報が前記入力部から入力された場合に前記エラーカウント部のカウント数が１になったときには、前記警告情報を前記出力部から出力させることを特徴とする。

また、本発明にかかる信号処理装置は、撮像装置によって時間的に連続して撮像された画像信号を処理する信号処理装置であって、前記画像信号を出力する送信部と、前記送信部から出力された前記画像信号を受信する受信部と、前記受信部において受信した画像信号のエラーを検出するエラー検出部と、前記エラー検出部によって前記エラーが検出された回数をカウントするエラーカウント部と、を有し、前記画像信号を順次伝送する伝送部と、前記伝送部が伝送した画像信号を処理することによって記録用の静止画像を生成する画像信号処理部と、前記エラーカウント部のカウント数が１になったことに応じて前記伝送部と前記画像信号処理部との少なくとも一方における所定の機能の実行を制御する制御部と、を有し、前記画像信号処理部は、前記伝送部が伝送した複数の画像信号を用いて１フレームの表示用画像を生成する一方、生成した表示用画像がいずれの前記画像信号を用いたものかを示すフレーム情報を出力するフレーム処理部を有し、前記伝送部は、前記エラーカウント部のカウント数が１になったことを示すエラー情報を出力し、前記制御部は、前記エラー情報と前記フレーム情報とに基づいて前記フレーム処理部が生成した複数の表示用の画像の中から前記記録用の静止画像を選択するレリーズ機能部を有することを特徴とする。
また、本発明に係る信号処理装置は、前記記録用の静止画像の生成を指示する指示情報を入力する入力部をさらに備え、前記レリーズ機能部は、前記指示情報が前記入力部から入力された場合に、前記エラー情報と前記フレーム情報とに基づいて前記フレーム処理部が生成した複数の表示用の画像の中から前記記録用の静止画像を選択することを特徴とする。

また、本発明にかかる信号処理方法は、撮像装置によって時間的に連続して撮像された画像信号を処理して記録用の静止画像を生成する信号処理装置が実行する信号処理方法であって、前記画像信号を出力する送信処理と、前記送信処理において出力された前記画像信号を受信する受信処理と、前記受信処理において受信した画像信号のエラーを検出するエラー検出処理と、前記エラー検出処理において前記エラーが検出された回数をカウントするエラーカウント処理と、前記エラーカウント処理におけるカウント数が１になったときには、前記記録用の静止画像の生成を指示する指示情報の再入力を促す警告情報を出力させる制御処理と、を含むことを特徴とする。
また、本発明に係る信号処理方法は、撮像装置によって時間的に連続して撮像された画像信号を処理して記録用の静止画像を生成する信号処理装置が実行する信号処理方法であって、前記画像信号を出力する送信処理と、前記送信処理において出力された前記画像信号を受信する受信処理と、前記受信処理において受信した画像信号のエラーを検出するエラー検出処理と、前記エラー検出処理において前記エラーが検出された回数をカウントするエラーカウント処理と、前記エラーカウント処理におけるカウント数が１になったことに応じて前記送信処理、前記受信処理及び前記記録用の静止画像の生成に関する所定の機能の実行を制御する制御処理と、前記受信処理において受信した複数の画像信号を用いて１フレームの表示用画像を生成するフレーム生成処理と、前記フレーム生成処理において生成した表示用画像がいずれの前記画像信号を用いたものかを示すフレーム情報を出力するフレーム情報出力処理と、前記エラーカウント処理におけるカウント数が１になったことを示すエラー情報を送信するエラー情報送信処理と、を含み、前記制御処理では、前記エラー情報と前記フレーム情報とに基づいて前記フレーム生成処理において生成した複数の表示用の画像の中から前記記録用の静止画像を選択することを特徴とする。

本発明によれば、撮像装置によって時間的に連続して撮像された画像信号を処理して記録用の静止画像を生成する際に、伝送部において送信した画像信号を受信した場合に、受信した画像信号のエラーを検出し、エラーが検出された回数をカウントし、エラーカウント部のカウント数が１になったことに応じて送信処理、受信処理及び記録用の静止画像の生成に関する所定の機能の実行を制御することによって、伝送エラーによるエラー画素データが含まれていない記録用の静止画像を生成することができる。

図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。 図２は、図１に示す伝送部の構成を示す模式図である。 図３は、図２に示す伝送部におけるエラー検出処理の処理手順を示すフローチャートである。 図４は、実施の形態２に係るプロセッサの要部構成を示す模式図である。 図５は、図４に示す実施の形態２に係るプロセッサ要部におけるエラー検出処理の処理手順を示すフローチャートである。 図６は、実施の形態３に係るプロセッサの要部構成を示す模式図である。 図７は、図６に示すプロセッサの要部におけるレリーズ画像記録処理の処理手順を示すフローチャートである。 図８は、図７に示すフレーム生成処理を説明するための図である。 図９は、図７に示すレリーズ画像生成処理を説明するための図である。 図１０は、図７に示すレリーズ画像生成処理の他の例を説明するための図である。

以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。

図１に示すように、本発明の実施の形態１にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を順次生成する内視鏡２（撮像装置）と、内視鏡２によって順次撮像された画像信号に対して所定の画像処理を行うとともに内視鏡システム１の各部を制御するプロセッサ３（信号処理装置）と、液晶または有機ＥＬを用いた表示ディスプレイ等を用いて構成され、プロセッサ３が画像処理を施した動画像データ等の各種画像を表示する表示装置４とを備える。内視鏡２が撮像した体内画像のうち記録用の静止画像（レリーズ画像）は、ネットワーク等によってプロセッサ３と接続するサーバ５を介して、データベース６に記録される。或いは、レリーズ画像は、プロセッサ３内部の記憶部３５（後述）に記録される。

内視鏡２は、被検体内に挿入される挿入部２１と、操作者が把持する操作部２２と、挿入部２１の先端に設けられて被検体の体内を撮像して被検体内の画像信号を生成する撮像部２３と、を有する。内視鏡２は、プロセッサ３のコネクタ（不図示）に着脱可能に接続するコネクタ（不図示）を内視鏡２の基端に有する。また、内視鏡２は、プロセッサ３の光源部（不図示）が生成した照明光を内視鏡２の先端に供給するライトガイドケーブル（不図示）を有する。

撮像部２３は、対物レンズ等の光学系と、ＣＣＤ撮像素子あるいはＣＭＯＳ撮像素子とによって構成される。撮像素子は、受光面に、光が照射された被写体からの光を受光し、受光した光を光電変換して撮像信号を生成する複数の画素が行列状に配置されている。撮像素子は、複数の画素が生成した撮像信号（アナログ）に、ノイズ除去処理、クランプ処理及びＡ／Ｄ変換処理を行い、撮像信号（デジタル）として、電気ケーブルを介してプロセッサ３に出力する。

操作部２２は、内視鏡を湾曲させるための湾曲ノブ、処置具挿入部が設けられるとともに、プロセッサ３、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のボタンが設けられる。操作部２２は、レリーズボタン２４を有し、内視鏡検査中にレリーズボタン２４が押圧された場合には、押圧された際に表示装置４に表示されていた画像に基づいてレリーズ画像として生成、記録することを指示するレリーズ信号Ｓｒを、プロセッサ３の制御部３２（後述）に入力する。このレリーズ信号Ｓｒの入力にしたがって、制御部３２の制御のもと、第２画像信号処理部３９（後述）が、レリーズ信号の入力タイミング時に表示装置４に表示されていた画像をもとに、レリーズ画像を生成する。

プロセッサ３は、画像信号処理部３１、制御部３２、入力部３３、出力部３４、記憶部３５及び通信部３６を備える。なお、プロセッサ３は、装着された内視鏡２に照明光を供給するための光源（不図示）を有する。

画像信号処理部３１は、撮像部２３から出力された画像信号（デジタル）に対するオプティカルブラック（ＯＢ）減算処理、デモザイキング処理、ホワイトバランス（ＷＢ）調整処理、電子ズーム処理、画像強調処理、マスク処理及びオンスクリーンディスプレイ（ＯＳＤ）処理、レリーズ画像生成処理、表示用画像生成処理等を行い、処理後の画像信号を出力する。画像信号処理部３１は、前段の画像処理を行う基板またはＩＣで構成される第１画像信号処理部３７と、後段の画像処理を行う基板またはＩＣで構成される第２画像信号処理部３９と、第１画像信号処理部３７及び第２画像信号処理部３９を接続する伝送部３８とを備える。第２画像信号処理部３９は、少なくとも、レリーズ画像生成処理及び表示用画像生成処理を行う。第１画像信号処理部３７及び第２画像信号処理部３９は、処理するデータを一時的に保持するＲＡＭ等のメモリを有する。

制御部３２は、ＣＰＵ等を用いて実現される。制御部３２は、プロセッサ３の各部の処理動作を制御する。制御部３２は、プロセッサ３の各構成に対する指示情報やデータの転送等を行うことによって、プロセッサ３の動作を制御する。制御部３２は、各ケーブルを介して撮像部２３や表示装置４に接続されており、撮像部２３及び表示装置４の動作についても制御を行う。制御部３２は、通信部３６（後述）を介してサーバ５と接続し、データベース６へのデータの記録制御を行う。

入力部３３は、マウス、キーボードおよびタッチパネル等の入力デバイスを用いて実現され、各種指示情報の入力を受け付ける。具体的には、入力部３３は、内視鏡２が検査を行っている被検体の情報（例えばＩＤ、生年月日、名前等）、内視鏡２の識別情報（例えばＩＤや検査対応項目）、および、検査内容等の各種指示情報の入力を受け付ける。

出力部３４は、スピーカーやプリンタ等を用いて実現され、制御部３２の制御にしたがい、内視鏡画像の表示処理、あるいは、レリーズ画像の記録処理に関する情報を出力する。

記憶部３５は、揮発性メモリや不揮発性メモリを用いて実現され、内視鏡２、プロセッサ３および表示装置４を動作させるための各種プログラムを記憶する。記憶部３５は、プロセッサ３が処理した各種画像データおよび付加情報等を記憶することもできる。記憶部３５は、プロセッサ３の外部から装着されるメモリカードや外部記録装置等を用いて構成されてもよい。

通信部３６は、有線ＬＡＮや無線ＬＡＮ等の通信回線と接続可能なインタフェースである。

図２は、図１に示す伝送部３８の構成を示す模式図である。図２に示すように、伝送部３８は、画像信号の送受信を行う送受信部３８１と、伝送部３８の伝送処理を制御する伝送制御部３８４（制御部）を備える。

送受信部３８１は、特定コード重畳部３８５を有する送信部３８２と、エラーデータ検出部３８６（エラー検出部）、エラーカウンター３８７及びカウンターレジスタ部３８８（エラーカウント部）を有する受信部３８３とを有する。

特定コード重畳部３８５は、伝送プロトコルに基づく特定コードを生成し、伝送データの中に任意のタイミングで重畳して受信部３８３に出力する。

エラーデータ検出部３８６は、送信側で重畳された特定コードを基に、受信した伝送データのエラーを検出し、エラー検出フラグを生成して、エラーカウンター３８７に出力する。エラーデータ検出部３８６は、エラー検出時には「Ｈ」のエラー検出フラグを生成し、エラー未検出時には「Ｌ」のエラー検出フラグを生成する。なお、エラー検出フラグのＨ／Ｌの極性は、逆であってもよい。

エラーカウンター３８７は、エラーデータ検出部３８６から「Ｈ」のエラー検出フラグが送られてくると、エラーを検出し、その数だけカウントアップする。

カウンターレジスタ部３８８は、エラーカウンター３８７から出力されたエラーカウンター数を保持し、伝送制御部３８４へ出力する。

伝送制御部３８４は、カウンターレジスタ部３８８から出力されたカウンタ値が１になった場合には、送受信部３８１にリセットをかける。

図３は、図２に示す伝送部３８におけるエラー検出処理の処理手順を示すフローチャートである。図３に示すように、送信部３８２は、伝送データの中に任意のタイミングで特定コードを重畳して伝送データを受信部３８３に出力するデータ送信処理を行い（ステップＳ１）、受信部３８３がデータを受信するデータ受信処理を行う（ステップＳ２）。エラーデータ検出部３８６は、受信した伝送データのエラーを検出するエラー検出処理を行う（ステップＳ３）。

エラーカウンター３８７は、エラーデータ検出部３８６から送られているエラー検出フラグに基づいて、エラーデータ検出部３８６がエラーを検出したか否かを判断する（ステップＳ４）。エラーカウンター３８７は、エラーデータ検出部３８６がエラーを検出したと判断した場合（ステップＳ４：Ｙｅｓ）、カウンターレジスタ部３８８のカウント数をカウントアップするエラーカウント処理を行う（ステップＳ５）。

エラーデータ検出部３８６がエラーを検出していないとエラーカウンター３８７が判断した場合（ステップＳ４：Ｎｏ）、或いは、エラーカウント処理（ステップＳ５）終了後、伝送制御部３８４は、カウンターレジスタ部３８８のカウント数が１であるか否かを判断する（ステップＳ６）。

伝送制御部３８４は、カウンターレジスタ部３８８のカウント数が１であると判断した場合（ステップＳ６：Ｙｅｓ）、送受信部３８１にリセットをかける送受信部リセット処理を行う（ステップＳ７）。

伝送制御部３８４は、送受信部リセット処理において、送信部３８２及び受信部３８３の少なくともいずれか一方をリセットすればよい。例えば、伝送制御部３８４は、受信部３８３にリセット信号Ｃｒを入力する。この場合には、送信部３８２は、それに応じてリセットする。受信部３８３は、送信部３８２にリセット信号を送り、送信部３８２は、受信部３８３から受信したリセット信号にしたがってリセットする。或いは、送信部３８２は、受信部３８３の動作から、リセット実行の有無を判別して自身をリセットする。また、伝送制御部３８４は、送信部３８２にリセット信号Ｃｒを入力して、送受信部３８１をリセットしてもよい。なお、送受信部リセット処理ではカウンターレジスタ部３８８のカウント数もリセットされる。

伝送部３８では、伝送制御部３８４が、カウンターレジスタ部３８８のカウント数が１でないと判断した場合（ステップＳ６：Ｎｏ）、または、送受信部リセット処理（ステップＳ７）後、このデータに対するエラー検出処理を終了する。なお、レリーズ信号Ｓｒが入力された場合に、レリーズ機能を有する第２画像信号処理部３９から、伝送部３８へ、エラー検出を行うための図３の各処理手順を実行するように指示がなされる。

この実施の形態１のように、伝送制御部３８４は、特定コードの中に１つでもエラーが発生すると伝送部３８の送受信部３８１をリセットし、伝送エラーによるエラー画素データが含まれていない画像信号のみを第２画像信号処理部３９に伝送するようにすることによって、第２画像信号処理部３９では、伝送エラーによるエラー画素データが含まれていないレリーズ画像を生成することができる。

（実施の形態２）
次に、実施の形態２について説明する。図４は、実施の形態２に係るプロセッサの要部構成を示す模式図である。

図４に示すように、実施の形態２に係るプロセッサは、図１に示す伝送部３８及び制御部３２に代えて、伝送制御部２３８４を有する伝送部２３８と、制御部２３２とを備える。

伝送制御部２３８４は、レリーズ信号が入力された場合にカウンターレジスタ部３８８のカウント数が１になった場合には、エラーレジスタ部３８８のカウント数が１になったことを示すエラー情報Ｄｅを制御部２３２に送信する。伝送制御部２３８４は、エラー情報Ｄｅの送信後、カウンターレジスタ部３８８のカウント数を０に戻す。

制御部２３２は、エラー情報Ｄｅを受け、伝送エラーによるエラー画素データがある旨を報知するとともにレリーズ信号の再入力を促す警告を出力部３４に出力させる。

図５は、図４に示す実施の形態２に係るプロセッサ要部におけるエラー検出処理の処理手順を示すフローチャートである。図５に示すステップＳ１１〜ステップＳ１６は、図３に示すステップＳ１〜ステップＳ６である。

伝送制御部２３８４は、カウンターレジスタ部３８８のカウント数が１であると判断した場合（ステップＳ６：Ｙｅｓ）、エラー情報Ｄｅを制御部２３２に送信するエラー情報送信処理（ステップＳ１７）を行う。制御部２３２は、このエラー情報Ｄｅを受け、伝送エラーによるエラー画素データがある旨を報知するとともにレリーズ信号の再入力を促す警告を出力部３４に出力させるエラー報知処理を行う（ステップＳ１８）。例えば、制御部２３２は、「伝送エラーがありました。再度レリーズボタンを押してください。」等の情報を出力部３４に音声で出力させる。なお、図５の各処理手順は、レリーズ信号が入力された場合に実行するように制御される。

この実施の形態２のように、伝送部２３８において１つでも伝送エラーが発生するとレリーズ信号の再入力をユーザに促すエラー報知処理を行うことによって、第２画像信号処理部３９は、ユーザによるレリーズ信号の再入力に従って、伝送エラーによるエラー画素データが含まれていないレリーズ画像を生成することができる。

（実施の形態３）
次に、実施の形態３について説明する。図６は、実施の形態３に係るプロセッサの要部構成を示す模式図である。図６には、表示装置４、サーバ５及びデータベース６も示す。

実施の形態３に係るプロセッサ３０３は、図１に示す画像信号処理部３１及び制御部３２に代えて、伝送部３３８及び第２画像信号処理部３３９を有する画像信号処理部３３１と、制御部３２と同様の機能を有する制御部３３２とを有する。

伝送部３３８は、伝送制御部２３８４と同様の機能を有するとともに、エラー情報Ｄｅを第２画像信号処理部３３９のレリーズ機能部３３９５（後述）に送信する伝送制御部３３８４を備える。

第２画像信号処理部３３９は、フレーム生成処理部３３９１と、バッファ３３９４と、レリーズ機能部３３９５（制御部）とを備える。

フレーム生成処理部３３９１は、ノイズリダクション（ＮＲ）部３３９２及びフレーム生成部３３９３を備える。ＮＲ部３３９２は、伝送部３３８が伝送した時系列に前後する複数枚の画像信号を使ってノイズを除去する３次元ＮＲ処理を行う。フレーム生成部３３９３は、ＮＲ処理後の複数枚の画像信号を用いて１フレームの表示用画像Ｇｍを順次生成する一方、生成した各表示用画像Ｇｍがいずれの画像信号を用いたものかを示すフレーム情報Ｄｆをレリーズ機能部３３９５に出力する。フレーム生成部３３９３によって生成された表示用画像Ｇｍは、表示装置４に順次出力され、ディスプレイに表示される。また、フレーム生成部３３９３によって生成された表示用画像Ｇｍは、順次バッファ３３９４に出力される。なお、ＮＲ部３３９２及びフレーム生成部３３９３は、それぞれメモリを有し、メモリに保持した画像信号等を用いて処理を実行する。

バッファ３３９４は、所定フレーム数の表示用画像Ｇｍを一時的に保持する。バッファ３３９４に保持される表示用画像Ｇｍは、フレーム生成部３３９３からの表示用画像Ｇｍの出力に応じて更新される。

レリーズ機能部３３９５は、レリーズ信号Ｓｒが制御部３３２を介して入力された場合に、フレーム生成部３３９３が生成しバッファ３３９４が保持する所定フレーム数の表示用画像Ｇｍの中からレリーズ画像用の画像を選択し、選択した画像を記録用の画像形式に変換したレリーズ画像Ｇｒを生成して、制御部３３２に出力する。レリーズ機能部３３９５は、エラー情報Ｄｅとフレーム情報Ｄｆとに基づいてレリーズ画像用の画像を選択する。レリーズ機能部３３９５は、メモリを有し、メモリに保持した画像等を用いて処理を実行する。

制御部３３２は、レリーズ機能部３３９５から出力されたレリーズ画像Ｇｒを、通信部３６を介してサーバ５に送信し、データベース６に記録させる制御を行う。或いは、制御部３３２は、レリーズ機能部３３９５から出力されたレリーズ画像Ｇｒを、記憶部３５（図１参照）に記録させる制御を行う。

図７は、図６に示すプロセッサ３０３の要部におけるレリーズ画像記録処理の処理手順を示すフローチャートである。なお、図７の各処理手順は、レリーズ信号が入力された場合に実行するように制御される。図７に示すステップＳ２１〜ステップＳ２６は、図３に示すステップＳ１〜ステップＳ６である。

伝送制御部３３８４は、カウンターレジスタ部３８８のカウント数が１であると判断した場合（ステップＳ２６：Ｙｅｓ）、エラー情報Ｄｅをレリーズ機能部３３９５に送信するエラー情報送信処理（ステップＳ２７）を行う。

ステップＳ２３〜ステップＳ２７と、ステップＳ２８〜ステップＳ３０とは、並列に処理される。フレーム生成部３３９３は、伝送部３３８から伝送されたＮＲ部３３９２におけるＮＲ処理後の複数枚の画像信号を用いて１フレームの表示用画像Ｇｍを生成するフレーム生成処理を行う（ステップＳ２８）。フレーム生成部３３９３は、生成した表示用画像Ｇｍを表示装置４及びバッファ３３９４に出力する生成画像出力処理を行う（ステップＳ２９）。フレーム生成部３３９３は、生成した表示用画像Ｇｍがいずれの画像信号を用いたものかを示すフレーム情報Ｄｆをレリーズ機能部３３９５に出力するフレーム情報出力処理を行う（ステップＳ３０）。

カウンターレジスタ部３８８のカウント数が１でないと伝送制御部３３８４が判断した場合（ステップＳ２６：Ｎｏ）またはステップＳ２７及びステップＳ３０の後、レリーズ機能部３３９５は、エラー情報Ｄｅとフレーム情報Ｄｆとに基づいてバッファ３３９４が保持する所定フレーム数の表示用画像Ｇｍの中からレリーズ画像用の画像を選択して、レリーズ画像Ｇｒを生成するレリーズ画像生成処理を行う（ステップＳ３１）。制御部３３２は、レリーズ機能部３３９５から出力されたレリーズ画像Ｇｒをデータベース６或いは記憶部３５に記録させるレリーズ画像記録制御処理を行う（ステップＳ３２）。

図８は、図７に示すフレーム生成処理（ステップＳ２８）を説明するための図である。図８の（１）のように、伝送部３３８から、画像信号Ｆ１〜Ｆ９がフレーム生成処理部３３９１に順次伝送される。なお、レリーズ信号Ｓｒは、画像信号Ｆ１がフレーム生成処理部３３９１に伝送されたタイミングで制御部３３２からレリーズ機能部３３９５に入力されたものとする。また、各画像信号Ｆ１〜Ｆ９のうち、画像信号Ｆ２，Ｆ４に伝送エラーによるエラー画素データが含まれていることが伝送部３３８において検出されている。なお、このエラー検出結果は、エラー情報Ｄｅとして、伝送制御部３３８４からレリーズ機能部３３９５に送信されている。

ＮＲ部３３９２は、画像信号Ｆ１〜Ｆ９のそれぞれに対してＮＲ処理を行う。フレーム生成部３３９３は、例えば３枚の画像信号を用いて１フレームの表示用画像Ｇｍを生成する。具体的には、図８の（１）及び図８の（２）に示すように、フレーム生成部３３９３は、画像信号Ｆ３〜Ｆ５を用いて表示用画像Ｆａを生成する（矢印Ｙａ参照）。フレーム生成部３３９３は、画像信号Ｆ６〜Ｆ８を用いて表示用画像Ｆｂを生成する（矢印Ｙｂ参照）。フレーム生成部３３９３は、画像信号Ｆ９〜Ｆ１１を用いて表示用画像Ｆｃを生成する（矢印Ｙｃ参照）。フレーム生成部３３９３は、生成した表示用画像Ｆａ，Ｆｂを順次表示装置４及びバッファ３３９４に出力する一方、画像信号Ｆ３〜Ｆ５を用いて表示用画像Ｆａを生成した旨、画像信号Ｆ６〜Ｆ８を用いて表示用画像Ｆｂを生成した旨及び画像信号Ｆ９〜Ｆ１１を用いて表示用画像Ｆｃを生成した旨を示すフレーム情報Ｄｆをレリーズ機能部３３９５に送信する。

図９は、図７に示すレリーズ画像生成処理（ステップＳ３１）を説明するための図である。図９の例では、レリーズ機能部３３９５は、図９の（１）に示すフレーム情報Ｄｆと、図９の（２）に示すエラー情報Ｄｅとを基に、表示用画像Ｆａ，Ｆｂ，Ｆｃの中からレリーズ画像Ｇｒ用の画像を選択する（図９の（３））。レリーズ機能部３３９５は、レリーズ信号入力タイミングに対応するものの、エラー画素データが有る画像信号Ｆ４を含む画像信号Ｆ３〜Ｆ５を用いた表示用画像Ｆａ（矢印Ｙ１参照）については、レリーズ画像Ｇｒ用の画像として選択せず（矢印Ｙ２参照）、表示用画像Ｆａの次に生成された画像であって、エラー画素データが無い画像信号Ｆ６〜Ｆ８を用いた表示用画像Ｆｂ（矢印Ｙ３参照）をレリーズ画像Ｇｒ用の画像として選択する（矢印Ｙ４参照）。なお、図９に示す例に限らず、レリーズ機能部３３９５は、エラー情報及びフレーム情報に基づいて、レリーズ信号入力タイミングに対応する画像の前後に生成された表示用画像の中から、エラー画素データを含まないものをレリーズ画像Ｇｒ用の画像として選択すればよい。もちろん、レリーズ機能部３３９５は、レリーズ信号入力タイミングに対応する表示用画像がエラー画素データを含まない場合には、この表示用画像をレリーズ画像Ｇｒ用の画像として選択する。

したがって、実施の形態３によれば、第２画像信号処理部３３９は、レリーズ信号入力タイミングに対応する表示用画像に伝送エラーによるエラー画素データが含まれている場合には該表示用画像をレリーズ画像用として選択せず、その前後の表示用画像の中からエラー画素データを含まないものをレリーズ画像用として選択するため、伝送エラーによるエラー画素データが含まれていないレリーズ画像を自動的に生成することができる。

なお、図１０は、図７に示すレリーズ画像生成処理（ステップＳ３１）の他の例を説明するための図である。レリーズ機能部３３９５は、バッファ３３９４に蓄積された所定フレーム数の表示用画像の中から、ブレの小さい画像をレリーズ画像用の画像として選択する機能を有する。この場合、レリーズ機能部３３９５は、図１０の（１）に示すフレーム情報Ｄｆ、図１０の（２）に示すエラー情報Ｄｅ、及び、図１０の（３）に示す画像のブレ量Ｍｆを基に、表示用画像Ｆａ〜Ｆｃの中から、レリーズ画像Ｇｒ用の画像を選択する（図１０の（４））。

レリーズ機能部３３９５は、図１０に示すように、エラー画素データを含む画像信号Ｆ３〜Ｆ５を用いた表示用画像Ｆａ（矢印Ｙ１１参照）については、レリーズ画像Ｇｒ用の画像として選択しない（矢印Ｙ１２参照）。レリーズ機能部３３９５は、次の表示用画像Ｆｂについては、エラー画素データが無い画像信号Ｆ６〜Ｆ８を用いて生成されたものの（矢印Ｙ１３参照）、画像のブレ量Ｍｆが大きいため（矢印Ｙ１４参照）、レリーズ画像Ｇｒ用の画像として選択しない（矢印Ｙ１５参照）。レリーズ機能部３３９５は、さらに次の表示用画像Ｆｃについては、エラー画素データが無い画像信号Ｆ９〜Ｆ１１を用いており（矢印Ｙ１６参照）、画像のブレ量Ｍｆが小さいため（矢印Ｙ１７参照）、レリーズ画像Ｇｒ用の画像として表示用画像Ｆｃを選択する（矢印Ｙ１８参照）。

この場合には、伝送エラーによるエラー画素データが含まれず、かつ、画像のブレ量の小さいレリーズ画像を自動的に生成することができる。なお、図１０に示す例に限らず、レリーズ機能部３３９５は、エラー情報、フレーム情報及び画像のブレ量に基づいて、レリーズ信号入力タイミングに対応する画像の前後に生成された表示用画像の中から、エラー画素データを含まず、かつ、画像のブレ量の小さいものを選択すればよい。

また、実施の形態１〜３において、内視鏡２とプロセッサ３，３０３との間で送受信される信号は、電気信号に限らず、電気信号を変換した光信号であってもよい。この場合には、光ファイバ等の光信号用の伝送路を用いて、内視鏡２とプロセッサ３，３０３との間で光信号の伝送が行われる。もちろん、内視鏡２とプロセッサ３，３０３との間においては、有線通信に限らず、無線通信を用いて信号の送受信を行ってもよい。また、プロセッサ３，３０３は、光源が一体となった光源一体型プロセッサである他、プロセッサと光源装置とが別体である構成であってもよい。

実施の形態１〜３に係る内視鏡システムは、挿入部２１が軟性または硬性である内視鏡が適用される内視鏡システムでもよい。また、内視鏡２に、光源と、撮像素子及び光源を制御する制御機能とを持たせてもよい。この場合、光源は、内視鏡と別体で構成されるものに限らず、内視鏡の挿入部先端に設けられた半導体光源等であってもよい。また、内視鏡の挿入部先端に撮像素子を設けた構成に限らず、例えば、撮像素子が挿入部基端側に設けられ、挿入部の先端から基端へ光ファイバで伝送された光学像を撮像するように構成されていてもよい。また、挿入部先端に撮像素子を設けた内視鏡に限らず、ファイバースコープや光学視管などの光学式内視鏡の接眼部カメラヘッドを接続する構成であってもよい。

また、本実施の形態１〜３にかかるプロセッサ３，３０３においては、画像信号処理部の前段で経路を分けて、画像処理前の所謂ＲＡＷデータが、画像信号処理部の後段のセレクタに出力されるようにし、画像処理後の画像データとＲＡＷデータとのいずれかを、セレクタで切り替えて出力ポートから出力できる構成であってもよい。セレクタは、出力ポートの数に応じて設ければよい。

また、実施の形態１〜３として、医療用の内視鏡システムを例に説明したが、もちろん、工業用の内視鏡システムにも適用可能である。

また、本実施の形態１〜３にかかるプロセッサ３，３０３で実行される各処理に対する実行プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

１ 内視鏡システム
２ 内視鏡
３，３０３ プロセッサ
４ 表示装置
５ サーバ
６ データベース
２１ 挿入部
２２ 操作部
２３ 撮像部
２４ レリーズボタン
３１，３３１ 画像信号処理部
３２，２３２，３３２ 制御部
３３ 入力部
３４ 出力部
３５ 記憶部
３６ 通信部
３７ 第１画像信号処理部
３８，２３８，３３８ 伝送部
３９，３３９ 第２画像信号処理部
３８１ 送受信部
３８２ 送信部
３８３ 受信部
３８４，２３８４，３３８４ 伝送制御部
３８５ 特定コード重畳部
３８６ エラーデータ検出部
３８７ エラーカウンター
３８８ カウンターレジスタ部
３３９１ フレーム生成処理部
３３９２ ノイズリダクション（ＮＲ）部
３３９３ フレーム生成部
３３９４ バッファ
３３９５ レリーズ機能部

Claims (7)

1. 撮像装置によって時間的に連続して撮像された画像信号を処理する信号処理装置であって、
   前記画像信号を出力する送信部と、前記送信部から出力された前記画像信号を受信する受信部と、前記受信部において受信した画像信号のエラーを検出するエラー検出部と、前記エラー検出部によって前記エラーが検出された回数をカウントするエラーカウント部と、を有し、前記画像信号を順次伝送する伝送部と、
   前記伝送部が伝送した画像信号を処理することによって記録用の静止画像を生成する画像信号処理部と、
   前記エラーカウント部のカウント数が１になったときには、前記記録用の静止画像の生成を指示する指示情報の再入力を促す警告情報を出力させる制御部と、
   を備えたことを特徴とする信号処理装置。
2. 各種情報を出力する出力部をさらに備え、
   前記制御部は、前記警告情報を前記出力部から出力させることを特徴とする請求項１に記載の信号処理装置。
3. 前記指示情報を入力する入力部をさらに備え、
   前記制御部は、前記指示情報が前記入力部から入力された場合に前記エラーカウント部のカウント数が１になったときには、前記警告情報を前記出力部から出力させることを特徴とする請求項２に記載の信号処理装置。
4. 撮像装置によって時間的に連続して撮像された画像信号を処理する信号処理装置であって、
   前記画像信号を出力する送信部と、前記送信部から出力された前記画像信号を受信する受信部と、前記受信部において受信した画像信号のエラーを検出するエラー検出部と、前記エラー検出部によって前記エラーが検出された回数をカウントするエラーカウント部と、を有し、前記画像信号を順次伝送する伝送部と、
   前記伝送部が伝送した画像信号を処理することによって記録用の静止画像を生成する画像信号処理部と、
   前記エラーカウント部のカウント数が１になったことに応じて前記伝送部と前記画像信号処理部との少なくとも一方における所定の機能の実行を制御する制御部と、を有し、
   前記画像信号処理部は、前記伝送部が伝送した複数の画像信号を用いて１フレームの表示用画像を生成する一方、生成した表示用画像がいずれの前記画像信号を用いたものかを示すフレーム情報を出力するフレーム処理部を有し、
   前記伝送部は、前記エラーカウント部のカウント数が１になったことを示すエラー情報を出力し、
   前記制御部は、前記エラー情報と前記フレーム情報とに基づいて前記フレーム処理部が生成した複数の表示用の画像の中から前記記録用の静止画像を選択するレリーズ機能部を有することを特徴とする信号処理装置。
5. 前記記録用の静止画像の生成を指示する指示情報を入力する入力部をさらに備え、
   前記レリーズ機能部は、前記指示情報が前記入力部から入力された場合に、前記エラー情報と前記フレーム情報とに基づいて前記フレーム処理部が生成した複数の表示用の画像の中から前記記録用の静止画像を選択することを特徴とする請求項４に記載の信号処理装置。
6. 撮像装置によって時間的に連続して撮像された画像信号を処理して記録用の静止画像を生成する信号処理装置が実行する信号処理方法であって、
   前記画像信号を出力する送信処理と、
   前記送信処理において出力された前記画像信号を受信する受信処理と、
   前記受信処理において受信した画像信号のエラーを検出するエラー検出処理と、
   前記エラー検出処理において前記エラーが検出された回数をカウントするエラーカウント処理と、
   前記エラーカウント処理におけるカウント数が１になったときには、前記記録用の静止画像の生成を指示する指示情報の再入力を促す警告情報を出力させる制御処理と、
   を含むことを特徴とする信号処理方法。
7. 撮像装置によって時間的に連続して撮像された画像信号を処理して記録用の静止画像を生成する信号処理装置が実行する信号処理方法であって、
   前記画像信号を出力する送信処理と、
   前記送信処理において出力された前記画像信号を受信する受信処理と、
   前記受信処理において受信した画像信号のエラーを検出するエラー検出処理と、
   前記エラー検出処理において前記エラーが検出された回数をカウントするエラーカウント処理と、
   前記エラーカウント処理におけるカウント数が１になったことに応じて前記送信処理、前記受信処理及び前記記録用の静止画像の生成に関する所定の機能の実行を制御する制御処理と、
   前記受信処理において受信した複数の画像信号を用いて１フレームの表示用画像を生成するフレーム生成処理と、
   前記フレーム生成処理において生成した表示用画像がいずれの前記画像信号を用いたものかを示すフレーム情報を出力するフレーム情報出力処理と、
   前記エラーカウント処理におけるカウント数が１になったことを示すエラー情報を送信するエラー情報送信処理と、を含み、
   前記制御処理では、前記エラー情報と前記フレーム情報とに基づいて前記フレーム生成処理において生成した複数の表示用の画像の中から前記記録用の静止画像を選択することを特徴とする信号処理方法。

Images