JP5362954B2 - 画像処理プロセッサ - Google Patents

Description

本発明は、撮像方式の異なる複数のスコープによって撮像された画像に対し、画像処理を行う画像処理プロセッサに関する。

従来、内視鏡用の画像処理プロセッサは、方式が異なるスコープで撮像された画像の処理を行うためには、複数の画像処理部を持つことで対応していた。そこで、特許文献１（特公平４−０３９８５４号公報）には、面順次式映像信号とモザイク式映像信号に対応する画像処理部を設け、スコープの撮像方式を変えても単一の画像処理部で処理可能な内視鏡用撮像装置が提案されている。
特公平４−３９８５４号公報

特許文献１の技術は、スコープの撮像方式が面順次式であってもモザイク方式であっても一旦ＮＴＳＣに変換し、その後で単一の画像処理部で処理するようにしている。この技術は、撮像部（スコープ）と画像処理部とが別な装置として構成され、その組み合わせが様々である内視鏡装置において好適なものである。しかしながら、処理時間についての観点からは言及されていない。

本発明は上記事情に鑑みてなされたもので、単一の画像処理部で処理可能な信号を処理時間を抑えつつ得ることが可能な画像処理プロセッサを提供することを目的としている。

上記目的を達成するため、本発明による第１の画像処理プロセッサは、接続された内視鏡スコープに係る撮像方式を判定し、その判定結果たる撮像方式データと前記内視鏡スコープにより観察される被写体に係る撮像画像データとを出力するスコープ接続部と、入力されるデータに対して所定の信号処理を実行して出力する、前記信号処理の属性に応じて複数備えられる機能モジュールと、前記複数の機能モジュールの中から、入力される前記撮像画像データを単一のデータ出力形式を有する変換画像データに変換するための前記機能モジュールの組み合わせを前記撮像方式データに基づき判定する撮像方式判定部とを備え、ここで、前記機能モジュールの各々は、各々の機能に要する処理時間に応じて前記信号処理済みのデータが出力されるタイミングに係る出力タイミング信号を調整するタイミング調整部を備え、前記組み合わせの前段に位置する第１の機能モジュールからの前記出力タイミング信号に基づき、第２の機能モジュールは前記第１の機能モジュールにより信号処理された前記撮像画像データに対して前記所定の信号処理を実行する変換部と、前記変換画像データに対して所定の画像処理を実行し、処理画像データを生成する画像処理部と、を備えることを特徴とする。

本発明による第２の画像処理プロセッサは、第１の画像処理プロセッサにおいて、前記変換部は、少なくとも、点順次方式の前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする。

本発明による第３の画像処理プロセッサは、第１の画像処理プロセッサにおいて、前記変換部は、少なくとも、面順次方式の前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする。

本発明による第４の画像処理プロセッサは、第１の画像処理プロセッサにおいて、前記変換部は、少なくとも、基本となる複数の原色の各々に対応する前記撮像画像データを出力する２つの異なる撮像素子からの前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする。

本発明による第５の画像処理プロセッサは、第１の画像処理プロセッサにおいて、前記変換部は、少なくとも、基本となる複数の原色の各々に対応する前記撮像画像データを出力する３つの異なる撮像素子からの前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする。

本発明による第６の画像処理プロセッサは、第１の画像処理プロセッサにおいて、前記画像処理部は、インタレース方式に係る前記変換画像データに適した画像処理を実行する第１の専用処理部、及びプログレッシブ方式に係る前記変換画像データに適した画像処理を実行する第２の専用処理部を具備し、前記撮像方式に応じた前記処理画像データを出力することを特徴とする。

本発明の第１の画像処理プロセッサは、複数の機能モジュールの中から、入力される撮像画像データを単一のデータ出力形式に変換するための機能モジュールの組み合わせを、スコープ接続部からの撮像方式データに基づき判定すると共に、信号処理済みのデータを出力するタイミングに係る出力タイミング信号を、各々の機能に要する処理時間に応じて調整するタイミング調整部を各機能モジュールに備え、組み合わせの前段に位置する第１の機能モジュールからの出力タイミング信号に基づき、第２の機能モジュールが第１の機能モジュールにより信号処理された撮像画像データに対して所定の信号処理を実行することで各機能モジュール間でのタイムラグが抑えられるので、入力される撮像画像データを、単一の画像処理部で処理可能な単一のデータ出力形式に変換するための処理時間を抑えること、即ち高速化が可能となる。

第２の画像処理プロセッサは、機能モジュールとして、点順次方式の撮像画像データを変換画像データに変換するための組み合わせに係る機能モジュールを備えているので、点順次方式に対応することができる。

第３の画像処理プロセッサは、機能モジュールとして、面順次方式の撮像画像データを変換画像データに変換するための組み合わせに係る機能モジュールを備えているので、面順次方式に対応することができる。

第４の画像処理プロセッサは、機能モジュールとして、基本となる複数の原色の各々に対応する撮像画像データを出力する２つの異なる撮像素子からの撮像画像データを変換画像データに変換するための組み合わせに係る機能モジュールを備えているので、２つの異なる撮像素子を用いる所謂二板方式に対応することができる。

第５の画像処理プロセッサは、機能モジュールとして、基本となる複数の原色の各々に対応する撮像画像データを出力する３つの異なる撮像素子からの撮像画像データを変換画像データに変換するための組み合わせに係る機能モジュールを備えているので、３つの異なる撮像素子を用いる所謂三板方式に対応することができる。

第６の画像処理プロセッサは、第１の専用処理部及び第２の専用処理部を備えることで、一方の撮像方式に変換画像データを変換する、例えばインターレース方式からプログレッシブ方式への変換に係る処理を省くことができるため、処理時間を抑えることが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［第１の実施形態］
図１〜図８は本発明の第１の実施形態に係り、図１は画像処理プロセッサの基本構成図、図２は変換部の構成を示すブロック図、図３は形式変換部の構成を示すブロック図、図４は画像処理部の構成を示すブロック図、図５は点順次方式のスコープが接続された場合の変換処理の例を示すタイムチャート、図６は二板方式のスコープが接続された場合の変換処理の例を示すタイムチャート、図７は三板方式のスコープが接続された場合の変換処理の例を示すタイムチャート、図８は面順次方式のスコープが接続された場合の変換処理の例を示すタイムチャートである。

本発明による画像処理プロセッサは、撮像方式の異なる複数のスコープを接続することができ、スコープの撮像方式に応じた単一の形式の画像データに変換して画像処理を行うことにより、処理回路を共通化して回路規模の削減を可能とするものである。第１の実施形態における画像処理プロセッサは、各スコープによって撮像された画像に関する撮像画像データを、色信号Ｒ，Ｇ，Ｂで表す変換画像データに変換し、変換画像データに対して色調整やゲイン調整やガンマ補正などの画像処理を行った後に、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒで表す処理画像データに変換し、外部に出力する。

以下では、撮像素子としてＣＣＤを採用するものとし、単一のＣＣＤを有するスコープの撮像方式として、点順次方式や面順次方式を例にとり、また、複数個のＣＣＤを有するスコープの撮像方式として、Ｒ，Ｇ，Ｂ各色を一部共用して二つのＣＣＤで撮像する所謂二板方式、Ｒ，Ｇ，Ｂ各色を三つのＣＣＤで分担或いは一部供用して撮像する所謂三板方式の撮像方式を例に取って説明する。更に、ＣＣＤの画素読み出し方式の相違に関して、インターレース方式とプログレッシブ方式とを考慮する（但し、本実施の形態では、インターレース方式かプログレッシブ方式かに依存せず、単一の処理を行うことが可能である）。

尚、本発明の画像処理プロセッサに接続されるスコープとは、細径の挿入部先端にＣＣＤを内蔵した電子内視鏡のみならず、挿入部先端に対物レンズで結像された光学像をファイババンドルで手元側に伝送する光学式内視鏡にカメラユニットを装着したものも含むものとする。

本実施の形態では、撮像方式によって異なる変換処理を行い、単一の形式である変換画像データを生成することで、色調整やゲイン調整やガンマ補正などの画像処理を共通化するようにしており、これにより、回路規模を削減することができる。また、撮像方式によって変換処理に要する時間は異なるが、変換処理に要する時間に応じた最適なタイミングで画像処理を行うことで、プロセッサ全体としての処理時間を短縮することができる。

具体的には、図１に示すように、本実施の形態の画像処理プロセッサ１は、撮像方式が異なる複数のスコープＡ，Ｂ，…を接続可能なスコープ接続部１０１と、スコープ接続部１０１から出力される撮像画像データを、スコープの撮像方式に応じた単一の形式の変換画像に変換する変換部１０２と、変換部１０２から出力される変換画像に対して所定の画像処理を施し、処理画像データを生成する画像処理部１０３とを基本構成として備えている。

スコープ接続部１０１は、接続されたスコープによって撮像された撮像画像データ、及び撮像画像データの水平，垂直同期信号ＨＤ，ＶＤを出力する。また、スコープ接続部１０１は、接続されたスコープの種類を判別するための撮像方式データを生成し、撮像画像データ、同期信号ＨＤ，ＶＤと共に出力する。

変換部１０２は、撮像方式データから判別した撮像方式に応じて、撮像画像データを色信号Ｒ，Ｇ，Ｂに変換した変換画像データ、及び画像処理部１０３が画像処理を行うための基準となる画像処理タイミング信号を生成する。

詳細には、変換部１０２は、図２に示される構成を有している。すなわち、変換部１０２は、撮像方式データから接続されているスコープの種類を判別し、撮像画像データに順次行うべき処理を決定する撮像方式判定部２００と、撮像方式に対応した各種処理及びタイミング調整を行うための複数の機能モジュールとしての形式変換部を備えた信号処理部２０１と、変換画像データとして出力するデータを選択するセレクタ２１２とを備えて構成されている。

信号処理部２０１における複数の形式変換部としては、ＹＣ補間部２０２、ＲＧＢ補間部２０３、ＹＣノイズ除去部２０４、ＲＧＢノイズ除去部２０５、面順次ノイズ除去部２０６、ＲＧＢ→ＹＣ変換部２０７、ＹＣＷＢ（ＷＢ；ホワイトバランス）処理部２０８、面順次ＷＢ処理部２０９、ＹＣ→ＲＧＢ変換部２１０、及び面順次位相調整部２１１が備えられている。これらの形式変換部は、撮像方式判定部２００で撮像方式に対応して決定される順次処理の組み合わせに応じて適宜選択される。

すなわち、点順次方式に対応する順次処理の組み合わせとして、ＹＣ補間部２０２，ＹＣノイズ除去部２０４，ＹＣＷＢ処理部２０８，ＹＣ→ＲＧＢ変換部２１０が選択される。また、二板方式に対応する順次処理の組み合わせとして、ＲＧＢ補間部２０３，ＲＧＢノイズ除去部２０５，ＲＧＢ→ＹＣ変換部２０７，ＹＣＷＢ処理部２０８，ＹＣ→ＲＧＢ変換部２１０が選択され、三板方式に対応する順次処理の組み合わせとして、ＲＧＢノイズ除去部２０５，ＲＧＢ→ＹＣ変換部２０７，ＹＣＷＢ処理部２０８，ＹＣ→ＲＧＢ変換部２１０が選択される。更に、面順次方式に対応する順次処理の組み合わせとして、面順次ノイズ除去部２０６，面順次ＷＢ処理部２０９，面順次位相調整部２１１が選択される。

これらの形式変換部の機能の概要は、それぞれ以下の通りである。

（ＹＣ補間部２０２）…撮像画像データに補間処理を行い、撮像画像データの輝度・色差成分であるＹＣ補間データを生成する。

（ＲＧＢ補間部２０３）…撮像画像データに補間処理を行い、撮像画像データのＲ，Ｇ，Ｂ成分であるＲＧＢ補間データを生成する。

（ＹＣノイズ除去部２０４）…ＹＣ補間データのノイズを除去し、ＹＣノイズ除去データを生成する。

（ＲＧＢノイズ除去部２０５）…撮像画像データ、またはＲＧＢ補間データのノイズを除去し、ＲＧＢノイズ除去データを生成する。

（面順次ノイズ除去部２０６）…撮像画像データのノイズを除去し、面順次ノイズ除去データを生成する。

（ＲＧＢ→ＹＣ変換部２０７）…ＲＧＢノイズ除去データにマトリクス演算を行い、ＲＧＢ→ＹＣ変換データを生成する。

（ＹＣＷＢ処理部２０８）…ＹＣノイズ除去データ、またはＲＧＢ→ＹＣ変換データにＷＢ処理を行い、ＹＣＷＢ処理データを生成する。

（面順次ＷＢ処理部２０９）…面順次ノイズ除去データにＷＢ処理を行い、面順次ＷＢ処理データを生成する。

（ＹＣ→ＲＧＢ変換部２１０）…ＹＣＷＢ処理データにマトリクス演算を行い、ＹＣ→ＲＧＢ変換データを生成する。

（位相調整部２１１）…面順次ＷＢ処理データの位相を調整し、面順次位相調整データを生成する。

以上の各形式変換部は、それぞれの構成が単純化されており、図３に示すように、変換処理部３０１とタイミング調整部３０２とによって構成されている。変換処理部３０１は、それぞれの機能に対応する入力データを、それぞれの機能に従って処理し、所望の出力データを生成するものである。また、タイミング調整部３０２は、それぞれの機能に要する処理時間に応じて、画像処理タイミング信号を調整するものである。

一方、画像処理部１０３は、変換画像データに対して色調整やゲイン調整やガンマ補正などの空間的な画像処理を施し、処理画像データを生成する機能を有している。これらの機能は、詳細には、図４に示すように、色調整部４０１と、ゲイン調整部４０２と、ガンマ補正部４０３と、ＲＧＢ→ＹＣ変換部４０４とによって表現することができる。

画像処理部１０３における各部の機能の概要は、以下に示す通りである。

（色調整部４０１）…変換画像データの色調整を行い、色調整画像データを生成する。

（ゲイン調整部４０２）…色調整画像データのゲイン調整を行い、ゲイン調整画像データを生成する。

（ガンマ補正部４０３）…ゲイン調整画像データのガンマ補正を行い、ガンマ補正画像データを生成する。

（ＲＧＢ→ＹＣ変換部４０４）…ガンマ補正画像データにマトリクス演算を行い、処理画像データを生成する。

次に、以上の構成を有する画像処理プロセッサ１の動作について説明する。先ず、所定の撮像方式のスコープを、画像処理プロセッサ１のスコープ接続部１０１に接続する。すると、接続されたスコープから、スコープの種類によって決まるスコープコードがスコープ接続部１０１に出力される。

尚、スコープコードは、本実施の形態においては各スコープの撮像方式を識別できれば良く、特定の形態に制限されることはない。例えば、各スコープに、スコープの種別、撮像方式、画素読み出し方式等を識別するコードを書き込んだＲＯＭを内蔵し、このＲＯＭからのデータを読み出すようにしても良く、また、スコープとスコープ接続部１０１とを接続するコネクタに撮像方式を示す識別用ピン等を設け、このピンを検出するようにしても良い。

スコープ接続部１０１は、スコープコードよりスコープの撮像方式を示す撮像方式データを生成し、また、スコープによって得られた撮像画像データや撮像画像データの同期信号ＨＤ，ＶＤを、変換部１０２へ出力する。本実施形態においては、撮像方式データとして、点順次方式、二板方式、三板方式、面順次方式の何れであるかを示す撮像方式データが生成され、変換部１０２に出力される。

変換部１０２は、接続されているスコープが点順次方式であった場合、以下の（１）に示す処理を行い、二板方式であった場合、（２）に示す処理を行い、三板方式であった場合、（３）に示す処理を行い、面順次方式であった場合、（４）に示す処理を行う。

（１）点順次方式のスコープが接続された場合
変換部１０２は、撮像方式判定部２００において、撮像方式データから接続されているスコープが点順次方式であると判定すると、点順次方式に対応した補間やノイズ除去、補正や変換処理等の順次処理を行う形式変換部の組み合わせを決定する。そして、撮像方式判定部２００から同期信号ＨＤ，ＶＤ、撮像画像データがＹＣ補間部２０２へ出力され、ＹＣノイズ除去部２０４，ＹＣＷＢ処理部２０８，ＹＣ→ＲＧＢ変換部２１０を経て、色信号Ｒ，Ｇ，Ｂに変換された変換画像データがセレクタ２１２に出力される。

詳細には、ＹＣ補間部２０２は、内部の変換処理部３０１において、撮像画像データにＹＣ補間処理を行い、撮像画像データの輝度・色差成分であるＹＣ補間データを生成し、ＹＣノイズ除去部２０４に出力する。また、ＹＣ補間部２０２は、内部のタイミング調整部３０２において、ＹＣ補間処理に要する処理時間に応じて同期信号ＨＤ，ＶＤを遅延させ、ＹＣ補間ＨＤ，ＹＣ補間ＶＤとしてＹＣノイズ除去部２０４に出力する。

ＹＣノイズ除去部２０４は、内部の変換処理部３０１において、ＹＣ補間部２０２から出力されたＹＣ補間データにフィルタ処理を行うことでノイズを除去し、ＹＣノイズ除去データを生成してＹＣＷＢ処理部２０８に出力する。また、ＹＣノイズ除去部２０４は、内部のタイミング調整部３０２において、ノイズ除去に要する処理時間に応じてＹＣ補間ＨＤ，ＹＣ補間ＶＤを遅延させ、ＹＣノイズ除去ＨＤ，ＹＣノイズ除去ＶＤとしてＹＣＷＢ処理部２０８に出力する。

ＹＣＷＢ処理部２０８は、内部の変換処理部３０１において、ＹＣノイズ除去部２０４でフィルタ処理されたＹＣノイズ除去データにＷＢ処理を行うことでＹＣＷＢ処理データを生成し、ＹＣ→ＲＧＢ変換部２１０に出力する。また、ＹＣＷＢ処理部２０８は、内部のタイミング調整部３０２において、ＹＣＷＢ処理に要する処理時間に応じてＹＣノイズ除去ＨＤ，ＹＣノイズ除去ＶＤを遅延させ、ＹＣＷＢ処理ＨＤ，ＹＣＷＢ処理ＶＤとしてＹＣ→ＲＧＢ変換部２１０に出力する。

ＹＣ→ＲＧＢ変換部２１０は、内部の変換処理部３０１において、ＹＣＷＢ処理部２０８で処理されたＹＣＷＢ処理データにマトリクス演算処理を行い、色信号Ｒ，Ｇ，Ｂに変換されたＹＣ→ＲＧＢ変換データを生成し、セレクタ２１２に出力する。また、ＹＣ→ＲＧＢ変換部２１０は、内部のタイミング調整部３０２において、マトリクス演算処理に要する処理時間に応じてＹＣＷＢ処理ＨＤ，ＹＣＷＢ処理ＶＤを遅延させ、ＹＣ→ＲＧＢ変換ＨＤ，ＹＣ→ＲＧＢ変換ＶＤとしてセレクタ２１２に出力する。

セレクタ２１２からは、ＹＣ→ＲＧＢ変換データが変換画像データとして、また、ＹＣ→ＲＧＢ変換ＨＤ，ＹＣ→ＲＧＢ変換ＶＤが画像処理タイミング信号として、画像処理部１０３に出力される。

図５に、接続されているスコープが点順次方式であった場合の変換処理におけるタイムチャートを示す。図５のタイムチャートにおいては、撮像画像データ（ＤＩＮ）が入力されると、撮像画像データに対して補間やノイズ除去、補正や変換処理等の処理が実施され、処理遅延を考慮して所定の期間を経て生成・出力される画像処理タイミング信号（ＶＤ＿ＯＵＴ，ＨＤ＿ＯＵＴ）により、変換画像データＤＯＵＴ＿Ａ，ＤＯＵＴ＿Ｂ，ＤＯＵＴ＿Ｃ）が出力される例を示している。

尚、図５における撮像画像データが入力されてから変換画像データが出力されるまでの期間は一例であり、この限りではない。

（２）二板方式のスコープが接続された場合
変換部１０２は、撮像方式判定部２００において、撮像方式データから接続されているスコープが二板方式であると判定すると、二板方式に対応した補間やノイズ除去、補正や変換処理等の順次処理の組み合わせを決定する。そして、撮像方式判定部２００から同期信号ＨＤ，ＶＤ、撮像画像データがＲＧＢ補間部２０３へ出力され、ＲＧＢノイズ除去部２０５，ＲＧＢ→ＹＣ変換部２０７、ＹＣＷＢ処理部２０８，ＲＧＢ変換部２１０を経て、色信号Ｒ，Ｇ，Ｂに変換された変換画像データがセレクタ２１２に出力される。

詳細には、ＲＧＢ補間部２０３は、内部の変換処理部３０１において、撮像画像データに補間処理を行い、撮像画像データのＲ，Ｇ，Ｂ成分であるＲＧＢ補間データを生成し、ＲＧＢノイズ除去部２０５に出力する。また、ＲＧＢ補間部２０３は、内部のタイミング調整部３０２において、補間処理に要する処理時間に応じて同期信号ＨＤ，ＶＤを遅延させ、ＲＧＢ補間ＨＤ，ＲＧＢ補間ＶＤとしてＲＧＢノイズ除去部２０５に出力する。

ＲＧＢノイズ除去部２０５は、内部の変換処理部３０１において、ＲＧＢ補間部２０３にて補間処理されたＲＧＢ補間データにフィルタ処理を行うことでノイズを除去し、ＲＧＢノイズ除去データを生成してＲＧＢ→ＹＣ変換部２０７に出力する。また、ＲＧＢノイズ除去部２０５は、内部のタイミング調整部３０２において、ノイズ除去に要する処理時間に応じてＲＧＢ補間ＨＤ，ＲＧＢ補間ＶＤを遅延させ、ＲＧＢノイズ除去ＨＤ，ＲＧＢノイズ除去ＶＤとしてＲＧＢ→ＹＣ変換部２０７に出力する。

ＲＧＢ→ＹＣ変換部２０７は、内部の変換処理部３０１において、ＲＧＢノイズ除去データにマトリクス演算処理を行い、輝度・色差信号Ｙ，Ｃｂ，Ｃｒに変換されたＲＧＢ→ＹＣ変換データを生成し、ＹＣＷＢ処理部２０８に出力する。また、ＲＧＢ→ＹＣ変換部２０７は、内部のタイミング調整部３０２において、マトリクス演算処理に要する処理時間に応じてＲＧＢノイズ除去ＨＤ，ＲＧＢノイズ除去ＶＤを遅延させ、ＲＧＢ→ＹＣ変換ＨＤ，ＲＧＢ→ＹＣ変換ＶＤとしてＹＣＷＢ処理部２０８に出力する。

ＹＣＷＢ処理部２０８は、内部の変換処理部３０１において、ＲＧＢ→ＹＣ変換データにＷＢ処理を行うことでＹＣＷＢ処理データを生成し、ＹＣ→ＲＧＢ変換部２１０に出力する。また、ＹＣＷＢ処理部２０８は、内部のタイミング調整部３０２において、ＹＣＷＢ処理に要する処理時間に応じてＲＧＢ→ＹＣ変換ＨＤ，ＲＧＢ→ＹＣ変換ＶＤを遅延させ、ＹＣＷＢ処理ＨＤ，ＹＣＷＢ処理ＶＤとしてＹＣ→ＲＧＢ変換部２１０に出力する。

ＹＣ→ＲＧＢ変換部２１０は、内部の変換処理部３０１において、ＹＣＷＢ処理データにマトリクス演算処理を行い、色信号Ｒ，Ｇ，Ｂに変換されたＹＣ→ＲＧＢ変換データを生成し、セレクタ２１２に出力する。また、ＹＣ→ＲＧＢ変換部２１０は、内部のタイミング調整部３０２において、マトリクス演算処理に要する処理時間に応じてＹＣＷＢ処理ＨＤ，ＹＣＷＢ処理ＶＤを遅延させ、ＹＣ→ＲＧＢ変換ＨＤ，ＹＣ→ＲＧＢ変換ＶＤとしてセレクタ２１２に出力する。

以降は、接続されているスコープが点順次方式であった場合と同等の処理であり、セレクタ２１２は、ＹＣ→ＲＧＢ変換データを変換画像データとして、また、ＹＣ→ＲＧＢ変換ＨＤ，ＹＣ→ＲＧＢ変換ＶＤを画像処理タイミング信号として、画像処理部１０３に出力する。

図６に、接続されているスコープが二板方式であった場合の変換処理におけるタイムチャートを示す。図６のタイムチャートにおいては、２つのＣＣＤによる撮像画像データ（ＤＩＮ＿Ａ，ＤＩＮ＿Ｂ）が入力されると、撮像画像データに対して補間やノイズ除去、補正や変換処理等の処理を行い、処理遅延を考慮して所定の期間を経て生成・出力される画像処理タイミング信号（ＶＤ＿ＯＵＴ，ＨＤ＿ＯＵＴ）により、変換画像データＤＯＵＴ＿Ａ，ＤＯＵＴ＿Ｂ，ＤＯＵＴ＿Ｃ）が出力される。

尚、図６における撮像画像データが入力されてから変換画像データが出力されるまでの期間は一例であり、この限りではない。

（３）三板方式のスコープが接続された場合
変換部１０２は、撮像方式判定部２００において、撮像方式データから接続されているスコープが三板方式であると判定すると、三板方式に対応したノイズ除去や変換処理等の順次処理の組み合わせを決定する。そして、撮像方式判定部２００から同期信号ＨＤ，ＶＤ、撮像画像データがＲＧＢノイズ除去部２０５へ出力され、ＲＧＢ→ＹＣ変換部２０７、ＹＣＷＢ処理部２０８、ＹＣ→ＲＧＢ変換部２１０を経て各種信号処理が実施され、色信号Ｒ，Ｇ，Ｂに変換された変換画像データがセレクタ２１２に出力される。

ＲＧＢノイズ除去部２０５は、内部の変換処理部３０１において、撮像画像データにフィルタ処理を行うことでノイズを除去し、ＲＧＢノイズ除去データを生成してＲＧＢ→ＹＣ変換部２０７に出力する。また、ＲＧＢノイズ除去部２０５は、内部のタイミング調整部３０２において、ノイズ除去に要する処理時間に応じて同期信号ＨＤ，ＶＤを遅延させ、ＲＧＢノイズ除去ＨＤ，ＲＧＢノイズ除去ＶＤとしてＲＧＢ→ＹＣ変換部２０７に出力する。

以降は、ＲＧＢ→ＹＣ変換部２０７とＹＣＷＢ処理部２０８とＹＣ→ＲＧＢ変換部２１０とセレクタ２１２により、接続されているスコープが二板方式であった場合と同等の処理を行う。

図７に、接続されているスコープが三板方式であった場合の変換処理におけるタイムチャートを示す。図７のタイムチャートにおいては、３つのＣＣＤによる撮像画像データ（ＤＩＮ＿Ａ，ＤＩＮ＿Ｂ，ＤＩＮ＿Ｃ）が入力されると、撮像画像データに対してノイズ除去や補正、変換処理等の処理を行い、処理遅延を考慮した所定の期間を経て生成・出力される画像処理タイミング信号（ＶＤ＿ＯＵＴ，ＨＤ＿ＯＵＴ）により、変換画像データＤＯＵＴ＿Ａ，ＤＯＵＴ＿Ｂ，ＤＯＵＴ＿Ｃ）が出力される例を示している。

尚、図７における撮像画像データが入力されてから変換画像データが出力されるまでの期間は一例であり、この限りではない。

（４）面順次方式のスコープが接続された場合
変換部１０２は、撮像方式判定部２００において、撮像方式データから接続されているスコープが面順次方式であると判定すると、面順次方式に対応したノイズ除去や補正処理等の順次処理の組み合わせを決定する。そして、撮像方式判定部２００から同期信号ＨＤ，ＶＤ、撮像画像データが面順次ノイズ除去部２０６へ出力され、面順次ＷＢ処理部２０９，面順次位相調整部２１１を経て、面順次位相調整された変換画像がセレクタ２１２に出力される。

面順次ノイズ除去部２０６は、内部の変換処理部３０１において、撮像画像データにフィルタ処理を行うことでノイズを除去し、面順次ノイズ除去データを生成し、面順次ＷＢ処理部２０９に出力する。また、面順次ノイズ除去部２０６は、内部のタイミング調整部３０２において、ノイズ除去に要する処理時間に応じて同期信号ＨＤ，ＶＤを遅延させ、面順次ノイズ除去ＨＤ，面順次ノイズ除去ＶＤとして、面順次ＷＢ処理部２０９に出力する。

面順次ＷＢ処理部２０９は、内部の変換処理部３０１において、面順次ノイズ除去データにＷＢ処理を行うことで面順次ＷＢ処理データを生成し、面順次位相調整部２１１に出力する。また、面順次ＷＢ処理部２０９は、内部のタイミング調整部３０２において、ＷＢ処理に要する処理時間に応じて面順次ノイズ除去ＨＤ，面順次ノイズ除去ＶＤを遅延させ、面順次ＷＢ処理ＨＤ，面順次ＷＢ処理ＶＤとして、面順次位相調整部２１１に出力する。

面順次位相調整部２１１は、内部の変換処理部３０１にフレームメモリを備えており、面順次ＷＢ処理データのＲフィールドとＧフィールドとＢフィールドとを一旦フレームメモリに書き込んだ後、同時に読み出すことで位相を揃えて面順次位相調整データを生成し、セレクタ２１２に出力する。

また、面順次位相調整部２１１は、内部のタイミング調整部３０２において、位相調整に要する時間に応じて面順次ＷＢ処理ＨＤ，面順次ＷＢ処理ＶＤを遅延させ、面順次位相調整ＨＤ，面順次位相調整ＶＤとしてセレクタ２１２に出力する。

セレクタ２１２は、面順次位相調整データを変換画像データとして、また、面順次位相調整ＨＤ，面順次位相調整ＶＤを画像処理タイミング信号として、画像処理部１０３に出力する。

図８に、接続されているスコープが面順次方式であった場合の変換処理におけるタイムチャートを示す。図８のタイムチャートにおいては、面順次により撮像画像データ（ＤＩＮ）が順次入力されると、撮像画像データに対してノイズ除去や補正、位相調整等の処理を行い、処理遅延を考慮した所定の期間を経て生成・出力される画像処理タイミング信号（ＶＤ＿ＯＵＴ，ＨＤ＿ＯＵＴ）により、変換画像データＤＯＵＴ＿Ａ，ＤＯＵＴ＿Ｂ，ＤＯＵＴ＿Ｃ）が出力される。

尚、図８における撮像画像データが入力されてから変換画像データが出力されるまでの期間は一例であり、この限りではないが、各撮像方式に対する変換処理を比較すると、撮像色情報を得られるタイミングの相違から、三板方式（図７）、二板方式（図６）、点順次方式（図５）、面順次方式（図８）の順に、処理遅延時間が大きくなる。

次に、以上の変換処理を経て画像処理部１０３に変換画像データが入力されると、画像処理部１０３は、色調整部４０１、ゲイン調整部４０２、ガンマ補正部４０３、ＲＧＢ→ＹＣ変換部４０４において、変換画像データに対して、画像処理タイミング信号でタイミングを調整しながら、順次、画像処理を行う。この画像処理された信号は、例えば図示しないモニタに出力され、スコープによる観察画像が表示される。

以上のように本実施形態においては、接続されたスコープが点順次方式、二板方式、三板方式、面順次方式の何れであっても共通の形式を持つ変換画像データに変換することができ、単一の画像処理部での画像処理を行うことが可能となり、回路規模の縮小及び開発工数の削減を行うことができる。

しかも、同期信号ＨＤ，ＶＤを基に、各機能の処理に応じたタイミングの調整を繰り返すことで、変換画像データに同期した画像処理タイミング信号を生成し、接続されたスコープによって最適なタイミングで変換処理を行っているため、画像処理プロセッサ全体の処理を高速化することができる。また、画像処理プロセッサ全体の動作を制御するＣＰＵの負荷も軽減される。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図９は本発明の第２の実施形態に係り、画像処理部の構成を示すブロック図である。

前述した第１の実施の形態では、スコープの画素読み出し方式がインタレース方式であるかプログレッシブ方式であるかに依存せず、単一の処理を行うことが可能な画像処理について述べてきた。しかし、例えばズームやエンハンス等の画像処理では、隣接するライン間の影響を考慮した方が高画質に処理できるため、インタレース方式の場合、片フィールドの撮像画像データをメモリに蓄え、両フィールドの撮像画像データが揃ってから処理を行うことが多い。

前記の方式では、メモリを備えなければならない点やフィールド遅延が生ずる点で不利であり、インタレース方式の場合でもフィールド単位で処理をすることが望まれる。そこで、インタレース方式の場合には、片フィールドのデータが欠けていることを考慮した画像処理を実施することにより画質の改善を行うことが可能であり、そのためには、インタレース方式とプログレッシブ方式とで異なる処理が必要となる。

本発明の第２の実施形態は、このようなインタレース方式とプログレッシブ方式との双方に対応するものであり、第２の実施形態における画像処理プロセッサは、スコープの画素読み出し方式がインタレース方式であるかプログレッシブ方式であるかによって一部異なる処理を行う機能を追加している。その他は第１の実施の形態と全く同構成である。

よって、ここでは第１の実施の形態と同構成である部分についての説明は省略し、異なる構成について説明する。第１の実施の形態に対して新たな機能を加える対象は、変換部１０２における撮像方式判定部２００及びタイミング調整部３０２、画像処理部１０３である。

第２の実施形態においては、撮像方式判定部２００に対して、撮像方式データから接続されているスコープの種類を判定する際に、スコープの画素読み出し方式も併せて考慮しする機能を追加し、撮像画像データに行うべき処理を決定する。また、タイミング調整部３０２に対しては、それぞれの機能に要する処理時間に応じて、画像データの同期信号及びフィールド信号からなる画像処理タイミング信号を調整する機能を追加する。尚、フィールド信号は、インタレース方式において奇数フィールド／偶数フィールドを示す信号である。

また、図９に示すように、第２の実施形態においては、第１の実施形態の画像処理部１０３を、インタレース方式用とプログレッシブ方式用の専用のズーム処理部及びエンハンス処理部を加えた画像処理部１０３Ａとしている。画像処理部１０３Ａは、インタレース方式とプログレッシブ方式とに共通する処理部として、共通色調整部５０１、共通ゲイン調整部５０２、共通ガンマ補正部５０３、共通ＲＧＢ→ＹＣ変換部５０４を備え、また、インタレース方式とプログレッシブ方式とで専用の処理部として、インタレース用ズーム処理部５０５、インタレース用エンハンス処理部５０６、プログレッシブ用ズーム処理部５０７、プログレッシブ用エンハンス処理部５０８を備え、更に、セレクタ５０９を備えて構成されている。

画像処理部１０３Ａの各部の機能の概要は以下の通りである。

（共通色調整部５０１）…変換画像データの色調整を行い、共通色調整画像データを生成する。

（共通ゲイン調整部５０２）…色調整画像データのゲイン調整を行い、共通ゲイン調整画像データを生成する。

（共通ガンマ補正部５０３）ゲイン調整画像データのガンマ補正を行い、共通ガンマ補正画像データを生成する。

（共通ＲＧＢ→ＹＣ変換部５０４）…ガンマ補正画像データにマトリクス演算を行い、共通ＲＧＢ→ＹＣ変換画像データを生成する。

（インタレース用ズーム処理部５０５）…ＲＧＢ→ＹＣ変換画像データに、インタレース方式時のズーム処理をフィールド信号に応じて行い、インタレース用ズーム画像データを生成する。

（インタレース用エンハンス処理部５０６）…インタレース用ズーム画像データに、インタレース方式時のエンハンス処理をフィールド信号に応じて行い、インタレース用エンハンス画像データを生成する。

（プログレッシブ用ズーム処理部５０７）…ＲＧＢ→ＹＣ変換画像データに、プログレッシブ方式時のズーム処理を行い、プログレッシブ用ズーム画像データを生成する。

（プログレッシブ用エンハンス処理部５０８）…プログレッシブ用ズーム画像データに、プログレッシブ方式時のエンハンス処理を行い、プログレッシブ用エンハンス画像データを生成する。

（セレクタ５０９）…処理画像データとして出力するデータを選択する。

次に、本実施の形態の作用を説明する。先ず、スコープをスコープ接続部１０１に接続すると、スコープの種類によって決まるスコープコードがスコープ接続部１０１に出力される。

スコープ接続部１０１は、スコープコードよりスコープの画素読み出し方式がインタレース方式であるかプログレッシブ方式であるかを判別すると共に、スコープの撮像方式が点順次方式であるか二板方式であるか三板方式であるか面順次方式であるかを判別する。そして、スコープ接続部１０１は、スコープコードの判別結果に基づいて、スコープの画素読み出し方式を示す情報と撮像方式を示す情報とを撮像方式データとして生成し、第１の実施の形態と同様の手順で、撮像画像データ、撮像方式データ、及び同期信号ＨＤ，ＶＤを変換部１０２へ出力する。

このとき、接続されているスコープの画素読み出し方式がインタレース方式であった場合には、変換部１０２及び画像処理部１０３は、以下の（ａ）に示す処理を行い、プログレッシブ方式であった場合、（ｂ）に示す処理を行う。

（ａ）インターレース方式のスコープが接続された場合
変換部１０２の撮像方式判定部２００において、撮像方式データより接続されているスコープの画素読み出し方式がインタレース方式であると判別すると、撮像方式判定部２００は、現在読み出されているフィールドが偶数フィールドであるか奇数フィールドであるかを示すフィールド信号を生成し、同期信号ＨＤ，ＶＤと共に出力する。

変換部１０２における各形式変換部、すなわち、ＹＣ補間部２０２、ＲＧＢ補間部２０３、ＹＣノイズ除去部２０４、ＲＧＢノイズ除去部２０５、面順次ノイズ除去部２０６、ＲＧＢ→ＹＣ変換部２０７、ＹＣＷＢ処理部２０８、面順次ＷＢ処理部２０９、ＹＣ→ＲＧＢ変換部２１０、面順次位相調整部２１１は、それぞれの変換処理部３０１において、第１の実施の形態と同様の手順で順次処理を行い、変換画像データを生成してセレクタ２１２を介して画像処理部１０３Ａに出力する。

このとき、各形式変換部は、それぞれのタイミング調整部３０２において、第１の実施の形態と同様の手順で順次同期信号ＨＤ，ＶＤを遅延させるが、このとき、フィールド信号も遅延させ、併せて画像処理タイミング信号として生成する。

画像処理部１０３Ａは、共通色調整部５０１、共通ゲイン調整部５０２、共通ガンマ補正部５０３、共通ＲＧＢ→ＹＣ変換部５０４、インタレース用ズーム処理部５０５、インタレース用エンハンス処理部５０６において、変換画像データに対して画像処理タイミング信号でタイミングを調整しながら順次画像処理を行い、インタレース用エンハンス処理画像データを生成し、セレクタ５０９に出力する。セレクタ５０９は、インタレース用エンハンス処理画像データを処理画像データとして出力する。

尚、画像処理タイミング信号に含まれるフィールド信号を用いることにより、インタレース用ズーム処理部５０５及びインタレース用エンハンス処理部５０６では、奇数フィールド／偶数フィールドに適した処理を選択している。

（ｂ）プログレッシブ方式のスコープが接続された場合
変換部１０２の撮像方式判定部２００において、撮像方式データより接続されているスコープの画素読み出し方式がプログレッシブ方式であると判定すると、撮像方式判定部２００は、撮像画像データ，同期信号ＨＤ，ＶＤを出力する。

変換部１０２における各形式変換部、すなわち、ＹＣ補間部２０２、ＲＧＢ補間部２０３、ＹＣノイズ除去部２０４、ＲＧＢノイズ除去部２０５、面順次ノイズ除去部２０６、ＲＧＢ→ＹＣ変換部２０７、ＹＣＷＢ処理部２０８、面順次ＷＢ処理部２０９、ＹＣ→ＲＧＢ変換部２１０、面順次位相調整部２１１は、それぞれの変換処理３０１において、第１の実施の形態と同様の手順で順次処理を行い、変換画像データを生成してセレクタ２１２を介して画像処理部１０３Ａに出力する。また、各形式変換部は、それぞれのタイミング調整部３０２において、第１の実施の形態と同様の手順で同期信号ＨＤ，ＶＤを遅延させ、画像処理タイミング信号を生成する。

画像処理部１０３Ａは、共通色調整部５０１、共通ゲイン調整部５０２、共通ガンマ補正部５０３、共通ＲＧＢ→ＹＣ変換部５０４、プログレッシブ用ズーム処理部５０７、プログレッシブ用エンハンス処理部５０８において、変換画像データに対して画像処理タイミング信号でタイミングを調整しながら順次画像処理を行い、プログレッシブ用エンハンス処理画像データを生成し、セレクタ５０９に出力する。セレクタ５０９は、プログレッシブ用エンハンス処理画像データを処理画像データとして出力する。

以上のように、第２の実施の形態においては、第１の実施の形態と同様、スコープの撮像方式に拘わらず共通の形式を持つ変換画像データに変換して単一の画像処理部での画像処理を行うことができるばかりでなく、接続されたスコープの画素読み出し方式がインタレース方式であるかプログレッシブ方式であるかに応じて一部の処理を切り替えることで、インタレース方式時のフィールド遅延を防止することができる。

尚、以上の説明においては、作用を理解しやすいように、ズーム処理部及びエンハンス処理部をプログレッシブ用とインタレース用とで別個の処理部としたが、これらは同一の処理部としても良く、モード切り替え機能を設けることで、切り替えによってプログレッシブモード、インタレースモードとして動作させるようにしても良い。

本発明の第１の実施形態に係り、画像処理プロセッサの基本構成図 同上、変換部の構成を示すブロック図 同上、形式変換部の構成を示すブロック図 同上、画像処理部の構成を示すブロック図 同上、点順次方式のスコープが接続された場合の変換処理の例を示すタイムチャート 同上、二板方式のスコープが接続された場合の変換処理の例を示すタイムチャート 同上、三板方式のスコープが接続された場合の変換処理の例を示すタイムチャート 同上、面順次方式のスコープが接続された場合の変換処理の例を示すタイムチャート 本発明の第２の実施形態に係り、画像処理部の構成を示すブロック図

符号の説明

１…画像処理プロセッサ
１０１…スコープ接続部
１０２…変換部
１０３，１０３Ａ…画像処理部
２００…撮像方式判定部
２０１…信号処理部（複数の形式変換部）
３０１…変換処理部
３０２…タイミング調整部

Claims (6)

1. 接続された内視鏡スコープに係る撮像方式を判定し、その判定結果たる撮像方式データと前記内視鏡スコープにより観察される被写体に係る撮像画像データとを出力するスコープ接続部と、
   入力されるデータに対して所定の信号処理を実行して出力する、前記信号処理の属性に応じて複数備えられる機能モジュールと、前記複数の機能モジュールの中から、入力される前記撮像画像データを単一のデータ出力形式を有する変換画像データに変換するための前記機能モジュールの組み合わせを前記撮像方式データに基づき判定する撮像方式判定部とを備え、ここで、前記機能モジュールの各々は、各々の機能に要する処理時間に応じて前記信号処理済みのデータが出力されるタイミングに係る出力タイミング信号を調整するタイミング調整部を備え、前記組み合わせの前段に位置する第１の機能モジュールからの前記出力タイミング信号に基づき、第２の機能モジュールは前記第１の機能モジュールにより信号処理された前記撮像画像データに対して前記所定の信号処理を実行する変換部と、
   前記変換画像データに対して所定の画像処理を実行し、処理画像データを生成する画像処理部と、
   を備えることを特徴とする画像処理プロセッサ。
2. 前記変換部は、少なくとも、点順次方式の前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする請求項１記載の画像処理プロセッサ。
3. 前記変換部は、少なくとも、面順次方式の前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする請求項１記載の画像処理プロセッサ。
4. 前記変換部は、少なくとも、基本となる複数の原色の各々に対応する前記撮像画像データを出力する２つの異なる撮像素子からの前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする請求項１記載の画像処理プロセッサ。
5. 前記変換部は、少なくとも、基本となる複数の原色の各々に対応する前記撮像画像データを出力する３つの異なる撮像素子からの前記撮像画像データを前記変換画像データに変換するための前記組み合わせに係る前記機能モジュールを備えていることを特徴とする請求項１記載の画像処理プロセッサ。
6. 前記画像処理部は、インタレース方式に係る前記変換画像データに適した画像処理を実行する第１の専用処理部、及びプログレッシブ方式に係る前記変換画像データに適した画像処理を実行する第２の専用処理部を具備し、前記撮像方式に応じた前記処理画像データを出力することを特徴とする請求項１記載の画像処理プロセッサ。