JP6595649B2

JP6595649B2 - 画像処理方法

Info

Publication number: JP6595649B2
Application number: JP2018054114A
Authority: JP
Inventors: 佑旻陳; 宏全許
Original assignee: Hiwin Technologies Corp
Current assignee: Hiwin Technologies Corp
Priority date: 2018-03-22
Filing date: 2018-03-22
Publication date: 2019-10-23
Anticipated expiration: 2038-03-22
Also published as: US10643311B2; KR101976318B1; DE102018204897A1; US20190295224A1; JP2019165832A; DE102018204897B4

Description

本発明は、画像処理方法に関し、特に、ヘイズ除去処理を実行して生成された画像(例えば、腹腔鏡装置が撮影した画像又は連続画像)を色補正するための画像処理方法に関する。

腹腔鏡装置は、胃腸管、腹壁、内分泌系の臓器などの手術で広く使用されている。開腹術と異なり、腹腔鏡手術は、小さい切開部（約０．５ｃｍ〜１．５ｃｍ）だけで、カニューレを切開部に挿入し、様々な医療器具及び腹腔鏡装置をカニューレを介して腹腔に差し込むことによって、外科医は腹腔鏡装置が撮影した画像を見ながら手術を行うことができる。腹腔鏡手術では、小さな創傷を伴う従来の開腹術と同じ効果を達成することができる。

しかし、腹腔鏡装置の温度が、腹腔内の温度より低い場合、腹腔内の水蒸気によって腹腔鏡が曇るので、腹腔鏡装置が映し出した術野がヘイズにより妨害され、手術の進行も妨げられる。この問題を解決するためのヘイズを除去する技術が既に開発されているが、ヘイズ除去処理により生成した画像は、多くの場合色かぶりが生じる。

ヘイズ除去処理により生成した画像における色かぶりを補正するため、従来の画像処理方法は、色かぶりがある画像におけるすべての画素の色を、ＨＳＶ色空間に変換し、且つ、すべての画素に対して明度だけが向上するように補正することによって、色かぶりを打ち消している。

韓国特許第１０−２０１２−００９２２３７号明細書

しかし、腹腔鏡手術を実施する期間、腹腔内唯一の光源は腹腔鏡装置に附属されるものであるので、腹腔鏡装置の移動と伴って、腹腔内の明度に変化が発生する。従って、腹腔鏡装置が撮影した画像における明度も変化し、ヘイズ除去処理により生成した画像もより深刻な色かぶりが発生する。そのため、上記したヘイズ除去処理を利用した従来の画像処理方法は、明度の変化が激しい環境で撮影した画像には適していない。

よって、本発明は上記の問題点に鑑みて、ヘイズ除去処理を行なっても明度の変化への影響を少なくしつつ画像の色かぶりを補正できる画像処理方法の提供を目的とする。

上記目的を達成すべく、本発明による実施形態は、処理装置により実行される画像処理方法であって、第１の画像における複数の第１の画素の色と、該第１の画像に対してヘイズ除去処理を実行して生成された第２の画像において前記第１の画素の位置に該当する複数の第２の画素の色と、をそれぞれＨＳＶ色空間に変換して、各前記第１の画素の彩度をそれぞれ示す複数の第１の画素彩度値と、前記第２の画素の彩度をそれぞれ示す複数の第２の画素彩度値と、を算出する分析ステップと、各前記第１の画素彩度値と、各前記第２の画素彩度値と、に基づいて、彩度値差を算出する第１の演算ステップと、所定の閾値と、前記第１の画像と、に基づいて補正因子を判定する第２の演算ステップと、前記彩度値差と、前記補正因子と、に基づいて色補正値を算出する第３の演算ステップと、前記色補正値に基づいて前記第２の画像の彩度を補正して第３の画像を生成する色補正ステップと、を含むことを特徴とする画像処理方法。

以上の方法により、第２の画素の色をＨＳＶ色空間に変換し、直接彩度に補正することにより、ヘイズ除去処理を行なっても明度の変化への影響を少なくしつつ画像の色かぶりを補正でき、腹腔鏡手術に対する影響を抑えることもできる。

本発明による画像処理方法の実施形態を示す画像処理装置のブロック図である。該実施形態が示されたフローチャートである。該実施形態の第２の演算ステップにおけるサブステップが示されたフローチャートである。

図１は本発明による画像処理装置１００のブロック図である。画像処理装置１００は、メモリー装置１１と、メモリー装置１１及び腹腔鏡装置２００に電気的に接続される処理装置１２と、を含む。メモリー装置１１は、所定の閾値と、第１の所定値と、第２の所定値と、を記憶する。第１の所定値は第２の所定値を上回る。

腹腔鏡装置２００は、腹腔内の様子を撮影し、第１の画像を生成することができる。第１の画像は、複数の第１の画素を含む。実際に運用する際、腹腔鏡装置２００は連続画像(例えば動画)を生成して出力するが、理解し易くするため、以下では第１の画像を生成することを一例とする。

図１と図２を参照して説明する。ここで、図２は本発明による画像処理方法の実施形態が示されたフローチャートである。本実施形態は、ヘイズ除去処理ステップＳ３１と、分析ステップＳ３２と、第１の演算ステップＳ３３と、第２の演算ステップＳ３４と、第３の演算ステップＳ３５と、色補正ステップＳ３６と、を含む。

ヘイズ除去処理ステップＳ３１は、腹腔鏡装置２００により撮影される第１の画像に対して処理装置１２でヘイズ除去処理を実行して第２の画像を生成することである。本実施形態において、ヘイズ除去処理は、ＤＣＰ（Dark Channel Prior）法により実行される。ＤＣＰ法について、先ず、処理装置１２は、第１の画素の中の、少なくとも１つのカラーチャンネル(例えば、ダークチャンネル)における強度が極めて低い(例えば、ゼロに近い)複数の画素に基づいて、ダークチャンネル画像を生成する。次に、そのダークチャンネル画像に含まれる画素からダークチャンネルの強度が最も高い値を環境光画素値とする。続いて、そのダークチャンネル画像と算出された環境光画素値に基づいて通過マップを推定する。最後に、環境光画素値及び通過マップに基づいて、第１の画像からヘイズが取り除かれた第２の画像を生成する。ヘイズ除去処理は、上記したものに限定されず、他の実施形態では変更可能であることに留意されたい。

分析ステップＳ３２において、処理装置１２は、第１の画像における複数の第１の画素の色と、該第１の画像に対してヘイズ除去処理を実行して生成された第２の画像において第１の画素の位置に該当する複数の第２の画素の色と、をそれぞれＨＳＶ色空間に変換して、各第１の画素の彩度をそれぞれ示す複数の第１の画素彩度値と、第２の画素の彩度をそれぞれ示す複数の第２の画素彩度値と、を算出する。

第１の演算ステップＳ３３において、処理装置１２は、各第１の画素彩度値と、各第２の画素彩度値と、に基づいて、彩度値差を算出する。特に、本実施形態において、第１の演算ステップＳ３３における彩度値差は、全ての第１の画素彩度値から算出された平均値である第１の平均彩度と、全ての第２の画素彩度値から算出された平均値である第２の平均彩度と、の差である。もう１つの実施形態において、第１の演算ステップＳ３３における彩度値差は、全ての第１の画素彩度値における最大値と最小値の差である第１の彩度範囲と、全ての第２の画素彩度値における最大値と最小値の差である第２の彩度範囲と、の差である。第１の演算ステップＳ３３は、上記したものに限定されず、他の実施形態では変更可能であることに留意されたい。

第２の演算ステップＳ３４において、処理装置１２は、所定の閾値と、第１の画像と、に基づいて補正因子を判定する。具体的には、第２の演算ステップＳ３４には、エッジ検知サブステップＳ３４１と、判定サブステップＳ３４２と、第１の判定サブステップＳ３４３と、第２の判定サブステップＳ３４４と、を含む。

図３に本実施形態の第２の演算ステップＳ３４におけるサブステップが示される。エッジ検知サブステップＳ３４１において、処理装置１２は、第１の画像に対してエッジ強調処理と二値化処理を実行し、エッジ強調処理と二値化処理において第１の画像のエッジに該当する画素の数をエッジ特徴値として取得する。判定サブステップＳ３４２において、処理装置１２は、エッジ特徴値が閾値を上回るかどうかを判定する。第１の判定サブステップＳ３４３において、処理装置１２は、判定サブステップＳ３４２におけるエッジ特徴値が閾値を上回ると判定した際、第１の所定値を補正因子とする。一方、第２の判定サブステップＳ３４４において、処理装置１２は、判定サブステップＳ３４２におけるエッジ特徴値が閾値を上回らないと判定した際、第２の所定値を補正因子とする。

第二の演算ステップＳ３４を実行するのは、ヘイズによる影響によって、最適な補正因子を決定するのためである。ヘイズによる影響が少ない場合、ヘイズ除去処理による色かぶりが薄く、色補正の程度も低い。逆に、ヘイズによる影響が多い場合、ヘイズ除去処理による色かぶりが酷く、色補正の程度も高い。そのため、本実施形態において、ヘイズによる影響が少ない場合、第２の画像におけるヘイズが覆う区域とヘイズが覆わない区域の間のエッジ判定をし難いため、エッジ特徴値は閾値より低くなり、第１の所定値より低い第２の所定値を補正因子とする。ヘイズによる影響が深刻である場合、第２の画像におけるヘイズが覆う区域とヘイズが覆わない区域の間のエッジ判定し易いため、エッジ特徴値は閾値より高くなり、第１の所定値を補正因子とする。他の実施形態において、複数の閾値に規定し、３つ以上の所定値の中から補正因子を決定しても良い。第二の演算ステップＳ３４は、上記したものに限定されず、他の実施形態では変更可能であることに留意されたい。

第３の演算ステップＳ３５において、処理装置１２は、彩度値差と、補正因子と、に基づいて色補正値を算出する。本実施形態において、第３の演算ステップＳ３５における色補正値は、彩度値差に補正因子を乗算する積であるが、上記したものに限定されず、他の実施形態では変更可能であることに留意されたい。

色補正ステップＳ３６において、処理装置１２は、色補正値に基づいて第２の画像の彩度を補正して第３の画像を生成する。本実施形態において、色補正ステップＳ３６における第３の画像は、第２の画像の全ての画素の彩度値に対して色補正値を引き算して生成する。他の実施形態において、第３の画像は、第２の画像の全ての画素の彩度値に対して色補正値を、足し算して、乗算して、又は除算して生成する。色補正ステップＳ３６は、上記したものに限定されず、他の実施形態では変更可能であることに留意されたい。

以上のように、本発明による画像処理方法は、第１の画素の色及び第２の画素の色をＨＳＶ色空間に変換して第１の画素彩度値と第２の画素彩度値を取得し、且つ、ヘイズによる影響に応じて算出された色補正値に基づいて第２の画像の彩度のみに対して色かぶりを補正するので、これらのステップにより生成される第３の画像は、腹腔内の明度の変化に影響されなくなると共に第３の画像における色かぶりが抑えられる。よって、腹腔鏡手術の進行に対する影響を低減することが実現し得る。

１００画像処理装置
１１メモリー装置
１２処理装置
Ｓ３１ヘイズ除去処理ステップ
Ｓ３２分析ステップ
Ｓ３３第１の演算ステップ
Ｓ３４第２の演算ステップ
Ｓ３４１エッジ検知サブステップ
Ｓ３４２判定サブステップ
Ｓ３４３第１の判定サブステップ
Ｓ３４４第２の判定サブステップ
Ｓ３５第３の演算ステップ
Ｓ３６色補正ステップ

Claims

処理装置（１２）により実行される画像処理方法であって、
第１の画像における複数の第１の画素の色と、該第１の画像に対してヘイズ除去処理を実行して生成された第２の画像において前記第１の画素の位置に該当する複数の第２の画素の色と、をそれぞれＨＳＶ色空間に変換して、各前記第１の画素の彩度をそれぞれ示す複数の第１の画素彩度値と、前記第２の画素の彩度をそれぞれ示す複数の第２の画素彩度値と、を算出する分析ステップ（Ａ）と、
各前記第１の画素彩度値と、各前記第２の画素彩度値と、に基づいて、彩度値差を算出する第１の演算ステップ（Ｂ）と、
所定の閾値と、前記第１の画像と、に基づいて補正因子を判定する第２の演算ステップ（Ｃ）と、
前記彩度値差と、前記補正因子と、に基づいて色補正値を算出する第３の演算ステップ（Ｄ）と、
前記色補正値に基づいて前記第２の画像の彩度を補正して第３の画像を生成する色補正ステップ（Ｅ）と、
を含み、
前記第２の演算ステップ（Ｃ）は、
前記第１の画像に対してエッジ強調処理と二値化処理を実行し、前記エッジ強調処理と前記二値化処理において前記第１の画像のエッジに該当する画素の数をエッジ特徴値として取得するエッジ検知ステップ（Ｃ−１）と、
前記エッジ特徴値が前記閾値を上回るかどうかを判定する判定ステップ（Ｃ−２）と、
前記判定ステップ（Ｃ−２）において、前記エッジ特徴値が前記閾値を上回ると判定した際、第１の所定値を前記補正因子とする第１の判定ステップ（Ｃ−３）と、
前記判定ステップ（Ｃ−２）において、前記エッジ特徴値が前記閾値を上回らないと判定した際、第２の所定値を前記補正因子とする第２の判定ステップ（Ｃ−４）と、
を更に含むことを特徴とする画像処理方法。
前記第１の演算ステップ（Ｂ）において、前記彩度値差は、全ての前記第１の画素彩度値から算出された平均値である第１の平均彩度と、全ての前記第２の画素彩度値から算出された平均値である第２の平均彩度と、の差であることを特徴とする請求項１に記載の画像処理方法。
前記第１の演算ステップ（Ｂ）において、前記彩度値差は、全ての前記第１の画素彩度値における最大値と最小値の差である第１の彩度範囲と、全ての前記第２の画素彩度値における最大値と最小値の差である第２の彩度範囲と、の差であることを特徴とする請求項１に記載の画像処理方法。
前記第３の演算ステップ（Ｄ）において、前記色補正値は、前記彩度値差に前記補正因子を乗算する積であることを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
前記色補正ステップ（Ｅ）において、前記第３の画像は、前記第２の画像の全ての画素の彩度値に対して前記色補正値を引き算することにより生成されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
前記色補正ステップ（Ｅ）において、前記第３の画像は、前記第２の画像の全ての画素の彩度値に対して前記色補正値を足し算することにより生成されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
前記色補正ステップ（Ｅ）において、前記第３の画像は、前記第２の画像の全ての画素の彩度値に対して前記色補正値を乗算することにより生成されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
前記色補正ステップ（Ｅ）において、前記第３の画像は、前記第２の画像の全ての画素の彩度値に対して前記色補正値で除算することにより生成されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。