(第1の実施形態)
以下、本発明の第1の実施形態について図面を参照して説明する。図1は、本実施形態における電子内視鏡装置の構成を示した概略図である。図示する例では、電子内視鏡装置1は、先端部10と、本体部20と、伝送部30とを有する。先端部10は、撮像部11と、A/D変換部12と、ECC符号化部13(符号化部)とを有する。本体部20は、ECC復号化部21(復号化部)と、画像処理部22と、表示部23とを有する。
撮像部11は、CMOSやCCD(Charge Coupled Device、電荷結合素子)等を備え、被写体を撮影して、各画素の受光強度を並べたRAW画像信号を生成する。A/D変換部12は、アナログ信号であるRAW画像信号を量子化して、デジタルデータであるRAW画像データを生成する。
ECC符号化部13は、RAW画像データから、誤り訂正符号を使用して符号化データを生成する。この際に、ビット誤りの訂正能力に比例した冗長ビット(冗長情報)が付加される。また、ECC符号化部13は、RAW画像データの1画素毎に、RAW画像データを符号化データに変換する。これにより、複数画素単位で符号化データに変換する場合と比較して、複数画素のデータを一時記憶する必要が無くなるため先端部10に余分な記憶領域を備える必要がなく、またECC符号化部13も小さくできるため、先端部10の回路規模を小さくすることが出来る。
また、後述する、伝送誤りを訂正するECC復号化部21によるECC復号化において、誤り訂正不能なデータの単位を1画素単位とすることで、連続する複数の画素に伝送誤りが広がることを押さえ、画質の劣化が目立たないようにできる。なお、誤り訂正不能なデータの単位を1画素単位とする場合には、ブロック符号を用いることで遅延回路が減るため、回路規模を削減できるが、誤り訂正単位が1画素単位となる符号化方式であれば、符号化の方法はブロック符号でなくても良い。
伝送部30は、先端部10から本体部20に符号化データを伝送する。伝送部30が符号化データを先端部10から本体部20に伝送する際、伝送途中の条件によっては伝送誤りが発生する。なお、この伝送誤りは、符号化データ中のビットが反転することを意味する。
ECC復号化部21は、符号化データに含まれる伝送誤りを、誤り訂正符号によって訂正および検出し、復号化データと、誤り画素位置情報を生成する。例えば、符号化データに含まれる伝送誤り数が、誤り訂正能力の範囲内である場合には、ECC復号化部21は、伝送誤りを誤り訂正符号によって訂正する。また、符号化データに含まれる伝送誤り数が、誤り訂正能力より多く、かつ、誤り検出能力以下である場合には、ECC復号化部21は、誤りを訂正することは出来ないが検出することは可能であるため、この画素のデータは誤りを含んでいることを示す誤り検出情報を生成する。この誤り検出情報は、画素の位置と対応付けて管理され、誤り画素位置情報として後段の画像処理部に入力される。
画像処理部22は、誤り画素位置情報を元に、復号化データに含まれる、ECC復号化部21で訂正できなかった誤りを持つ画素のデータを画像補間により補間し、出力データを生成する。表示部23は、出力データに基づいた画像を表示する。
次に、誤り訂正符号による、誤り訂正および誤り検出方法について説明する。本実施形態では、誤り訂正符号の一方式である線形符号を用いる。線形符号は、情報ビットを複数集めた情報語を処理単位とし、各情報語に対して行列演算を行うことで符号語を生成する符号化方式の総称である。
以後の例では、情報ビットを0と1との2つの数字で表現し、情報ビット間の演算は、ガロア体GF(2)に従うとする。つまり、通常の算術加算と算術乗算に対して、1+1=0となるよう修正した演算を使用する。なお、情報語と符号語は、情報ビットを複数個まとめたベクトルであらわすことができる。具体的には、情報ビット数がmであり、符号長がnであるとき、情報語wはw={w1,w2,w3,・・・,wm}と表現でき、符号語cはc={c1,c2,c3,・・・,cn}と表現できる。
また、伝送中の誤りは、誤り位置ベクトルとしてe={e1,e2,e3,・・・,en}として表現でき、符号語と誤り位置ベクトルを加算したものが受信符号語r=c+e={r1,r2,r3,・・・,rn}となる。ここで、n>mとする。
線形符号において、情報語を符号語に変換する変換行列を生成行列と呼び、以後Gと表現する。このとき、符号化処理はc=wGで表現することができる。伝送中に誤りが発生する場合、受信時の符号語rはr=c+eで表現できる。例えば、符号語の1ビット目が誤った場合には、e={1,0,0,・・・,0}となる。誤りが発生しなかった場合には、e={0,0,0,・・・,0}となる。
復号化処理では、GHT=0となる検査行列を用い、rHTを計算する。
rHT=cHT+eHT=wGHT+eHT=eHT
誤りがない場合、つまりe=0であるときは、eHT=0となるが、誤りが存在する場合は0以外の値となるため、誤りが存在することがわかる。また、この値は情報語にかかわらず誤り位置ベクトルeによって一意に定まるため、eHTの値がわかれば誤り位置を特定でき、誤りを訂正できる。この値をシンドロームと呼ぶ。
以下、誤り訂正符号の例としてハミング符号を挙げ、シンドロームを用いた具体的な誤り訂正および誤り位置検出方法について述べる。例として、(1)式の生成行列および(2)式の検査行列で定義されるハミング符号を考える。
この符号は、情報ビット数m=4であり、符号長n=8である。この符号における、誤り位置ベクトルとシンドロームとの対応表は表1に示す通りである。
以下、w={0,1,0,1}で示す情報語を符号化して伝送する場合を考える。上記符号で符号化すると、c={0,1,0,1,1,0,1,1}となる。これに1ビットの誤りe={1,0,0,0,0,0,0,0}が発生した場合、受信符号語はr={1,1,0,1,1,0,1,1}となる。復号化処理においてシンドロームを計算すると、rHT={1,1,1,1}となり、誤りが存在することがわかる。
表1に示した誤り位置ベクトルとシンドロームとの対応表に基づいて比較すると、rHT={1,1,1,1}となる誤り位置ベクトルはe={1,0,0,0,0,0,0,0}であるので、rとeとから、誤りを訂正した符号語{0,1,0,1,1,0,1,1}を得ることができる。これにより誤りを訂正することができる。
また、上記符号で2ビット誤り、例えば、誤り位置ベクトルがe={1,1,0,0,0,0,0,0}である場合を考える。このときのシンドロームeHTは{0,0,1,0}となるが、別の誤り位置ベクトルe={0,0,0,1,0,1,0,0}の場合でもシンドロームは{0,0,1,0}となるため、シンドロームと誤り位置ベクトルとの対応を一意に特定することができないため、誤り訂正を行うことが不可能である。しかしながら、シンドロームは0ではないため、誤りの存在は検出できる。ゆえに、この符号の場合、誤り検出能力は2ビットであり、誤り訂正能力は1ビットである。
なお、符号化方式の例としてハミング符号について説明したが、本実施形態で用いる符号化方式は、ハミング符号に限定するものではない。例えば、符号化方式として、リードソロモン符号やBCH符号などを用いてもよい。
次に、誤り訂正符号を用いた伝送誤り訂正処理について説明する。図2は、本実施形態における誤り訂正符号を用いた伝送誤り訂正処理時のデータ例を示した概略図である。図示する例では、RAW画像データを先端部10から本体部20に送信する場合において、各部に入出力するデータの例を示している。
なお、本実施形態では、A/D変換部12が生成するRAW画像データは、画素毎に8ビットの情報ビットを有している。この情報ビットは、RAW画像データにおける、量子化された受光強度値を示す。また、ECC符号化部13が生成する符号化データは、RAW画像データの各画素のデータ毎に、4ビットの冗長ビットを付加したデータである。これにより、冗長ビットが付加された各画素のデータに1ビットの誤りが存在する場合、ECC復号化部21は、その誤りを正しいデータに訂正することができる。また、冗長ビットが付加された各画素のデータに2ビットの誤りが存在する場合、ECC復号化部21は、そのデータに誤りが含まれていることを検出することができる。
図2(1)は、A/D変換部12が生成したRAW画像データの例を示した概略図である。図示する例では、A/D変換部12が生成したRAW画像データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、画素番号p1〜p3の各画素のデータは、情報ビットD1〜D8を含んだデータである。なお、情報ビットD1〜D8は、それぞれ1ビットのデータを示す。
図2(2)は、A/D変換部12が生成したRAW画像データに、ECC符号化部13が冗長ビットを付加した符号化データの例を示した概略図である。図示する例では、ECC符号化部13が生成した符号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、画素番号p1〜p3の各画素のデータは、それぞれ情報ビットD1〜D8と、冗長ビットC1〜C4とを含んだデータである。なお、冗長ビットC1〜C4は、それぞれ1ビットのデータを示す。
図2(3)は、伝送路30を介して、先端部10から本体部20に送信された符号化データの例を示した概略図である。図示する例では、伝送路30を介して、先端部10から本体部20に送信された符号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、伝送路30による符号化データの伝送中に生じた誤りデータを示している。具体的には、画素番号p1の画素のデータのうち、情報ビットD4が誤ったデータであることを示している。また、画素番号p2の画素のデータのうち、情報ビットD2と、情報ビットD6とが誤ったデータであることを示している。また、画素番号p3の画素のデータのうち、冗長ビットC1が誤ったデータであることを示している。
図2(4)は、伝送路30を介して先端部10から本体部20に送信された符号化データを、ECC復号化部21が復号化した復号化データの例を示した概略図である。図示する例では、ECC復号化部21が復号化した復号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。図2(3)では、画素番号p1,p3の画素のデータは、それぞれ誤ったデータを1ビット含んでいたが、ECC復号化部21は誤ったデータを訂正している。また、図2(3)では、画素番号p2の画素のデータは、誤ったデータを2ビット含んでいたので、ECC復号化部21は、画素番号p2の画素のデータを誤ったデータであると特定し、誤り画素位置情報を生成する。
上述したとおり、伝送路30を介して、先端部10から本体部20に送信された符号化データの各画素データに1ビットの誤りが存在する場合、ECC復号化部21は、その誤りを正しいデータに訂正することができる。また、冗長ビットが付加された各画素データに2ビットの誤りが存在する場合、ECC復号化部21は、そのデータに誤りが含まれていることを検出して特定することができる。
次に、画像処理部22が実行する、復号化されたRAW画像データの補間方法について説明する。図3は、本実施形態における復号化されたRAW画像データの補間処理時のデータ例を示した概略図である。図示する例では、RAW画像データとして、縦方向と横方向それぞれに4画素ずつ計16画素が並んだRAW画像データを示している。また、誤りを判りやすく表現するため、元のRAW画像データに含まれるデータは全て0として表現している。すなわち、元のRAW画像データを黒色の画像としている。
図3(1)は、A/D変換部12が生成したRAW画像データの例を示した概略図である。図示する例では、A/D変換部12が生成した、黒色の画像のRAW画像データを示している。なお、各画素に画素番号p11〜p26を付している。画素番号p11〜p26の画素のデータは、それぞれ黒を示す「00000000」である。
図3(2)は、伝送路30を介して、先端部10から本体部20に送信された符号化データに含まれるRAW画像データの例を示した概略図である。図示する例では、伝送誤りによって、画素番号p12,p19,p26の画素のデータには誤ったデータが1ビット含まれている。また、伝送誤りによって、画素番号p21の画素のデータには誤ったデータが2ビット含まれている。伝送誤りはビット反転を意味するため、図3(2)においては0以外の数値「1」として表現される。なお、冗長ビットについては記載していないが、冗長ビットには誤りが無いとする。
具体的には、画素番号p12の画素のデータが「00100000」に変化し、画素番号p19の画素のデータが「00000100」に変化し、画素番号p21の画素のデータが「01000010」に変化し、画素番号p26の画素のデータが「00000001」に変化している。
図3(3)は、伝送路30を介して先端部10から本体部20に送信された符号化データを、ECC復号化部21が復号化した復号化データに含まれるRAW画像データの例を示した概略図である。ECC復号化部21は、誤り訂正能力以下のビット誤りを、冗長ビットを用いて除去する。また、ECC復号化部21は、誤り訂正能力を超え誤り検出能力以下のビット誤りを持つ画素位置を示した誤り画素位置情報を生成する。
具体的には、図3(2)に示した例では、画素番号p12,p19,p26の画素のデータには誤ったデータが1ビット含まれていたが、図3(3)に示す例では、ECC復号化部21によって「00000000」に訂正されている。また、図3(3)に示す例では、画素番号p21の画素のデータには、誤ったデータが2ビット含まれているため、ECC復号化部21は、画素番号p21の画素のデータを誤ったデータであると特定する誤り画素位置情報を生成している。
図3(4)は、ECC復号化部21が特定したRAW画像データに含まれる誤ったデータを、画像処理部22が補間したRAW画像データの例を示した概略図である。画像処理部22は、RAW画像データに含まれる誤ったデータを無視して、誤ったデータの周囲のデータに基づいて補間する。本実施形態では、画像処理部22は、誤ったデータに隣接する画素のデータの平均値を補間データとする。
具体的には、図3(3)に示した例では、画素番号p21の画素のデータは誤ったデータであったが、図3(4)に示す例では、画像処理部22によって「00000000」に補間されている。このデータは、画素番号p17,p20,p22,p25の画素のデータの平均値である。
図4は、本実施形態における画像処理部22が実行する、復号化されたRAW画像データの補間手順を示したフローチャートである。
(ステップS101)画像処理部22は、画素の行位置を特定する行位置iを0とし、画素の列位置を特定する列位置jを0とする。その後、ステップS102の処理に進む。
(ステップS102)画像処理部22は、ECC符号化部13が生成した誤り画素位置情報に基づいて、画素(i,j)のデータは誤ったデータであるか否かを判定する。画像処理部22が、画素(i,j)のデータは誤ったデータであると判定した場合にはステップS103の処理に進み、それ以外の場合にはステップS104の処理に進む。
(ステップS103)画像処理部22は、画素(i,j)のデータを、画素(i,j)の上下左右に隣接する画素のデータの平均値[{(i,j−1)+(i−1,j)+ (i,j+1)+(i+1,j)}/4]とする。その後、ステップS104の処理に進む。
(ステップS104)画像処理部22は、行位置iがRAW画像データの行の最後であるか否かを判定する。画像処理部22が、行位置iはRAW画像データの行の最後であると判定した場合にはステップS106の処理に進み、それ以外の場合にはステップS105の処理に進む。
(ステップS105)画像処理部22は、行位置iに1を加算する(i=i+1)。その後、ステップS102の処理に戻る。
(ステップS106)画像処理部22は、列位置jがRAW画像データの列の最後であるか否かを判定する。画像処理部22が、列位置jはRAW画像データの列の最後であると判定した場合には処理を終了し、それ以外の場合にはステップS107の処理に進む。
(ステップS107)画像処理部22は、列位置jに1を加算する(j=j+1)。その後、ステップS102の処理に戻る。
従来の電子内視鏡装置では、先端部から本体部にRAW画像データを転送する際に転送誤りが含まれた場合であっても、誤り訂正能力を超えた画素のデータをそのまま出力する。そのため、誤りデータを含んだ画素の色は、周囲と著しく異なった色として表示されてしまう場合があった。これは輝点や滅点と呼ばれる現象であり、非常に目立つ画像ノイズとなっていた。これを解決するために誤り訂正能力を高くした場合には、先端部から本体部に伝送するデータ量が多くなる。そのため、多量のデータを伝送するために、伝送部には太径の信号線を用いる必要があり、信号線と接続している先端部の外径も大きくなっていた。
しかしながら、上述したとおり、本実施形態においては、ECC復号化部21は、誤り訂正能力以下のビット誤りを持つデータを正しい値に訂正する。また、画像処理部22は、誤り画素位置情報で示された誤ったデータを、この周囲の誤りでないデータを元に計算した値で補間する。そのため、誤り訂正能力を低くしても誤ったデータを補間することができるので、先端部10から本体部20に伝送するデータ量を減らすことができる。
また、本実施形態の内視鏡装置1では、先端部10から本体部20に伝送するデータ量を減らすことができるため、伝送部30に細径の信号線を用いることができる。そのため、伝送部30と接続している先端部10の外径も小さくすることができる。
また、ECC復号化部21によって、誤り訂正能力以下のビット誤りを持つ画素のデータは完全に訂正さる。また、誤り検出能力以下のビット誤りを持つ画素のデータは、画像処理部22によって、周囲の誤っていない画素のデータに基づいて算出された値に置き換えられる。そのため、輝点や滅点を減らすことができる。
次に、RAW画像データとして、Bayer配列による原色フィルタを持つ撮像素子の受光強度値を使用する場合の、復号化されたRAW画像データにおける伝送誤りを含む画素の補間方法について説明する。本実施形態では、カラー画像を生成する撮像素子を使用する場合、現像処理後のカラー画像データを伝送せずに、受光強度値を符号化して先端部10から本体部20に伝送する。
従来では、先端部で画像補間を行ってから伝送部に送られるため、画質を維持するためにRGB全てのデータを伝送する必要があった。そのため、色成分を3つ持つ画像を伝送する場合には、信号線数が3倍、もしくは伝送速度が3分の1となる。また、信号線数を増加させない、または伝送速度を低下させない場合には、伝送する情報量を減らす必要がある。伝送する情報量を減らすためには非可逆圧縮を行わなければならないため、画質が劣化する。
本実施形態においては、本体部20の画像処理部22にて現像処理を行うことで、先端部10からRGBデータ全てを伝送する場合と比較して、3分の1の信号線数で同じ情報を伝送できる。故に、カラー画像を生成する撮像素子を使用する場合においても、伝送部における信号線数を維持したまま、画質を維持しつつ、伝送速度の低下を抑えることができる。
図5は、本実施形態において、RAW画像データとして、Bayer配列による原色フィルタを持つ撮像素子の受光強度値を使用する場合の、復号化されたRAW画像データの補間処理時のデータ例を示した概略図である。図示する例では、RAW画像データとして、縦方向と横方向それぞれにベイヤ配列が3単位ずつ、計9単位並んだRAW画像データを示している。なお、ベイヤ配列の1単位には、赤色の光を検出する画素(R画素)1つと、緑色の光を検出する画素(G画素)2つと、青色の光を検出する画素(B画素)1つとが含まれる。
図5(1)は、A/D変換部12が生成したRAW画像データの例を示した概略図である。図示する例では、いずれの画素のデータにも誤りが含まれていない。
図5(2)は、伝送路30を介して、先端部10から本体部20に送信された符号化データに含まれるRAW画像データの例を示した概略図である。図示する例では、伝送誤りによって、画素番号p51,p52,p53の画素のデータには誤ったデータが1ビット含まれている。また、伝送誤りによって、画素番号p54の画素のデータには誤ったデータが2ビット含まれている。
図5(3)は、伝送路30を介して先端部10から本体部20に送信された符号化データを、ECC復号化部21が復号化した復号化データに含まれるRAW画像データの例を示した概略図である。ECC復号化部21は、誤り訂正能力以下のビット誤りを、冗長ビットを用いて除去する。また、ECC復号化部21は、誤り訂正能力を超え誤り検出能力以下のビット誤りを持つ画素位置を示した誤り画素位置情報を生成する。
具体的には、図5(2)に示した例では、画素番号p51,p52,p53の画素のデータには誤ったデータが1ビット含まれていたが、図5(3)に示す例では、ECC復号化部21によって、画素番号p51,p52,p53の画素のデータは訂正されている。また、図5(3)に示す例では、画素番号p54の画素のデータには、誤ったデータが2ビット含まれているため、ECC復号化部21は、画素番号p54の画素のデータを誤ったデータであると特定する誤り画素位置情報を生成している。
図5(4)は、ECC復号化部21が特定したRAW画像データに含まれる誤ったデータを、画像処理部22が補間したRAW画像データの例を示した概略図である。画像処理部22は、RAW画像データに含まれる誤ったデータを無視して、誤ったデータの周囲のデータに基づいて補間する。本実施形態では、画像処理部22は、誤ったデータと同じ色の光を検出する画素であり、誤ったデータからの距離が近い画素のデータの平均値を補間データとする。
具体的には、図5(3)に示した例では、画素番号p54の画素のデータは誤ったデータであったが、図5(4)に示す例では、画像処理部22によって補間されている。このデータは、画素番号p54の画素と同じ色の光を検出し、かつ画素番号p54の画素からの距離が最も近い画素番号p55,p56,p57,p58の画素のデータの平均値である。
なお、上述した誤り画素の補間処理は、欠陥画素補正処理と同様の処理である。本実施形態では、欠陥画素の判別処理に、事前に記録している欠陥画素位置からの情報に加え、誤り画素位置情報の参照を行うことで、既存の欠陥画素補正処理をそのまま用いつつ、伝送誤りを補正することが可能である。
また、誤り画素の補間処理方法は、上述した例に限らず、例えば、1フレーム前の画像に含まれる、誤り画素と同一の画素の値を補間データとして用いるようにしてもよい。
上述したとおり、本実施形態においては、カラーの画像を伝送する場合であっても、ECC復号化部21は、誤り訂正能力以下のビット誤りを持つデータを正しい値に訂正する。また、画像処理部22は、誤り画素位置情報で示された誤ったデータを、この周囲の誤りでない値を元に計算した値で補間する。そのため、誤り訂正能力以下のビット誤りを持つ画素は完全に訂正され、誤り検出能力以下のビット誤りを持つ画素のデータは周囲の誤っていない画素のデータによって置き換えられる。そのため、輝点や滅点を減らすことができる。故に、伝送速度を遅くすることなく、画質を落とすことなくRAW画像データを伝送することができるため、細径の信号線を用いることができ、先端部10の外径を細くすることができる。
なお、上述した例では、冗長ビットとして4ビットのデータを付加したがこれに限らず、さらに誤り訂正能力を増やすように冗長ビットを付加するようにしてもよい。図6は、本実施形態において、誤り訂正能力を増やした場合の、誤り訂正符号を用いた伝送誤り訂正処理時のデータ例を示した概略図である。図示する例では、RAW画像データを先端部10から本体部20に送信する場合において、各部に入出力するデータの例を示している。
図示する例では、A/D変換部12が生成するRAW画像データは、画素毎に8ビットの情報ビットを有している。また、ECC符号化部13が生成する符号化データは、RAW画像データの各画素のデータ毎に、6ビットの冗長ビットを付加したデータである。これにより、冗長ビットが付加された各画素のデータに2ビットまでの誤りが存在する場合、ECC復号化部21は、その誤りを正しいデータに訂正することができる。また、冗長ビットが付加された各画素のデータに3ビットの誤りが存在する場合、ECC復号化部21は、そのデータに誤りが含まれていることを検出することができる。
図6(1)は、A/D変換部12が生成したRAW画像データの例を示した概略図である。図示する例では、A/D変換部12が生成したRAW画像データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、画素番号p1〜p3の各画素のデータは、情報ビットD1〜D8を含んだデータである。なお、情報ビットD1〜D8は、それぞれ1ビットのデータを示す。
図6(2)は、A/D変換部12が生成したRAW画像データに、ECC符号化部13が冗長ビットを付加した符号化データの例を示した概略図である。図示する例では、ECC符号化部13が生成した符号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、画素番号p1〜p3の各画素のデータは、それぞれ情報ビットD1〜D8と、冗長ビットC1〜C6とを含んだデータである。なお、冗長ビットC1〜C6は、それぞれ1ビットのデータを示す。
図6(3)は、伝送路30を介して、先端部10から本体部20に送信された符号化データの例を示した概略図である。図示する例では、伝送路30を介して、先端部10から本体部20に送信された符号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、伝送路30による符号化データの伝送中に生じた誤りデータを示している。具体的には、画素番号p1の画素のデータのうち、情報ビットD4が誤ったデータであることを示している。また、画素番号p2の画素のデータのうち、情報ビットD2と、情報ビットD6とが誤ったデータであることを示している。また、画素番号p3の画素のデータのうち、冗長ビットC1が誤ったデータであることを示している。
図6(4)は、伝送路30を介して先端部10から本体部20に送信された符号化データを、ECC復号化部21が復号化した復号化データの例を示した概略図である。図示する例では、ECC復号化部21が復号化した復号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。図2(3)では、画素番号p1,p3の画素のデータは、それぞれ誤ったデータを1ビット含んでいたが、ECC復号化部21は誤ったデータを訂正している。また、図2(3)では、画素番号p2の画素のデータは、誤ったデータを2ビット含んでいたが、ECC復号化部21は誤ったデータを訂正している。
上述したとおり、冗長ビットを増やすことで、ECC符号化部13の誤り訂正能力を高くすることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、本実施形態の電子内視鏡装置の先端部は、無線伝送にて本体部にデータを伝送する点である。
図7は、本実施形態における電子内視鏡装置の構成を示した概略図である。図示する例では、電子内視鏡装置2は、先端部40と、本体部50とを有する。先端部40は、撮像部41と、A/D変換部42と、ECC符号化部43と、送信部44とを有する。本体部50は、受信部51と、ECC復号化部52と、画像処理部53と、表示部54とを有する。
撮像部41と、A/D変換部42と、ECC符号化部43との機能は、第1の実施形態の各部の機能と同様である。送信部44は、無線通信を用いて、ECC符号化部43が生成した符号化データを本体部50に送信する。
受信部51は、先端部40から送信された符号化データを受信し、受信した符号化データをECC復号化部52に入力する。ECC復号化部52と、画像処理部53と、表示部54との機能は、第1の実施形態の各部の機能と同様である。
例えば、カプセル内視鏡のような、先端部40と本体部50との通信に無線を使用する製品の場合、有線での通信と比較して伝送速度の制約が大きく、また、ノイズによる伝送誤りが発生しやすい。さらに、カプセル内視鏡は先端部40に電源を搭載しており本体部50の電源とは独立しているため、先端部40の電力消費が大きい場合、先端部40に大きな電源を搭載する必要があることから先端部40の外形が大きくなる。
しかしながら、本実施形態では、第1の実施形態と同様に、ECC復号化部52は、誤り訂正能力以下のビット誤りを持つデータを正しい値に訂正する。また、画像処理部53は、誤り画素位置情報で示された誤ったデータを、この周囲の誤りでないデータを元に計算した値で補間する。そのため、誤り訂正能力を低くしても誤ったデータを補間することができるので、先端部40から本体部50に伝送するデータ量を減らすことができる。
また、本実施形態の内視鏡装置2では、先端部40から本体部50に伝送するデータ量を減らすことができるため、先端部40の消費電力を低減させることができる。また、撮像部41と、A/D変換部42と、ECC符号化部43と、送信部44とを有する本実施形態の先端部40は、回路規模の縮小により電力消費を低減させることができる。これにより、先端部40に設けるバッテリーを小さくすることができるため、先端部40の外形を小さくすることも可能となる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、本実施形態の電子内視鏡装置は、撮影モードに応じて、冗長ビットの間引き処理を行い、誤り訂正能力を可変とする点である。
例えば、伝送部のビット誤り率が大きく、誤り訂正能力を超える画素の割合が増加した場合は、画質が劣化する。そのため、伝送部の状況によっては、誤り訂正能力を大きくする必要がある。また、誤り訂正能力を大きくした場合、付加される冗長ビットも増加する。そのため、単純に誤り訂正能力を増大させると、付加される冗長ビットの増加を招くため、伝送速度の遅延や信号線数を増大させる必要がある等の問題がでてくる。
本実施形態の電子内視鏡装置では、本体部に画像処理部が存在し、伝送中に誤りデータが発生しても誤り画素の補間処理により画質の劣化をある程度抑えることができるため、誤り訂正能力を多少減らしても画質の大幅な劣化に直結しない。故に多少の画質劣化が許容される状況においては、誤り訂正能力を減らすことが可能である。
また、本実施形態では、ユーザによって、複数の撮影モードのうちから一つのモードを選択できる。例えば、多少の画質劣化が許容されるが伝送にリアルタイム性が求められる動画撮影モードと、多少の伝送待ち時間が発生しても画質劣化を極力抑える必要のある静止画撮影モードとから、ユーザの操作に応じて一つを選択する。そして、静止画を撮影する際の撮影モード「静止画撮影モード」である場合には冗長ビットの間引き処理を行わず、動画を撮影する際の撮影モード「動画撮影モード」である場合には冗長ビットの間引き処理を行う。これにより、撮影モードが動画撮影モードである場合には、先端部から本体部に送信するデータ量を減らすことができる。
図8は、本実施形態における電子内視鏡装置の構成を示した概略図である。図示する例では、電子内視鏡装置3は、先端部60と、本体部70と、伝送部80とを有する。先端部60は、撮像部61と、A/D変換部62と、ECC符号化部63と、パンクチャ部64とを有する。本体部70は、撮影モード選択部71(モード選択部)と、符号補間部72と、ECC復号化部73と、画像処理部74と、表示部75とを有する。
撮像部61と、A/D変換部62と、ECC符号化部63との機能は、第1の実施形態の各部の機能と同様である。パンクチャ部64は、本体部70から送信されるモード選択信号で特定される撮影モードに応じて、ECC復号化部63が付した冗長ビットのうち、特定の位置の冗長ビットを間引いて間引きデータを生成する。例えば、撮影モードが「静止画撮影モード」である場合には冗長ビットを間引かず、撮影モードが「動画撮影モード」である場合には、冗長ビットの最後のビットを間引く。パンクチャ部64の詳細については後述する。
伝送部80は、先端部60から本体部70に間引きデータを伝送する。伝送部80が間引きデータを先端部60から本体部70に伝送する際、伝送途中の条件によっては伝送誤りが発生する。なお、この伝送誤りは、間引きデータ中のビットが反転することを意味する。
撮影モード選択部71は、使用者の操作を受けて、撮影モードを特定するモード選択信号を生成する。例えば、電子内視鏡装置3が、撮影モードとして「静止画撮影モード」と「動画撮影モード」とを備える場合、撮影モード選択部71は、使用者の操作を受けて、「動画撮影モード」と「静止画撮影モード」のいずれかを選択し、撮影モードを一意に特定するモード選択信号を生成する。また、撮影モード選択部71は、生成したモード選択信号を、伝送部80を介して先端部60に送信する。また、撮影モード選択部71は、生成したモード選択信号を符号補間部72に入力する。符号補間部72は、間引きデータとモード選択信号とに基づいて、パンクチャ部64が間引いた冗長ビットの位置に適当なビットを追加することで補間後データを生成する。また、符号補間部72は、生成した補間後データを符号化データとしてECC復号化部73に入力する。
ECC復号化部73と、画像処理部74と、表示部75の機能は、第1の実施形態における各部の機能と同様である。
次に、パンクチャ部64の詳細について説明する。図9は、本実施形態におけるパンクチャ部64の回路構成を示した概略図である。パンクチャ部64は、モード選択信号に応じて、冗長ビットを間引きする場合、単に間引きする箇所の接続を切断するのみである。接続を切断したビットを伝送時にスキップすることで、簡易な回路で間引き数の可変を実現できる。
図示する例では、パンクチャ部64は、符号化データとして、情報ビットD1〜D8と冗長ビットC1〜C6の入力を受け付ける。また、パンクチャ部64は、情報ビットD1〜D8と冗長ビットC1〜C3とをそのまま出力する構成となっており、モード選択信号に応じてスイッチ641〜643のON/OFFを切り替え、冗長ビットC4〜C6をそのまま出力する、または、冗長ビットC4〜C6のうち1つまたは複数を間引くことができる構成となっている。例えば、撮影モードが「静止画撮影モード」の場合、パンクチャ部64は、冗長ビットC4〜C6をそのまま出力する。また、撮影モードが「動画撮影モード」の場合、パンクチャ部64は、冗長ビットC4〜C5をそのまま出力し、冗長ビットC6を伝送する回路の接続を切断し、冗長ビットC5を間引く。
次に、誤り訂正符号の冗長ビットの間引き処理を用いた伝送誤り訂正処理について説明する。図10は、本実施形態における誤り訂正符号の冗長ビットの間引き処理を用いた伝送誤り訂正処理時のデータ例を示した概略図である。図示する例では、RAW画像データを先端部60から本体部70に送信する場合において、各部に入出力するデータの例を示している。
なお、本実施形態では、A/D変換部62が生成するRAW画像データは、画素毎に8ビットの情報ビットを有している。この情報ビットは、RAW画像データにおける、量子化された受光強度値を示す。また、ECC符号化部63が生成する符号化データは、RAW画像データの各画素のデータ毎に、6ビットの冗長ビットを付加したデータである。これにより、冗長ビットが付加された各画素のデータに2ビットの誤りが存在する場合、ECC復号化部73は、その誤りを正しいデータに訂正することができる。また、冗長ビットが付加された各画素のデータに3ビットの誤りが存在する場合、ECC復号化部73は、そのデータに誤りが含まれていることを検出することができる。
図10(1)は、A/D変換部62が生成したRAW画像データの例を示した概略図である。図示する例では、A/D変換部62が生成したRAW画像データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、画素番号p1〜p3の各画素のデータは、情報ビットD1〜D8を含んだデータである。なお、情報ビットD1〜D8は、それぞれ1ビットのデータを示す。
図10(2)は、A/D変換部62が生成したRAW画像データに、ECC符号化部63が冗長ビットを付加した符号化データの例を示した概略図である。図示する例では、ECC符号化部63が生成した符号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。また、画素番号p1〜p3の各画素のデータは、それぞれ情報ビットD1〜D8と、冗長ビットC1〜C6とを含んだデータである。なお、冗長ビットC1〜C6は、それぞれ1ビットのデータを示す。
図10(3)は、ECC符号化部63が生成した符号化データから、パンクチャ部64が冗長ビットを間引いた間引きデータの例を示した概略図である。図示する例は、パンクチャ部64が冗長ビットC6を間引いたデータである。具体的には、画素番号p1〜p3の各画素のデータは、それぞれ情報ビットD1〜D8と、冗長ビットC1〜C5とを含んだデータである。
図10(4)は、伝送路80を介して、先端部60から本体部70に送信された間引きデータの例を示した概略図である。図示する例では、伝送路80を介して、先端部60から本体部70に送信された間引きデータのうち、画素番号p1〜p3の3つの画素のデータを示している。また、伝送路80による間引きデータの伝送中に生じた誤りデータを示している。具体的には、画素番号p1の画素のデータのうち、情報ビットD4が誤ったデータであることを示している。また、画素番号p2の画素のデータのうち、情報ビットD6と、冗長ビットC3とが誤ったデータであることを示している。また、画素番号p3の画素のデータのうち、冗長ビットC1が誤ったデータであることを示している。
図10(5)は、伝送路80を介して先端部60から本体部70に送信された間引きデータに、符号補間部72が冗長ビットを補間した補間後データの例を示した概略図である。符号補間部72は、間引きデータが符号化データと同じビット数となるように、パンクチャ部64が冗長ビットを間引いた場所に適当なビットを追加して補間後データを生成する。なお、本実施形態では、撮影モードが「静止画撮影モード」である場合、冗長ビットは間引かれていないため、符号補間部72は間引きデータにビットを追加しない。また、撮影モードが「動画撮影モード」である場合、冗長ビットC6が間引かれているため、冗長ビットC6の位置に適当なビット「0」を追加する。
図示する例は、パンクチャ部64が間引いた冗長ビットC6の位置に、符号補間部72が冗長ビット「0」を補間したデータを示している。具体的には、画素番号p1〜p3の各画素のデータは、それぞれ情報ビットD1〜D8と、冗長ビットC1〜C5,「0」とを含んだデータである。また、符号補間部72が補間した冗長ビット「0」は正しい値であるか否か判断出来ないため、誤ったデータとみなす。従って、画素番号p1の画素のデータは2ビットの誤りデータを含む。また、画素番号p2の画素のデータは3ビットの誤りデータを含む。また、画素番号p3の画素のデータは2ビットの誤りデータを含む。
図10(6)は、符号補間部72が冗長ビットを補間した補間後データを、ECC復号化部73が復号化した復号化データの例を示した概略図である。図示する例では、ECC復号化部73が復号化した復号化データのうち、画素番号p1〜p3の3つの画素のデータを示している。図10(5)では、画素番号p1,p3の画素のデータは、それぞれ誤ったデータを2ビット含んでいたが、図10(6)に示すように、ECC復号化部73は誤ったデータを訂正している。また、図10(5)では、画素番号p2の画素のデータは、誤ったデータを3ビット含んでいたので、ECC復号化部73は、画素番号p2の画素のデータを誤ったデータであると特定し、誤り画素位置情報を生成する。
画像処理部74が、復号化されたRAW画像データを補間し、出力データを生成する方法は第1の実施形態と同様の方法である。
上述したとおり、本実施形態では、撮影モード選択部71が生成するモード選択信号に応じて、パンクチャ部64は、符号化データに含まれる冗長ビットの一部を間引く。また、符号補間部72は、モード選択信号に応じて間引かれた冗長ビットが存在していた位置に「0」を補間し、補間後データを生成する。
また、ECC復号化部73は、符号補間部72が補間した「0」を誤りデータとみなして補間後データを復号化する。これにより、ECC復号化部73での誤り訂正処理においては、誤り訂正能力が間引き前と比べ低下するが、伝送部80で伝送すべきデータ量は間引き前より少なくなるため、伝送速度の向上や、伝送に用いる信号線数を減らすことができる。
また、撮影モードが「動画撮影モード」であれば、間引き数を増やすことで伝送帯域を抑えることができる。また、撮影モードが「静止画撮影モード」であれば、間引き数を減らす、もしくは、間引きしないままとすることで、静止画の全ての画素を伝送するまでに時間がかかっても伝送誤り率を抑えることができる。
また、ECC復号化部73は、誤り訂正能力以下のビット誤りを持つデータを正しい値に訂正する。また、画像処理部74は、誤り画素位置情報で示された誤ったデータを、この周囲の誤りでないデータを元に計算した値で補間する。そのため、誤り訂正能力を低くしても誤ったデータを補間することができるので、先端部60から本体部70に伝送するデータ量を減らすことができる。
また、本実施形態の内視鏡装置3では、先端部60から本体部70に伝送するデータ量を減らすことができるため、伝送部80に細径の信号線を用いることができる。そのため、伝送部80と接続している先端部60の外径も小さくすることができる。
また、ECC復号化部73によって、誤り訂正能力以下のビット誤りを持つ画素のデータは完全に訂正さる。また、誤り検出能力以下のビット誤りを持つ画素のデータは、画像処理部74によって、周囲の誤っていない画素のデータに基づいて算出された値に置き換えられる。そのため、輝点や滅点を減らすことができる。
以上より、本実施形態においては、必要に応じて伝送誤り訂正能力を可変させ、要求される画質の違いにあわせた画像の出力を行うことができる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態と第3の実施形態とで異なる点は、本実施形態の電子内視鏡装置は、先端部の種類に応じて、パンクチャ部が間引く冗長ビットが決まっており、本体部は、接続されている先端部の種類を特定し、接続されている先端部が有するパンクチャ部で間引かれた冗長ビットを補間する点である。
例えば、種類Aの先端部が有するパンクチャ部は冗長ビットの最終ビットを間引き、種類Bの先端部が有するパンクチャ部は冗長ビットの最終ビットと最終ビットから2ビット目のビットを間引く。この場合、本体部は、接続されている先端部の種類を特定し、接続されている先端部が種類Aである場合、冗長ビットの最終ビットを補間する。また、本体部は、接続されている先端部が種類Bである場合、冗長ビットの最終ビットと最終ビットから2ビット目のビットを補間する。
図11は、本実施形態における電子内視鏡装置の構成を示した概略図である。図示する例では、電子内視鏡装置4は、先端部90と、本体部100と、伝送部110とを有する。先端部90は、撮像部91と、A/D変換部92と、ECC符号化部93と、パンクチャ部94と、先端種別記憶部95とを有する。本体部100は、先端種別判別部101(判別部)と、符号補間部102と、ECC復号化部103と、画像処理部104と、表示部105とを有する。
撮像部91と、A/D変換部92と、ECC符号化部93との機能は、第3の実施形態の各部の機能と同様である。パンクチャ部94は、ECC復号化部93が付した冗長ビットのうち、先端部90の種類に応じて予め定められている特定の位置のビットを間引いて間引きデータを生成する。例えば、冗長ビットの最終のビットを間引くと予め定められている場合、パンクチャ部94は、冗長ビットの最終のビットを間引く。なお、パンクチャ部94の構成は、第3の実施形態のパンクチャ部64の構成と同様である。先端種別記憶部95は、先端部の種類を一意に特定する先端種別情報を記憶する。
伝送部110は、先端種別記憶部95が記憶する先端種別情報を先端部90から本体部100に伝送する。また、伝送部110は、先端部90から本体部100に間引きデータを伝送する。伝送部110が間引きデータを先端部90から本体部100に伝送する際、伝送途中の条件によっては伝送誤りが発生する。なお、この伝送誤りは、間引きデータ中のビットが反転することを意味する。
先端種別判別部101は、伝送部110が伝送した先端種別情報に基づいて、先端部90のパンクチャ部94が間引く冗長ビットを判別し、パンクチャ部94が間引く冗長ビットの位置を一意に特定するモード選択信号を生成する。また、先端種別判別部101は、生成したモード選択信号を符号補間部102に入力する。
符号補間部102は、間引きデータとモード選択信号とに基づいて、パンクチャ部94が間引いた冗長ビットの位置に適当なビットを追加することで補間後データを生成する。また、符号補間部102は、生成した補間後データを符号化データとしてECC復号化部103に入力する。ECC復号化部103と、画像処理部104と、表示部105の機能は、第3の実施形態における各部の機能と同様である。
上述したとおり、本実施形態では、先端部90の種類毎に、パンクチャ部94が間引く冗長ビットが定められている。そして、パンクチャ部94は、符号化データに含まれる冗長ビットのうち、予め定められている冗長ビットを間引く。また、先端種別判別部101は、接続されている先端部90の種類を判別する。そして、符号補間部102は、先端部90の種類に応じて間引かれる冗長ビットが一意に定められているため、間引かれた冗長ビットが存在していた位置に「0」を補間し、補間後データを生成する。
また、ECC復号化部103は、符号補間部102が補間した「0」を誤りデータとみなして補間後データを復号化する。これにより、ECC復号化部103での誤り訂正処理においては、誤り訂正能力が間引き前と比べ低下するが、伝送部110で伝送すべきデータ量は間引き前より少なくなるため、伝送速度の向上や信号線数を減らすことができる。
また、先端部90の種類に応じて間引く冗長ビットを予め定めることができるため、ある種類の先端部90であれば、間引き数を増やすことで伝送帯域を抑えることができる。また、他の種類の先端部90であれば、冗長ビットの間引き数を減らす、もしくは、冗長ビットの間引きを行わないとすることで、静止画の全ての画素を伝送するまでに時間がかかっても伝送誤り率を抑えることができる。このように、先端部90の特性に合わせて、冗長ビットの間引き数を設定することができる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。本実施形態と第4の実施形態とで異なる点は、本実施形態の電子内視鏡装置は、先端部の種類に応じて、用いる符号化方式が異なり、本体部は、接続されている先端部の種類を特定し、接続されている先端部が用いる符号化方式に対応した方式で復号化する点である。
例えば、種類Aの先端部が有するECC符号化部が用いる符号化方式はハミング符号であり、種類Bの先端部が有するECC符号化部が用いる符号化方式はBCH符号であるとする。この場合、本体部は、接続されている先端部の種類を特定し、接続されている先端部が種類Aである場合、ECC復号化部はハミング符号を用いて復号化する。また、本体部は、接続されている先端部が種類Bである場合、ECC復号化部はBCH符号を用いて復号化する。
図12は、本実施形態における電子内視鏡装置の構成を示した概略図である。図示する例では、電子内視鏡装置5は、先端部120と、本体部130と、伝送部140とを有する。先端部120は、撮像部121と、A/D変換部122と、ECC符号化部123と、先端種別記憶部124とを有する。本体部130は、先端種別判別部131と、ECC復号化部132と、画像処理部133と、表示部134とを有する。
撮像部121と、A/D変換部122と、先端種別記憶部124との機能は、第4の実施形態の各部の機能と同様である。ECC符号化部123は、先端部120の種類に応じて予め定められている符号化方式で、RAW画像データから符号化データを生成する。
伝送部140は、先端種別記憶部124が記憶する先端種別情報を先端部120から本体部130に伝送する。また、伝送部140は、先端部120から本体部130に符号化データを伝送する。伝送部140が符号化データを先端部120から本体部130に伝送する際、伝送途中の条件によっては伝送誤りが発生する。なお、この伝送誤りは、符号化データ中のビットを反転することを意味する。
先端種別判別部131は、伝送部140が伝送した先端種別情報に基づいて、先端部120のECC符号化部123が用いる符号化方式を判別し、この符号化方式を一意に特定するモード選択信号を生成する。また、先端種別判別部131は、生成したモード選択信号をECC復号化部132に入力する。
ECC復号化部132は、モード選択信号で一意に特定される符号化方式を用いて、符号化データに含まれる伝送誤りを、誤り訂正符号によって訂正し、復号化データと、誤り画素位置情報を生成する。画像処理部133と、表示部134の機能は、第4の実施形態における各部の機能と同様である。
上述したとおり、本実施形態では、先端部120の種類毎に、ECC符号化部123が用いる符号化方式が異なる。また、先端種別判別部131は、接続されている先端部120の種類を判別する。そして、ECC復号化部132は、先端部120の種類に応じて用いられる符号化方式が一意に定められているため、ECC符号化部123が符号化に用いた符号化方式を用いて符号化データから復号化データを生成する。
これにより、符号化データを生成する際に用いる符号化方式が異なる先端部120を複数種類使用する場合においても、1つの本体部130を共用することができる。
以上、この発明の第1の実施形態から第5の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、第1の実施形態および第3の実施形態〜第5の実施形態では、本体部と伝送部との間のデータの伝送を、伝送部を介して行っているが、第2の実施形態のように、先端部に送信部を備え、本体部に受信部を備えて無線通信を用いて伝送するようにしてもよい。