JP5534756B2 - 画像処理装置、画像処理方法、画像処理システム及びプログラム - Google Patents

Description

本発明は、撮像装置により撮像された画像に発生する特異画素の位置を表示させるための画像処理装置、画像処理システム、画像処理方法及び当該画像処理方法を実行するためのコンピュータプログラムに関する。

撮像装置が撮像した画像は複数の画素で構成され、この画素が表現する色及び濃淡により全体として画像が形成されるが、この複数の画素の中には特異画素と呼ばれる画素が存在する。特異画素とは、撮像装置中の回路や素子の異常等により所定の入力に対して予め定められた出力範囲を外れた出力を示す欠陥画素や、その他の異常又は不良の値を示す画素のことである。

特異画素は撮影画像の画質に影響を与えるため、その周辺画素の平均画素値等を用いて置換する等の方法により補正され、特異画素が補正された画像がユーザに提供される。また、特異画素は画像における異常値として抽出されるため、画像の撮像方式によってその位置が変わってしまう。特許文献１はこの点に着目して、シャッター速度によって変わる特異画素の位置を補正する技術が開示されている。

一方例えば医療分野においては、補正処理がされた特異画素があった位置を確認したいという要求がある。これは、補正処理により特異画素の画素値が変わってしまうため、元の画像を確認する必要があるからである。特許文献２には放射線画像においてユーザが選択した領域内に存在する特異画素の位置を表示する技術が開示されている。

特開２０００−１０１９２５号公報 特開２００１−８９２８号公報

ある被写体を１つの撮像方式で撮像した画像を確認しながら別の撮像方式での撮像位置やタイミングを決定するような撮影方法がある。例えば動画撮影で動く物体を観察しながら適切な位置とタイミングを見計らって高精細な静止画を撮影するような場合である。この際に、注目したい被写体の領域に特異画素が含まれないように撮像装置の位置を調整して静止画撮影をしたいという要求がある。しかしながら、従来の技術には撮像方式毎に変わる特異画素をどのように表示するかについて開示がなく、この要求に応えることができなかった。

そこで本発明の実施形態に係る画像処理装置は、撮像部により被写体を撮影するための第一の撮像方式で撮像して得られる第一の画像を取得する画像取得手段と、前記第一の撮像方式で得られる第一の画像を表示部に表示させ、かつ、被写体を撮影するための撮像方式であって該表示された第一の画像上において前記第一の撮像方式とは異なる第二の撮像方式で得られる第二の画像の特異画素の位置に対応する、該表示された第一の画像上における位置を識別可能に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、所定の撮像方式で撮像された画像の表示中に、その撮像方式とは異なる撮像方式に対応する特異画素を表示させることができる。よって、その異なる撮像方式により得られる画像の特異画素による影響を撮像前に撮影者に確認させ、調整を促すことができる。

Ｘ線撮像システムの構成図 画像処理装置の構成図 第１の実施例に係る処理の流れを示すフローチャート 第１の実施例に係る表示例を示す図 第１の実施例に係るその他の表示例を示す図 第２の実施例に係る処理の流れを示すフローチャート 第２の実施例に係る表示例と位置調整の概要を示す図

以下、本発明の実施形態を実施例１乃至３に従って説明する。なお本発明において特異画素とは異常または出力不良の画素のことであり、その周囲の画素の画素値から大きく外れた画素である。例えば画像を所定領域ごとに区切り、その区切られた各領域における画素の平均画素値から標準偏差値の所定数倍以上外れた画素を特異画素とする。以下の実施例においては、この特異画素のうち素子や回路等の異常により発生する欠陥画素を特異画素の例として説明する。

第１の実施例に係るＸ線撮像システムは、検出器１０２で撮像した画像を表示部１０３に表示する。またこのＸ線撮像システムは、検出器１０２にて撮影中の動画像を静止画像に発生する欠陥画素を動画像と共に表示する画像処理システムとして機能する。図１はＸ線撮像システムの構成を示す図である。図２は画像処理装置１０１及び検出器１０２の夫々において、ハードウェアとソフトウェアが協働して実現される機能をブロック図で示したものである。図３は、画像処理装置が行う処理の流れを示したフローチャートである。図４及び図５は、画像処理システムが図３の処理を実行することにより表示部１０３に表示される画面の例である。

図１に示されるＸ線撮像システムの構成について説明する。Ｘ線発生装置１０４は発生したＸ線を被写体に対して照射し、これと同期した検出器１０２がＸ線を検出する。検出器１０２は検出したＸ線を電荷に変換して蓄積し、これを電気信号として読み出し、所定の処理により被写体画像を形成する。この被写体画像を画像処理装置１０１が信号線である光ファイバー１０５を介して取得し、ＨＤＤ１０６の記憶領域に格納すると共に、例えば液晶ディスプレイからなる表示部１０３に表示する。

画像処理装置１０１は、ＨＤＤ１０６、ＲＯＭ１０７、ＲＡＭ１０８、ＣＰＵ１０９、マウス１１０を有しており、これらがバス１１１を介して接続されている。ＨＤＤ１０６は検出器１０２から得た画像や欠陥画素の位置などの必要な情報を格納する。ＲＯＭ１０７には後述する図２に示した機能を実現し、それら機能に図３に示される処理を行わせるためのコンピュータプログラムが格納されており、これがＲＡＭ１０８に読み込まれ、ＣＰＵ１０９により実行される。これによって、画像処理装置１０１とコンピュータプログラムが協働して図２の機能、図３の表示処理が実現できる。

上述の画像処理装置１０１がコンピュータプログラムと協働して実現される機能と、検出器１０２の機能の詳細について図２に基づいて説明する。検出器の撮像部２０１はＸ線センサからなり、被写体を透過したＸ線を電気信号に変える。撮像部２０１は、動画撮影、静止画撮影や例えば４画素を加算して読み出す加算読み出しなどの複数の撮像方式に対応している。方式選択部２０２の撮像方式の指示に応じてＸ線センサの回路駆動を変えて撮像を行う。その後周知のオフセット補正やゲイン補正を行い、画像を形成する。

抽出部２０３はこの画像の欠陥画素を抽出する。この欠陥画素の抽出は、本番の撮影が始まる前に予め抽出しておく。例えば、均一な強度のＸ線をセンサに照射して得られる白画像と呼ばれる画像から欠陥画素を抽出する。ここで欠陥画素の抽出方法は、画像を所定領域に分割し、所定領域内の画素平均値から標準偏差値の所定数倍以上離れた画素を欠陥画素とする方法を用いる。この方法は先に述べた特異画素の定義の例と同じであり、欠陥画素以外の特異画素を含み得る。欠陥画素のみの抽出を目的とする場合には、先に周知のノイズ補正等を用いて欠陥画素以外の異常値を取り除いておけばよい。なお、ここで欠陥画素以外の特異画素も抽出してしまっても画質に影響があることは変わりなく、本発明の適用に影響を与えない。

抽出した欠陥画素は抽出部２０３内の記憶部に記憶しておく。撮像方式毎に欠陥画素が異なるため、各撮像方式で撮像した白画像に対して欠陥画素を抽出しておく。補正部２０４は予め抽出しておいた欠陥画素を用いて画像の欠陥画素を補正し、補正後の画像を得る。欠陥画素の補正は、例えば隣接４画素の平均値で欠陥画素の画素値を置き換えるという方法がある。

画像処理装置１０１の画像取得部２０５は、欠陥画素の補正が行われた補正後画像を検出器１０２から取得する。画像取得部２０５は、静止画像であれば画像の撮像後に検出器１０２から画像を取得し、動画像であれば動画撮影中にリアルタイムで画像を取得する。これにより、撮像しながら撮像した映像を確認することができる。取得した映像は、画像処理装置１０１のＨＤＤ１０６に格納する。

特異画素取得部２０６は、検出器１０２にて抽出した欠陥画素の位置を撮像方式に関する情報と共に取得する。撮像方式に関する情報が必要なのは、撮像方式によって欠陥画素の位置が変わるからである。ここで欠陥画素の位置情報とは、画像全体における欠陥画素の位置を表すデータであり、例えば欠陥画素である画素を１とし、正常画素である画素を０としたビットマップ形式のデータ（以下、欠陥画素マップと呼ぶ）である。この欠陥画素マップをＨＤＤ１０６に格納する。

表示制御部２０７は、画像取得部２０５が取得した画像と共に、特異画素取得部２０６が取得した欠陥画素マップを表示させる表示用の画像データを作成する。表示の態様としては、例えば画像上に欠陥画素を重畳する表示や、欠陥画素と画像を別に表示することが考えられる。重畳して表示する際には、欠陥画素マップを参照して欠陥画素である位置には○印や×印を表示する、色を付す、点滅させるなどの表示を行う表示データを作成する。データの作成は、欠陥画素マップを参照して画素ごとにデータが１ならばその画素を上記のような強調表示を付し、０ならば特別な表示をせず動画像データをそのまま表示させる。このデータを表示部１０３に表示させることにより、後述する画面表示が実現する。

送信指示部２０８は、検出器１０２に対してどの撮像方式の画像を画像処理装置１０１に対して送信するか、及びどの撮像方式により現れる欠陥画素マップを送信するかについて指示する。例えば、動画像を送信する指示と、静止画像に現れる欠陥画素を送信する指示を行うと、検出器１０２の方式選択部２０２が指示を受信し、撮像部２０１は動画像を撮像して、その映像をリアルタイムで画像取得部に送信する。また、抽出部２０３は静止画の欠陥画素を記憶部から読み出し、特異画素取得部２０６に送信する。入力部２０９はマウス１１０などからなり、方式指示部に対してユーザの入力を伝える。

記憶部２１０は、検出器１０２から画像取得部２０５が取得した画像や、特異画素取得部２０６が取得した欠陥画素マップを記憶する。なお、例えば被写体の動画像を撮影しながら表示する場合で、その動画を録画しない場合には、その動画像の各フレーム画像はＲＡＭ１０８に入り表示部１０３に表示されるのみで、記憶部２１０には格納しなくてもよい。

上述の構成を有するＸ線撮像システムが実行する処理の流れを図３に従い説明する。この処理は画像処理装置１０１の各ハードウェア資源と、ＣＰＵ１０９に読み込まれて実行されるプログラムが協働して行われるが、説明の便宜のためにこれらハードウェアとソフトウェアの協働により実現される図２の機能ブロックを主体として説明する。

まず、送信指示部２０８がユーザの入力等に応じて、動画の撮影を指示する（ステップ３０１）。検出器１０２の方式選択部２０２は指示に従って撮像部２０１に動画の撮像を指示し、補正部２０４で動画像の欠陥画素を補正してリアルタイムで画像処理装置１０１に送信する。これに応じて画像取得部２０５は、この動画像を取得する（ステップ３０２）。動画像が取得されたことに応じて、特異画素取得部２０６は静止画の欠陥画素を取得する（ステップ３０３）。ここでは、送信指示部２０８が静止画の欠陥画素を送信するよう指示し、検出器の抽出部２０３は記憶部から静止画の欠陥画素マップを読み出す。この欠陥画素マップを特異画素取得部２０６が取得する。なおこの欠陥画素を取得するタイミングは、ユーザの入力に応じるものでも、動画像の取得と共に実行しても、動画像の表示がされたことに応じて行ってもよい。

次に表示制御部２０７は、取得した動画像と取得した静止画の欠陥画素マップに基づいて、動画像に静止画の欠陥画素マップを表示させる表示用の画像データを作成する。このデータ作成処理は、動画像と欠陥画素情報を取得後同時に行っても、予め動画像を表示させておき、そこに欠陥画素を表示する画像データを作成して行ってもよい。そして、この画像データを表示部１０３に送り、表示させる（ステップ３０４）。この表示画面の例については後述する。この表示により、動画を撮影して被写体画像を確認しながら、次に行う静止画においてどの位置に欠陥画素が現れるかを撮影者に通知することができる。撮影者はこの情報に基づいて、注目したい領域にどの程度の欠陥画素が存在するかを確認することができると共に、センサや被写体位置をどの程度調整すればよいかを知ることができる。特に、放射線撮像装置であれば、動画像を撮影して適切な位置やタイミングを見計らい、高精細な静止画を撮影するという撮影手技が定着しており、そのような場面で利用が好適である。

その後、ユーザの入力に応じて静止画の撮影を指示する（ステップ３０５）。これも送信指示部２０８が行う。指示に応じて検出器１０２は静止画撮影を実行し、その画像を画像取得部２０５が取得して、表示制御部２０７を介して表示部１０３に表示させる（ステップ３０６）。これにより、適切な静止画撮影が実現されることとなる。

図４には、ステップ３０４の処理により実現される画面表示例を示した。図４（ａ）の左側には、被写体の動画像が表示されると共に、静止画における欠陥画素の位置が黒色で塗り潰されて示されている。あるいは、色を付して分かり易くしてもよい。画面の右側にはこの表示内容についての情報が示されている。この画面表示により、動画を撮影して被写体画像を確認しながら、次に行う静止画においてどの位置に欠陥画素が現れるかを撮影者に通知することができる。図４（ｂ）には、画面左欄に欠陥画素マップを表示すると共に、画面右欄に撮影中の動画を表示する。表示される欠陥画素マップと動画のサイズを一致させてもよい。この場合には対応関係を分かり易くユーザに提示することができる。

図５には、その他の適用例を示した。ここでは、低精細の画像を表示すると共に、高精細画像に発生する欠陥画素の位置を示した。低精細の画像は撮像部にて例えば４画素加算読み出しをすることにより、低精細の画像を取得できる。４画素加算読み出しにより撮像する撮像方式で得られる画像と、画素加算なしで撮像する撮像方式により得られる欠陥画素マップとを送信するように検出器１０２に指示し、これらを重畳して表示することにより図５の画面表示が実現される。この画面表示により、低精細画像を撮影した後に高精細な画像を撮影するような撮影手技において、低精細な画像中に高精細な欠陥画素を表示させることができる。

以下実施例２を、図６及び図７を用いて説明する。本実施例では、ユーザの入力に応じて被写体画像上の領域を指定し、指定した領域内における欠陥画素とそれ以外の領域における欠陥画素の表示形式を変える。また、その領域内の欠陥画素が少なくなるように検出器の位置を調整する調整量を提示するというものである。図６は本実施例に係る処理の流れを示すフローチャートである。図７は本発明の処理の概要を示す図である。なお、本実施例では、実施例１と同様のＸ線撮像システムにより本発明を実現するものであるので、構成については説明を省略する。但しＲＯＭ１０７に格納されているプログラムは、図６に記載のフローチャートに示される処理を実行するためのプログラムである。Ｘ線撮像システムが実行する処理の流れを図６のフローチャートに従い説明する。なお、ステップ６０１から６０３まで並びに６０８及び６０９に記載の処理は、実施例１におけるステップ３０１から３０３まで並びに３０５及び３０６に記載の処理と同様であるため説明を省略する。

ステップ６０４において、表示制御部２０７は取得した動画像を表示する。ここでは、欠陥画素は表示してもしなくてもよい。次に、動画像上にてユーザの入力に応じて、動画像中の領域を指定する（ステップ６０５）。これは、例えば入力部２０９のマウス１１０を用いて画面上の領域を選択する入力に応じて行われる。指定された領域は、画面上に表示される。次に送信指示部２０８は、欠陥画素マップを送信するよう検出器１０２に指示を行う。その後、特異画素取得部２０６は指定された領域内の欠陥画素マップを取得する。表示制御部２０７は、指定された領域の欠陥画素と、指定された領域以外の領域の欠陥画素とを表示形式を変えて表示させる画像データを作成し、表示部１０３に表示させる（ステップ６０６）。表示態様としては、領域内外でマークを変える、色を変える、点滅の周期を変える、指定領域外の欠陥画素を表示しない、領域内のみ強調表示する、等の態様がある。これにより、注目したい領域の欠陥画素を強調して撮影者に提示し、注目領域内の欠陥画素について撮影者の注意を向けることができる。

次に、ユーザが入力部２０９のマウス１１０を操作して画面上の位置調整釦を押下することにより、画像処理装置１０１は指定領域内の欠陥画素の数が少なくなるように調整量を探索し、その調整量の提示を行う（ステップ６０７）。調整量の探索については、例えば予め調整量の限界値を求めておき、限界値内で調整をしたときの欠陥画素を全数探索して欠陥画素を最小値にする調整量を発見する方法が考えられる。このように提示された調整量に基づいて、位置調整を行う。位置調整は、例えば検出器１０２または不図示の被写体を物理的に移動することにより行われる。検出器１０２の移動であれば、検出器１０２を設置した架台に検出器の移動手段を設け、必要な距離だけ移動させることにより行う。これについては後述する。あるいは被写体を移動させる場合には、被写体を載せた台を自動で所定量動かすことにより行う。また、自動調整手段を設けずにユーザが手動で移動させてもよい。

図７には、画面の表示例と、位置調整の概要を示した。図７（ａ）の表示画面は、動画像が表示され、表示された動画像においてユーザの入力に応じて指定された領域が示されている。領域に含まれる欠陥画素は黒色で、それ以外の領域に含まれる欠陥画素は白色で塗り潰されて示されている。なお、図面に色彩を付すことができない関係上黒色及び白色で示しているが、実際には色を付すことでより確認がし易くなる。これにより指定された領域に含まれる欠陥画素の表示形式がそれ以外の領域の欠陥画素と異なった表示となっているため、注目したい領域の欠陥画素に対して撮影者の注意を惹くことができる。

図７（ａ）の画面上には探索された調整量が提示されている。画面表示によれば、右に３単位、下に１単位移動させればよいことが示されている。図７（ｂ）は調整量を示した図である。ユーザが画面上の位置調整釦を押下すると、画像処理装置１０１は調整量を探索して決定する。決定された調整量が右に３画素、下に１画素であったとすると、検出器の位置を不図示の架台が移動させる。移動後の画面が図７（ｃ）に示されている。画像上の指定された領域の欠陥画素がない状態となっている。このような調整を行うことにより、欠陥画素の影響が少ない静止画像を得ることができる。

以上、特異画素の例として欠陥画素を取り上げ欠陥画素についての適用例を説明してきたが、本発明の適用例はこれに限らず、同様の抽出方法により抽出されるノイズなど、その他の特異画素を対象としてもよい。

また、上記実施例においてプログラムの介在により実行される機能ブロックの一部を専用の画像処理ボードとして実装してもよい。

また、上記実施例においては特異画素を抽出する抽出部２０３、補正を行う補正部２０４を検出器１０２に備える構成としたが、本発明の実施形態はこれに限らず、抽出部や補正部を画像処理装置１０１内に備える構成としてもよい。

更に上述した実施形態の機能を実現するプログラムを、ネットワークまたは記憶媒体を介して情報処理装置又はシステムに供給してもよい。この際に、供給されたプログラムを格納してこれを読み出し実行する装置若しくはシステム、又はこのプログラム若しくは記憶媒体自体が本発明を構成することは言うまでもない。

１０１ 画像処理装置
２０５ 画像取得部
２０６ 特異画素取得部
２０７ 表示制御部

Claims (11)

1. 撮像部により被写体を撮影するための第一の撮像方式で撮像して得られる第一の画像を取得する画像取得手段と、前記第一の撮像方式で得られる第一の画像を表示部に表示させ、かつ、被写体を撮影するための撮像方式であって前記第一の撮像方式とは異なる第二の撮像方式で得られる第二の画像の特異画素の位置に対応する、該表示された第一の画像上における位置を、識別可能に表示させる表示制御手段と、を有することを特徴とする画像処理装置。
2. 前記表示制御手段は前記取得した画像に重ねて前記取得した特異画素の位置を表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記取得された画像の領域を指定する指定手段を有し、
   前記表示制御手段は前記領域の指定に応じて前記特異画素の位置の表示形式を変えることを特徴とする請求項２に記載の画像処理装置。
4. 前記取得された画像の領域を指定する指定手段と、
   前記指定された領域内に含まれる前記特異画素に応じて撮像装置の位置を調整する調整量を提示する提示手段と、
   を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第一の撮像方式とは動画を撮像する撮像方式であり、前記第二の撮像方式とは静止画を撮像する撮像方式であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第一の撮像方式とは、第一の解像度で撮像する撮像方式であり、前記第二の撮像方式とは前記第一の解像度とは異なる第二の解像度で撮像する撮像方式であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像取得手段は、前記第一の撮像方式及び前記第二の撮像方式に対応する撮像装置により撮像された画像を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. Ｘ線センサを有するＸ線検出器により第一の撮像方式で撮像して得られる第一のＸ線画像を取得する画像取得手段と、
   前記第一の撮像方式とは異なる第二の撮像方式で前記Ｘ線検出器により得られる第二のＸ線画像における特異画素の位置を取得する画素位置取得手段と、前記特異画素の位置に対応する前記第一のＸ線画像上の位置を表示させる表示制御手段と、
   を有することを特徴とするＸ線画像処理装置。
9. 撮像部により第一の撮像方式で撮像して得られる第一の画像を取得するステップと、
   前記第一の撮像方式で得られる第一の画像を表示部に表示させるステップと、
   前記第一の撮像方式とは異なる第二の撮像方式で得られる第二の画像の特異画素の位置を取得するステップと、
   前記表示された第一の画像上において前記特異画素の位置を識別可能に表示させる表示制御ステップと、
   を有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
11. 被写体を撮影して画像を得るための複数の撮像方式により撮像可能な撮像手段と、
    前記複数の撮像方式のうち１つの撮像方式により得られる画像を取得する取得手段と、
    前記複数の撮像方式のうち前記１つの撮像方式とは異なる撮像方式により撮像した際に発生する特異画素の位置を抽出して取得する抽出手段と、
    前記１つの撮像方式で得られる第一の画像を表示部に表示させ、かつ該表示された第一の画像上において前記特異画素の位置に対応する位置を識別可能に表示する表示手段と、
    を有することを特徴とする画像処理システム。

Images