JP5625342B2 - 画像処理方法、画像処理装置、プログラム - Google Patents

画像処理方法、画像処理装置、プログラム Download PDF

Info

Publication number
JP5625342B2
JP5625342B2 JP2009281059A JP2009281059A JP5625342B2 JP 5625342 B2 JP5625342 B2 JP 5625342B2 JP 2009281059 A JP2009281059 A JP 2009281059A JP 2009281059 A JP2009281059 A JP 2009281059A JP 5625342 B2 JP5625342 B2 JP 5625342B2
Authority
JP
Japan
Prior art keywords
image
focus
focus plane
magnification
blur compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009281059A
Other languages
English (en)
Other versions
JP2011123311A5 (ja
JP2011123311A (ja
Inventor
丈士 上森
丈士 上森
央ニ 中神
央ニ 中神
北村　卓也
卓也 北村
矢ケ崎　陽一
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009281059A priority Critical patent/JP5625342B2/ja
Priority to US12/958,950 priority patent/US8929670B2/en
Priority to CN2010105695935A priority patent/CN102096932B/zh
Publication of JP2011123311A publication Critical patent/JP2011123311A/ja
Publication of JP2011123311A5 publication Critical patent/JP2011123311A5/ja
Application granted granted Critical
Publication of JP5625342B2 publication Critical patent/JP5625342B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Description

本発明は、画像データの圧縮符号化、復号を行う画像処理方法、画像処理装置、プログラムに関する。
画像データを取得することの可能な顕微鏡装置と、その画像データを処理するコンピュータとを備えたバーチャル顕微鏡システムにより、標本が載っているスライドガラス全体を撮影し、デジタル画像として保存・表示することが行われる。このバーチャル顕微鏡システムにおいて、実際の顕微鏡と同等以上の操作性を実現することが期待されている。
その期待される操作の一つとしては、実際の顕微鏡のように、微動焦点ねじを回してフォーカスの位置を変えることによって、任意のフォーカス面を観察することを可能にする操作である。これは、被写界深度の非常に浅い顕微鏡光学系を用いて厚みのある試料を観察するのに必要な操作である。特に、病理診断の分野において、診断医がフォーカスを変えて観察することによって細胞の立体感を把握するのに役立つ。
バーチャル顕微鏡システムでは、その操作を実現するためには、試料を複数のフォーカス位置で撮像することによって得られた画像（以下「フォーカス面画像」と呼ぶ。）のデータが必要となる（図１参照）。このため、１つの試料から得られた画像データの全体の容量が大きくなる。そこでバーチャル顕微鏡システムでは、画像データを圧縮することが行われる。
例えば、特許文献１では、複数のフォーカス面画像に対して、隣接し合うフレーム間の差分をとるフレーム間符号化を用いた圧縮方法が示されている。さらに、基準となるフォーカス面を決め、光学パラメータと基準フォーカス面からのZ座標変位で決まるボケ変化を利用したボケ補償予測を用いて圧縮することについても触れられている。
また、バーチャル顕微鏡システムにおいて実現が期待されるもう１つの操作として、観察像の倍率の高速な切り替えがある。実際の顕微鏡では，まず低倍率のレンズでスライドガラス全体を見渡し，順次高倍率のレンズに切り替えて観察の詳細度を上げていくことが一般である。典型的なバーチャル顕微鏡システムでは、撮像された元の画像データから解像度を段階的に下げた複数の異なる解像度の画像データ（図２参照）を生成してこれらを保存しておき、ユーザからの任意の解像度と画像の表示範囲の指定に従って該当する画像データを読み出して表示することとしていることが一般である。
特開２００７−１１９７７号公報
しかしながら、特許文献１に開示されるようなフレーム間符号化方式では、符号化／復号の処理量、特に参照画像の符号化／復号の処理量が膨大となり、画像の観察による診断の効率に響くおそれがある。さらに、符号化／復号時に参照画像を保持しておくための大量のメモリを必要とし、コストの増加を招く。また、上記の典型的なバーチャル顕微鏡システムのように、解像度の異なる画像がフォーカス面毎に必要となると、やはり全体の画像データ量が膨大なものとなる。
また、特許文献１のフレーム間符号化方式解像度毎の画像データ圧縮に採用された場合、任意の解像度及びフォーカス位置のフォーカス面画像を復号するためには、その前に、同じ解像度で、かつフォーカス方向で隣接するフォーカス面画像を復号する必要がある。このため、任意のフォーカス面画像の復号が完了するまでに時間がかかり、実用性に欠く。
さらに、解像度の異なる画像間で予測符号化を行う方式も考えられる。しかしこの場合、任意の解像度及びフォーカス位置のフォーカス面画像を復号するためには、その前に、そのフォーカス位置において参照面とされた解像度のフォーカス面画像を復号する必要がある。したがって、この場合も、任意のフォーカス面画像の復号が完了するまでに時間がかかる、という課題がある。以上のことから、より効率の良い圧縮方式が求められている。
本発明は、上記課題に鑑みて、複数のフォーカス位置毎の複数の解像度の画像データを高い圧縮率で符号化することのできる画像処理方法、画像処理装置、プログラムを提供することを目的とするものである。
また、本発明の別の目的は、複数のフォーカス位置毎の複数の解像度の画像データを効率的に復号することのできる画像処理方法、画像処理装置、プログラムを提供することを目的とするものである。
上記目的を達成するため、本発明の一形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する。
本発明では、縮小された基準フォーカス面画像とフォーカス位置毎の差分データを圧縮符号化の結果として得ることができる。したがって、各フォーカス位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。さらに、参照画像に低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
前記倍率間ボケ補償予測は、拡大フィルタとボケ補償フィルタを用いて行われる。
前記倍率間ボケ補償予測は、複数の基準フォーカス面画像から行われることとしてもよい。これにより、倍率間ボケ補償予測の精度を向上することができ、圧縮効率を高められる。また、ピントの合うフォーカス面が複数あった場合でも高精度に予測を行うことができる。
本発明の別の形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体をステレオ撮像して得られた複数のフォーカス面画像ステレオ対の一方を基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から第１の倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方との差分データを生成し、前記縮小された基準フォーカス面画像から第２の倍率間ボケ補償予測により、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の差分データを符号化結果として出力する。
本発明では、フォーカス面画像ステレオ対の一方の縮小基準フォーカス面画像と、フォーカス位置毎のフォーカス面画像ステレオ対の差分データを圧縮符号化の結果として得ることができる。したがって、各フォーカス位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。さらに、参照画像に低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
本発明の別の形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得し、前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号し、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス位置毎の各差分データとを足し合わせて前記フォーカス位置毎のフォーカス面画像を復元する。
各フォーカス位置のフォーカス面画像の復元に必要な参照画像の復号が一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
本発明の別の形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体をステレオ撮像して得られた複数のフォーカス面画像ステレオ対の一方を基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から第１の倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方との差分データを生成し、前記縮小された基準フォーカス面画像から第２の倍率間ボケ補償予測により、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得し、前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号し、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の前記フォーカス面画像ステレオ対の一方の第１の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された第１の倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス面画像ステレオ対の一方とを足し合わせて、前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方のフォーカス面画像を復元し、前記生成された前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像から、倍率間ボケ補償予測により、前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方の第２の倍率間ボケ補償予測画像を生成し、前記生成された第２の倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス面画像ステレオ対の他方とを足し合わせて、前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方のフォーカス面画像を復元する。
各フォーカス位置のフォーカス面画像ステレオ対の復元に必要な参照画像の復号が一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
本発明の別の形態に係る情報処理装置は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小する縮小部と、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成する第１の倍率間ボケ補償予測部と、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成する差分データ生成部と、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する出力部とを具備する。
本発明の別の形態に係る情報処理装置は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得する取得部と、
前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号する基準フォーカス面画像復号部と、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成する第２の倍率間ボケ補償予測部と、前記生成された倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス位置毎の各差分データとを足し合わせて前記フォーカス位置毎のフォーカス面画像を復元する復元部とを具備する。
本発明の別の形態に係るプログラムは、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小する縮小部と、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成する第１の倍率間ボケ補償予測部と、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成する差分データ生成部と、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する出力部としてコンピュータを動作させる。
本発明の別の形態に係るプログラムは、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得する取得部と、
前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号する基準フォーカス面画像復号部と、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成する第２の倍率間ボケ補償予測部と、前記生成された倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス位置毎の各差分データとを足し合わせて前記フォーカス位置毎のフォーカス面画像を復元する復元部としてコンピュータを動作させる。
本発明によれば、複数のフォーカス位置毎の複数の解像度の画像データを高い圧縮率で符号化することができる。また、複数のフォーカス位置毎の複数の解像度の画像データを効率的に復号することができる。
フォーカス面画像について説明する図である。 フォーカス面画像のピラミッド構造について説明する図である。 本発明の第１の実施形態の符号化方式を説明するための図である。 本発明の第１の実施形態の符号化の手順を示す図である。 本発明の第１の実施形態の復号の手順を示す図である。 本発明の第３の実施形態の符号化方式を説明するための図である。 本発明の第４の実施形態を説明する図である。 本発明の第５の実施形態を説明する図である。 本発明の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１の実施形態＞
［１．画像データについて］
はじめに、画像データについて説明する。
図１は、フォーカス面画像について説明する図である。
図示しない顕微鏡に設けられた撮像手段によって、例えば、２枚のスライドガラス１，１の間に保持された試料（被写体）２に対して、光学系のフォーカスの位置を図中Ｚ軸方向に例えば一定距離ずつずらしてゆき、その都度、所定の解像度で撮像されたそれぞれの被写界深度毎の画像Ｉを「フォーカス面画像Ｉ」と呼ぶこととする。このような処理は「バーチャルスライド化」と呼ばれる。
図２は上記の方法で撮像されたフォーカス面画像のピラミッド構造について説明する図である。同図において、横軸はフォーカス方向軸（以下「Ｚ軸」と記述する。）、縦軸は倍率（解像度）方向軸（以下「Ｍ軸」と記述する。）である。図２において、Ｉ（ｚ，ｍ）はＺ軸方向においてｚ，Ｍ軸方向においてｍで特定される画像を表す。一般的には、それぞれのフォーカス面画像Ｉ（ｚ，ｍ）は、撮像された最大解像度の画像データＩ（ｚ，０）から解像度を段階的に下げた様々な解像度の画像データＩ（ｚ，１）、Ｉ（ｚ，２）、Ｉ（ｚ，３）を生成し、これらを階層状に設定したピラミッド構造を有する。
［２．本実施形態の符号化方式］
図３は、本実施形態の符号化方式の概要を説明するための図である。同図において、横軸はＺ軸，縦軸はＭ軸である。ここでは、説明の簡単のため、フォーカス面画像Ｉ（ｚ，ｍ）が２階層で構成され、下の階層を高倍率のフォーカス面画像Ｉ（ｚ，０）、上の階層を低倍率のフォーカス面画像Ｉ（ｚ，１）とする。
高倍率のフォーカス面画像Ｉ（ｚ，０）は、実際の撮影画像である。この場合、例えば60480×40320[pixel]という非常に高解像度の画像である。高倍率のフォーカス面画像Ｉ（ｚ，０）の数は数十枚程度である。低倍率のフォーカス面画像Ｉ（ｚ，１）は、上記の高倍率のフォーカス面画像Ｉ（ｚ，０）の中から所定の基準に従って選択された１つのフォーカス面画像を、例えばLanczosなどの周知のフィルタを用いて縮小したものである。任意のｍにおける画像の縮小率は以下にように表わすものとする。
縮小率：Mag=2
任意のｍにおける画像の縮小サイズ：(1/Mag)^M
縮小率は予測精度とコンピュータによる計算という両面から考えると１／２が望ましいが、１／４や１／８、それ以上の縮小率を選んでもよい。
フォーカス面画像群において同じ倍率の複数のフォーカス面画像は、同じ観察ポイントの画像であるため互いに一定の相関を有する。例えば、ピントの合うフォーカス面が一枚（一平面）だとした場合、そのフォーカス面を基準に式（３）で表現される点広がり関数を用いてボケ変化をモデル化できる。また、倍率の異なるフォーカス面画像間にも一定の相関があり、高倍率のフォーカス面画像Ｉ（ｚ，０）と、低倍率のフォーカス面画像Ｉ（ｚ，１）を式（１）で表現される例えばLanczosなどの周知のフィルタで拡大した画像とは互いに相関を有する。本実施形態の符号化方式は、これらフォーカス面画像間の相関性と倍率の異なるフォーカス面画像間の相関性を利用して、高い圧縮率でのデータ圧縮を実現するものである。
［３．符号化方式の詳細］
次に、本実施形態の符号化方式の詳細を説明する。
本実施形態では、上記のフォーカス面画像間の相関性と倍率の異なるフォーカス面画像間の相関性を利用した符号化処理を、図９に示す典型的な構成を有するコンピュータ１００上で、ＣＰＵ１０１がメインメモリであるＲＡＭ１０２にロードされたプログラムに従って実行する。
プログラムは、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小するモジュール（縮小部）と、縮小された基準フォーカス面画像から倍率間ボケ補償予測により、基準フォーカス面画像より高倍率の、複数のフォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成するモジュール（予測部）と、生成されたフォーカス位置毎の倍率間ボケ補償予測画像とフォーカス位置毎のフォーカス面画像との差分データを生成するモジュール（差分データ生成部）と、縮小された基準フォーカス面画像とフォーカス位置毎の各差分データを符号化結果として出力するモジュール（出力符号化部）としてコンピュータ１００を動作させる。

図４は、符号化の手順を示す図である。
はじめに、ＣＰＵ１０１は、高倍率のフォーカス面画像Ｉ（ｚ，０）の中から、ピントが最も合っているフォーカス面画像を基準フォーカス面画像として選ぶ（ステップＳ１０１）。ここでは基準フォーカス面画像をＩ（０，０）とする。ピントが最も合っているフォーカス面画像を判定する方法としては、例えば、撮影したすべてのフォーカス面画像のエッジ周辺のコントラスト強度を調べ、その中で最もコントラスト強度の高いフォーカス面画像を基準フォーカス面画像として判定する、という方法が挙げられる。これ以外にも、既知の焦点フレーム検出技術を用いて基準フォーカス面画像を判定するようにしてもよい。
次に、ＣＰＵ１０１は、基準フォーカス面画像Ｉ（０，０）を例えばLanczosなどの周知のフィルタを用いて縮小し、縮小基準フォーカス面画像Ｉ（０，１）を生成する（ステップＳ１０２）。このときの縮小率が大きいほど、参照画像を復号するときの処理量およびそれを保持するメモリサイズを少なくすることができる。
次に、ＣＰＵ１０１は、縮小基準フォーカス面画像Ｉ（０，１）から倍率間ボケ補償予測を行い、高倍率の任意Ｚ位置の倍率間ボケ補償予測画像Ｉpred（ｚ，０）を生成する（ステップＳ１０３）。
倍率間ボケ補償予測は、周知の様々な拡大フィルタと、下記のボケを考慮した点広がり関数（Point Spread Function:PSF）で表わされるボケ補償フィルタを、縮小基準フォーカス面画像Ｉ（０，１）に畳み込むことによって行われる。
例えば、拡大フィルタに以下で定義されるLanczosを用いるとする。
Figure 0005625342
 ここで、nは正の整数であり、一般的にはｎ＝２またはｎ＝３である。
ボケ補償フィルタは、予め測定しておいた顕微鏡の光学パラメータと縮小基準フォーカス面画像からのＺ位置変位で決まる許容錯乱円半径Ｒを用いて、以下の点広がり関数（Point Spread Function:PSF）で表わされる。
Figure 0005625342
ここで、Z_pitchはフォーカス方向における撮影間隔であり、数um程度である。また、ｚ0は基準フォーカス面のＺ位置であり、図３の例では、ｚ0＝０である。そして、α、βは光学系と撮像素子の関係から定まる係数である。
Figure 0005625342
ここで、πは円周率、（ｘ，ｙ）はフィルタの座標、（ｘ０，ｙ０）はフィルタの中心座標である。
したがって、任意のＺ位置フォーカス面の倍率間ボケ補償予測画像Ｉpred（ｚ，０）は、以下のように表わされる。
Figure 0005625342
最後に、ＣＰＵ１０１が、式（５）に示されるように、倍率間ボケ補償予測画像Ｉpred（ｚ，０）と圧縮したいフォーカス面画像Ｉ（ｚ，０）との差分をとり、差分データΔ（ｚ，０）を生成する（ステップＳ１０４）。
Figure 0005625342
図３では、差分データを白抜きの四角形で表わし、画像データを塗りつぶしの四角形で表わした。
また、この差分データに対し、周波数変換および可逆圧縮技術などの周知の様々な符号化方式を適用することによって、さらなる高圧縮が可能となる。
ＣＰＵ１０１は、縮小基準フォーカス面画像Ｉ（０，１）と差分データΔ（ｚ，０）を画像の圧縮符号化の結果として、記憶部１０８（図９）に保存したり、通信部１０９（図９）を通じて外部に通信するなど、出力する。
［４．復号方式の詳細］
次に、本実施形態の復号方式の詳細を説明する。
本実施形態では、上記のフォーカス面画像間の相関性と倍率の異なるフォーカス面画像間の相関性を利用して符号化された画像データを復号する処理を、図９に示す典型的な構成を有するコンピュータ１００上で、ＣＰＵ１０１がメインメモリであるＲＡＭ１０２にロードされたプログラムに従って実行する。
プログラムは、符号化結果の中の前記縮小された基準フォーカス面画像を復号するモジュール（基準フォーカス面画像復号部）と、復号された基準フォーカス面画像から倍率間ボケ補償予測により、基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成するモジュール（第２の倍率間ボケ補償予測部）と、生成された倍率間ボケ補償予測画像と符号化結果の中のフォーカス位置毎の各差分データとを足し合わせてフォーカス位置毎のフォーカス面画像を復元するモジュール（復元部）としてコンピュータ１００を動作させる。
図５は、復号の手順を示す図である。
任意のＺ位置のフォーカス面画像を復号するためには、まずＣＰＵ１０１が、参照画像である縮小基準フォーカス面画像Ｉ（０，１）を復号する（ステップＳ２０１）。
次に、ＣＰＵ１０１は、縮小基準フォーカス面画像Ｉ（０，１）に対し、式（１）で示したLanczosなどの周知の拡大フィルタと、式（３）で示したボケ補償フィルタを畳み込むことによって倍率間ボケ補償予測画像Ｉpred（ｚ，０）を生成する（ステップＳ２０２）。そして、ＣＰＵ１０１は、倍率間ボケ補償予測画像Ｉpred（ｚ，０）に差分データΔ（ｚ，０）を足し込むことで任意のフォーカス面画像Ｉ（ｚ，０）を復元する（ステップＳ２０３）。
以上のように、本実施形態によれば、符号化されたデータは、参照画像としての１つの低倍率のフォーカス面画像と、それより高い倍率の各Ｚ位置のフォーカス面画像についての差分データだけとなる。したがって、各Ｚ位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。
また、本実施形態によれば、各Ｚ位置のフォーカス面画像の復元に必要な参照画像の復号および倍率間ボケ補償予測がそれぞれ一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
さらに、参照画像に、低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。
第１の実施形態では、倍率間ボケ補償予測を行うとき、縮小基準フォーカス面画像Ｉ（０，１）に、式（１）で示したLanczosなどのような拡大フィルタの畳み込みと式（３）で示したボケ補償フィルタの畳み込みを個別に行うこととした。これに限らず、以下の式（６）（７）のように、あらかじめ拡大フィルタとボケ補償フィルタを足し合わせたフィルタ（ＭＰＳＦ）を用意しておき、これを縮小基準フォーカス面画像Ｉ（０，１）に畳み込むようにしてもよい。この方式によれば、倍率間ボケ補償予測を行うときの計算処理量を削減することができる。
Figure 0005625342
Figure 0005625342
このとき、1/Magに縮小された画像の許容錯乱円半径はMag倍になる。このことを考慮すると、点広がり関数（PSF）に用いる許容錯乱円半径を1/Mag倍にしておく必要がある。
このように倍率間ボケ補償予測を行うことにより、予測処理に必要な計算量の削減が期待できる。
＜第３の実施形態＞
次に、本発明の第３の実施形態を説明する。
明視野顕微鏡などの観察像は、一般的に被検物が透けて見えるため、複数の被検物が重なりあったり、被検物の構造によってはピントの合う位置が一つのフォーカス面上にあるとは限らなかったり、あるいは複数の被検物が点在していてそれぞれピントの合うフォーカス面が異なったりする場合がある。
そこで、第３の実施形態では、ＣＰＵ１０１が、複数の縮小基準フォーカス面画像から倍率間ボケ補償予測を行い、高倍率の任意Ｚ位置のフォーカス面画像Ｉ（ｚ，０）を予測する。これにより、倍率間ボケ補償予測の精度を向上することができ、圧縮効率を高められる。
次に、この複数の縮小基準フォーカス面画像からの倍率間ボケ補償予測の詳細を説明する。図６は、本実施形態の符号化方式の概要を説明するための図である。
まず、ＣＰＵ１０１が、ピントがより合っている複数の高倍率フォーカス面画像を基準フォーカス面画像として選ぶ。図６の例では、Ｚ＝−３、０、３の３つのフォーカス面画像が基準フォーカス面画像Ｉ（−３，０）、Ｉ（０，０）、Ｉ（０，３）として選ばれたこととする。
次に、ＣＰＵ１０１は、複数の基準フォーカス面画像（−３，０），Ｉ（０，０），Ｉ（０，３）を例えばLanczosなどの周知のフィルタを用いて縮小し、縮小基準フォーカス面画像Ｉ（−３，１），Ｉ（０，１），Ｉ（３，１）を生成する。
次に、ＣＰＵ１０１は、複数の縮小基準フォーカス面画像Ｉ（−３，１）、Ｉ（０，１）、Ｉ（３，１）から倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像Ｉpred（ｚ，０）を生成する。ここで、複数の縮小基準フォーカス面画像Ｉ（−３，１）、Ｉ（０，１）、Ｉ（３，１）から倍率間ボケ補償予測は、具体的には次のようにして行われる。
Ｉ（１，０）のフォーカス面画像を予測する場合を考える。この場合、ＣＰＵ１０１は、その予測対象であるフォーカス面画像Ｉ（１，０）の近傍２枚の縮小基準フォーカス面画像Ｉ（０，１）、Ｉ（３，１）に拡大フィルタとボケ補償フィルタを畳み込む。あるいは、第２の実施形態で説明したフィルタ（ＭＰＳＦ）を畳み込む。このとき、それぞれの縮小基準フォーカス面画像からの予測値を、式（８）のように距離比に応じて足し合わせる。このようにしてフォーカス面画像Ｉ（１，０）の最終的な倍率間ボケ補償予測画像Ｉpred（１，０）が生成される。
Figure 0005625342
以上のように、本実施形態によれば、複数の縮小基準フォーカス面画像から予測することで、ピントの合うフォーカス面が複数あった場合でも高精度に予測を行うことができる。
＜第４の実施形態＞
次に、本発明の第４の実施形態を説明する。
実際の顕微鏡のように、表示画像の倍率（解像度）のスムーズな変更操作を実現するためには、図２に示したように、様々な倍率の画像データをあらかじめ保存しておき、その中から、ユーザにより指定された倍率の画像データを読み込むことが普通である。しかしこの場合、倍率の種類が多くなればなるほど全体としての画像データ量が膨大となり、これらを保存するために大容量の記憶部を要することとなる。
以上説明した実施形態を応用すれば、図７に示すように、一枚の最低倍率の画像と、それより高い様々な倍率のフォーカス面画像に対する差分データを保存するだけで済む。
そこで次に、本発明の第４の実施形態として、上記の一枚の最低倍率の画像と、それより高い様々な倍率のフォーカス面画像に対する差分データを作成する動作を説明する。
図７において、横軸はＺ軸，縦軸はＭ軸である。Ｉ（ｚ，ｍ）はＺ軸方向においてｚ、Ｍ軸方向においてｍで特定される画像を表す。最低倍率の画像は、ＣＰＵ１０１が最高倍率のフォーカス面画像の中から最もピントが合っている基準フォーカス面画像を選択し、この基準フォーカス面画像を最低倍率（例えば１／８）まで縮小することによって得られたものである。
ＣＰＵ１０１は、最低倍率画像Ｉ（０，３）から、次に低い倍率（例えば１／４）の任意Ｚ位置の倍率間ボケ補償予測画像を倍率間ボケ補償予測により予測し、それぞれの倍率間ボケ補償予測画像と、圧縮したいフォーカス面画像Ｉ（−１，２）、Ｉ（０，２）、Ｉ（１，２）との差分をそれぞれとって、差分データΔ（−１，２）、Δ（０，２）、Δ（１，２）を生成する。
続いて、ＣＰＵ１０１は、最低倍率の画像Ｉ（０，３）の倍率間ボケ補償予測画像と差分データΔ（０，２）とからフォーカス面画像Ｉ（０，２）を復元する。ＣＰＵ１０１は、復元したフォーカス面画像Ｉ（０，２）から、次に低い倍率（例えば１／２）の任意Ｚ位置の倍率間ボケ補償予測画像を倍率間ボケ補償予測により予測し、それぞれの倍率間ボケ補償予測画像と、圧縮したいフォーカス面画像Ｉ（−２，１）、Ｉ（−１，１）、Ｉ（０，１）、Ｉ（１，１）、Ｉ（２，１）との差分をそれぞれとって、差分データΔ（−２，１）、Δ（−１，１）、Δ（０，１）、Δ（１，１）、Δ（２，１）を生成する。
続いて、ＣＰＵ１０１は、フォーカス面画像Ｉ（０，２）の倍率間ボケ補償予測画像と差分データΔ（０，１）とからフォーカス面画像Ｉ（０，１）を復元する。ＣＰＵ１０１は、復元したフォーカス面画像Ｉ（０，１）から、次に低い倍率（最高倍率）の任意Ｚ位置の倍率間ボケ補償予測画像を倍率間ボケ補償予測により予測し、それぞれの倍率間ボケ補償予測画像と、圧縮したいフォーカス面画像Ｉ（−３，０）、Ｉ（−２，０）、Ｉ（−１，０）、Ｉ（０，０）、Ｉ（１，０）、Ｉ（２，０）、Ｉ（３，０）との差分をそれぞれとって、差分データΔ（−３，０）、Δ（−２，０）、Δ（１，０）、Δ（０，０）、Δ（１，０）、Δ（２，０）、Δ（３，０）を生成する。
以上のようにして、一枚の最低倍率の画像から、各倍率のフォーカス面画像の差分データが得られ、記憶部に保存される。これにより、各倍率の画像データがＪＰＥＧなどの一般的な圧縮方式で圧縮して保存される場合に比べ、保存される画像データ量を大幅に低減できる。
また，画像を縮小することで焦点深度が深くなり、ピントの合う範囲（被写界深度）が広くなる。例えば、画像を1/ Magに縮小した場合には焦点深度がMag倍になる。そのため、低倍率の階層において隣接するフォーカス面画像同士はほぼ同じとなるので、すべての倍率のすべてのＺ位置のフォーカス面画像について差分データを作成し保存する必要はない。
図７では、このような観点から一部のフォーカス面画像の保存が省かれた場合を示している。ここで点線で示される四角は、差分データが保存されていないフォーカス面画像を示している。その中で、Ｉ（−３，３）、Ｉ（−２，３）、Ｉ（−１，３）、Ｉ（１，３）、Ｉ（２，３）、Ｉ（３，３）の画像の表示にはＩ（０，３）の画像が代用される。同様に、Ｉ（−３，２）、Ｉ（−２，２）の画像の表示にはＩ（−１，２）の画像が、Ｉ（２，２）、Ｉ（３，２）の画像の表示にはＩ（１，２）の画像が、Ｉ（−３，１）の画像としてＩ（−２，１）の画像が、そしてＩ（３，１）の画像の表示にはＩ（２，１）の画像がそれぞれ代用される。このことによって、保存される全体の画像データ量をより一層低減できる。
＜第５の実施形態＞
次に、本発明の第５の実施形態を説明する。
本実施形態は、Ｚ軸方向でのフォーカス面画像間での相関および倍率の異なるフォーカス面画像間での相関に加え、ステレオ画像（視差画像）間の相関を利用して、ステレオカメラやマルチアレイカメラなどで撮像されたステレオ画像データを効率的に圧縮する技術に関するものである。かかる技術は、例えば、顕微鏡に取り付けられた１眼カメラで、ＸＹ座標をずらしながら撮影したステレオ対のフォーカス面画像や、２眼カメラで撮影したステレオ対のフォーカス面画像を圧縮する場面で有効に用いられる。
以下、本実施形態においてステレオ画像データを圧縮する動作を説明する。
図８は、本実施形態の動作を説明するための図である。同図において、横軸は視差方向の軸Ｄ、奥行き方向はＺ軸，縦軸はＭ軸である。座標中の任意の位置における画像I（ｄ、ｚ，ｍ）は、視差方向においてｄ、Ｚ軸方向においてｚ，Ｍ軸方向においてｍで特定される画像を表す。なお、ステレオ画像データの場合、ｄの値は０または１である。したがって、左目用の各画像はＩ（０，ｚ，ｍ）、右目用の各画像はＩ（１，ｚ，ｍ）で表される。
まず、ＣＰＵ１０１が、ピントがより合っている、左右どちらか一方の基準フォーカス面画像を選ぶ。ここでは、仮に、左目用（ｄ＝０）で、ｚ＝１である画像Ｉ（０，１，１）が基準フォーカス面画像として選ばれたこととする。
次に、ＣＰＵ１０１は、その左目用の基準フォーカス面画像Ｉ（０，１，１）を、例えばLanczosなどの周知のフィルタを用いて縮小し、縮小基準フォーカス面画像Ｉ（０，１，１）を生成する。
次に、ＣＰＵ１０１は、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）から倍率間ボケ補償予測を行い、左目用の任意Ｚ位置の倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）を生成する。
次に、右目用のフォーカス面画像の予測方法を説明する。
視差間の予測を行う際には、参照画像の空間位置をシフトさせる操作が用いられる（文献：ITU-T H.264 Annex H Multiview video coding等）。
式（９）に、画像Ｔを空間ｘｙ方向に（ａ，ｂ）だけシフトさせた画像Ｔ’を得る操作を表す。
T’= Shift(T,a,b) 式（９）
ＣＰＵ１０１は、この操作を用いて、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）から、任意の右目用のフォーカス面画像Ｉ（１，ｚ，０）の倍率間ボケ補償予測画像Ｉpred（１，ｚ，０）を生成する。この予測の操作を式（１０）に表す。
Figure 0005625342
なお、Ｉ（１，１，１）の右目用の基準フォーカス面画像については，上記の文献に記載される技術により左目用の基準フォーカス面画像Ｉ（０，１，１）から予測により得てもよいが、基準フォーカス面画像Ｉ（０，１，１）と同じ倍率のＩ（０，１，２）やＩ（０，１，３）など、他の左目用のフォーカス面画像から予測されてもよい。
次に、ＣＰＵ１０１が、左右のフォーカス面画像（ｄ，ｚ，０）について、倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）との差分をとり、差分データΔ（ｄ，ｚ，０）を生成する。
ＣＰＵ１０１は、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）と差分データΔ（ｄ，ｚ，０）を画像の圧縮符号化の結果として、記憶部１０８（図９）に保存したり、通信部１０９（図９）を通じて外部に通信するなど、出力する。
次に、本実施形態の復号化装置により復号された画像データの復号方法について説明する。
はじめに、ＣＰＵ１０１が、参照画像である基準フォーカス面画像Ｉ（０，１，１）を復号する。
次に、ＣＰＵ１０１は、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）に対し、式（１）で示したLanczosなどの周知の拡大フィルタと、式（３）で示したボケ補償フィルタを畳み込むことによって倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）を生成する。そして、ＣＰＵ１０１は、倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）に差分データΔ（０，ｚ，０）を足し込むことで、左目用の任意Ｚ位置のフォーカス面画像Ｉ（０，ｚ，０）を復元する。
続いて、ＣＰＵ１０１は、左目用の倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）から、式（１０）を用いて右目用の倍率間ボケ補償予測画像Ｉpred（１，ｚ，０）を生成する。そして、ＣＰＵ１０１は、この右目用の倍率間ボケ補償予測画像Ｉpred（１，ｚ，０）に差分データΔ（１，ｚ，０）を足し込むことで、右目用の任意Ｚ位置のフォーカス面画像Ｉ（１，ｚ，０）を復元する。
以上のように、本実施形態によれば、符号化されたデータは、参照画像としての左右いずれか一方の低倍率のフォーカス面画像と、それより高い倍率の左右の各Ｚ位置のフォーカス面画像についての差分データだけとなる。したがって、左右の各Ｚ位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。
また、本実施形態によれば、左右の各Ｚ位置のフォーカス面画像の復元に必要な参照画像の復号および倍率間ボケ補償予測がそれぞれ一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
さらに、参照画像に、低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
なお、マルチアレイカメラ画像の場合は、dの範囲に制約はないが、同等の処理で実現可能である。
［情報処理装置のハードウェア構成］
図９は、本発明の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
記憶部１０８は、不揮発性メモリであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
なお、本発明は、上記した実施形態に限定されず、発明の要旨を逸脱しない範囲で種々
の変更が可能である。
１００ コンピュータ
１０１ ＣＰＵ
１０２ ＲＡＭ
１０８ 記憶部

Claims (3)

  1. 複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像の基準となる複数の基準フォーカス面画像を縮小し、
    前記縮小された複数の基準フォーカス面画像に基づいて倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像を前記フォーカス位置毎に生成し、
    前記生成された倍率間ボケ補償予測画像と前記フォーカス面画像との差分データを、前記フォーカス位置毎に生成し、
    前記縮小基準フォーカス面画像と前記差分データとを符号化する画像処理方法。
  2. 複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像の基準となる複数の基準フォーカス面画像を縮小する縮小部と、
    前記縮小された複数の基準フォーカス面画像に基づいて倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像を前記フォーカス位置毎に生成する予測部と、
    前記予測部により生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを、前記フォーカス位置毎に生成する差分データ生成部と、
    前記縮小された複数の基準フォーカス面画像と前記差分データ生成部により生成されたフォーカス位置毎の各差分データを符号化する出力符号化部と
    を具備する画像処理装置。
  3. 複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像の基準となる複数の基準フォーカス面画像を縮小する縮小部と、
    前記縮小された複数の基準フォーカス面画像に基づいて倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像を前記フォーカス位置毎に生成する予測部と、
    前記予測部により生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを、前記フォーカス位置毎に生成する差分データ生成部と、
    前記縮小された複数の基準フォーカス面画像と前記差分データ生成部により生成されたフォーカス位置毎の各差分データを符号化する出力符号化部
    としてコンピュータを動作させるプログラム。
JP2009281059A 2009-12-10 2009-12-10 画像処理方法、画像処理装置、プログラム Expired - Fee Related JP5625342B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009281059A JP5625342B2 (ja) 2009-12-10 2009-12-10 画像処理方法、画像処理装置、プログラム
US12/958,950 US8929670B2 (en) 2009-12-10 2010-12-02 Image processing method and image processing apparatus
CN2010105695935A CN102096932B (zh) 2009-12-10 2010-12-02 图像处理方法和图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009281059A JP5625342B2 (ja) 2009-12-10 2009-12-10 画像処理方法、画像処理装置、プログラム

Publications (3)

Publication Number Publication Date
JP2011123311A JP2011123311A (ja) 2011-06-23
JP2011123311A5 JP2011123311A5 (ja) 2013-01-17
JP5625342B2 true JP5625342B2 (ja) 2014-11-19

Family

ID=44130009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009281059A Expired - Fee Related JP5625342B2 (ja) 2009-12-10 2009-12-10 画像処理方法、画像処理装置、プログラム

Country Status (3)

Country Link
US (1) US8929670B2 (ja)
JP (1) JP5625342B2 (ja)
CN (1) CN102096932B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
TWI470338B (zh) * 2011-07-07 2015-01-21 Era Optoelectronics Inc 物體輪廓的偵測裝置及方法
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
US8818117B2 (en) * 2012-07-19 2014-08-26 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
US8994809B2 (en) * 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
WO2016009507A1 (ja) * 2014-07-16 2016-01-21 日立マクセル株式会社 映像送受信装置及び映像表示装置
JP6906947B2 (ja) * 2016-12-22 2021-07-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2018136803A (ja) * 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
US20220312035A1 (en) * 2019-09-11 2022-09-29 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63292769A (ja) * 1987-05-25 1988-11-30 Canon Inc 画像デ−タの圧縮方法
JPH0380676A (ja) 1989-08-23 1991-04-05 Ricoh Co Ltd 電子パンフォーカス装置
JP3071205B2 (ja) * 1990-01-23 2000-07-31 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
DE69125315T2 (de) * 1990-06-13 1997-09-25 Mitsubishi Electric Corp Kodierverfahren und Kodiervorrichtung
KR950000830B1 (ko) * 1990-06-25 1995-02-02 미쯔비시덴끼 가부시끼가이샤 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치
US5126962A (en) * 1990-07-11 1992-06-30 Massachusetts Institute Of Technology Discrete cosine transform processing system
JP2839339B2 (ja) * 1990-08-06 1998-12-16 松下電器産業株式会社 直交変換符号化装置および直交変換符号化方法
EP0535963B1 (en) * 1991-10-02 1998-06-10 Matsushita Electric Industrial Co., Ltd. Orthogonal transformation encoder
US5327242A (en) * 1993-03-18 1994-07-05 Matsushita Electric Corporation Of America Video noise reduction apparatus and method using three dimensional discrete cosine transforms and noise measurement
US5767911A (en) * 1994-12-20 1998-06-16 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
JPH08266481A (ja) 1995-03-29 1996-10-15 Hitachi Ltd 動画診断システム
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
TW364107B (en) * 1996-03-25 1999-07-11 Trw Inc Method and system for three-dimensional compression of digital video signals
JP3733359B2 (ja) * 1996-04-05 2006-01-11 松下電器産業株式会社 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置
JPH09284760A (ja) * 1996-04-12 1997-10-31 Toshiba Corp 符号・復号化装置
US6185312B1 (en) * 1997-01-28 2001-02-06 Nippon Telegraph And Telephone Corporation Method for embedding and reading watermark-information in digital form, and apparatus thereof
JP3243476B2 (ja) 1997-03-18 2002-01-07 独立行政法人産業技術総合研究所 多次元データの構造化に基づく符号化方法
JPH1146361A (ja) * 1997-07-25 1999-02-16 Mitsubishi Electric Corp 画像圧縮方法、画像圧縮装置、デジタルカメラ、携帯情報端末、画像伸張装置、並びに、画像伝送システム
JP3303128B2 (ja) * 1998-04-15 2002-07-15 東京大学長 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置
JP3961729B2 (ja) 1999-03-03 2007-08-22 株式会社デンソー 全焦点撮像装置
EP1101358B1 (en) * 1999-05-27 2009-07-01 IPG Electronics 503 Limited Encoding a video signal with high resolution encoding for regions of interest
JP2002135721A (ja) 2000-10-19 2002-05-10 Susumu Tsunoda ビデオ信号記録用監視装置
GB0216641D0 (en) 2002-07-18 2002-08-28 Univ Nottingham Image analysis method, apparatus and software
JP4079315B2 (ja) 2002-09-26 2008-04-23 Ｋｄｄｉ株式会社 ボリュームデータ符号化装置
KR100908422B1 (ko) * 2003-07-24 2009-07-21 니뽄 덴신 덴와 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 기록 매체, 화상 복호 프로그램을 기록한 기록 매체
DE60319095T2 (de) * 2003-11-10 2009-02-12 Leica Microsystems Cms Gmbh Verfahren zur Verzerrungskorrektur von Multifokus-Bilderstapeln
EP1578108A3 (en) 2004-03-19 2007-05-30 Ricoh Company, Ltd. Apparatus and method for generating scanned data in a standard format
US20060062308A1 (en) * 2004-09-22 2006-03-23 Carl Staelin Processing video frames
JP2008523686A (ja) * 2004-12-13 2008-07-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ スケーラブル画像符号化
JP2006197074A (ja) * 2005-01-12 2006-07-27 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
US7787674B2 (en) 2005-01-27 2010-08-31 Aperio Technologies, Incorporated Systems and methods for viewing three dimensional virtual slides
JP2007011977A (ja) * 2005-07-04 2007-01-18 Nikon Corp 画像処理方法、コンピュータ実行可能なプログラム、及び顕微鏡システム
MX2008000522A (es) * 2005-07-11 2008-03-06 Thomson Licensing Metodo y aparato para la prediccion adaptable de intra-textura entre capas de macrobloque.
MX2008000906A (es) * 2005-07-21 2008-03-18 Thomson Licensing Metodo y aparato para la prediccion ponderada para la codificacion escalable de video.
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
KR100712550B1 (ko) * 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
EP2453657A1 (en) * 2006-04-28 2012-05-16 NTT DoCoMo, Inc. Image predictive decoding device
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
CN100527666C (zh) * 2006-07-25 2009-08-12 深圳大学 基于虚拟波前编码的非对称加解密方法及装置
US7760960B2 (en) * 2006-09-15 2010-07-20 Freescale Semiconductor, Inc. Localized content adaptive filter for low power scalable image processing
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
JP4770704B2 (ja) * 2006-11-09 2011-09-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4826546B2 (ja) * 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
WO2011038698A1 (en) * 2009-10-02 2011-04-07 The Chinese University Of Hong Kong Methods and apparatus for editing images
US20110150354A1 (en) * 2009-12-18 2011-06-23 Magor Communications Corporation Image up-sampling method using 2d wavelet filters
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
JP5703781B2 (ja) * 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
JP2012209673A (ja) * 2011-03-29 2012-10-25 Sony Corp 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統
KR102022566B1 (ko) * 2012-03-15 2019-09-19 삼성디스플레이 주식회사 액정표시장치

Also Published As

Publication number Publication date
CN102096932B (zh) 2013-02-20
JP2011123311A (ja) 2011-06-23
CN102096932A (zh) 2011-06-15
US8929670B2 (en) 2015-01-06
US20110142356A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
JP5625342B2 (ja) 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) 情報処理装置、情報処理方法、及びそのプログラム
JP5705096B2 (ja) 画像処理装置及び画像処理方法
KR100779634B1 (ko) 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
JP2022523335A (ja) 層状シーン分解コーデックシステムおよび方法
JP7252190B2 (ja) 生物試料の向上された被写界深度の合成２ｄ画像を生成するシステム
KR20140103171A (ko) 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체
JP5450643B2 (ja) 画像符号化装置、画像符号化方法、プログラムおよび集積回路
US6693716B2 (en) Method and apparatus for optical measurement of a surface profile of a specimen
JP2013058124A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015108837A (ja) 画像処理装置及び画像処理方法
US20130265322A1 (en) Image processing apparatus, image processing system, image processing method, and image processing program
JP2009055410A (ja) 画像処理装置および画像処理方法
Wu et al. End-to-end varifocal multiview images coding framework from data acquisition end to vision application end
Wu et al. Gaussian-wiener representation and hierarchical coding scheme for focal stack images
Chan et al. Super-resolution reconstruction in a computational compound-eye imaging system
JP4377673B2 (ja) 立体画像撮像装置および立体画像表示装置
JPH1132251A (ja) 画像処理装置
JP2016038542A (ja) 画像処理方法および画像処理装置
JP2005140970A (ja) 立体画像撮影装置および立体画像表示装置
KR20090025420A (ko) 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치
JP7126737B1 (ja) 顕微鏡システム及びデータ処理方法
JP7158795B1 (ja) 顕微鏡システム及びデータ処理方法
JP4888306B2 (ja) 画像処理装置および画像処理方法
KR102198490B1 (ko) 요소 영상 배열에 대한 리프팅 변환 방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140915

LAPS Cancellation because of no payment of annual fees