JP4878025B2

JP4878025B2 - 撮像システム

Info

Publication number: JP4878025B2
Application number: JP2007315076A
Authority: JP
Inventors: 賢一滝沢; 清浜口
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2007-12-05
Filing date: 2007-12-05
Publication date: 2012-02-15
Anticipated expiration: 2027-12-05
Also published as: JP2009141617A

Description

本発明は、体内撮影動画像を体外へ無線伝送することにより、高度な治療・診断行為を実現する際に好適な撮像システムに関するものである。

従来、動画像に対する圧縮符号化方式として、MPEG−１/２/４が提案されている。これら従来の圧縮符号化方式における送信装置では、フレーム内での相関及びフレーム間での相関を最大限有効利用し圧縮符号化を実現している。フレーム内については、不要な高周波成分の抑制や、直流や低周波成分の予測を行い、またフレーム間については、過去の画像からの動きの予測を行っている。符号化時には、これらの予測処理により、現在の画像を近似した画像すなわち予測画像を作成し、現在の画像と予測画像との差分情報、並びに予測画像を作成するために必要な制御情報とを符号化し伝送する。

また、この従来の圧縮符号化方式における受信装置では、制御情報に基づき予測画像を作成し、受信された差分情報と足し合わせることで、復号画像を得ることができる。ここで伝送路エラーにより信号の品質が変化する場合には、予測のための制御情報並びに差分情報の双方が正常である場合に限り、正常な復号処理が可能となる。さらに復号された画像は、次の画像を予測するために再度使用されるため、復号画像に誤りがある場合には、以後の画像の復号時にも誤りが伝播することになる。このようにMPEG−１/２/４を始めとした従来の圧縮符号化方式では、高い圧縮率を実現している一方で伝送路エラーに弱いという欠点を有している。

このため、近年において、新しい符号化方式としてDistributed Video Coding(DVC)が提案されている（例えば、非特許文献１参照。）。このDVCによる符号化の特徴として、誤り訂正符号化を用いているところにある。図５に示すように、キーフレームと非キーフレームは互いに異なる符号化方式に基づいて符号化する。キーフレームは、エンコーダ７１において例えば従来から利用されているフレーム内符号化を行うのに対して、非キーフレームに対しては誤り訂正符号化を行い、その結果計算されたいわゆる検査ビットのみをデコーダ７２へ送信する。デコーダ７２においては、次フレームの画像を予め予測し、その推測画像と、次フレームの画像との差分（推測誤り）を、エンコーダ７１から送られてきた検査ビットに基づいて検査し、その推測誤りを訂正することにより、次フレームの画像を得ることが可能となる。このようにDVCは、エンコーダ７１において動きベクトル探索を行うことなく符号化するため、上述した従来の圧縮符号化方式と比較して少ない計算量で符号化することができる。

このため、DVCによる符号化方式は、従来の圧縮符号化方式よりも機器の消費電力を低減させることができ、機器の軽量小型化を実現することが可能となる。
B.Girod, et al., "Distributed Video Coding" Proceedings of The IEEE,Vol93,No.1 January 2005

ところで、特に近年における医療では、人体内に撮像デバイスを埋設(インプラント)して、人体内を撮像し、体内の状況把握や診断を行うケースが増加している。このため、体内に埋設された撮像デバイスと基地局としての制御装置の間で無線通信リンクを確立して無線通信を行うシステムに関する研究も注目を浴びている。中でもリアルタイムに患者の検査データを取得するため、通信の高速化、利用しやすさ、信頼性に焦点を当てたシステムの構築も進展しつつある。

実際に、この人体埋設型の撮像デバイスによる無線通信システムでは、先ず超小型で構成される必要があり、低電圧で動作する必要がある。上述したDVCによる符号化方式を利用した撮像システムは、機器の軽量小型化を実現することが可能となることから、人体埋設型の撮像デバイスに対して適用する上で好ましいものと考えられてきた。

しかしながら、この人体埋設型の撮像デバイスは、食道等のように動きの速い部位を撮影対象とする場合もあれば、胃のように動きが遅い臓器を撮影対象とする場合もある。また、撮影対象の動きが速くなったり遅くなったりする臓器を撮影対象とする場合もあることから、動きの速さが千差万別でしかも時々刻々と変化する可能性もある撮影対象を適宜好適な条件の下で撮像しなければならない。

従来のDVCによる符号化方式を利用した撮像システムでは、撮像デバイスを人体に埋設し、人体内の臓器等の動きの時々刻々と変化するものを撮影対象とする点について何ら想定するものではない。このため、人体内に埋設した撮像デバイスにより、時系列的に変化する撮影対象の動きを常時最適な条件で撮像することができず、得られた画像の品質を向上させることができないという問題点があった。

そこで、本発明は、上述した課題に鑑みて案出されたものであり、その目的とするところは、人体内に撮像デバイスを埋設し、人体内を撮像して体内の状況把握や診断を行う際により高品質な動画像を得ることが可能な撮像システムを提供することにある。

本発明を適用した撮像システムは、上述した課題を解決するために、被写体を撮像することにより生成した動画像データをキーフレームと非キーフレームに振り分ける撮像手段と、上記キーフレームをフレーム内符号化するフレーム内符号化手段と、上記非キーフレームと上記フレーム内符号化されたキーフレームとをそれぞれ符号化する符号化手段と、上記符号化されたキーフレーム並びに非キーフレームをそれぞれ無線データストリーム化して送信する送信手段とを有する撮像デバイスと、上記撮像デバイスから受信した無線データストリームから上記キーフレーム並びに非キーフレームをそれぞれ復号化する復号化手段と、上記復号化されたキーフレームを更にフレーム内復号化するフレーム内復号化手段と、上記フレーム内復号化されたキーフレームに関する情報に基づいて上記復号化された非キーフレームに対してフレーム内オブジェクトの動き補償する動き補償手段と、上記動き補償された非キーフレームと上記キーフレームとを合成して動画像を生成する動画像生成手段と、上記動き補償手段による動き補償に利用された動きベクトル情報に基づいて上記撮像デバイスにおける上記撮像手段を無線通信を介して制御する制御手段とを有する制御装置とを備え、上記制御手段は、上記フレーム内オブジェクトの動き補償手段による動き補償に利用された動きベクトル量に基づいて、単位時間あたりのキーフレームと非キーフレームの割合を調整するように上記撮像手段を制御し、更に当該動きベクトル量に基づいて上記キーフレームと上記非キーフレームを合わせたフレームレートを調整するように上記撮像手段を制御することを特徴とする。

本発明を適用した撮像システムは、上述した課題を解決するために、被写体を撮像することにより生成した動画像データをキーフレームと非キーフレームに振り分ける撮像手段と、上記キーフレームをフレーム内符号化するフレーム内符号化手段と、上記非キーフレームと上記フレーム内符号化されたキーフレームとをそれぞれ符号化する符号化手段と、上記符号化されたキーフレーム並びに非キーフレームをそれぞれ無線データストリーム化して送信する送信手段とを有する撮像デバイスと、上記撮像デバイスから受信した無線データストリームから上記キーフレーム並びに非キーフレームをそれぞれ復号化する復号化手段と、上記復号化されたキーフレームを更にフレーム内復号化するフレーム内復号化手段と、上記フレーム内復号化されたキーフレームに関する情報に基づいて上記復号化された非キーフレームに対してフレーム内オブジェクトの動き補償する動き補償手段と、上記動き補償された非キーフレームと上記キーフレームとを合成して動画像を生成する動画像生成手段と、上記復号化手段による上記非キーフレームの復号の収束値に基づいて上記撮像デバイスにおけるフレーム内符号化手段又は上記符号化手段を無線通信により制御する制御手段とを有する制御装置とを備えることを特徴とする。

上述した構成からなる本発明では、撮像デバイスにおける撮像のビットレートやキーフレームの割合、さらには符号量制御までを全て制御装置側において行うことができる。また非キーフレームのフレーム内オブジェクトの動き補償を撮像デバイス内で実行するのではなく、あくまで制御装置側において実行し、その動き補償に利用した動きベクトルの情報を常時取得して制御部による制御に利用することができる。

このため、撮像デバイス側において動き補償やこれに基づく制御を行うための回路を実装する必要がなくなることから、撮像デバイスの形状をより小型化することが可能となり、また軽量化を図ることも可能となる。

即ち、本発明は、撮像デバイスを人体内に埋設する際に小型軽量化を図ることができ、しかも動きの速さが千差万別でしかも時々刻々と変化する可能性もある撮影対象を、動きベクトル情報等に基づいて適宜好適な条件の下で動画像を取得できるように撮像デバイスを制御することが可能となる。

以下、本発明を実施するための最良の形態として、体内撮影動画像を体外へ無線伝送する撮像システムについて、図面を参照しながら詳細に説明する。

本発明を適用した撮像システム１は、図１に示すように人体内に埋設(インプラント)される撮像デバイス２と、人体外に配設された制御装置３とを備えている。この撮像デバイス２は、人体内を撮像し、体内の状況把握や診断を行うためのデバイスである。撮像デバイス２は、胃カメラのように口から飲み込むことにより体内に入れるようにしても良いし、インプラントしたものであってもよい。制御装置３は、撮像デバイス２により撮像された動画像が無線通信を介して伝送されてくる。この制御装置３は、少なくとも撮像デバイス２を無線通信により制御する。ちなみに、この制御装置３は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成されていてもよく、撮像デバイス２から伝送される画像データを記録し、また記録した画像データにつき図示しないディスプレイを介して検査者に表示する。またこの制御装置３は、図示しないネットワークシステムを介して画像データを他の端末装置へと送信するようにしてもよい。

なお、この撮像システム１では、撮像デバイス２から制御装置３に対して動画像を伝送する際には、Distributed Video Coding(DVC)方式に基づいて符号化することを前提としている。

以下、この撮像デバイス２と制御装置３の構成について図面を参照しながら詳細に説明をする。

撮像デバイス２は、図２に示すように、被写体を撮像するためのカメラ２１と、このカメラ２１に接続されている振分器２２と、この振分器２２にそれぞれ接続されている画像符号器２３、第２の符号器２５と、画像符号器２３に接続された第１の符号器２４と、第２の符号器２５とに接続され、無線データストリームを無線伝送系５を介して制御装置３へと送信する送信部２６とを備えている。

制御装置３は、撮像デバイス２から無線伝送系５を介して送信されてきた無線データストリームを受信する受信部３１と、受信部３１にそれぞれ接続されている復号器３２、動き補償部３４ａ、非キーフレーム再構成部３４ｂ、ＳＮＲ（Signal-to-Noise Ratio）検出部３８と、復号器３２に接続されている画像復号器３３と、画像復号器３３、動き補償部３４に接続されている合成部３５と、合成部に接続されている映像表示部３６と、非キーフレーム再構成部３４ｂ、映像表示部３６にそれぞれ接続されている制御部３７とを備えている。

カメラ２１は、被写体からの像光を結像させるためのレンズと、レンズを介して入射される像光を遮光するシャッタ羽根等により絞り量を調整する絞り駆動部と、入力される被写体像に基づき電気的な撮像信号を生成するＣＣＤ（Charge Coupled Device）イメージセンサとを有している。

また、このカメラ２１は、ＣＣＤイメージセンサにより生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路や、ＣＤＳ回路から供給される撮像信号をアナログ／デジタル変換処理するＡ／Ｄ変換部、Ａ／Ｄ変換部から供給されるデジタル化された撮像信号としての画像データに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）と、接続されたＤＳＰからの画像データを一時的に記憶する画像用ＲＡＭ等を備えていてもよい。

なお、このカメラ２１は、後述するように、制御装置３における制御部３７から、その撮像条件等について制御されることになる。

振分器２２は、カメラ２１から送られてくる画像データをフレーム毎に振り分けを行う。後述するようにDVC方式に基づいて符号化する観点から、振分器２２は、動画フレーム列をキーフレームと非キーフレームの２種類に振り分ける。振分器２２は、例えば数フレームに一枚の頻度でキーフレームが発生し、残りが非キーフレームとなるように振り分けを行うようにしてもよい。振分器２２において振り分けられたキーフレームは、画像符号器２３へ、また非キーフレームは、第２の符号器２５へと送られることになる。なお、この振分器２２は、後述するように、制御装置３における制御部３７から、キーフレームと非キーフレームの割合等が調整される場合もある。

画像符号器２３は、振分器２２から送られてきたキーフレームについて、従来のMPEG−１/２/４等におけるＩフレームと同様に、通常のフレーム内符号化を行う。このとき、画像符号器２３は、送られてきたキーフレームについて、DCT(Discrete Cosine Transform)変換した上で量子化することにより、非可逆的な画像圧縮を実現するようにしてもよい。また、この画像符号器２３においては、ハフマン符号化を適用するようにしてもよい。

第１の符号器２４は、画像符号器２３によりフレーム内符号化されたキーフレームについて、更に通信路を介して伝送する上で必要な、ターボ符号化、或いはLDPC(Low Density Parity Check)符号化等、いわゆる誤り訂正符号化を行い、これを送信部２６へと出力する。

第２の符号器２５は、振分器２２から非キーフレームのみが送られてくる。この第２の符号器２５は、畳み込み符号化やターボ符号化、或いはLDPC符号化等を用いて、非キーフレームに対して誤り訂正符号の生成を行う。この第２の符号器２５は、この誤り訂正符号化を行った結果、得られたその冗長成分又はそのシンドローム成分のみを上記無線データストリームするためのデータとして、これを送信部２６へと送る。

送信部２６は、第１の符号器２４から送られてくるキーフレームと、第２の符号器２５から送られてくる冗長成分又はシンドローム成分を無線データストリーム化して無線伝送系５を介して制御装置３へと送信する。この送信部２６は、例えば小型アンテナ等で構成され、人体内の組織を介して外部へと電磁波を放射可能に構成されている。

無線伝送系５は、特定小電力無線局や、微弱無線局に基づく無線通信方式による無線データストリームを伝送するようにしてもよい。このとき、４０１〜４０６ＭＨｚ帯域の、望ましくは４０２〜４０５ＭＨｚ帯域の無線データストリームを伝送可能な系として構成するようにしてもよい。４０２〜４０５ＭＨｚの周波数帯域を利用することにより、人体への影響の軽減を優先して通信を低電圧で実現することができる。

受信部３１は、撮像デバイス２から無線伝送系５を介して送信されてくる無線データストリームを受信するためのアンテナ等で構成される。この受信部３１は、受信した無線データストリームについて、キーフレームに関しては復号器３２へ、また非キーフレームを符号化する際に生成される冗長成分又はシンドローム成分については、非キーフレーム再構成部３４ｂへと送信する。

復号器３２は、受信部３１から送られてくるキーフレーム成分について復号処理を施す。また画像復号器３３は、復号器３２において復号化されたキーフレーム成分について、更にフレーム内復号を行う。このフレーム内復号は、従来のMPEG−１/２/４等におけるＩフレームへの復号処理と同様の処理手順に基づいて実行するようにしてもよい。また、この画像復号器３３は、フレーム内復号されたキーフレームの動きベクトルに基づいて生成したデータを動き補償部３４ａに対して送信する。また、画像復号器３２は、フレーム内復号したキーフレームを合成部３５へと送信する。

動き補償部３４ａは、受信部３１から非キーフレーム成分についての冗長成分又はシンドローム成分等の誤り訂正符号を受信し、これを復号化する。また、動き補償部３４ａは、画像復号器３３から送られてくるデータに基づいて、動きベクトルを求める等の処理を行う。非キーフレーム再構成部３４ｂは、この動き補償部３４ａにおいて求められた動きベクトルに基づいて、受信部３１からの非キーフレームについて動き補償する。非キーフレーム再構成部３４ｂは、この動き補償をした非キーフレームを合成部３５へと送信する。なお、この動き補償部３４ａ並びに非キーフレーム再構成部３４ｂを組み合わせて一つの非キーフレーム再構成部ユニット３４として構成するようにしてもよい。

合成部３５は、送られてきたキーフレームと非キーフレームとを合成する。この合成部３５におけるフレームの合成は、振分器２２における振り分けのレート等を参照して行う。

映像表示部３６は、合成部３５から送られてきたキーフレームと非キーフレームとからなる動画像を生成して、これを検査者に対して表示するためのディスプレイ等で構成される。また、この映像表示部３６は、制御部３７による制御の下、検査者に対して、この撮像システム１全体の制御を促すための情報を表示するために使用される場合もある。

制御部３７は、撮像デバイス２、制御装置３を含む撮像システム１全体を制御するための中央制御ユニットとしての役割を担う。この制御部３７は、非キーフレーム再構成部３４ｂにおける動き補償に利用された動きベクトル情報を検出し、当該動きベクトル情報に基づいて撮像デバイス２を制御する。具体的には、この制御部３７は、動きベクトル情報に基づいて、撮像デバイス２におけるカメラ２１、振分器２２等を制御する。

また制御部３７は、非キーフレーム再構成部３４ｂにおける非キーフレームの復号の収束値に基づいて撮像デバイス２を制御してもよい。かかる場合において制御部３７は、かかる復号の収束値に基づいて第２の符号器２５を制御対象としていくことになる。

ＳＮＲ検出部３８は、受信部３１における無線データストリームの受信状況をＳＮ比等を介して検出、識別し、これに基づいて撮像デバイス２、具体的には、送信部６における出力等を制御する。

次に、上述した構成からなる撮像システム１の動作について説明をする。

先ず、人体内に埋設された撮像デバイス２におけるカメラ２１により体内の組織や臓器等を撮影対象とした動画像の撮像を行う。図３に示すように、カメラ２１により撮像された画像データとしての動画フレーム列４４は、キーフレーム４１と非キーフレーム４２とに振り分けられる。キーフレーム４１と非キーフレーム４２の割合は、後述するように制御装置３により制御されるが、この図３では、キーフレーム４１間に４枚の非キーフレーム４２が挿入された状態を示している。

キーフレーム４１は、画像符号器２３においてフレーム内符号化され、さらに第１の符号器２４において、いわゆる誤り訂正符号化が行われ、符号化ビット列（Ｋ）として無線伝送系５を介して制御装置３へと伝送される。非キーフレーム４２は、第２の符号器２５に供給され、誤り訂正符号の生成が行われると共に、得られたその冗長成分又はそのシンドローム成分のみを符号化ビット列（ＷＺ）として無線伝送系５を介して制御装置３へと伝送される。

制御装置３へと伝送された符号化ビット列（Ｋ）を構成するキーフレーム成分は、復号器３２において、推定アルゴリズム（例えば、ベイズアルゴリズム、事後確率最大化アルゴリズム等）を用いて復号化され、さらに画像復号器３３においてフレーム内復号化される。このとき画像復号器３３は、復号化したキーフレームに関する情報を動き補償部３４ａへと送信することになるが、例えばキーフレームの画素値尤度比を当該情報として送信するようにしてもよい。

このとき図４に示すように、キーフレームＫ_０について画素値尤度比logP_c,p ^K0(i,j)を、またその後に続くキーフレームＫ_１について画素値尤度比logP_c,p ^K1(i,j)をそれぞれ算出する。ここでｃは、色の濃淡を示す階調であり、０〜２５６の数値で表される。また、ｃは、R，G，B(Red, Green, Blue)の光の三原色を表すものである。ちなみに、この例は、８ビットＲＧＢの場合であるが、これに限定されるものではない。上付き文字は、キーフレームの種類（・・Ｋ_０、Ｋ_１・・・）を特定するものである。また(i,j)は、フレーム内の画素の座標を表すものであり、図４に示すようにi行j列の画素を特定するためのものである。

このような画素値尤度比logP_c,p ^K(i,j)が各キーフレームを構成する各画素について求められ、これが動き補償部３４へ送られる。

動き補償部３４ａは、画像復号器３３から送られてくる情報から、各キーフレームを構成する各画素について求められた画素値尤度比logP_c,p ^K(i,j)を取得し、これに基づいて、キーフレームＫ_０とキーフレームＫ_１との間にある非キーフレームＷＺｎについて、図４に示すように動き補償を行う。この動き補償は対数尤度領域で行うこととする。式(1)は、かかる対数尤度領域において、動き補償すべき非キーフレームとその前後に位置するキーフレームとの間での画素値尤度比の関係式を示している。

logP_c,p ^WZn(i,j)=f(logP_c,p ^K0(i,j), logP_c,p ^K1(i,j), r_c,p ^WZn(i,j),m(i,j))・・・・・・(1)

(1)式において、r_c,p ^WZn(i,j)は、非キーフレームＷＺｎにおけるフレーム受信データの対数尤度値である。このr_c,p ^WZn(i,j)は、動き再補償部３４ｂにおいて非キーフレームに基づいて実際に算出したものである。また、動きベクトルm(i,j)は、非キーフレームＷＺｎにおいて動き補償に利用される動きベクトルであるが、これは動き補償部３４ａにおいてキーフレームＫ_０とキーフレームＫ_１に基づいて予測されたものである。この動きベクトルm(i,j)は、ベクトルの方向が原点から水平方向にi画素、垂直方向にj画素シフトしたベクトル方向として定義されるものである。

非キーフレームＷＺｎについての画素値尤度比logP_c,p ^WZn(i,j)は、(1)式において、logP_c,p ^K0(i,j), logP_c,p ^K1(i,j), r_c,p ^WZn(i,j),m(i,j)の４つの変数により与えられる。

このようにして得られた動きベクトルに基づいて非キーフレームＷＺｎに対して動き補償を施すことにより、非キーフレームの画像を完成させることができる。このとき、図４に示した非キーフレームＷＺｎには、キーフレームＫ_０におけるオブジェクトの位置、キーフレームＫ_１におけるオブジェクトの位置に基づいて動き補償されたオブジェクトが描かれることになる。

キーフレームと非キーフレームは、合成部３５において合成されて映像表示部３６において表示すべき動画像が生成される。

また、制御部３７は、動き補償部３４における動き補償に利用された動きベクトルに関する動きベクトル情報を検出する。この動きベクトル情報とは、動きベクトル量を意味するものであるが、これに限定されることなく、動きベクトルに関するいかなる情報を含むものとする。

制御部３７は、取得した動きベクトル情報に基づいて撮像デバイス２におけるカメラ２１を無線通信を介して制御する。

このとき制御部３７は、動き補償部３４による動き補償に利用された動きベクトル量に基づいて、単位時間あたりのキーフレームと非キーフレームの割合を調整するようにカメラ２１及び振分器２２を制御する。

特に人体内に埋設される撮像デバイス２は、食道等のように動きの速い部位を撮影対象とする場合もあれば、胃のように動きが遅い臓器を撮影対象とする場合もある。また、撮影対象の動きが速くなったり遅くなったりする臓器を撮影対象とする場合もあることから、動きの速さが千差万別でしかも時々刻々と変化する可能性もある。かかる場合において、先ず動き補償部３４における動き補償に利用した動きベクトル量を識別することにより、撮影対象そのものの動き量を識別することができる。即ち、撮影対象が動きの速いものであるのか、動きの遅いものであるのかを、この動きベクトル量を介して識別することが可能となる。

撮影対象の動き速度に応じて、単位時間あたりのキーフレームと非キーフレームの割合を調整する。具体的には、動き補償部３４による動き補償に利用された動きベクトル量が大きい場合には、単位時間あたりのキーフレームの割合を増加させるように、また係る動きベクトル量が小さい場合には、単位時間あたりのキーフレームの割合を減少させるように、カメラ２１及び振分器２２を制御する。

動き量が大きい撮影対象の場合には、キーフレームの割合を増加させ、その間に介挿される非キーフレームの割合を少なくすることにより、動き補償の精度が低下してしまうのを防止することが可能となる。これに対して、動き量が小さい撮影対象の場合には、キーフレームの割合を減少させ、その間に介挿される非キーフレームの割合を多くしても、動き補償の精度が低下してしまう虞もなく、圧縮率を高くすることが可能となり、省電力化にも寄与することになる。

実際に、動き補償に利用された動きベクトル量が所定値以上の場合において、単位時間あたりのキーフレームの割合を増加させるようにカメラ２１並びに振分器２２を制御し、動き補償に利用された動きベクトル量が所定値未満の場合において、単位時間あたりのキーフレームの割合を減少させるようにカメラ２１並びに振分器２２を制御するようにしてもよい。

また、制御部３７は、動き補償部３４による動き補償に利用された動きベクトル量に基づいて、キーフレームと非キーフレームを合わせたフレームレートを調整するようにカメラ２１を制御するようにしてもよい。具体的には動き量が大きい撮影対象の場合には、フレームレートを向上させ、動き量が小さい撮影対象の場合には、キーフレームの割合を減少させるようにしてもよい。

動きの速い撮影対象については、フレームレートを向上させることにより、単位時間当たりのフレームの量を増加させることにより、動きの速い撮影対象のより細かな動きについても高精度に捉えることが可能となる。動きの遅い撮影対象については、フレームレートを減少させることにより、単位時間当たりのフレームの量を減少させることにより、処理速度の高速化を図るようにしてもよい。

このとき、制御部３７は、動き補償部３４による動き補償に利用された動きベクトル量が所定値以上の場合において、フレームレートを増加させるようにカメラ２１を制御し、動き補償部３４による動き補償に利用された動きベクトル量が所定値未満の場合において、フレームレートを減少させるようにカメラ２１を制御するようにしてもよい。

さらに本発明においては、上述したように動きベクトル量を始めとした動きベクトル情報に基づいて撮像デバイス３を制御する場合に限定されるものではなく、動き補償部３４における非キーフレームの復号の収束値に基づいて撮像デバイス３を制御するようにしてもよい。このとき制御部３７は、動き補償部３４における非キーフレームの復号の収束値に基づいて、撮像デバイス３における画像符号器２３、第１の符号器２４、第２の符号器２５を制御するようにしてもよい。ここでいう復号の収束値とは、非キーフレームＷＺｎにおける各ピクセルに対する対数尤度値を意味する。この対数尤度値logP_c,p ^WZn(i,j)の収束が十分でない場合、第２の符号器２５における誤り訂正能力が低い可能性があることから、より高い訂正モードに切り替える。高い訂正モードとは、間引きパターンを切り替えたり、より多くの情報を送ったり、符号化のパラメータを切り替える等の処理を意味する。

また、対数尤度値の収束が十分であるか否かの判別は、対数尤度値の分散等の統計量を計算し、所定の閾値との間で比較することにより判定することにより実行する。

また、動き補償部３４による非キーフレームの復号の収束値が所定値未満の場合には、画像符号器２３においてフレーム内符号化されるキーフレームについて符号量制御を行う。このとき、制御部３７は、キーフレームを無線データストリーム化した際のビットレートがより高くなるように、画像符号器２３に対して符号量制御を行う。

これにより動き補償部３４における復号時において、対数尤度値の収束をより十分なものとすることができ、非キーフレームの画素補間を高精度に行うことが可能となる。

このように、本発明では、撮像デバイス２における撮像のビットレートやキーフレームの割合、さらには符号量制御までを全て制御装置３側において行うことができる。また非キーフレームの動き補償を撮像デバイス２内で実行するのではなく、あくまで制御装置３側において実行し、その動き補償に利用した動きベクトルの情報を常時取得して制御部３７による制御に利用することができる。

このため、撮像デバイス２側において動き補償やこれに基づく制御を行うための回路を実装する必要がなくなることから、撮像デバイス２の形状をより小型化することが可能となり、また軽量化を図ることも可能となる。

即ち、本発明は、撮像デバイス２を人体内に埋設する際に小型軽量化を図ることができ、しかも動きの速さが千差万別でしかも時々刻々と変化する可能性もある撮影対象を、動きベクトル情報等に基づいて適宜好適な条件の下で動画像を取得できるように撮像デバイス２を制御することが可能となる。

本発明を適用した撮像システムの全体構成図である。本発明を適用した撮像システムのブロック構成図である。本発明を適用した撮像システムの動作について説明するための図である。本発明を適用した撮像システムにおける動き補償の例について説明するための図である。従来技術について説明するための図である。

符号の説明

１撮像システム
２撮像デバイス
３制御装置
５無線伝送系
２１カメラ
２２振分器
２３画像符号器
２４第１の符号器
２５第２の符号器
２６送信部
３１受信部
３２復号器
３３画像復号器
３４ａ動き補償部
３４ｂ非キーフレーム再構成部
３５合成部
３６映像表示部
３７制御部
３８ＳＮＲ検出部

Claims

被写体を撮像することにより生成した動画像データをキーフレームと非キーフレームに振り分ける撮像手段と、上記キーフレームをフレーム内符号化するフレーム内符号化手段と、上記非キーフレームと上記フレーム内符号化されたキーフレームとをそれぞれ符号化する符号化手段と、上記符号化されたキーフレーム並びに非キーフレームをそれぞれ無線データストリーム化して送信する送信手段とを有する撮像デバイスと、
上記撮像デバイスから受信した無線データストリームから上記キーフレーム並びに非キーフレームをそれぞれ復号化する復号化手段と、上記復号化されたキーフレームを更にフレーム内復号化するフレーム内復号化手段と、上記フレーム内復号化されたキーフレームに関する情報に基づいて上記復号化された非キーフレームに対してフレーム内オブジェクトの動き補償する動き補償手段と、上記動き補償された非キーフレームと上記キーフレームとを合成して動画像を生成する動画像生成手段と、上記動き補償手段による動き補償に利用された動きベクトル情報に基づいて上記撮像デバイスにおける上記撮像手段を無線通信を介して制御する制御手段とを有する制御装置とを備え、
上記制御手段は、上記フレーム内オブジェクトの動き補償手段による動き補償に利用された動きベクトル量に基づいて、単位時間あたりのキーフレームと非キーフレームの割合を調整するように上記撮像手段を制御し、更に当該動きベクトル量に基づいて上記キーフレームと上記非キーフレームを合わせたフレームレートを調整するように上記撮像手段を制御すること
を特徴とする撮像システム。
上記制御手段は、上記フレーム内オブジェクトの動き補償手段による動き補償に利用された動きベクトル量が所定値以上の場合において、上記フレームレートを増加させるように上記撮像手段を制御すること
を特徴とする請求項１記載の撮像システム。
上記符号化手段は、Distributed Video Coding(DVC)方式に基づいて符号化し、
また上記復号化手段は、DVC方式に基づいて復号化すること
を特徴とする請求項１又は２項記載の撮像システム。
上記撮像デバイスは、人体内に埋設され、
上記送信手段は、特定小電力無線局又は微弱無線局に基づく無線通信方式による無線データストリームを伝送すること
を特徴とする請求項１〜３のうち何れか１項記載の撮像システム。
請求項１〜４のうち何れか１項に記載の撮像システムにおいて適用されることを特徴とする撮像デバイス。
請求項１〜４のうち何れか１項に記載の撮像システムにおいて適用されることを特徴とする制御装置。