JP4524922B2 - 画像提供システム、画像提供方法、及び記憶媒体 - Google Patents
画像提供システム、画像提供方法、及び記憶媒体 Download PDFInfo
- Publication number
- JP4524922B2 JP4524922B2 JP2000605401A JP2000605401A JP4524922B2 JP 4524922 B2 JP4524922 B2 JP 4524922B2 JP 2000605401 A JP2000605401 A JP 2000605401A JP 2000605401 A JP2000605401 A JP 2000605401A JP 4524922 B2 JP4524922 B2 JP 4524922B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- value calculation
- processing
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
本発明は、指示に対応した遠隔地の画像を提供処理し又は表示する画像提供システム、画像提供方法、及び記憶媒体に関する。
【０００２】
【従来の技術】
ネットワーク技術の発達により情報通信の基盤が整備されるにともない通信ネットワークを介して動画像のデータをリアルタイムに送信することが可能になっている。このようなインフラストラクチャのもと、遠隔地にビデオカメラを設置し、ネットワークを介してそのビデオカメラを遠隔制御して所望の動画像を見る技術が、セキュリティ、広告、情報案内、不動産、遠隔医療及びその他の分野での利用が期待されている。
【０００３】
このような遠隔制御を可能とするビデオカメラとして、所定の位置を基準に、機械的にビデオカメラの視点を移動するいわゆるパン又はチルトさせて撮像の位置を変更し、視野角を変更するズーミングを行うパンチルトビデオカメラが利用される。
【０００４】
【発明が解決しようとする課題】
このパンチルトビデオカメラは、機械的に動作する部分を有するため、電子的にのみ動作するビデオカメラに比較し、信頼性に劣り、定期的な保守が必要であり、更に、動作に所定の時間が必要であるため、所望の画像が送信されるまでタイムラグがあるという問題がある。
【０００５】
また、機械的に動作するパンチルトビデオカメラは、複数の利用者に対し、それぞれ異なる撮像の視点又は視野角の映像を提供することはできない。
【０００６】
また、遠隔地に設置されて用いられるパンチルトビデオカメラには、例えば略３６０℃の広角度で広い範囲に亘って撮像を可能とするため、円錐ミラーを用いた撮像レンズが用いられている。この種の円錐ミラーを用いた撮像レンズにあっては、その構成上歪みを発生させる。そこで、円錐ミラーを用いて撮像を行ったときの画像データの歪みを除去する各種の技術が提供されている。
【０００７】
更に、円錐ミラーを用いた撮像レンズを用いて撮像される画像のうち、ユーザが所望する位置の画像の歪みを除去し、この画像を遠隔地にいるユーザに送信することにより、カメラがパンあるいはチルトしなくとも所望のパン、チルト画像をユーザが入手できるようにした撮像システムも提供されている。
【０００８】
従来提案されている画像データの歪みを除去する技術は、画像周辺の歪みを有する部分を座標変換により画素位置を変換するのみで、十分な解像度を得ることができないばかりか、画質の点からも歪みのない部分に比し劣化してしまっている。
【０００９】
本発明は、このような実状に鑑みて提案されたものであり、歪みを発生させることなく、高解像度の画像を得ることができる画像提供システム、画像提供方法、及び記憶媒体を提供することを目的とする。
【００１０】
また、本発明は、保守が容易で、高い信頼性を有し、タイムラグを発生させることなく画像の送信を可能となし、複数の利用者がそれぞれ異なる撮像の視点又は視野角の映像を利用できるようにすることができる画像提供システム、画像提供方法、及び記憶媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記のような目的を達成するために提案される本発明は、所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムであって、上記撮像手段は、透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備え、上記画像提供装置は、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付手段と、上記画像データ入力受付手段によって入力を受け付けた画像データが記憶される記憶手段と、上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出し手段と、上記画像読み出し手段によって読み出された画像データを、通信ネットワークを介して外部に送信する送信手段とを備え、上記画像処理装置は、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信手段と、上記受信手段によって受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割手段と、上記ブロック分割手段によって分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行手段と、上記マッチング処理実行手段によってＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行手段によって生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行手段と、上記クラス分類実行手段によって生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割手段によって生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出手段と、上記画素値算出手段によって算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力手段とを備える。
【００１２】
また、本発明は、所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムが実行する画像提供方法であって、透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備える撮像手段によって、所定の撮像範囲に存在する被写体を撮像する撮像ステップと、上記画像提供装置が、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付ステップと、上記画像提供装置が、上記画像データ入力受付手段によって入力を受け付けた画像データを記憶手段に書き込む画像データ書き込みステップと、上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、上記画像提供装置が、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出しステップと、上記画像提供装置が、上記画像読み出しステップで読み出された画像データを、通信ネットワークを介して外部に送信する送信ステップと、上記画像処理装置が、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信ステップと、上記画像処理装置が、上記受信ステップで受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割ステップと、上記画像処理装置が、上記ブロック分割ステップで分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行ステップと、上記画像処理装置が、上記マッチング処理実行ステップでＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行ステップで生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行ステップと、上記画像処理装置が、上記クラス分類実行ステップで生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割ステップで生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出ステップと、上記画像処理装置が、上記画素値算出ステップで算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力ステップと含む。
【００１３】
更に、本発明は、所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムにインストールされるプログラムが記憶された記憶媒体であって、透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備える撮像手段によって、所定の撮像範囲に存在する被写体を撮像する撮像手順と、上記画像提供装置が、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付手順と、上記画像提供装置が、上記画像データ入力受付手段によって入力を受け付けた画像データを記憶手段に書き込む画像データ書き込み手順と、上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、上記画像提供装置が、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出し手順と、上記画像提供装置が、上記画像読み出し手順で読み出された画像データを、通信ネットワークを介して外部に送信する送信手順と、上記画像処理装置が、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信手順と、上記画像処理装置が、上記受信手順で受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割手順と、上記画像処理装置が、上記ブロック分割手順で分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行手順と、上記画像処理装置が、上記マッチング処理実行手順でＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行手順で生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行手順と、上記画像処理装置が、上記クラス分類実行手順で生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割手順で生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出手順と、上記画像処理装置が、上記画素値算出手順で算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力手順とを含む処理を上記画像提供システムのコンピュータに実行させるプログラムがコンピュータに読み取り可能に記憶されている。
【００１７】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【００１８】
【発明の実施の形態】
以下、本発明に係る画像提供システム、画像提供方法、及び画像処理を行うためのプログラムを記録した記憶媒体を説明する。
【００１９】
まず、本発明が適用された画像提供システムを説明すると、この画像提供システムは、図１に示すように、撮像装置１を備える。撮像装置１は、所定の被写体を撮像し、撮像した動画像を画像提供装置２に供給する。画像提供装置２は、撮像装置１から供給された画像を記憶し、ネットワーク３を介して入力された画像処理４又はモニタ７からの送信要求に対応し、記憶されている画像の一部又は全部を抽出し、ネットワーク３を介して、送信要求を出力した画像処理４又はモニタ７に供給する。
【００２０】
画像処理装置４は、入力装置６−１から利用者の要求に対応した信号を入力し、所定の視点の画像の送信を要求する命令を、ネットワーク３を介して画像提供装置２に送信する。また、画像処理装置４は、ネットワーク３を介して画供装置２から供給された画像、すなわち画像処理装置４が送信した命令に対応して供給された画像を受信し、画像を変換し又はそのままの画像をモニタ５に出力する。モニタ５は、画像処理装置４から供給された画像を表示する。
【００２１】
モニタ７は、入力装置６−２から利用者の要求に対応した信号を入力し、所定の視点の画像の送信を要求する命令を、ネットワーク３を介して、画像提供装置２に送信する。また、モニタ７は、ネットワーク３を介して画像提供装置２から供給された画像、すなわち、モニタ７が送信した命令に対応して供給された画像を受信し、この受信した画像を表示する。
【００２２】
この画像提供システムに用いられる撮像装置１は、図２に示すように、透明のガラス又はプラスチックにより形成された透明な円筒体１１を備え、この円筒体１１内には、ミラー１２及びビデオカメラ１３が相互に所定の位置になるように支持されている。ミラー１２は、透明な円筒体１１を介して入力された外部からの周囲の映像に対応する光を反射し、ビデオカメラ１３に入力させる。ビデオカメラ１３は、ミラー１２に反射された周囲の映像を撮像し、例えば、図３に示す歪曲（ディストーション）している画像２１を画像提供装置２に供給する。ビデオカメラ１３が撮像する画像は、ビデオカメラ１３の光軸の周囲の略３６０度の映像を含んでいる。
【００２３】
図１に示す画像提供システム構成する画像提供装置２は、図４に示すように構成されている。この画像提供装置２は、撮像装置１から画像信号が入力されるＡ／Ｄ(Analog/Digital)変換部３１を備える。Ａ／Ｄ変換部３１は、撮像装置１から入力される歪曲している画像をＡ／Ｄ変換し、入力された画像に対応するデジタルデータを演算部３２に出力する。演算部３２は、Ａ／Ｄ変換部３１から入力された画像のデジタルデータを、記憶部３３に記憶させる。記憶部３３は、演算部３２から供給された画像、例えば、図３に示す画像２１に基づくデジタルデータを記憶し、演算部３２から指定された画像のデジタルデータを演算部３２に供給する。
【００２４】
送受信部３４は、ネットワーク３を介して、画像処理装置４又はモニタ７からの所定の視点の画像の送信を要求する命令を受信し、アドレスデコーダ３５に供給する。アドレスデコーダ３５は、送受信部３４から供給された命令を、記憶部３３が記憶する画像のアドレスを指定するコードに変換し、演算部３２に出力する。演算部３２は、アドレスデコーダ３５から供給される画像のアドレスを指定するコードを入力し、コードに対応する画像を記憶部３３から読み出し、マルチプレクサ３７又は画像処理部３６に供給する。
【００２５】
例えば、図５に示すように、記憶部３３に記憶されている画像２１の一部又は全部が、アドレスデコーダ３５から供給される画像のアドレスで特定され、記憶部３３から読み出される。例えば、画像５１又は画像５２が、記憶部３３から読み出され、マルチプレクサ３７又は画像処理部３６に供給される。画像処理部３６は、演算部３２から供給された画像を、クラス分類適応処理により、歪曲の無い画像に変換し、マルチプレクサ３７に出力する。例えば、図５の画像５１を図６の画像８１に変換し又は図５の画像５２を図６の画像８２に変換する。
【００２６】
マルチプレクサ３７は、演算部３２から供給された制御信号に基づき、演算部３２から供給された画像又は画像処理部３６から供給された画像のいずれかを選択し、送受信部３４に出力する。送受信部３４は、マルチプレクサ３７から入力された画像を、ネットワーク３を介して、画像の送信を要求する画像処理装置４又はモニタ７に送信する。
【００２７】
次に、演算部３２から供給された画像を、クラス分類適応処理により、歪曲のない画像に変換する画像処理部３６についてより詳細に説明する。図７は、画像処理部３６の構成を示すブロック図である。クラス分類用ブロック化回路１０１は、演算部３２から供給される、歪曲している画像を、その性質に応じて所定のクラスに分類するための単位である、注目される画素を中心としたクラス分類用ブロックにブロック化する。
【００２８】
すなわち、図８おいて、上からｉ番目で、左からｊ番目の画素（図中、●印で示す部分）をＸｉｊと表すとすると、クラス分類用ブロック化回路１０１は、注目画素Ｘｉｊの上、左、右、下に隣接する４つの画素Ｘ（ｉ−１）ｊ，Ｘｉ（ｊ−１），Ｘi（ｊ＋１），Ｘ（ｉ−１）ｊに、自身を含め、合計５画素で構成されるクラス分類用ブロックを構成する。このクラス分類用ブロックは、クラス分類適応処理回路１０３に供給される。
【００２９】
この場合、クラス分類用ブロックは、十文字形に配列されている画素でなるブロックで構成されることとなるが、クラス分類用ブロックの形状は、十文字形である必要はなく、その他、例えば、長方形、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、５画素に限定されるものではない。
【００３０】
予測値計算用ブロック化回路１０２は、画像の画素を、歪曲の無い画像の予測値を計算するための単位である、注目画素を中心とした予測値計算用ブロックにブロック化する。即ち、いま、図８において、画像の画素Ｘｉｊ（図中、●印で示す部分）を中心とする、歪曲の無い画像における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙｉｊ（１），Ｙｉｊ（２），Ｙｉｊ（３），Ｙｉｊ（４），Ｙｉｊ（５），Ｙｉｊ（６），Ｙｉｊ（７），Ｙｉｊ（８），Ｙｉｊ（９）と表すとすると、画素Ｙｉｊ（１）乃至Ｙｉｊ（９）の予測値の計算のために、予測値計算用ブロック化回路１０２は、例えば、画素Ｘijを中心とする２２画素Ｘ（ｉ−１）（ｊ−２），Ｘ（ｉ−１）（ｊ−１），Ｘ（ｉ−１）ｊ，Ｘ（ｉ−１）（ｊ＋１），Ｘ（ｉ−１）（ｊ＋２），Ｘ（ｉ−１）（ｊ＋３），Ｘ（ｉ−１）（ｊ＋４），Ｘ（ｉ−１）（ｊ＋５），Ｘ（ｉ−１）（ｊ＋６），Ｘ（ｉ−１）（ｊ＋７），Ｘｉ（ｊ−２），Ｘｉ（ｊ−１），Ｘｉｊ，Ｘｉ（ｊ＋１），Ｘｉ（ｊ＋２），Ｘ（ｉ＋１）（ｊ−２），Ｘ（ｉ＋１）（ｊ−１），Ｘ（ｉ＋１）ｊ，Ｘ（ｉ＋１）（ｊ＋１），Ｘ（ｉ＋１）（ｊ＋２），Ｘ（ｉ＋２）（ｊ−１），Ｘ（ｉ＋２）ｊ，Ｘ（ｉ＋２）（ｊ＋１）で構成される正方形状の予測値計算用ブロックを構成する。
【００３１】
具体的には、例えば、図８において四角形で囲む、歪曲の無い画像における画素Ｙ２３（１）乃至Ｙ２３（９）の予測値の計算のためには、画素Ｘ１１，Ｘ１２，Ｘ１３，Ｘ１４，Ｘ１５，Ｘ１６，Ｘ１７，Ｘ１８，Ｘ１９，Ｘ２１，Ｘ２２，Ｘ２３，Ｘ２４，Ｘ２５，Ｘ３１，Ｘ３２，Ｘ３３，Ｘ３４，Ｘ３５，Ｘ４１，Ｘ４２，Ｘ４３により、予測値計算用ブロックが構成される。
【００３２】
予測値計算用ブロック化回路１０２において得られた予測値計算用ブロックは、クラス分類適応処理回路１０３に供給される。
【００３３】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００３４】
また、注目する画像の位置により、クラス分類用ブロックおよび予測値計算用ブロックは、構成する画素数が変化するようにしてもよい。
【００３５】
なお、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００３６】
クラス分類適応処理回路１０３は、ＡＤＲＣ(Adaptive Dynamic Range Coding)処理回路１１１、クラス分類回路１１２、予測係数記憶回路１１３及び予測回路１１４で構成され、クラス分類適応処理を行う。
【００３７】
ＡＤＲＣ処理回路１１１は、クラス分類用ブロック化回路１０１からのクラス分類用ブロックに対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１１２に供給する。
【００３８】
ここで、ＡＤＲＣ処理回路１１１のＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が８ビットから２ビットに低減される。
【００３９】
即ち、例えば、いま、説明を簡単にするため、図９Ａに示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４０】
すなわち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Ｋで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図９Ｂに示すように、除算値が、ダイナミックレンジＤＲを４（＝２２）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、又は最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、又は１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、又は１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ００、下から２番目のレベルの範囲の中心値Ｌ０１、下から３番目のレベルの範囲の中心値Ｌ１０、又は最も上のレベルの範囲の中心値Ｌ１１にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００４１】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００４２】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００４３】
以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことにより、そのビット数を低減することができる。
【００４４】
次に、クラス分類処理および適応処理について簡単に説明する。クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００４５】
まず、クラス分類処理について説明する。
【００４６】
いま、例えば、図１０Ａに示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０又は１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１０Ｂに示すように、１６（＝（２１）４）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路１１２において行われる。
【００４７】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００４８】
ここで、通常、元の画素には、例えば８ビット程度が割り当てられる。また、本例においては、上述したように、クラス分類用ブロックは、５画素で構成される。従って、このようなクラス分類用ブロックを元の８ビットの画素で構成し、クラス分類処理を行ったのでは、（２８）５という膨大な数のクラスに分類されることになる。
【００４９】
一方、本例では、ＡＤＲＣ処理回路１１１において、画素のビット数を小さくしており（８ビットから２ビットにしており）、これにより、クラス数を削減する（１０２４（＝（２２）５）にする）ことができる。
【００５０】
クラス分類回路１１２は、ＡＤＲＣ処理回路１１１から供給されたＡＤＲＣコードを基に、クラス分類処理を実行し、クラスを指定する信号を、予測係数記憶回路１１３に出力する。
【００５１】
次に、適応処理について説明する。
【００５２】
適応処理を行うには、撮像装置１により入力される歪曲している画像と、複数カメラ等で取り込まれる歪曲の無い画像とにより、歪曲している画像から歪曲の無い画像を予測するための予測係数を、予め学習して予測係数記憶回路１１３に記憶しておく必要がある。
【００５３】
この適応処理を図１１に示す学習装置２００を用いて説明する。
【００５４】
歪曲画像入力部２０１より撮像装置１により入力される歪曲している画像が入力される。また、歪曲無し画像入力部２０２より、撮像装置１により撮影される位置と略同位置の歪曲の無い画像が入力される。例えば、歪曲無し画像入力部２０２は複数の周辺歪みの少ないカメラである。
【００５５】
次に歪曲画像入力部２０１及び歪曲無し画像入力部２０２より入力される画像は、学習用ブロック化部２０３に転送される。学習用ブロック化部２０３は、歪曲画像と、歪曲画像無し画像間での予測係数の学習に用いるための処理単位である画像ブロックを生成する。ここで、歪曲画像の周辺の歪曲している部分の画素数は、歪曲無し画像の対応する画素数に比較して画素数が少ない。よって、歪曲画像の歪曲していない部分と、歪曲している部分で学習用の画像ブロックを変更する方が望ましい。例えば、歪曲している部分は注目画素からより離れた部分の画素も含むような広範囲の画像ブロックが設定されることが望ましい。ちなみに、適応処理の段階では、画素数の少ないものから画素数の多いものへの予測を行うので、同一の歪曲画像ブロックを利用して複数の歪曲の無い画素値を予測する必要がある。そこで、例えば、注目画素からの相対位置が同じものを各々集めて予測係数を学習することにより、同一の歪曲画像ブロックから複数の歪曲の無い画素値を予測することが可能である。
【００５６】
学習用ブロック化部２０３で抽出された歪曲画像ブロックはＡＤＲＣ処理部２０４に入力され、ＡＤＲＣ処理結果に基いてクラス分類部２０５で歪曲画像ブロック毎にクラス分類される。ＡＤＲＣ処理部２０４、クラス分類部２０５は、上述のＡＤＲＣ処理回路１１１、クラス分類回路１１２と同様の構成である。
【００５７】
歪曲画像ブロックのクラス分類結果は、予測係数学習部２０６に入力される。更に、予測係数学習部２０６には学習用ブロック化部を介して対応する歪曲画像ブロック、及び予測の教師とされる歪曲無し画像が入力される。
【００５８】
次に、予測係数学習部２０６について詳細に説明する。
【００５９】
例えば、いま、歪曲の無い画像の画素値ｙの予測値Ｅ［ｙ］を、歪曲している画像の画素の画素値（以下、適宜、学習データという）ｘ１，ｘ２，・・・と、所定の予測係数ｗ１，ｗ２，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００６０】
Ｅ［ｙ］＝ｗ１ｘ１＋ｗ２ｘ２＋・・・＋ｗ２５ｘ２５ ・・・式１
いま、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ及び予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【００６１】
【数１】
で定義すると、次のような観測方程式が成立する。
【００６２】
ＸＷ＝Ｙ’ ・・・式２
そして、この観測方程式に最小自乗法を適用して、歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、歪曲の無い画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および歪曲の無い画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００６３】
【数２】
で定義すると、式２から、次のような残差方程式が成立する。
【００６４】
ＸＷ＝Ｙ＋Ｅ ・・・式３
この場合、歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００６５】
【数３】
を最小にすることで求めることができる。
【００６６】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗｉが、歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００６７】
【数４】
・・・式４
そこで、まず、式３を、予測係数ｗｉで微分することにより、次式が成立する。
【００６８】
【数５】
・・・式５
式４及び５より、式６が得られる。
【００６９】
【数６】
・・・式６
さらに、式３の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式６から、次のような正規方程式を得ることができる。
【００７０】
【数７】
・・・式７
式７の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができる。
【００７１】
次に、予測係数演算部２０７に上述の正規方程式が転送される。予測係数演算部２０７は、式７を解くことで、最適な予測係数ｗを求めることができる。式７を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００７２】
以上のようにして、クラスごとに、最適な予測係数ｗを求め、予測係数記憶回路１１３に予測係数が転送される。
【００７３】
すなわち、適応処理とは、予測係数記憶回路１１３に記憶される学習により求められた予測係数ｗを用い、式１により、歪曲画像から歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることである。
【００７４】
図７に示す予測係数記憶回路１１３は、以上のような、クラスごとの、最適な予測係数ｗを予め記憶している。予測係数記憶回路１１３は、クラス分類回路１１２から供給されたクラスを指定する信号を基にクラスごとの最適な予測係数ｗを予測回路１１４に出力する。予測回路１１４は、予測係数記憶回路１１３から供給された最適な予測係数ｗを基に、適応処理を実行し、歪曲の無い画像の画素値ｙをマルチプレクサ３７に出力する。
【００７５】
なお、適応処理は、歪曲のある画像には含まれていない、歪曲の無い画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式１だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同様であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、歪曲の無い画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００７６】
図１２は、画像処理装置４が画像提供装置２から受信した歪曲のある画像を歪曲の無い画像に変換するときの、画像処理装置４の機能の構成を説明するブロック図である。クラス分類用ブロック化回路１３１は、ネットワーク３を介して、画像提供装置２から受信した、歪曲している画像の画素をクラス分類用ブロックにブロック化し、クラス分類適応処理回路１３３に供給する。予測値計算用ブロック化回路１３２は、ネットワーク３を介して、画像提供装置２から受信した、歪曲している画像の画素を、予測値計算用ブロックにブロック化し、クラス分類適応処理回路１３３に供給する。
【００７７】
クラス分類適応処理回路１３３は、ＡＤＲＣ処理回路１４１、クラス分類回路１４２、予測係数記憶回路１４３、および予測回路１４４で構成され、クラス分類用ブロック化回路１３１から供給されたクラス分類用ブロック、及び予測値計算用ブロック化回路１３２から供給された予測値計算用ブロックを基に、クラス分類適応処理を実行し、歪曲の無い画像を創造し、モニタ５に出力する。
【００７８】
ＡＤＲＣ処理回路１４１は、クラス分類用ブロック化回路１３１からのクラス分類用ブロックに対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１４２に供給する。クラス分類回路１４２は、ＡＤＲＣ処理回路１４１から供給されたＡＤＲＣコードを基に、クラス分類処理を実行し、クラスを指定する信号を、予測係数記憶回路１４３に出力する。予測係数記憶回路１４３は、クラスごとの、最適な予測係数ｗを予め記憶し、クラス分類回路１４２から供給されたクラスを指定する信号を基に、クラスごとの、最適な予測係数ｗを予測回路１４４に出力する。予測回路１４４は、予測係数記憶回路１４３から供給された最適な予測係数ｗ、および予測値計算用ブロック化回路１３２から供給された予測値計算用ブロックを基に、適応処理を実行し、歪曲の無い画像の画素値ｙをモニタ５に出力する。
【００７９】
次に、画像提供装置２の画像を提供する処理を、図１３のフローチャートを参照して説明する。ステップＳ１１において、画像提供装置２の管理者は、画像提供装置２を立ち上げる。ステップＳ１２において、画像提供装置２のＡ／Ｄ部３１は、撮像装置１から供給された画像を、Ａ／Ｄ変換して、入力された画像に対応するデジタルデータを生成し、演算部３２に供給する。ステップＳ１３において、画像提供装置２の演算部３２は、Ａ／Ｄ部３１から入力されたデジタルデータを、記憶部３３に記憶させる。
【００８０】
ステップＳ１４において、送受信部３４は、ネットワーク３を介して、画像処理装置４又はモニタ７から供給された画像の送信要求を受信し、アドレスデコーダ３５に供給する。アドレスデコーダ３５は、送受信部３４から供給された画像の送信要求を画像のアドレスを指定するコードに変換し、演算部３２に出力する。演算部３２は、アドレスデコーダ３５から供給されている信号を基に、送信の要求があるか否か判定し、送信の要求があると判定された場合、ステップＳ１５に進み、アドレスデコーダ３５から供給されている画像のアドレスを指定するコードを入力する。ステップＳ１６において、演算部３２は、画像のアドレスを指定するコードを基に、記憶部３３から所定の画像を読み出す。
【００８１】
ステップＳ１７において、演算部３２は、アドレスデコーダ３５から供給されている信号、すなわち、画像処理装置４又はモニタ７から供給された画像の送信要求に対応する信号を基に画像変換の要求があるか否かを判定し、画像変換の要求があると判定された場合、ステップＳ１８に進み、記憶部３３から読み出した所定の画像を画像処理部３６に出力し、画像処理部３６に、歪曲の無い画像に変換させ、マルチプレクサ３７に、歪曲の無い画像を送受信部３４に出力させる。ステップＳ１７において、画像変換の要求がないと判定された場合、歪曲の無い画像への変換は、画像処理装置４で実行されるので、ステップＳ１８はスキップされ、演算部３２は、記憶部３３から読み出した所定の画像をそのままマルチプレクサ３７に出力し、マルチプレクサ３７に、その歪曲のある画像を送受信部３４に出力させる。
【００８２】
ステップＳ１９において、送受信部３４は、マルチプレクサ３７から供給された画像を、ネットワーク３を介して、ステップＳ１４で画像の送信要求を出力した画像処理装置４又はモニタ７に送信する。ステップＳ２０において、演算部３２は、図示せぬ入力部からの信号を基に、画像の提供を終了するか否かを判定し、画像の提供を終了しないと判定された場合、ステップＳ１２に戻り、画像の提供の処理を繰り返す。ステップＳ２０において、画像の提供を終了すると判定された場合、処理は終了する。
【００８３】
ステップＳ１４において、送信の要求がないと判定された場合、手続きは、ステップＳ１２に戻り、撮像装置１から供給される画像の入力から、処理を繰り返す。
【００８４】
以上のように、画像提供装置２は、画像処理装置４又はモニタ７からの要求に基づき、画像処理装置４又はモニタ７に所定の画像を提供する。画像処理装置４およびモニタ７が、同時に異なる画像を要求した場合、それぞれの要求に基づいて、所定の画像を、同時に送信する。
【００８５】
次に、図１３のステップＳ１８に対応する、画像処理部３６の画像の変換の処理を、図１４のフローチャートを参照して説明する。ステップＳ５１において、画像処理装置３６は、演算部３２から所定の画像を入力する。ステップＳ５２において、クラス分類用ブロック化回路１０１は、歪曲している画像を、注目される画素を中心としたクラス分類用ブロックにブロック化する。予測値計算用ブロック化回路１０２は、歪曲している画像を、注目画素を中心とした予測値計算用ブロックにブロック化する。
【００８６】
ステップＳ５３において、ＡＤＲＣ処理回路１１１は、クラス分類用ブロック化回路１０１から供給されたクラス分類用ブロックを基に、ＡＤＲＣ処理により、クラス分類用ブロックの画素の画素値に対応する２ビットのＡＤＲＣコードを生成する。ステップＳ５４において、クラス分類回路１１２は、ＡＤＲＣ処理回路１１１から供給されたＡＤＲＣコードを基に、クラス分類し、クラスを指定する信号を予測係数記憶回路１１３に出力する。
【００８７】
ステップＳ５５において、予測係数記憶回路１１３は、クラスを指定する信号に対応したクラスごとの、最適な予測係数ｗを予測回路１１４に出力する。ステップＳ５６において、予測回路１１４は、予測係数記憶回路１１３から供給された最適な予測係数ｗ及び予測値計算用ブロック化回路１０２から供給された予測値計算用ブロックを基に、注目画素の画素値を算出する。
【００８８】
ステップＳ５７において、予測回路１１４は、ステップＳ５６で算出した歪曲の無い画像の画素の画素値をマルチプレクサ３７に出力する。ステップＳ５８において、予測回路５８は、所定の画像の画素の画素値を出力したか否かを判定し、所定の画像の画素の画素値を出力していないと判定された場合、ステップＳ５１に戻り、画像の変換の処理を繰り返す。ステップＳ５８において、所定の画像の画素の画素値を出力したと判定された場合、手続きは終了する。
【００８９】
以上のように、画像処理部３６は、演算部３２から供給された画像から、クラス分類適応処理により、歪曲の無い画像を生成する。
【００９０】
なお、画像提供装置２が撮像装置１が撮像した画像の一部をそのまま画像処理装置４に送信するとき、画像処理装置４が行う処理は、図１４のフローチャートを参照して説明した処理と同様である。
【００９１】
以上のように、本発明の画像提供システムは、複数の利用者に、リアルタイムで異なる位置又は視野角の画像を提供するので、セキュリティの分野で利用する場合、カメラの死角が低減され、セキュリティが強化される。広告、情報案内、又は不動産の分野で利用する場合、実際の商品、又は建物の内部などの画像を、多くの利用者が、同時に、且つ任意の位置又は視野角の画像をみることができるので、提供する情報量が増加し、宣伝効果が高まる。
【００９２】
また、実用化が検討されている遠隔医療の分野において、各地に分散する複数の医師がチームを組んで手術を行う場合、複数の医師のそれぞれが自分の確認したい部位の画像を同時に見ることができるので、それぞれの医師は、短時間に正確な判断することができ患者の負担も軽減される。
【００９３】
撮像装置１は、機械的な動作部分が無いので、保守の間隔が、長くてもよく故障も少ない。
【００９４】
なお、撮像装置１は、動画像を撮像し画像提供装置２に出力すると説明したが、撮像装置１は、静止画像を撮像し画像提供装置２に出力し、画像提供装置２は、画像処理装置４又はモニタ７に静止画像を提供するようにしてもよい。
【００９５】
また、撮像装置１は、１以上の魚眼レンズを利用して構成するようにしてもよい。
ここで示したシステムとは、複数の装置により構成される装置全体を表すものである。
【００９６】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００９７】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一例を示している。ここで用いられるプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。あるいは、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ、磁気メモリ、光メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００９８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【００９９】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードやマウス等で構成される入力部３０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム又はドライブ３０９に装着されたリムーバブル記録媒体から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０１００】
ここで、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理、例えば、並列処理あるいはオブジェクトによる処理も含むものである。
【０１０１】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１０２】
【発明の効果】
本発明は、歪み画像と歪みの無い高質な画像との間で学習が行われるので、歪み画像が、歪みの無い画像に補正されると共に高質な画像に一括で変換される。よって、歪み画像の解像度を歪みの無い部分と同様の解像度に変換可能である。座標変換した後補完するという処理でなく予測演算のみで変換可能なため、演算に時間がかからない。また、従来用いられているので補完とは異なり歪みのある画像と歪みの無い画像との学習に基づいて予測演算しているので、存在しない画素を創造していることと等価であり、より高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像提供システムを示すブロック図である。
【図２】画像提供システムに用いられる本発明に係る撮像装置を示す概略斜視図である。
【図３】撮像装置が出力する画像を示す図である。
【図４】画像提供システムに用いられる本発明に係る画像提供装置を示すブロック図である。
【図５】記憶部から読み出される画像を説明する図である。
【図６】記憶部から読み出された画像が変換された画像を説明する図である。
【図７】画像提供システムに用いられる本発明に係る画像処理部の構成を示すブロック図である。
【図８】クラス分類用ブロックおよび予測値計算用ブロックを説明する図である。
【図９】ＡＤＲＣの処理を説明する図である。
【図１０】クラス分類処理を説明する図である。
【図１１】本発明に係る学習装置を示すブロック図である。
【図１２】画像処理装置を示すブロック図である。
【図１３】画像提供装置の画像を提供する処理を説明するフローチャートである。
【図１４】画像処理部の画像の変換の処理を説明するフローチャートである。
【図１５】画像提供システムの一連の処理を実行するプログラムがインストールされるコンピュータの構成を示すブロック図である。
【符号の説明】
１ 撮像装置、２ 画像提供装置、４ 画像処理装置、６−１，６−２ 入力装置、３３ 記憶部、３４ 送受信部、３６ 画像処理部
本発明は、指示に対応した遠隔地の画像を提供処理し又は表示する画像提供システム、画像提供方法、及び記憶媒体に関する。
【０００２】
【従来の技術】
ネットワーク技術の発達により情報通信の基盤が整備されるにともない通信ネットワークを介して動画像のデータをリアルタイムに送信することが可能になっている。このようなインフラストラクチャのもと、遠隔地にビデオカメラを設置し、ネットワークを介してそのビデオカメラを遠隔制御して所望の動画像を見る技術が、セキュリティ、広告、情報案内、不動産、遠隔医療及びその他の分野での利用が期待されている。
【０００３】
このような遠隔制御を可能とするビデオカメラとして、所定の位置を基準に、機械的にビデオカメラの視点を移動するいわゆるパン又はチルトさせて撮像の位置を変更し、視野角を変更するズーミングを行うパンチルトビデオカメラが利用される。
【０００４】
【発明が解決しようとする課題】
このパンチルトビデオカメラは、機械的に動作する部分を有するため、電子的にのみ動作するビデオカメラに比較し、信頼性に劣り、定期的な保守が必要であり、更に、動作に所定の時間が必要であるため、所望の画像が送信されるまでタイムラグがあるという問題がある。
【０００５】
また、機械的に動作するパンチルトビデオカメラは、複数の利用者に対し、それぞれ異なる撮像の視点又は視野角の映像を提供することはできない。
【０００６】
また、遠隔地に設置されて用いられるパンチルトビデオカメラには、例えば略３６０℃の広角度で広い範囲に亘って撮像を可能とするため、円錐ミラーを用いた撮像レンズが用いられている。この種の円錐ミラーを用いた撮像レンズにあっては、その構成上歪みを発生させる。そこで、円錐ミラーを用いて撮像を行ったときの画像データの歪みを除去する各種の技術が提供されている。
【０００７】
更に、円錐ミラーを用いた撮像レンズを用いて撮像される画像のうち、ユーザが所望する位置の画像の歪みを除去し、この画像を遠隔地にいるユーザに送信することにより、カメラがパンあるいはチルトしなくとも所望のパン、チルト画像をユーザが入手できるようにした撮像システムも提供されている。
【０００８】
従来提案されている画像データの歪みを除去する技術は、画像周辺の歪みを有する部分を座標変換により画素位置を変換するのみで、十分な解像度を得ることができないばかりか、画質の点からも歪みのない部分に比し劣化してしまっている。
【０００９】
本発明は、このような実状に鑑みて提案されたものであり、歪みを発生させることなく、高解像度の画像を得ることができる画像提供システム、画像提供方法、及び記憶媒体を提供することを目的とする。
【００１０】
また、本発明は、保守が容易で、高い信頼性を有し、タイムラグを発生させることなく画像の送信を可能となし、複数の利用者がそれぞれ異なる撮像の視点又は視野角の映像を利用できるようにすることができる画像提供システム、画像提供方法、及び記憶媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記のような目的を達成するために提案される本発明は、所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムであって、上記撮像手段は、透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備え、上記画像提供装置は、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付手段と、上記画像データ入力受付手段によって入力を受け付けた画像データが記憶される記憶手段と、上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出し手段と、上記画像読み出し手段によって読み出された画像データを、通信ネットワークを介して外部に送信する送信手段とを備え、上記画像処理装置は、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信手段と、上記受信手段によって受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割手段と、上記ブロック分割手段によって分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行手段と、上記マッチング処理実行手段によってＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行手段によって生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行手段と、上記クラス分類実行手段によって生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割手段によって生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出手段と、上記画素値算出手段によって算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力手段とを備える。
【００１２】
また、本発明は、所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムが実行する画像提供方法であって、透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備える撮像手段によって、所定の撮像範囲に存在する被写体を撮像する撮像ステップと、上記画像提供装置が、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付ステップと、上記画像提供装置が、上記画像データ入力受付手段によって入力を受け付けた画像データを記憶手段に書き込む画像データ書き込みステップと、上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、上記画像提供装置が、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出しステップと、上記画像提供装置が、上記画像読み出しステップで読み出された画像データを、通信ネットワークを介して外部に送信する送信ステップと、上記画像処理装置が、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信ステップと、上記画像処理装置が、上記受信ステップで受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割ステップと、上記画像処理装置が、上記ブロック分割ステップで分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行ステップと、上記画像処理装置が、上記マッチング処理実行ステップでＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行ステップで生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行ステップと、上記画像処理装置が、上記クラス分類実行ステップで生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割ステップで生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出ステップと、上記画像処理装置が、上記画素値算出ステップで算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力ステップと含む。
【００１３】
更に、本発明は、所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムにインストールされるプログラムが記憶された記憶媒体であって、透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備える撮像手段によって、所定の撮像範囲に存在する被写体を撮像する撮像手順と、上記画像提供装置が、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付手順と、上記画像提供装置が、上記画像データ入力受付手段によって入力を受け付けた画像データを記憶手段に書き込む画像データ書き込み手順と、上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、上記画像提供装置が、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出し手順と、上記画像提供装置が、上記画像読み出し手順で読み出された画像データを、通信ネットワークを介して外部に送信する送信手順と、上記画像処理装置が、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信手順と、上記画像処理装置が、上記受信手順で受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割手順と、上記画像処理装置が、上記ブロック分割手順で分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行手順と、上記画像処理装置が、上記マッチング処理実行手順でＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行手順で生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行手順と、上記画像処理装置が、上記クラス分類実行手順で生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割手順で生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出手順と、上記画像処理装置が、上記画素値算出手順で算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力手順とを含む処理を上記画像提供システムのコンピュータに実行させるプログラムがコンピュータに読み取り可能に記憶されている。
【００１７】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【００１８】
【発明の実施の形態】
以下、本発明に係る画像提供システム、画像提供方法、及び画像処理を行うためのプログラムを記録した記憶媒体を説明する。
【００１９】
まず、本発明が適用された画像提供システムを説明すると、この画像提供システムは、図１に示すように、撮像装置１を備える。撮像装置１は、所定の被写体を撮像し、撮像した動画像を画像提供装置２に供給する。画像提供装置２は、撮像装置１から供給された画像を記憶し、ネットワーク３を介して入力された画像処理４又はモニタ７からの送信要求に対応し、記憶されている画像の一部又は全部を抽出し、ネットワーク３を介して、送信要求を出力した画像処理４又はモニタ７に供給する。
【００２０】
画像処理装置４は、入力装置６−１から利用者の要求に対応した信号を入力し、所定の視点の画像の送信を要求する命令を、ネットワーク３を介して画像提供装置２に送信する。また、画像処理装置４は、ネットワーク３を介して画供装置２から供給された画像、すなわち画像処理装置４が送信した命令に対応して供給された画像を受信し、画像を変換し又はそのままの画像をモニタ５に出力する。モニタ５は、画像処理装置４から供給された画像を表示する。
【００２１】
モニタ７は、入力装置６−２から利用者の要求に対応した信号を入力し、所定の視点の画像の送信を要求する命令を、ネットワーク３を介して、画像提供装置２に送信する。また、モニタ７は、ネットワーク３を介して画像提供装置２から供給された画像、すなわち、モニタ７が送信した命令に対応して供給された画像を受信し、この受信した画像を表示する。
【００２２】
この画像提供システムに用いられる撮像装置１は、図２に示すように、透明のガラス又はプラスチックにより形成された透明な円筒体１１を備え、この円筒体１１内には、ミラー１２及びビデオカメラ１３が相互に所定の位置になるように支持されている。ミラー１２は、透明な円筒体１１を介して入力された外部からの周囲の映像に対応する光を反射し、ビデオカメラ１３に入力させる。ビデオカメラ１３は、ミラー１２に反射された周囲の映像を撮像し、例えば、図３に示す歪曲（ディストーション）している画像２１を画像提供装置２に供給する。ビデオカメラ１３が撮像する画像は、ビデオカメラ１３の光軸の周囲の略３６０度の映像を含んでいる。
【００２３】
図１に示す画像提供システム構成する画像提供装置２は、図４に示すように構成されている。この画像提供装置２は、撮像装置１から画像信号が入力されるＡ／Ｄ(Analog/Digital)変換部３１を備える。Ａ／Ｄ変換部３１は、撮像装置１から入力される歪曲している画像をＡ／Ｄ変換し、入力された画像に対応するデジタルデータを演算部３２に出力する。演算部３２は、Ａ／Ｄ変換部３１から入力された画像のデジタルデータを、記憶部３３に記憶させる。記憶部３３は、演算部３２から供給された画像、例えば、図３に示す画像２１に基づくデジタルデータを記憶し、演算部３２から指定された画像のデジタルデータを演算部３２に供給する。
【００２４】
送受信部３４は、ネットワーク３を介して、画像処理装置４又はモニタ７からの所定の視点の画像の送信を要求する命令を受信し、アドレスデコーダ３５に供給する。アドレスデコーダ３５は、送受信部３４から供給された命令を、記憶部３３が記憶する画像のアドレスを指定するコードに変換し、演算部３２に出力する。演算部３２は、アドレスデコーダ３５から供給される画像のアドレスを指定するコードを入力し、コードに対応する画像を記憶部３３から読み出し、マルチプレクサ３７又は画像処理部３６に供給する。
【００２５】
例えば、図５に示すように、記憶部３３に記憶されている画像２１の一部又は全部が、アドレスデコーダ３５から供給される画像のアドレスで特定され、記憶部３３から読み出される。例えば、画像５１又は画像５２が、記憶部３３から読み出され、マルチプレクサ３７又は画像処理部３６に供給される。画像処理部３６は、演算部３２から供給された画像を、クラス分類適応処理により、歪曲の無い画像に変換し、マルチプレクサ３７に出力する。例えば、図５の画像５１を図６の画像８１に変換し又は図５の画像５２を図６の画像８２に変換する。
【００２６】
マルチプレクサ３７は、演算部３２から供給された制御信号に基づき、演算部３２から供給された画像又は画像処理部３６から供給された画像のいずれかを選択し、送受信部３４に出力する。送受信部３４は、マルチプレクサ３７から入力された画像を、ネットワーク３を介して、画像の送信を要求する画像処理装置４又はモニタ７に送信する。
【００２７】
次に、演算部３２から供給された画像を、クラス分類適応処理により、歪曲のない画像に変換する画像処理部３６についてより詳細に説明する。図７は、画像処理部３６の構成を示すブロック図である。クラス分類用ブロック化回路１０１は、演算部３２から供給される、歪曲している画像を、その性質に応じて所定のクラスに分類するための単位である、注目される画素を中心としたクラス分類用ブロックにブロック化する。
【００２８】
すなわち、図８おいて、上からｉ番目で、左からｊ番目の画素（図中、●印で示す部分）をＸｉｊと表すとすると、クラス分類用ブロック化回路１０１は、注目画素Ｘｉｊの上、左、右、下に隣接する４つの画素Ｘ（ｉ−１）ｊ，Ｘｉ（ｊ−１），Ｘi（ｊ＋１），Ｘ（ｉ−１）ｊに、自身を含め、合計５画素で構成されるクラス分類用ブロックを構成する。このクラス分類用ブロックは、クラス分類適応処理回路１０３に供給される。
【００２９】
この場合、クラス分類用ブロックは、十文字形に配列されている画素でなるブロックで構成されることとなるが、クラス分類用ブロックの形状は、十文字形である必要はなく、その他、例えば、長方形、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、５画素に限定されるものではない。
【００３０】
予測値計算用ブロック化回路１０２は、画像の画素を、歪曲の無い画像の予測値を計算するための単位である、注目画素を中心とした予測値計算用ブロックにブロック化する。即ち、いま、図８において、画像の画素Ｘｉｊ（図中、●印で示す部分）を中心とする、歪曲の無い画像における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙｉｊ（１），Ｙｉｊ（２），Ｙｉｊ（３），Ｙｉｊ（４），Ｙｉｊ（５），Ｙｉｊ（６），Ｙｉｊ（７），Ｙｉｊ（８），Ｙｉｊ（９）と表すとすると、画素Ｙｉｊ（１）乃至Ｙｉｊ（９）の予測値の計算のために、予測値計算用ブロック化回路１０２は、例えば、画素Ｘijを中心とする２２画素Ｘ（ｉ−１）（ｊ−２），Ｘ（ｉ−１）（ｊ−１），Ｘ（ｉ−１）ｊ，Ｘ（ｉ−１）（ｊ＋１），Ｘ（ｉ−１）（ｊ＋２），Ｘ（ｉ−１）（ｊ＋３），Ｘ（ｉ−１）（ｊ＋４），Ｘ（ｉ−１）（ｊ＋５），Ｘ（ｉ−１）（ｊ＋６），Ｘ（ｉ−１）（ｊ＋７），Ｘｉ（ｊ−２），Ｘｉ（ｊ−１），Ｘｉｊ，Ｘｉ（ｊ＋１），Ｘｉ（ｊ＋２），Ｘ（ｉ＋１）（ｊ−２），Ｘ（ｉ＋１）（ｊ−１），Ｘ（ｉ＋１）ｊ，Ｘ（ｉ＋１）（ｊ＋１），Ｘ（ｉ＋１）（ｊ＋２），Ｘ（ｉ＋２）（ｊ−１），Ｘ（ｉ＋２）ｊ，Ｘ（ｉ＋２）（ｊ＋１）で構成される正方形状の予測値計算用ブロックを構成する。
【００３１】
具体的には、例えば、図８において四角形で囲む、歪曲の無い画像における画素Ｙ２３（１）乃至Ｙ２３（９）の予測値の計算のためには、画素Ｘ１１，Ｘ１２，Ｘ１３，Ｘ１４，Ｘ１５，Ｘ１６，Ｘ１７，Ｘ１８，Ｘ１９，Ｘ２１，Ｘ２２，Ｘ２３，Ｘ２４，Ｘ２５，Ｘ３１，Ｘ３２，Ｘ３３，Ｘ３４，Ｘ３５，Ｘ４１，Ｘ４２，Ｘ４３により、予測値計算用ブロックが構成される。
【００３２】
予測値計算用ブロック化回路１０２において得られた予測値計算用ブロックは、クラス分類適応処理回路１０３に供給される。
【００３３】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００３４】
また、注目する画像の位置により、クラス分類用ブロックおよび予測値計算用ブロックは、構成する画素数が変化するようにしてもよい。
【００３５】
なお、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００３６】
クラス分類適応処理回路１０３は、ＡＤＲＣ(Adaptive Dynamic Range Coding)処理回路１１１、クラス分類回路１１２、予測係数記憶回路１１３及び予測回路１１４で構成され、クラス分類適応処理を行う。
【００３７】
ＡＤＲＣ処理回路１１１は、クラス分類用ブロック化回路１０１からのクラス分類用ブロックに対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１１２に供給する。
【００３８】
ここで、ＡＤＲＣ処理回路１１１のＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が８ビットから２ビットに低減される。
【００３９】
即ち、例えば、いま、説明を簡単にするため、図９Ａに示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４０】
すなわち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Ｋで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図９Ｂに示すように、除算値が、ダイナミックレンジＤＲを４（＝２２）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、又は最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、又は１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、又は１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ００、下から２番目のレベルの範囲の中心値Ｌ０１、下から３番目のレベルの範囲の中心値Ｌ１０、又は最も上のレベルの範囲の中心値Ｌ１１にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００４１】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００４２】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００４３】
以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことにより、そのビット数を低減することができる。
【００４４】
次に、クラス分類処理および適応処理について簡単に説明する。クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００４５】
まず、クラス分類処理について説明する。
【００４６】
いま、例えば、図１０Ａに示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０又は１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１０Ｂに示すように、１６（＝（２１）４）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路１１２において行われる。
【００４７】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００４８】
ここで、通常、元の画素には、例えば８ビット程度が割り当てられる。また、本例においては、上述したように、クラス分類用ブロックは、５画素で構成される。従って、このようなクラス分類用ブロックを元の８ビットの画素で構成し、クラス分類処理を行ったのでは、（２８）５という膨大な数のクラスに分類されることになる。
【００４９】
一方、本例では、ＡＤＲＣ処理回路１１１において、画素のビット数を小さくしており（８ビットから２ビットにしており）、これにより、クラス数を削減する（１０２４（＝（２２）５）にする）ことができる。
【００５０】
クラス分類回路１１２は、ＡＤＲＣ処理回路１１１から供給されたＡＤＲＣコードを基に、クラス分類処理を実行し、クラスを指定する信号を、予測係数記憶回路１１３に出力する。
【００５１】
次に、適応処理について説明する。
【００５２】
適応処理を行うには、撮像装置１により入力される歪曲している画像と、複数カメラ等で取り込まれる歪曲の無い画像とにより、歪曲している画像から歪曲の無い画像を予測するための予測係数を、予め学習して予測係数記憶回路１１３に記憶しておく必要がある。
【００５３】
この適応処理を図１１に示す学習装置２００を用いて説明する。
【００５４】
歪曲画像入力部２０１より撮像装置１により入力される歪曲している画像が入力される。また、歪曲無し画像入力部２０２より、撮像装置１により撮影される位置と略同位置の歪曲の無い画像が入力される。例えば、歪曲無し画像入力部２０２は複数の周辺歪みの少ないカメラである。
【００５５】
次に歪曲画像入力部２０１及び歪曲無し画像入力部２０２より入力される画像は、学習用ブロック化部２０３に転送される。学習用ブロック化部２０３は、歪曲画像と、歪曲画像無し画像間での予測係数の学習に用いるための処理単位である画像ブロックを生成する。ここで、歪曲画像の周辺の歪曲している部分の画素数は、歪曲無し画像の対応する画素数に比較して画素数が少ない。よって、歪曲画像の歪曲していない部分と、歪曲している部分で学習用の画像ブロックを変更する方が望ましい。例えば、歪曲している部分は注目画素からより離れた部分の画素も含むような広範囲の画像ブロックが設定されることが望ましい。ちなみに、適応処理の段階では、画素数の少ないものから画素数の多いものへの予測を行うので、同一の歪曲画像ブロックを利用して複数の歪曲の無い画素値を予測する必要がある。そこで、例えば、注目画素からの相対位置が同じものを各々集めて予測係数を学習することにより、同一の歪曲画像ブロックから複数の歪曲の無い画素値を予測することが可能である。
【００５６】
学習用ブロック化部２０３で抽出された歪曲画像ブロックはＡＤＲＣ処理部２０４に入力され、ＡＤＲＣ処理結果に基いてクラス分類部２０５で歪曲画像ブロック毎にクラス分類される。ＡＤＲＣ処理部２０４、クラス分類部２０５は、上述のＡＤＲＣ処理回路１１１、クラス分類回路１１２と同様の構成である。
【００５７】
歪曲画像ブロックのクラス分類結果は、予測係数学習部２０６に入力される。更に、予測係数学習部２０６には学習用ブロック化部を介して対応する歪曲画像ブロック、及び予測の教師とされる歪曲無し画像が入力される。
【００５８】
次に、予測係数学習部２０６について詳細に説明する。
【００５９】
例えば、いま、歪曲の無い画像の画素値ｙの予測値Ｅ［ｙ］を、歪曲している画像の画素の画素値（以下、適宜、学習データという）ｘ１，ｘ２，・・・と、所定の予測係数ｗ１，ｗ２，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００６０】
Ｅ［ｙ］＝ｗ１ｘ１＋ｗ２ｘ２＋・・・＋ｗ２５ｘ２５ ・・・式１
いま、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ及び予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【００６１】
【数１】
【００６２】
ＸＷ＝Ｙ’ ・・・式２
そして、この観測方程式に最小自乗法を適用して、歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、歪曲の無い画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および歪曲の無い画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００６３】
【数２】
【００６４】
ＸＷ＝Ｙ＋Ｅ ・・・式３
この場合、歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００６５】
【数３】
【００６６】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗｉが、歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００６７】
【数４】
そこで、まず、式３を、予測係数ｗｉで微分することにより、次式が成立する。
【００６８】
【数５】
式４及び５より、式６が得られる。
【００６９】
【数６】
さらに、式３の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式６から、次のような正規方程式を得ることができる。
【００７０】
【数７】
式７の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができる。
【００７１】
次に、予測係数演算部２０７に上述の正規方程式が転送される。予測係数演算部２０７は、式７を解くことで、最適な予測係数ｗを求めることができる。式７を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００７２】
以上のようにして、クラスごとに、最適な予測係数ｗを求め、予測係数記憶回路１１３に予測係数が転送される。
【００７３】
すなわち、適応処理とは、予測係数記憶回路１１３に記憶される学習により求められた予測係数ｗを用い、式１により、歪曲画像から歪曲の無い画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることである。
【００７４】
図７に示す予測係数記憶回路１１３は、以上のような、クラスごとの、最適な予測係数ｗを予め記憶している。予測係数記憶回路１１３は、クラス分類回路１１２から供給されたクラスを指定する信号を基にクラスごとの最適な予測係数ｗを予測回路１１４に出力する。予測回路１１４は、予測係数記憶回路１１３から供給された最適な予測係数ｗを基に、適応処理を実行し、歪曲の無い画像の画素値ｙをマルチプレクサ３７に出力する。
【００７５】
なお、適応処理は、歪曲のある画像には含まれていない、歪曲の無い画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式１だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同様であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、歪曲の無い画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００７６】
図１２は、画像処理装置４が画像提供装置２から受信した歪曲のある画像を歪曲の無い画像に変換するときの、画像処理装置４の機能の構成を説明するブロック図である。クラス分類用ブロック化回路１３１は、ネットワーク３を介して、画像提供装置２から受信した、歪曲している画像の画素をクラス分類用ブロックにブロック化し、クラス分類適応処理回路１３３に供給する。予測値計算用ブロック化回路１３２は、ネットワーク３を介して、画像提供装置２から受信した、歪曲している画像の画素を、予測値計算用ブロックにブロック化し、クラス分類適応処理回路１３３に供給する。
【００７７】
クラス分類適応処理回路１３３は、ＡＤＲＣ処理回路１４１、クラス分類回路１４２、予測係数記憶回路１４３、および予測回路１４４で構成され、クラス分類用ブロック化回路１３１から供給されたクラス分類用ブロック、及び予測値計算用ブロック化回路１３２から供給された予測値計算用ブロックを基に、クラス分類適応処理を実行し、歪曲の無い画像を創造し、モニタ５に出力する。
【００７８】
ＡＤＲＣ処理回路１４１は、クラス分類用ブロック化回路１３１からのクラス分類用ブロックに対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１４２に供給する。クラス分類回路１４２は、ＡＤＲＣ処理回路１４１から供給されたＡＤＲＣコードを基に、クラス分類処理を実行し、クラスを指定する信号を、予測係数記憶回路１４３に出力する。予測係数記憶回路１４３は、クラスごとの、最適な予測係数ｗを予め記憶し、クラス分類回路１４２から供給されたクラスを指定する信号を基に、クラスごとの、最適な予測係数ｗを予測回路１４４に出力する。予測回路１４４は、予測係数記憶回路１４３から供給された最適な予測係数ｗ、および予測値計算用ブロック化回路１３２から供給された予測値計算用ブロックを基に、適応処理を実行し、歪曲の無い画像の画素値ｙをモニタ５に出力する。
【００７９】
次に、画像提供装置２の画像を提供する処理を、図１３のフローチャートを参照して説明する。ステップＳ１１において、画像提供装置２の管理者は、画像提供装置２を立ち上げる。ステップＳ１２において、画像提供装置２のＡ／Ｄ部３１は、撮像装置１から供給された画像を、Ａ／Ｄ変換して、入力された画像に対応するデジタルデータを生成し、演算部３２に供給する。ステップＳ１３において、画像提供装置２の演算部３２は、Ａ／Ｄ部３１から入力されたデジタルデータを、記憶部３３に記憶させる。
【００８０】
ステップＳ１４において、送受信部３４は、ネットワーク３を介して、画像処理装置４又はモニタ７から供給された画像の送信要求を受信し、アドレスデコーダ３５に供給する。アドレスデコーダ３５は、送受信部３４から供給された画像の送信要求を画像のアドレスを指定するコードに変換し、演算部３２に出力する。演算部３２は、アドレスデコーダ３５から供給されている信号を基に、送信の要求があるか否か判定し、送信の要求があると判定された場合、ステップＳ１５に進み、アドレスデコーダ３５から供給されている画像のアドレスを指定するコードを入力する。ステップＳ１６において、演算部３２は、画像のアドレスを指定するコードを基に、記憶部３３から所定の画像を読み出す。
【００８１】
ステップＳ１７において、演算部３２は、アドレスデコーダ３５から供給されている信号、すなわち、画像処理装置４又はモニタ７から供給された画像の送信要求に対応する信号を基に画像変換の要求があるか否かを判定し、画像変換の要求があると判定された場合、ステップＳ１８に進み、記憶部３３から読み出した所定の画像を画像処理部３６に出力し、画像処理部３６に、歪曲の無い画像に変換させ、マルチプレクサ３７に、歪曲の無い画像を送受信部３４に出力させる。ステップＳ１７において、画像変換の要求がないと判定された場合、歪曲の無い画像への変換は、画像処理装置４で実行されるので、ステップＳ１８はスキップされ、演算部３２は、記憶部３３から読み出した所定の画像をそのままマルチプレクサ３７に出力し、マルチプレクサ３７に、その歪曲のある画像を送受信部３４に出力させる。
【００８２】
ステップＳ１９において、送受信部３４は、マルチプレクサ３７から供給された画像を、ネットワーク３を介して、ステップＳ１４で画像の送信要求を出力した画像処理装置４又はモニタ７に送信する。ステップＳ２０において、演算部３２は、図示せぬ入力部からの信号を基に、画像の提供を終了するか否かを判定し、画像の提供を終了しないと判定された場合、ステップＳ１２に戻り、画像の提供の処理を繰り返す。ステップＳ２０において、画像の提供を終了すると判定された場合、処理は終了する。
【００８３】
ステップＳ１４において、送信の要求がないと判定された場合、手続きは、ステップＳ１２に戻り、撮像装置１から供給される画像の入力から、処理を繰り返す。
【００８４】
以上のように、画像提供装置２は、画像処理装置４又はモニタ７からの要求に基づき、画像処理装置４又はモニタ７に所定の画像を提供する。画像処理装置４およびモニタ７が、同時に異なる画像を要求した場合、それぞれの要求に基づいて、所定の画像を、同時に送信する。
【００８５】
次に、図１３のステップＳ１８に対応する、画像処理部３６の画像の変換の処理を、図１４のフローチャートを参照して説明する。ステップＳ５１において、画像処理装置３６は、演算部３２から所定の画像を入力する。ステップＳ５２において、クラス分類用ブロック化回路１０１は、歪曲している画像を、注目される画素を中心としたクラス分類用ブロックにブロック化する。予測値計算用ブロック化回路１０２は、歪曲している画像を、注目画素を中心とした予測値計算用ブロックにブロック化する。
【００８６】
ステップＳ５３において、ＡＤＲＣ処理回路１１１は、クラス分類用ブロック化回路１０１から供給されたクラス分類用ブロックを基に、ＡＤＲＣ処理により、クラス分類用ブロックの画素の画素値に対応する２ビットのＡＤＲＣコードを生成する。ステップＳ５４において、クラス分類回路１１２は、ＡＤＲＣ処理回路１１１から供給されたＡＤＲＣコードを基に、クラス分類し、クラスを指定する信号を予測係数記憶回路１１３に出力する。
【００８７】
ステップＳ５５において、予測係数記憶回路１１３は、クラスを指定する信号に対応したクラスごとの、最適な予測係数ｗを予測回路１１４に出力する。ステップＳ５６において、予測回路１１４は、予測係数記憶回路１１３から供給された最適な予測係数ｗ及び予測値計算用ブロック化回路１０２から供給された予測値計算用ブロックを基に、注目画素の画素値を算出する。
【００８８】
ステップＳ５７において、予測回路１１４は、ステップＳ５６で算出した歪曲の無い画像の画素の画素値をマルチプレクサ３７に出力する。ステップＳ５８において、予測回路５８は、所定の画像の画素の画素値を出力したか否かを判定し、所定の画像の画素の画素値を出力していないと判定された場合、ステップＳ５１に戻り、画像の変換の処理を繰り返す。ステップＳ５８において、所定の画像の画素の画素値を出力したと判定された場合、手続きは終了する。
【００８９】
以上のように、画像処理部３６は、演算部３２から供給された画像から、クラス分類適応処理により、歪曲の無い画像を生成する。
【００９０】
なお、画像提供装置２が撮像装置１が撮像した画像の一部をそのまま画像処理装置４に送信するとき、画像処理装置４が行う処理は、図１４のフローチャートを参照して説明した処理と同様である。
【００９１】
以上のように、本発明の画像提供システムは、複数の利用者に、リアルタイムで異なる位置又は視野角の画像を提供するので、セキュリティの分野で利用する場合、カメラの死角が低減され、セキュリティが強化される。広告、情報案内、又は不動産の分野で利用する場合、実際の商品、又は建物の内部などの画像を、多くの利用者が、同時に、且つ任意の位置又は視野角の画像をみることができるので、提供する情報量が増加し、宣伝効果が高まる。
【００９２】
また、実用化が検討されている遠隔医療の分野において、各地に分散する複数の医師がチームを組んで手術を行う場合、複数の医師のそれぞれが自分の確認したい部位の画像を同時に見ることができるので、それぞれの医師は、短時間に正確な判断することができ患者の負担も軽減される。
【００９３】
撮像装置１は、機械的な動作部分が無いので、保守の間隔が、長くてもよく故障も少ない。
【００９４】
なお、撮像装置１は、動画像を撮像し画像提供装置２に出力すると説明したが、撮像装置１は、静止画像を撮像し画像提供装置２に出力し、画像提供装置２は、画像処理装置４又はモニタ７に静止画像を提供するようにしてもよい。
【００９５】
また、撮像装置１は、１以上の魚眼レンズを利用して構成するようにしてもよい。
ここで示したシステムとは、複数の装置により構成される装置全体を表すものである。
【００９６】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【００９７】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一例を示している。ここで用いられるプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。あるいは、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ、磁気メモリ、光メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００９８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【００９９】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードやマウス等で構成される入力部３０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム又はドライブ３０９に装着されたリムーバブル記録媒体から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０１００】
ここで、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理、例えば、並列処理あるいはオブジェクトによる処理も含むものである。
【０１０１】
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１０２】
【発明の効果】
本発明は、歪み画像と歪みの無い高質な画像との間で学習が行われるので、歪み画像が、歪みの無い画像に補正されると共に高質な画像に一括で変換される。よって、歪み画像の解像度を歪みの無い部分と同様の解像度に変換可能である。座標変換した後補完するという処理でなく予測演算のみで変換可能なため、演算に時間がかからない。また、従来用いられているので補完とは異なり歪みのある画像と歪みの無い画像との学習に基づいて予測演算しているので、存在しない画素を創造していることと等価であり、より高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像提供システムを示すブロック図である。
【図２】画像提供システムに用いられる本発明に係る撮像装置を示す概略斜視図である。
【図３】撮像装置が出力する画像を示す図である。
【図４】画像提供システムに用いられる本発明に係る画像提供装置を示すブロック図である。
【図５】記憶部から読み出される画像を説明する図である。
【図６】記憶部から読み出された画像が変換された画像を説明する図である。
【図７】画像提供システムに用いられる本発明に係る画像処理部の構成を示すブロック図である。
【図８】クラス分類用ブロックおよび予測値計算用ブロックを説明する図である。
【図９】ＡＤＲＣの処理を説明する図である。
【図１０】クラス分類処理を説明する図である。
【図１１】本発明に係る学習装置を示すブロック図である。
【図１２】画像処理装置を示すブロック図である。
【図１３】画像提供装置の画像を提供する処理を説明するフローチャートである。
【図１４】画像処理部の画像の変換の処理を説明するフローチャートである。
【図１５】画像提供システムの一連の処理を実行するプログラムがインストールされるコンピュータの構成を示すブロック図である。
【符号の説明】
１ 撮像装置、２ 画像提供装置、４ 画像処理装置、６−１，６−２ 入力装置、３３ 記憶部、３４ 送受信部、３６ 画像処理部
Claims (7)
- 所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムであって、
上記撮像手段は
透明な材料によって形成された中空の円筒体と、
上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、
上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備え、
上記画像提供装置は、
上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付手段と、
上記画像データ入力受付手段によって入力を受け付けた画像データが記憶される記憶手段と、
上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出し手段と、
上記画像読み出し手段によって読み出された画像データを、通信ネットワークを介して外部に送信する送信手段とを備え、
上記画像処理装置は、
上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信手段と、
上記受信手段によって受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割手段と、
上記ブロック分割手段によって分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行手段と、
上記マッチング処理実行手段によってＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行手段によって生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行手段と、
上記クラス分類実行手段によって生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割手段によって生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出手段と、
上記画素値算出手段によって算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力手段と
を備えた画像提供システム。 - 上記画像提供装置は、
画像データのアドレスを指定した送信要求が上記画像処理装置からあるとき、上記記憶手段に記憶されている画像データの少なくとも一部を選択する選択手段と、
上記選択手段により選択された上記画像の全部又は一部を、クラス分類適応処理により歪曲を除去すると共に高質画像に変換する画像変換手段とを更に備える請求項１に記載の画像提供システム。 - 上記画像変換手段は、
ＡＤＲＣ処理によりクラス分類用ブロックの画素の画素値のビット数を削減する請求項２に記載の画像提供システム。 - 上記画像処理装置によって処理対象画素の歪みが除去された画像データを表示するディスプレイを有する表示装置を更に備える請求項１乃至３の何れか１項に記載の画像提供システム。
- 上記画像提供装置によって処理対象画素の歪みが除去された画像データを表示するディスプレイを有する表示装置を更に備える請求項２に記載の画像提供システム。
- 所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムが実行する画像提供方法であって、
透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備える撮像手段によって、所定の撮像範囲に存在する被写体を撮像する撮像ステップと、
上記画像提供装置が、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付ステップと、
上記画像提供装置が、上記画像データ入力受付手段によって入力を受け付けた画像データを記憶手段に書き込む画像データ書き込みステップと、
上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、上記画像提供装置が、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出しステップと、
上記画像提供装置が、上記画像読み出しステップで読み出された画像データを、通信ネットワークを介して外部に送信する送信ステップと、
上記画像処理装置が、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信ステップと、
上記画像処理装置が、上記受信ステップで受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割ステップと、
上記画像処理装置が、上記ブロック分割ステップで分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行ステップと、
上記画像処理装置が、上記マッチング処理実行ステップでＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行ステップで生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行ステップと、
上記画像処理装置が、上記クラス分類実行ステップで生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割ステップで生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出ステップと、
上記画像処理装置が、上記画素値算出ステップで算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力ステップと
を含む画像提供方法。 - 所定の撮像範囲に存在する被写体を撮像する撮像手段によって撮像された画像データを提供する画像提供装置と、上記画像提供装置によって提供された画像データに含まれる歪みを除去する処理を実行する画像処理装置とが通信ネットワークを介して接続された画像提供システムにインストールされるプログラムが記憶された記憶媒体であって、
透明な材料によって形成された中空の円筒体と、上記円筒体の中空部に設けられ、当該円筒体を介して外部から入力された周囲の映像に対応する光を反射するミラーと、上記円筒体の中空部に設けられ、上記ミラーによって反射された、ビデオカメラ本体の光軸の周囲の略３６０度の映像を含み、歪曲している周囲の映像を撮像するビデオカメラとを備える撮像手段によって、所定の撮像範囲に存在する被写体を撮像する撮像手順と、
上記画像提供装置が、上記撮像手段から入力された画像データの入力を受け付ける画像データ入力受付手順と、
上記画像提供装置が、上記画像データ入力受付手段によって入力を受け付けた画像データを記憶手段に書き込む画像データ書き込み手順と、
上記画像処理装置から画像データのアドレスを指定した送信要求があるとき、当該画像処理装置から該アドレスを指定するコードが入力された場合には、上記画像提供装置が、指定されたアドレスに対応する画像データを上記記憶手段から読み出す画像読み出し手順と、
上記画像提供装置が、上記画像読み出し手順で読み出された画像データを、通信ネットワークを介して外部に送信する送信手順と、
上記画像処理装置が、上記画像提供装置から通信ネットワークを介して送信された画像データを受信する受信手順と、
上記画像処理装置が、上記受信手順で受信された画像データを、画像データ内に含まれる処理対象画素を中心とした、上記画像提供装置から通信ネットワークを介して送信された画像データ内の歪みを除去するための予測値計算用ブロックに分割するブロック分割手順と、
上記画像処理装置が、上記ブロック分割手順で分割された予測値計算用ブロックに含まれる画素に対し、ＡＤＲＣ処理を施すことによって２ビットのＡＤＲＣコードを生成するマッチング処理実行手順と、
上記画像処理装置が、上記マッチング処理実行手順でＡＤＲＣ処理を施した予測値計算用ブロックに対し、上記マッチング処理実行手順で生成されたＡＤＲＣコードに基づいて処理対象画素が含まれる予測値計算用ブロックに対するクラス分類を実行し、処理対象画素が含まれる予測値計算用ブロックが所属するクラスを指定するクラス指定信号を生成するクラス分類実行手順と、
上記画像処理装置が、上記クラス分類実行手順で生成されたクラス指定信号に含まれるクラス毎の予測係数と、上記ブロック分割手順で生成された予測値計算用ブロックとに基づいて、予測値計算用ブロックに含まれる処理対象画素の歪みを除去した場合における画素値を算出する画素値算出手順と、
上記画像処理装置が、上記画素値算出手順で算出された歪み除去後の画素値によって構成される画像データを外部に出力する出力手順と
を含む処理を上記画像提供システムのコンピュータに実行させるプログラムがコンピュータに読み取り可能に記憶された記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6663499 | 1999-03-12 | ||
| PCT/JP2000/001511 WO2000056075A1 (fr) | 1999-03-12 | 2000-03-13 | Dispositif fournisseur d'image et son procédé d'utilisation, dispositif de traitement d'image et son procédé d'utilisation, et support d'enregistrement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4524922B2 true JP4524922B2 (ja) | 2010-08-18 |
Family
ID=13321535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000605401A Expired - Fee Related JP4524922B2 (ja) | 1999-03-12 | 2000-03-13 | 画像提供システム、画像提供方法、及び記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7339617B1 (ja) |
| JP (1) | JP4524922B2 (ja) |
| KR (1) | KR100760171B1 (ja) |
| CN (2) | CN1185873C (ja) |
| WO (1) | WO2000056075A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596606B2 (en) * | 1999-03-11 | 2009-09-29 | Codignotto John D | Message publishing system for publishing messages from identified, authorized senders |
| US7595819B2 (en) * | 2003-07-31 | 2009-09-29 | Sony Corporation | Signal processing device and signal processing method, program, and recording medium |
| JP4281453B2 (ja) * | 2003-07-31 | 2009-06-17 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| JP4443181B2 (ja) * | 2003-10-15 | 2010-03-31 | 株式会社日立製作所 | コミュニケーションシステム及び方法 |
| DE602004025543D1 (de) | 2003-12-03 | 2010-04-01 | Omron Tateisi Electronics Co | Bildverarbeitungssystem, Verfahren zur Steuerung des Bildverarbeitungssystems und Programm für ein Peripheriegerät im System |
| CN100367706C (zh) * | 2004-10-28 | 2008-02-06 | 上海交通大学 | 基于网络服务资源框架的图像网格处理系统 |
| KR100849436B1 (ko) * | 2004-12-13 | 2008-07-30 | 한국전자통신연구원 | 비디오 워터마킹 기법의 성능 평가를 위한 테스트 동영상선택 방법 및 시스템 |
| JP4473779B2 (ja) * | 2005-05-23 | 2010-06-02 | 株式会社東芝 | 超音波診断装置及びその画像処理方法 |
| JP4671885B2 (ja) * | 2005-06-01 | 2011-04-20 | 株式会社リコー | 画像処理装置、プログラムおよび画像処理方法 |
| JP5057948B2 (ja) * | 2007-12-04 | 2012-10-24 | アルパイン株式会社 | 歪曲補正画像生成ユニットおよび歪曲補正画像生成方法 |
| BRPI0807594A2 (pt) | 2007-12-18 | 2014-07-22 | Sony Corp | Dispositivo de processamento de dados, método de processamento de dados, e, meio de armazenagem |
| KR101193129B1 (ko) * | 2011-03-02 | 2012-10-19 | 남궁성 | 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템 |
| HK1167067A2 (en) * | 2011-09-06 | 2012-11-16 | Smart Edge Invest Ltd | A system and method for processing a very wide angle image |
| CN105791882B (zh) * | 2016-03-22 | 2018-09-18 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| KR102537559B1 (ko) * | 2016-11-14 | 2023-05-26 | 한화비전 주식회사 | 영상촬영장치에서 다양한뷰모드를 제공하는 방법 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59115677A (ja) * | 1982-12-22 | 1984-07-04 | Hitachi Ltd | 画像処理装置 |
| JPH06121318A (ja) * | 1992-10-01 | 1994-04-28 | Matsushita Electric Ind Co Ltd | 撮像監視装置 |
| JPH06216784A (ja) * | 1993-01-14 | 1994-08-05 | Sony Corp | ディジタル信号の量子化器 |
| JPH0896118A (ja) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | 車両用周囲状況表示装置 |
| JPH08138081A (ja) * | 1994-11-08 | 1996-05-31 | Sony Corp | 画像生成装置 |
| JPH09130748A (ja) * | 1995-08-30 | 1997-05-16 | Sony Corp | 画像信号処理装置および記録／再生装置 |
| JPH09505447A (ja) * | 1993-08-25 | 1997-05-27 | ジ オーストラリアン ナショナル ユニバーシティー | パノラマ的監視システム |
| JPH09261522A (ja) * | 1996-03-27 | 1997-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 可変領域を得うる映像配信方法、ならびにシステム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0313074A (ja) * | 1989-06-09 | 1991-01-22 | Canon Inc | 画像処理システム |
| US6243131B1 (en) * | 1991-05-13 | 2001-06-05 | Interactive Pictures Corporation | Method for directly scanning a rectilinear imaging element using a non-linear scan |
| US5280540A (en) * | 1991-10-09 | 1994-01-18 | Bell Communications Research, Inc. | Video teleconferencing system employing aspect ratio transformation |
| US5438357A (en) * | 1993-11-23 | 1995-08-01 | Mcnelley; Steve H. | Image manipulating teleconferencing system |
| US5703604A (en) * | 1995-05-22 | 1997-12-30 | Dodeca Llc | Immersive dodecaherdral video viewing system |
| US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
| US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| US6459451B2 (en) * | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
| CA2275466C (en) * | 1996-12-17 | 2004-09-14 | Nature Technology Co., Ltd. | Imaging system |
| US6097434A (en) * | 1998-03-25 | 2000-08-01 | Intel Corporation | System and method for correcting pixel data in an electronic device |
-
2000
- 2000-03-13 KR KR1020007012628A patent/KR100760171B1/ko not_active IP Right Cessation
- 2000-03-13 WO PCT/JP2000/001511 patent/WO2000056075A1/ja active Application Filing
- 2000-03-13 US US09/700,140 patent/US7339617B1/en not_active Expired - Fee Related
- 2000-03-13 CN CNB008007918A patent/CN1185873C/zh not_active Expired - Fee Related
- 2000-03-13 CN CNB2004100018092A patent/CN1245016C/zh not_active Expired - Fee Related
- 2000-03-13 JP JP2000605401A patent/JP4524922B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59115677A (ja) * | 1982-12-22 | 1984-07-04 | Hitachi Ltd | 画像処理装置 |
| JPH06121318A (ja) * | 1992-10-01 | 1994-04-28 | Matsushita Electric Ind Co Ltd | 撮像監視装置 |
| JPH06216784A (ja) * | 1993-01-14 | 1994-08-05 | Sony Corp | ディジタル信号の量子化器 |
| JPH09505447A (ja) * | 1993-08-25 | 1997-05-27 | ジ オーストラリアン ナショナル ユニバーシティー | パノラマ的監視システム |
| JPH0896118A (ja) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | 車両用周囲状況表示装置 |
| JPH08138081A (ja) * | 1994-11-08 | 1996-05-31 | Sony Corp | 画像生成装置 |
| JPH09130748A (ja) * | 1995-08-30 | 1997-05-16 | Sony Corp | 画像信号処理装置および記録／再生装置 |
| JPH09261522A (ja) * | 1996-03-27 | 1997-10-03 | Nippon Telegr & Teleph Corp <Ntt> | 可変領域を得うる映像配信方法、ならびにシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1516471A (zh) | 2004-07-28 |
| US7339617B1 (en) | 2008-03-04 |
| KR100760171B1 (ko) | 2007-09-20 |
| CN1245016C (zh) | 2006-03-08 |
| CN1304616A (zh) | 2001-07-18 |
| WO2000056075A1 (fr) | 2000-09-21 |
| CN1185873C (zh) | 2005-01-19 |
| KR20010043525A (ko) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4524922B2 (ja) | 画像提供システム、画像提供方法、及び記憶媒体 | |
| JP5263565B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| TWI634440B (zh) | 用於產生無失真寬視圖影像的成像裝置及方法 | |
| KR100655837B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 및 그에 대한 기록매체 | |
| JP3968665B2 (ja) | 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 | |
| EP2446420B1 (en) | Device and method for processing digital images captured by a binary image sensor | |
| JP4517300B2 (ja) | 表示装置および表示方法、学習装置および学習方法、並びにプログラム | |
| WO2000049812A1 (en) | Image signal processor, image signal processing method, learning device, learning method, and recorded medium | |
| CN101534391A (zh) | 摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质 | |
| JPH1084548A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 | |
| WO2007119712A1 (ja) | カメラ装置、画像処理装置および画像処理方法 | |
| JPH06165024A (ja) | 撮像装置及び画像再生装置及び映像システム | |
| US7256832B2 (en) | CCD camera forming a still image by adding offset values to the odd and even fields and method for controlling the same | |
| JP2007201572A (ja) | 学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラム | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4105257B2 (ja) | 記憶装置および記憶方法 | |
| JPS60249486A (ja) | マルチフオ−マツトカメラ | |
| JPH08305841A (ja) | 歪曲収差画像補正表示装置 | |
| JP4517301B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| EP0993190A2 (en) | Image data recording and reproducing method, apparatus and medium | |
| JP3403143B2 (ja) | 画像処理方法、その装置および記憶媒体 | |
| JP4305743B2 (ja) | 信号処理装置および信号処理方法、プログラム、並びに記録媒体 | |
| JP4487900B2 (ja) | 画像処理システム | |
| JP4893364B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 | |
| JP2005277582A (ja) | パノラマ撮像装置、パノラマ撮像方法、監視システム、パノラマ撮像装置の制御プログラム並びにプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |