JP3981454B2

JP3981454B2 - 不均一解像度画像データ生成装置及び方法及び不均一解像度画像データを用いる画像処理装置

Info

Publication number: JP3981454B2
Application number: JP01675798A
Authority: JP
Inventors: 誠後藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-01-29
Filing date: 1998-01-29
Publication date: 2007-09-26
Anticipated expiration: 2018-01-29
Also published as: JPH11213136A

Description

【０００１】
【発明の属する技術分野】
本発明は、不均一解像度画像データ生成装置及び方法及び不均一解像度画像データを用いる画像処理装置に関する。
【０００２】
【従来の技術】
固定した視点から見た静的なシーンをユーザに提示する際、１枚の画像をディスプレイ装置にただ提示するだけでなく、ユーザからの指示により、そのシーンを含む全体画像に基づいて、シーンの上下左右を見回したり、拡大率を変えてそのシーンの一部を拡大して見ることができれば、ユーザはそのシーンをより容易に理解でき、また、より現実感を感じることができる。
【０００３】
このような画像提示システムは既に実用化されており、画像に基づいた、いわゆるウィンドウ型のバーチャルリアリティシステムの要素技術の一つとなっている。上記のような機能を備えた画像提示システムを、以下、「対話システム」という。また、本明細書においては、対話システムにおいて、左右に連続的に全体画像を見回すことを「パンニング」、上下に連続的に全体画像を見回すことを「ティルティング」、連続的に拡大率を変えることを「ズーミング」という。ただし、パンニングとティルティングとを区別する必要のないときには、両者を包括的に説明するための語句として「パンニング」を使用する場合もある。
【０００４】
パンニングやティルティングは、画像を提示するウィンドウのサイズよりも大きな全体画像を用意しておき、ユーザの指示に基づいて適切な部分の画像を切り出してディスプレイ装置に提示することによって実現することができる。また、ズーミングは、画像の解像度変換を行うことにより実現することができる。なお、厳密にいえば、パンニングやティルティングにおいては、球面にマッピングされた全体画像から適切な部分の画像を切り出すべきであるが、本明細書では、平面にマッピングされた全体画像からの切り出しと考える。
【０００５】
一方、コンピュータビジョンの分野におけるパターン認識処理では、通常、注目する対象物を切り出すセグメンテーション処理、切り出された対象物から特徴量を抽出する特徴量抽出処理、及び、抽出された特徴量をもとに対象物の認識を行う認識処理、の三段階の手順で行われる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の対話システムは、空間的に均一な解像度を持つように標本化された画像を用いるため、ズーミングにより画像を拡大していくと、画像の空間周波数の高周波成分が失われ、画像がぼけたように提示されてしまうという問題点を有していた。これを防止するためには、広い範囲にわたって、非常に高解像度の画像を準備しておかなければならず、画像貯蔵資源や画像転送資源を浪費してしまうので実用的ではない。さらに、現在のように画像データのネットワーク上での転送が試みられるようになると、自由度の高い対話システムを構築するためには、無駄の少ない画像表現形式を実現することが極めて重要な課題となっている。
【０００７】
一方、コンピュータビジョンの分野におけるパターン認識処理でも、上記従来の技術では、空間的に均一な解像度を持つように標本化された画像を基本としている。したがって、特にその対象物がカメラから遠く離れている場合には、セグメンテーション処理において切り出された対象物が、極めて少数の画素で表現されることになる。これでは、特徴量抽出処理において特徴量の抽出が十分に行えない場合が生じ、最終的な認識処理において不利となるという問題点があった。
【０００８】
かかる不利を解消すべく、中心部が高解像度で、周辺部に行くほど低解像度となる対数極（log-polar）座標という表現形式の画像を取り込むように工夫されたカメラを、対象物に向けて撮像する手法が開発されている（例えば、SPIE Vol.1192 Intelligent Robots and Computer Vision VIII : Algorithms and Techniques (1989) pp.843-853 に開示されている。）。
【０００９】
しかし、対数極座標を用いる手法では、画像の表現方法が特殊であるため、後続する処理において、正方格子で標本化された直角座標で表現された画像に対して用いられる通常の諸手法を利用することができない。即ち、その表現方法に特化したアルゴリズムで特徴量抽出処理などを行わなければならない。
【００１０】
本発明は、上記の問題点に鑑み、対話システムにおいてユーザが全体画像を見回したり、コンピュータビジョンにおいてカメラが実環境を見回したりする際に、画像貯蔵資源や画像転送資源を浪費することなく、広範囲のズーミングを行うことが可能となる不均一解像度画像データ生成装置及び方法及び不均一解像度画像データを用いた画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記目的を達成するため、本発明の第１の不均一解像度画像データ生成装置は、同一の大きさの正方形の受光面を有する第１の受光素子を、一度に表示すべき縦方向と横方向の画素の数と等しい数だけ並べた第１階層の受光素子ブロックの外側に、前記第１の受光素子の受光面より大きい正方形の受光面を有する第２の受光素子を、その最外周の第２の受光素子の縦方向と横方向の数が、前記表示すべき縦方向と横方向の画素の数と等しくなり、かつ、前記第１階層の受光素子ブロックの最外周が、全て前記第２の受光素子と接触するように配置して第２階層の受光素子ブロックを形成し、さらに前記第２階層の受光素子ブロックの外側に、前記第２階層の受光素子ブロックを形成した場合と同様の処理を、必要な階層の受光素子ブロックを得るまで再帰的に行うことにより形成した受光素子ブロックを含む画像センサを用いることを特徴とする。なお、本発明においては、正方格子状に標本化された画像は、同一の大きさの正方形の受光面を有する受光素子が間隙なく敷き詰められた画像センサによって撮像された画像であると考える。本発明の不均一解像度画像データ生成装置によれば、対話システムにおいてユーザが全体画像を見回したり、コンピュータビジョンにおいてカメラが実環境を見回したりする際に、画像貯蔵資源や画像転送資源を浪費することなく、広範囲のズーミングを行うことが可能となる不均一解像度画像データを、解像度変換処理を行うことなく得ることができる。また、本発明の不均一解像度画像データ生成装置によって得られた不均一解像度画像データを用いると、画像縮小処理等の再帰的適用という比較的単純なアルゴリズムによって一連の均一解像度画像を得ることができるため、処理速度的にも有利である。
【００１２】
また、本発明の第２の不均一解像度画像データ生成装置は、撮像により不均一解像度画像データを得ることが可能な画像センサに含まれるそれぞれの受光素子の中心位置及び当該受光素子の大きさに関する情報、又は均一解像度画像データに解像度変換処理を施すことにより得られた不均一解像度画像データを、不均一解像度画像データを得ることが可能な画像センサにより得た場合の、当該仮想的な画像センサに含まれるそれぞれの受光素子の中心位置及び当該受光素子の大きさに関する情報を保持する配列情報保持手段を有し、不均一解像度画像データを、画像センサに含まれる受光素子が得た濃度値の配列の形式で表現することを特徴とする。従来の均一解像度画像では、画像は各画素の大きさが一定であると仮定していたため、各画素の中心位置に関する情報を保持する配列情報と、各画素の濃度値配列によって特定されてきた。例えば、幅がＷ、高さがＨ、各画素の濃度値がｆ_ｋ（ｋ＝０〜Ｗ×Ｈ−１）であるラスター走査画像の場合、「この画像がラスター走査画像であり、幅がＷで高さがＨであること」という情報を基にして、濃度値ｆ_ｋをとる画素の位置の配列（ｘ_ｋ，ｙ_ｋ）を決定することができる（即ち、ｘ_ｋをｋ÷Ｗの余りとし、ｙ_ｋをｋ÷Ｗの商とすればよい。）。従って、「ラスター走査画像であり幅がＷで高さがＨであること」という配列情報と各画素の濃度値配列によって画像が一意に特定できるといえる。
【００１３】
本発明の不均一解像度画像データ生成装置によれば、配列情報の中に受光素子の大きさに関する情報も含めることができるため、各画素の大きさを可変とすることができ、よって、画像貯蔵資源や画像転送資源を浪費することがないよう工夫された不均一解像度画像データを表現することができる。
【００１４】
また、本発明の不均一解像度画像生成方法は、全体画像の中に、拡大表示され得る部分と拡大表示されない部分とが含まれている場合に、拡大表示され得る部分のみを拡大率に応じて高解像度とすることを特徴とする。本発明の不均一解像度画像生成方法によれば、画像提供者が全体画像の中のどこをどれだけ拡大され得るようにしたいかという意図に基づいて、どのような解像度分布とするべきか決定し、それに従って不均一解像度画像を生成することが可能となるため、画像貯蔵資源や画像転送資源を浪費することがない不均一解像度画像データを生成することができる。
【００１５】
また、本発明の画像処理装置は、全体画像の中で、拡大表示され得る部分が拡大率に応じた高解像度となっている不均一解像度画像データを用いる画像処理装置であって、利用者からの、全体画像の中でどの範囲を表示すべきかの指示を受け付ける入力受付手段と、前記入力受付手段が受け付けた範囲の一部に高解像度な画像データが含まれている場合に、均一解像度画像データを得るべく解像度変換処理を行う解像度変換手段とを含むことを特徴とする。本発明の画像処理装置によれば、画像貯蔵資源や画像転送資源を浪費することがない不均一解像度画像データを適切に表示することができる。
【００１６】
また、本発明の第１の記録媒体は、全体画像の中で、拡大表示され得る部分が拡大率に応じた高解像度となっている不均一解像度画像データを用いる画像処理装置を実現するプログラムであって、利用者からの、全体画像の中でどの範囲を表示すべきかの指示を受け付ける入力受付ステップと、前記入力受付ステップにおいて受け付けた範囲の一部に高解像度な画像データが含まれている場合に、均一解像度画像データを得るべく解像度変換処理を行う解像度変換ステップとを含むプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１７】
また、本発明の第２の記録媒体は、全体画像の中に、拡大表示され得る部分と拡大表示されない部分とが含まれている場合に、拡大表示され得る部分のみを拡大率に応じて高解像度とした不均一解像度画像データを記録したコンピュータ読み取り可能な記録媒体である。不均一解像度画像データの生成と、不均一解像度画像データを用いた画像の表示が別々の装置で実現される場合や、一旦生成した不均一解像度画像データを保存しておき、後に不均一解像度画像データを用いた画像の表示を行いたい場合等に特に有効である。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１９】
図１は、本発明の一実施の形態における不均一解像度画像データ生成装置及び不均一解像度画像を用いる画像処理装置の構成を示す機能ブロック図である。尚、本実施の形態では、不均一解像度画像データ（以下、単に「不均一解像度画像」ともいう。）の生成処理と、不均一解像度画像を用いる画像の表示を同一の装置において実施できるようにしている。図１に示す構成を有する装置を、本実施の形態の説明では、単に「画像処理装置」という。
【００２０】
なお、後述の如く、不均一解像度画像生成処理と、不均一解像度画像を用いる画像の表示とを、別の装置で実施することも可能である。
【００２１】
同図１に示されるように、本実施の形態の画像処理装置は、画像入力部１０１、制御部１０２、入力部１０３、出力部１０４、画像格納部１０５、不均一解像度画像格納部１０６を備えている。
【００２２】
また、制御部１０２は、機能的に、画像管理部１０２１、画像編集部１０２２、不均一解像度画像生成部１０２３、出力画像生成部１０２４、出力制御部１０２５を備える。
【００２３】
画像入力部１０１からは、画像データが入力される。画像入力部１０１としては、具体的には、通常のビデオカメラや、ＣＣＤカメラ等を用いることができる。
【００２４】
制御部１０２は、本実施の形態の画像処理装置全体の制御を行う他、不均一解像度画像の生成処理や、当該不均一解像度画像から均一解像度画像を生成する処理、均一解像度画像の表示処理等を行う。ここで、「不均一解像度画像」とは、不均一な空間解像度で標本化された画像か、または、均一な空間解像度で標本化された画像を再配置することにより仮想的に不均一に標本化された画像をいう。「再配置」とは、例えば、高解像度で撮影された全体画像のうち、高解像度を必要としない部分について縮小解像度変換しておくような処理を意味する。また、「均一解像度画像」とは、均一な空間解像度で標本化された通常の画像をいう。
【００２５】
制御部１０２は、ハードウェア的には、ＣＰＵや入出力インターフェース等に相当する部分である。制御部１０２の各部の処理内容については後述する。
【００２６】
入力部１０３は、不均一解像度画像の編集操作や、不均一解像度画像から均一解像度画像を生成して出力する際の指示等の入力に用いられる。入力部１０３としては、具体的には、マウスやキーボード等の入力手段を利用できる。
【００２７】
出力部１０４には、不均一解像度画像から、解像度を均一にする処理を行った画像が表示される。出力部１０４としては、具体的には、ディスプレイ装置等が利用できる。
【００２８】
画像格納部１０５には、画像入力部１０１から入力された画像データが格納される。画像格納部１０５に格納される画像データは、通常のビデオカメラ等を用いて撮影された均一解像度画像である場合もあれば、不均一解像度画像の場合もある。画像格納部１０５としては、ハードウェア的には、メモリ、ディスク装置等の記憶手段が利用できる。
【００２９】
不均一解像度画像格納部１０６には、不均一解像度画像が格納される。撮影の時点で不均一解像度画像が得られるような画像入力部１０１を用いた場合には、撮影された画像データをそのまま不均一解像度画像格納部１０６に格納することができるが、撮影時には均一解像度画像が得られるような画像入力部１０１を用いた場合には、制御部１０２において、不均一解像度画像生成処理を行う必要がある。不均一解像度画像生成処理については、後に詳細に説明する。ハードウェア的には、画像格納部１０５と同様に、メモリ、ディスク装置等の記憶手段が利用できる。なお、図１では、画像格納部１０５と、不均一解像度画像格納部１０６とは、別々に記載しているが、物理的に同一の記憶手段を用いてもよい。
【００３０】
次に、制御部１０２の各部の処理内容について説明する。
【００３１】
画像管理部１０２１は、画像入力部１０１から入力された画像データを画像格納部１０５に格納したり、画像格納部１０５から画像データを読み出したりする処理を行う。即ち、画像管理部１０２１は、主として入出力インターフェースに相当する部分である。
【００３２】
画像編集部１０２２は、入力部１０３からの入力を受けて、不均一解像度画像生成部１０２３に対して、画像データの編集指示を行う。具体的には、全体画像のどの部分をどの位の解像度にするかの指示を行う。
【００３３】
不均一解像度画像生成部１０２３は、画像編集部１０２２の指示により、画像データから不均一解像度画像を生成し、不均一解像度画像格納部１０６に格納する。物理的には、主としてＣＰＵに相当する部分である。本実施の形態における不均一解像度画像の生成方法については、後に詳細に説明する。なお、前述の如く、撮影の時点で不均一解像度画像を得ることができるような画像入力部１０１を用いた場合には、撮影された画像データをそのまま不均一解像度画像格納部１０６に格納することができるため、そのままの解像度で問題ない場合には、不均一解像度画像生成部１０２３では、特に処理を行う必要はない。
【００３４】
出力画像生成部１０２４は、不均一解像度画像格納部１０６から、不均一解像度画像を読み出し、解像度を均一にする処理を行う。出力画像生成部１０２４により生成された画像は、出力制御部１０２５により出力部１０４に表示される。
【００３５】
以上のような構成を有する本実施の形態の画像処理装置における、不均一解像度画像生成の概念について、まず、以下に詳細に説明する。
【００３６】
本発明においては、不均一解像度画像を生成する際に、どのような解像度分布にするかを決定することが重要である。ここで、解像度分布について説明するための概念として、標本化周波数関数ｓ（ｘ，ｙ）を定義する。標本化周波数関数とは、シーン中の各点（ｘ，ｙ）における標本化周波数を示す非負の実数値をとる２次元関数である。
【００３７】
図２は、標本化周波数関数について説明するための図である。例えば、対話システムにおける画像の提供者（以下、単に「提供者」という。）が、図２（ａ）に示されるｘｙ平面上に存在する静的なシーンから、図２（ａ）におけるσ_０の部分を、固定ショットとしてユーザに提示しようと考えたとすると、標本化周波数関数を以下の（数１）のように定義すればよい。
【００３８】
【数１】

【００３９】
上記（数１）は、ショットσ_０内の領域全体にわたって標本化周波数を一定値ｓ_０として均一に標本化すればよいことを表している。これを図で表したのが図２（ｂ）である。同図においてｘｙ平面がシーンを表し、ｓ軸は標本化周波数を意味する。ここで、ｓ_０の値は、ユーザに画像を提示する際の水平方向及び垂直方向の画素数に依存する。
【００４０】
また、提供者がシーンから、図２（ｃ）に示されるσ_１の部分をロングショットで提示し、σ_１よりも小さな領域であるσ_２の部分を、より高い拡大率で撮像したクローズアップショットで提示しようとすると、標本化周波数関数は以下の（数２）のように定義される。
【００４１】
【数２】

【００４２】
上記（数２）を図で表したのが図２（ｄ）である。同図に示されるように、この場合には、標本化周波数ｓ_１で標本化されたσ_１の部分と、標本化周波数ｓ_２で標本化されたσ_２の部分との画像データを、別々に全て記憶しておく必要はない。σ_１とσ_２とが重なっている領域については、標本化周波数σ_２の画像データがあれば、それを縮小解像度変換することにより、σ_１の該当領域を復元することができるからである。即ち、上記（数２）に示された標本化周波数関数ｓ（ｘ，ｙ）に基づいて標本化を行えば、必要十分な画像データを取得できることになる。
【００４３】
次に、カメラパラメータ空間の概念について説明する。出力部１０４に出力される画像が同じ形で同じ大きさであるとすると、画像の中心座標（Ｘ，Ｙ）、拡大率Ｓ、及び回転係数Ｒを用いて、出力画像の抽出状態を一意に表現することができる。ここで、「抽出」とは、不均一解像度画像から部分画像を切り出し、その部分画像の各領域について、所望の解像度より解像度が高い領域には縮小解像度変換を施し、所望の解像度より解像度が低い領域には拡大解像度変換を施して所望の解像度の均一解像度画像を得る処理をいう。上記のような（Ｘ，Ｙ，Ｓ，Ｒ）によって定められる空間を、以下、「カメラパラメータ空間」という。
【００４４】
本実施の形態の画像処理装置では、上記に説明したような、標本化周波数関数及びカメラパラメータ空間の概念を用い、提供者が提供したい画像の内容に対応した不均一解像度画像の生成を行う。以下、提供したい画像の内容に対応して、いかなる標本化周波数関数を設計すればよいかについて説明する。
（実施の形態１）
まず、本発明の第１の実施の形態について説明する。本実施の形態では、平行移動状態と回転移動状態が変化しない連続ショット、即ち出力部１０４に出力される画像の中心座標が変化しない状態で、拡大率が徐々に変化していくような画像を提供しようとする場合について説明する。
【００４５】
画像の中心位置の座標（Ｘ，Ｙ）、及び回転係数Ｒが変化せず、拡大率Ｓのみが変化する場合であるから、カメラパラメータ空間は、図３（ａ）に示すような、Ｓ軸に平行な線分となる。同図において、Ｘ軸及びＹ軸は、画像の中心位置の座標、Ｓ軸は拡大率であるから、最も拡大率が低い場合の拡大率がＳ_１であり、最も拡大率が高い場合の拡大率がＳ_２であることを意味している。
【００４６】
このときの標準化周波数関数は、同図（ｂ）に示すような形となる。この関数を平面ｘ＝０で切断した形態が同図（ｃ）である。同図は、全体画像のうちで、最も拡大率が低い場合に提示される画像データについては、標本化周波数をｓ_１とし、最も拡大率が高い場合に提示される領域については、標本化周波数をｓ_２とすることを意味する。標本化周波数ｓは、画像中心に近い領域付近では一定値ｓ_２をとるが、周辺部、即ち、拡大率が低くなるに従って表示されるようになる領域ではｙに反比例することになる。
【００４７】
平面ｙ＝０で切断した場合も同様な形となるが、比例定数ｋ_ｘはｋ_ｙと異なる。即ち、出力画像のｘ軸方向とｙ軸方向のアスペクト比がＭ：Ｎの場合には、両者の関係は以下の（数３）で表される。
【００４８】
【数３】

【００４９】
上記に示したような標本化周波数関数に従って、不均一解像度画像を生成することにより、平行移動状態と回転移動状態とが変化しない連続ショットを提供することができる。図４は、本実施の形態の標本化周波数関数に基づいて、現実に不均一解像度画像を生成する場合の、標本化周波数関数の例を示す図である。同図に示されるように、標本化周波数関数を階層的にすれば、連続的に変化する標本化周波数関数に従った連続ショットを擬似的に表現することができる。
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態では、回転移動状態は変化せず、解像度の変化に伴って平行移動をする場合、具体的には、例えば、ズーミングを行うに従ってｙ軸方向に平行移動をするような画像を提供しようとする場合について説明する。
【００５０】
図５（ａ）に示すように、出力画像の画像中心がｘｙ平面内でｙ＝ａを漸近線とする双曲線ｓ＝ｋ／（ｙ−ａ）の軌跡をとるとすると、等拡大率で拡大していった場合に単位時間あたりに平行移動する画素数が一定となるので効果的である。このときの、画像中心から画像境界までの距離をｄ／ｓとすると、画像境界は、ｓ＝（ｋ±ｄ）／（ｙ−ａ）となる（ただし、ｋ＝±ｄのときは漸近線と一致する。）。従って、標本化周波数関数の形態は、図５（ｂ）に示すものと、図５（ｃ）に示すものとの二通りとなる。前者は、漸近線が出力画像の内部に存在する場合であり、後者は、漸近線が出力画像の外部もしくは境界上に存在する場合である。なお、本明細書において、出力画像を上記のような漸近線が通る点のことを、以下、「ズーム中心」という。
【００５１】
上記図５（ｂ）又は図５（ｃ）に示すような標本化周波数関数に従って、不均一解像度画像を生成することにより、ズーミングを行うに従ってｙ軸方向に平行移動をするような画像を提供することができる。
（実施の形態３）
次に、本発明の第３の実施の形態について説明する。本実施の形態では、回転移動状態は変化せず、解像度の変化とは独立に平行移動することが可能な場合の中の第１のタイプについて説明する。なお、回転移動状態は変化せず、解像度の変化とは独立に平行移動することが可能な場合では、平行移動はｙ軸方向のみについて可能なものとする。平行移動をｙ軸方向のみについて可能とした場合には、標本化周波数関数のｘ軸方向の形態は第１の実施の形態と等しいものとなるので、以下、ｙ軸方向の形態のみを図示することにする。
【００５２】
本実施の形態では、拡大率と関係なく同じ範囲をパンニングできるタイプについて説明する。図６（ａ）は、本実施の形態の不均一解像度画像のカメラパラメータ空間を示す図であり、図６（ｂ）は、本実施の形態の不均一解像度画像の標本化周波数関数を示す図である。
【００５３】
図６（ｂ）に示されるように、本実施の形態の不均一解像度画像の標本化周波数関数は、両端に第１の実施の形態の標本化周波数関数、即ち、ｙに反比例する関数を配置させた形態となっている。このような標本化周波数関数に従って、不均一解像度画像を生成すれば、図６（ａ）に示すカメラパラメータ空間、即ち、一定の奥行き、及び一定の幅の範囲内で、奥行きに従ってズーミングしつつ、どのような軌跡でも通ることができるような画像を提供することができる。
（実施の形態４）
次に、本発明の第４の実施の形態について説明する。本実施の形態では、回転移動状態は変化せず、解像度の変化とは独立に平行移動することが可能な場合の中の第２のタイプについて説明する。本実施の形態でも、平行移動はｙ軸方向のみについて可能なものとする。即ち、標本化周波数関数のｘ軸方向の形態は、第１の実施の形態と等しい。
【００５４】
本実施の形態では、ズームアウトした状態ではパンニングできないが、ズームインするとパンニングできるようになるタイプについて説明する。図７（ａ）は、本実施の形態の不均一解像度画像のカメラパラメータ空間を示す図であり、図７（ｂ）は、本実施の形態の不均一解像度画像の標本化周波数関数を示す図である。
【００５５】
図７（ｂ）に示されるように、本実施の形態の不均一解像度画像の標本化周波数関数は、両端に第２の実施の形態において、ズーム中心が出力画像の内部に存在する場合の標本化周波数関数の一部、即ち、図５（ｂ）におけるＨ_１のような双曲線を配置させた形態となっている。このような標本化周波数関数に従って、不均一解像度画像を生成すれば、図７（ａ）に示すカメラパラメータ空間、即ち、最も手前の位置では、画像の左右を移動できないが、奥行きが増すに従って、徐々にパンニングが可能な画像を提供することができる。
（実施の形態５）
次に、本発明の第５の実施の形態について説明する。本実施の形態では、回転移動状態は変化せず、解像度の変化とは独立に平行移動することが可能な場合の中の第３のタイプについて説明する。本実施の形態でも、平行移動はｙ軸方向のみについて可能なものとする。即ち、標本化周波数関数のｘ軸方向の形態は、第１の実施の形態と等しい。
【００５６】
本実施の形態では、ズームインした状態ではパンニングできないが、ズームアウトするとパンニングできるようになるタイプについて説明する。図８（ａ）は、本実施の形態の不均一解像度画像のカメラパラメータ空間を示す図であり、図８（ｂ）は、本実施の形態の不均一解像度画像の標本化周波数関数を示す図である。
【００５７】
図８（ｂ）に示されるように、本実施の形態の不均一解像度画像の標本化周波数関数は、両端に第２の実施の形態において、ズーム中心が出力画像の外部もしくは境界上に存在する場合の標本化周波数関数の一部、即ち、図５（ｃ）におけるＨ_３のような双曲線を配置させた形態となっている。なお、本実施の形態の標本化周波数関数を得るためには、一方の端に、ズーム中心が出力画像の内部に存在する場合の標本化周波数関数を配置し、もう一方の端に、ズーム中心が出力画像の外部もしくは境界上に存在する場合の標本化周波数関数を配置するようにしてもよい。このような標本化周波数関数に従って、不均一解像度画像を生成すれば、図８（ａ）に示すカメラパラメータ空間、即ち、最も手前の位置では、画像の左右を移動できるが、奥行きが増すに従って、徐々にパンニングができなくなるような画像を提供することができる。
（実施の形態６）
次に本発明の第６の実施の形態について説明する。本実施の形態では、平行移動状態は変化せず、解像度の変化とは独立して、画像の回転が可能なタイプについて説明する。
【００５８】
ある解像度において、出力画像の回転中心から画像内の最遠点までの距離を半径とする円形の画像を用意しておけば、その解像度で回転変換を施すことが可能である。図９（ａ）は、本実施の形態の不均一解像度画像のカメラパラメータ空間を示す図であり、図９（ｂ）は、本実施の形態の不均一解像度画像の標本化周波数関数を示す図である。
【００５９】
本実施の形態では、ズーミングしながら、画像を回転させることができる場合について設計している。即ち、図９（ｂ）に示されるように、最も拡大率を上げた場合（解像度も高くする必要がある）から、最も拡大率の低い場合（比較的低い解像度でよい）までの間について、それぞれ、出力画像の回転中心から画像内の最遠点までの距離を半径とする円形の画像を用意する。
【００６０】
このような標本化周波数関数に従って、不均一解像度画像を生成すれば、図９（ａ）に示すカメラパラメータ空間、即ち、平行移動状態は変化せず、拡大率の変化に伴う解像度の変化とは独立して、画像の回転が可能な画像を提供することができる。なお、本実施の形態の標本化周波数関数に従う不均一解像度画像は、前述の対数極座標形式で表現するのが最も効果的である。
（実施の形態７）
次に、本発明の第７の実施の形態について説明する。これまでの実施の形態では、提供する画像の内容により、どのような標本化周波数関数に基づいた画像を用意すれば良いかについて説明したが、以後の実施の形態では、それらを具体的に実現する方法を中心にして説明する。
【００６１】
本実施の形態では、画像入力部１０１において画像データを取得する際の方法について説明する。画像入力部１０１としては、ペイントソフトによる描画等を用いることが可能であるが、前述の如く、一般的な画像センサを用いてデジタル画像を取得することも可能である。ここで、当該画像センサにおいて、個々の受光素子を前記不均一解像度画像と一致するかまたは類似した配列で分布させることにより、画像センサを用いて直接不均一解像度画像を得ることも可能となる。
【００６２】
また、画像の取得にあたり、画像センサに光が到達するまでの光学系の歪みを利用することにより、不均一解像度画像を得ることもできる。ここで、前記光学系の歪みを利用した不均一解像度画像の取得について説明する。
【００６３】
例えば、図１０（ａ）に示したように、２枚の鏡Ｍ１、Ｍ２に反射させた像を、単焦点レンズと均一分布の画像センサＳを用いて撮像するときには、Ｍ１は水平方向についてのみ、Ｍ２は垂直方向についてのみ、中央部が平面鏡で周辺部が中央部から離れる程湾曲の大きい凸面鏡とすることにより、図１０（ｂ）（同図においては、画像の右上４分の１のみを示している。）に示すような格子模様が、Ｓ上では正方格子として投影されるようにＭ１、Ｍ２を設計する。
【００６４】
画像センサＳによって得られた画像の周辺部は、対角線上の領域に関しては、水平方向、及び垂直方向の解像度が同程度に変化するが、上下左右の領域に関しては、水平方向及び垂直方向の解像度が異なった程度に変化してしまうので補正処理を行う（例えば、正方格子の真上や真下の領域に関しては、正方格子から離れるに従って垂直方向の解像度が減少していくが水平方向の解像度は減少しないため、水平方向の解像度を垂直方向の解像度に合わせるための補正処理を行う。）。このようにして、後述の図１４（ｂ）に準じた形式の不均一解像度画像を生成し、保存する。
【００６５】
この方法を用いることにより、撮影時にはズーミング操作を行わなくても、得ようとする画像の中心を常にファインダーの中心にフレーミングするだけで、ズーミング可能な画像を得ることができる。また、不均一解像度画像として保存されるため、画像貯蔵資源を浪費することもない。
【００６６】
なお、ここでは、２枚の鏡を用いる方法について説明したが、例えば、レンズの屈折率を変えることにより同様の効果を得ることも可能である。
【００６７】
また、画像入力部１０１による画像の取得としては、画像センサを複数設けることにより、解像度の異なる複数の画像を同時に撮像したり、解像度の異なる複数の画像を連続的に撮像することも可能である。
（実施の形態８）
次に、本発明の第８の実施の形態について説明する。本実施の形態では、不均一解像度画像を如何に表現するかについて説明する。具体的には、不均一解像度画像格納部１０６に不均一解像度画像を格納する際のフォーマットについて説明する。
【００６８】
本実施の形態の画像処理装置は、不均一解像度画像の生成と、当該不均一解像度画像の解像度を均一化した画像の表示とを同一の装置で行うようにしているが、例えば、不均一解像度画像をネットワークを介して転送し、転送先で表示するような場合には、通信処理の効率化等のためにも、不均一解像度画像をいかなる形式で表現するかは重要な問題である。
【００６９】
図１１（ａ）は、本実施の形態で撮像に用いる受光素子の構成の一例を示す図である。
【００７０】
本実施の形態での「受光素子」とは、画像センサを構成する実際の受光素子の他、撮像済みの画像を、縮小解像度変換又は拡大解像度変換を行って再配置することにより、仮想的に不均一に標本化される場合の仮想的な受光素子を含む。また、「受光素子の配列情報」とは、受光素子の位置を示す座標や形、大きさ等を表す情報を意味する。
【００７１】
図１１（ｂ）は、本実施の形態の画像処理装置において、図１１（ａ）に示されたような受光素子を用いて不均一解像度画像を撮影した場合の、不均一解像度画像の形式の一例を示す図である。本実施の形態では、全ての受光素子は円形であるものとする。
【００７２】
図１１（ａ）のような分布を有する撮像素子を用いて撮像した不均一解像度画像は、図１１（ｂ）に示すように、各受光素子の中心の座標（ｘ_ｎ，ｙ_ｎ）、受光素子の半径ｒ_ｎ、各受光素子によって撮像された画像の濃度値ｆ_ｎを組にして、順に配列したものとなる。なお、本実施の形態では、受光素子の受光特性は一様であり、その受光素子の出力する濃度値は受光素子に照射された光の総和を受光素子の面積で割った値に等しいものと考える。
【００７３】
図１１（ｂ）に示すような形式を用いることにより、一般的な不均一解像度画像を表現することができる。
（実施の形態９）
次に、本発明の第９の実施の形態について説明する。本実施の形態でも、不均一解像度画像の表現方法について説明する。
【００７４】
第８の実施の形態で説明した方法を用いるのは、画像転送資源の節約という観点からは効果的ではない。そこで、本実施の形態では、画像データをネットワークを介して転送するような場合に、画像転送資源の効率化を図るための表現方法について説明する。
【００７５】
まず、第８の実施の形態における表現形式から濃度値ｆ_ｎを除いた部分を、「配列パターン」と定義する。この配列パターンを、識別子を付与した形式でテーブルに格納しておき、パラメータとして識別子を指定することにより、受光素子の配列パターンを特定できるようにする。図１２は、配列パターンを保持するテーブルの内容の一例を示す図である。同図に示されるように、識別子を指定することにより、受光素子の中心の座標や、受光素子の半径の情報を得ることができる。
【００７６】
このように配列パターンを定義すると、配列情報とは、ある画像において用いられる配列パターンを一意に特定することのできる情報といえる。本実施の形態においては、パラメータとして与えられる識別子と配列パターンを格納したテーブルを合わせたものが配列情報といえる。
【００７７】
本実施の形態の画像処理装置では、具体的には、配列パターンを保持するテーブルを不均一解像度画像格納部１０６に保持しておき、不均一解像度画像の情報を、受光素子の配列パターンを特定する識別子と、画素の濃度値の一次元配列として保持する。不均一解像度画像の情報を格納する場所から遠く離れた場所で画像を出力する場合には、画像送信側と、画像受信側とに、同一の配列パターンを格納したテーブルを保持しておき、画素の濃度値ｆ_ｎの一次元配列と識別子のみを転送するだけでよい。
【００７８】
以上に説明したように、配列パターンを格納したテーブルを、送信側と受信側とに備えておくことにより、不均一解像度画像を一次元配列の形で特定できるようになり、画像転送資源の効率化を図ることができる。
（実施の形態１０）
次に、本発明の第１０の実施の形態について説明する。本実施の形態では、「シーンが複数の均一解像度画像によってモザイク状に覆われている」という制約の下での不均一解像度画像の表現方法について説明する。
【００７９】
第８の実施の形態や、第９の実施の形態で説明した方法を用いれば、一般的な不均一解像度画像を表現することができるが、これらの手法は、画像貯蓄資源の節約という観点からは効率的ではない。本実施の形態における前記の制約を設ければ、モザイクを構成する各均一解像度画像の位置、向き及び解像度を特定する情報を指定するだけで、第９の実施の形態で説明した配列パターンを特定することができる。よって、配列パターンを逐一テーブルに格納しておく必要はない。このように、本実施の形態においては、モザイクを構成する各均一解像度画像の位置、向き及び解像度を特定する情報が「配列情報」であるといえる。例えば、図２（ｃ）に示した不均一解像度画像を表現する場合には、配列情報は、「σ_１とσ_２のそれぞれの位置情報、回転情報、及び解像度情報」であり、濃度値配列は、σ_１を低密度に表現する画像配列からσ_２と重なる領域部分を除いたものと、σ_２を高密度に表現する画像配列とを連結させた配列となる。
【００８０】
ここで、モザイクの形が長方形でないときには、配列情報としてマスク画像を用いることもできる。即ち、ある複雑な形をした物体領域のみにおいて高解像度の情報が必要であり、それ以外の背景領域においては低解像度で十分な状況の場合には、物体領域が１で背景領域が０となる二値画像をマスク画像として用いることにより、物体領域、即ちマスクプレーン上のみに濃度値情報がならんでいる画像を指定することが可能である。
【００８１】
この場合、配列情報は、マスク画像の位置、向き及び解像度と、マスク画像自体である。なお、マスク画像は二値画像特有の圧縮方法により、可逆的圧縮が可能である。一方、濃度値の配列は、マスクプレーン上の画素を順に並べた配列である。
【００８２】
また、数画素からなるブロックに対するマスク画像を用いれば、物体領域の指定に関しては粗くなってしまうが、マスク画像自体の画素数が少なくなるため、さらに情報量を削減できる。
【００８３】
以上に説明したように、「シーンが複数の均一解像度画像によってモザイク上に覆われている」という制約を設ければ、不均一解像度画像を、少量の配列情報と濃度値の一次元配列の形で特定できるようになり、画像貯蔵資源の効率化を図ることができる。
（実施の形態１１）
次に、本発明の第１１の実施の形態について説明する。本実施の形態では、第１及び第２の実施の形態で説明した標本化周波数関数に基づく不均一解像度画像を効率よく生成する方法について説明する。
【００８４】
図１３は、本実施の形態において、画像センサ（仮想的な画像センサを含む）の各受光素子をどの位置に配置すればよいかを説明するための図である。同図において、■は定点Ａ、○は均一解像度画像の辺上の標本点、●は均一解像度画像の周辺部分について標本化を行う場合の不均一解像度画像の標本点を表す。
【００８５】
本実施の形態では、例えば四角形の表示手段に均一解像度画像を表示するとした場合に、当該四角形の各辺について、シーン上の定点Ａと辺の両端Ｂ及びＣとを結ぶ２本の半直線で挟まれた領域のうち、定点Ａからみて辺よりも離れた部分に、辺と平行な走査線L_１、L_２、…を複数定義する。この走査線は、画像センサで標本化するときに用いられる実際の走査線、又は仮想的に標本化される場合における仮想的な走査線である。
【００８６】
ここで、定点Ａから辺ＢＣまでの距離Ｓに対する、定点Ａから走査線L_１、L_２、…までの距離の比を、辺ＢＣ上の標本点の間隔（以下、「標本化間隔」という。）に掛けた値が、それぞれの走査線間の標本化間隔、及び各走査線内の標本化間隔となるように標本化して２次元配列に格納していくことにより、第１及び第２の実施の形態で説明した標本化周波数関数を実現する不均一解像度画像を得ることができる。
【００８７】
以上に述べた手法による受光素子の配列の例を図１４に示す。ここでは、各受光素子の中心が各格子点上に存在するのではなく、各受光素子の受光面が各格子の内部いっぱいに広がっているものとする。そうすることにより、シーン全体を受光素子の受光面で過不足なく覆うことができ、かつ、各受光素子の大きさをその点における標本化間隔に近づけることができる。例えば図１４（ａ）のような格子上に受光素子を敷き詰めれば、６画素×６画素の出力画像を出力しながらズーミングさせることができる。また、この方法によれば、図１４（ｂ）に示されるようなアスペクト比が１：１でない画像（同図においては、画像の右上の４分の１のみを示している。）や、同図（ｃ）、（ｄ）に示されるような、ズーム中心のずれた画像も含めて、第１及び第２の実施の形態で説明した標本化周波数関数に基づく不均一解像度画像を表現することができる。
【００８８】
また、図１５に示すように、各受光素子の受光面を正方形として配列させることも可能である。この場合には、例えば利用可能なアスペクト比等について、やや自由度は失われるが、処理のアルゴリズムが単純化されるため、処理時間を短縮することが可能となる。
【００８９】
図１５に示した例において、同図（ａ）の例は画像の中心がズーム中心である、６×６画素の画像を出力する場合である。また、出力画像のアスペクト比が１：１でない場合は、出力画像と同じアスペクト比を持つブロックを処理単位として用いることにより同種の表現を実現することができる。同図（ｂ）に（同図においては、画像の右上の４分の１のみを示している。）、４個×４個の３画素×２画素からなるブロックで１２画素×８画素の出力画像を覆った例を示す。
【００９０】
また、ズーム中心が画像中心からずれている場合には、画像の右上、左上、右下、左下の各領域にアスペクト比の異なるブロックを配置することにより同種の表現を実現することが可能である。同図（ｃ）に（同図においては、画像の上半分のみを示している。）、左上及び左下の領域には２画素×３画素のブロックを配置し、右上及び右下の領域には４画素×３画素のブロックを配置することにより、１２画素×１２画素の出力画像を、４個×４個のブロックで覆った例を示す。
【００９１】
また、出力画像が数百画素×数百画素の大きさの場合には、これらの処理ブロックの縦横の画素数を８の倍数としておけば、ＪＰＥＧ圧縮と同じＤＣＴ変換を用いることにより得られた不均一解像度画像をさらに圧縮することができるので効果的である。
【００９２】
本実施の形態によって生成された不均一解像度画像は、ズーム中心の座標や周辺部走査線の数などごく少数の配列情報によって配列パターンが特定できるので、不均一解像度画像の表現方法としても効率的な方法といえる。また、この表現方法による不均一解像度画像を第１０の実施の形態で説明したモザイクを構成する均一解像度画像の代わりに用いることも可能である。
（実施の形態１２）
次に、本発明の第１２の実施の形態について説明する。
【００９３】
本実施の形態では、Ｍ×Ｍ画素の画像提示ウィンドウをもつ対話システムにおいて、ズーミングのみ可能で画像中心とズーム中心が一致する不均一解像度画像を生成する方法と、その不均一解像度画像から均一解像度画像を抽出する方法について説明する。
【００９４】
まず、本実施の形態における不均一解像度画像の生成について説明する。本実施の形態では、画像入力部１０１として、ビデオカメラを用いる。提供者は、ユーザに提示したい対象物をズーミングしながらビデオカメラで撮影する。撮影された画像はデジタル画像として、画像格納部１０５に格納される。図１６は、得られた動画像からの不均一解像度画像の生成について説明するための図である。
【００９５】
まず、得られた動画像から、適当に画像を解像度変換することにより、それぞれＭ×Ｍの解像度をもつ正規化された均一解像度をもつ連続画像（Ｉ_０〜Ｉ_Ｎ）を生成する。具体的には、入力部１０３から解像度を指定し、不均一解像度画像生成部１０２３が、前記正規化された均一解像度を持つ連続画像を生成する。
【００９６】
不均一解像度画像生成部１０２３は、Ｉ_０が連続画像のなかで最もズームインされた画像であり、Ｉ_ＮはＩ_Ｎ−１の画像と比べて、被写体の長さがＭ／（Ｍ＋２）倍となるように、ズームアウトされたものとなるように画像を生成する。
【００９７】
さらに不均一解像度画像生成部１０２３は、Ｉ_０の上下左右に、Ｉ_１〜Ｉ_Ｎ画像の外枠１画素分のみを配置していくことにより、不均一解像度の静止画像を生成することができる。生成された不均一解像度の静止画像は、不均一解像度画像格納部１０６に格納される。
【００９８】
一方、不均一解像度画像から均一解像度画像の部分画像を抽出し、出力部１０４に表示する際には、生成時と比べて逆変換的な再帰的アルゴリズム、あるいはそれに等価なアルゴリズムを用いて均一解像度画像が生成される。これらの処理は、出力画像生成部１０２４によって行われる。即ち、ｎ＝０のときは、クローズアップ画像（Ｉ_０）をそのまま取り出す。また、ｎ＝ｋのときは、ｎ＝ｋ−１の画像をＭ×Ｍの解像度から（Ｍ−２）×（Ｍ−２）へと縮小解像度変換し、保存されている外枠を取り付ける。
【００９９】
外枠が取り付けられた均一解像度画像が、出力制御部１０２５を介して出力部１０４に表示される。
【０１００】
以上に説明したような方法により、ズーミングのみ可能で画像中心とズーム中心が一致する不均一解像度画像を生成し、また当該不均一解像度画像に基づいた表示を行うことができる。
（実施の形態１３）
次に、本発明の第１３の実施の形態について説明する。本実施の形態では、第２の実施の形態で説明したような、解像度の変化に伴って平行移動をする場合の応用例を示す。本実施の形態の例では、ズーム中心と出力画像の画像中心が一致せず、ズーミングを行うとそれにつれて自動的にパンニングやティルティングが行われる。
【０１０１】
本実施の形態では、画像入力部１０１としてビデオカメラが用いられる。提供者は、シーンの中のズーム中心にしたい点がフレーム内で動かないようにしながら、ビデオカメラをパンニング及びティルティングしつつ撮影する。得られた動画像を素に、そして第１２の実施の形態と同種のアルゴリズムを用いて、不均一解像度画像を生成する。
【０１０２】
図１７に示すように、ズーム中心を遠近法における消失点に一致させれば、ズーミングに伴い、消失点が常に画像の同じ位置を占め、あたかも、消失点に向かって近づいたり遠ざかったりしているように錯覚させることが出来る。
【０１０３】
なお、本実施の形態では、ズーム中心がＸ軸、Ｙ軸共に画像中心からずれているので、共に標本化周波数関数の形態はＸ軸方向、Ｙ軸方向共に図５（ｂ）に示したものとなる。
（実施の形態１４）
次に、本発明の第１４の実施の形態について説明する。本実施の形態では、パンニング、ティルティング及びズーミングの可能な対話システムの応用例について説明する。
【０１０４】
本実施の形態の対話システムを実現するにあたり、提供者は、まず、不均一解像度画像の設計を行う。画像の生成方法としては、均一解像度画像を階層的に配置し、擬似的に連続ショットを表現するようにする。
【０１０５】
設計プロセスにおいては、「どのショットを提供するか」、「どのような標本化周波数関数でシーンを標本化するか」、「各ショットにおいて、最大にズーミングした場合の解像度や、最もズームアウトした場合の解像度の値をどれくらいにするか」、「擬似的連続ショットにおける階層は何段階にするか」等を決定する。
【０１０６】
提供者によるシーンの撮影は、擬似的連続ショットの各階層にあたる解像度にズームレンズを調節して、その解像度で必要な領域をパンニング又はティルティングしながら行う。そして、得られた映像素材を素に不均一解像度画像を生成して、ネットワークを介してユーザに提供する。即ち、本実施の形態の画像処理装置においては、不均一解像度画像生成処理と、それを用いた均一解像度画像表示処理とは、ネットワークを介した別々の装置上で実行される。
【０１０７】
図１８は、本実施の形態でユーザが使用する装置（以下、「ビューワ」という。）の形態の一例を示す図である。同図に示されるように、本実施の形態のビューワには、画像提示ウィンドウ１８０１の他に、左右の移動を指示するパンニングボタン１８０２、上下の移動を指示するティルティングボタン１８０３、拡大率の大小を指示するズーミングボタン１８０４が備えられている。これらのボタンは、使用可能なときのみアクティブとなり、それ以外のときはインアクティブとなる。即ち、図１８の例では、ズーミングボタン１８０４のうち、ズームアウトのためのボタンはインアクティブとなっている。また、前のショットに戻るための前ショットボタン１８０５も用意されている。
【０１０８】
ユーザによる使用例として、風景の中から数匹の動物を探し出す「隠し絵ゲーム」を行う例について説明する。図１９は、「隠し絵ゲーム」について説明するための図である。
【０１０９】
まず、図１９（ａ）のような風景を表示する。表示されている点線は最も拡大率を上げることができる範囲である。この状態では、パンニングボタンと、ズームアウトボタンはインアクティブとなっている。また、ティルティングとズームインは可能となっているので、ティルティングボタンとズームインボタンはアクティブとなっている。
【０１１０】
ユーザがズームインボタンを押すと徐々にズームインする。ズームインするとパンニングが可能となるため、パンニングボタンがアクティブとなる。さらにユーザがズームインを続けると、拡大率が最大となったところでズームインボタンがインアクティブとなる。この際に画像提示ウィンドウ１８０１に提示される画面の一例を図１９（ｂ）に示す。この過程に伴い、パンニングできる範囲は徐々に広くなっていき、ティルティングできる範囲は徐々に狭くなっていく。最も拡大率が上がった状態では、全くティルティングできなくなってしまう。
【０１１１】
拡大率が最大になった状態では、図１９（ｂ）に示されるように、その状態よりもさらに高解像度なショットの外枠が表示される。表示された外枠をマウス等を用いてクリックすると、そのショットの表示に切り替えられる。家の窓の部分をクリックした場合に表示されるショットの例を図１９（ｃ）に示す。このショットでも、さらに拡大していくとパンニング及びティルティングが可能となり、パンニングボタンとティルティングボタンがアクティブとなる。このショットの中を移動していくと、机の陰に猫が見つかるので、その部分をダブルクリックすると、図１９（ｄ）に示したようなショットが表示される。他の部分も移動することにより、他の動物を探していくことができる。
【０１１２】
以上に説明したように、本実施の形態の応用例のようなシステムを構築することにより、従来のシステムでは、非常に大量の高解像度画像を用意する必要があったような場合でも、画像貯蔵資源及び画像転送資源を無駄にすることなく、効率的に画像データを提供することが可能となる。
（実施の形態１５）
次に、本発明の第１５の実施の形態について説明する。本実施の形態では、パンニング、ティルティング及びズーミングの可能な対話システムに使用する不均一解像度画像を簡易に生成する方法について説明する。
【０１１３】
第１４の実施の形態で行ったように、標本化周波数関数をまず決定し、それに従ってパンニング、ティルティングしながら画像を撮影すれば、非常に自由度の高い不均一解像度画像を作成することができる。しかし、その場合は、画像を撮影する前に標本化周波数関数を決定しなければならないので困難を伴う。そこで、画像の提供者が対話システムを用いて、より簡単に不均一解像度画像を生成できる不均一解像度画像の生成方法を説明する。まず、一枚の非常に高解像度の均一解像度画像を撮影し、十分に画像貯蓄資源のあるシステムにおいて、画像提供者が通常の対話システムを用いてパンニング、ティルティング、ズーミングを行う。その対話的操作の途中で、このショットはユーザに提示されるべきと感じるときに、その旨を指定する。その操作記録をもとに標本化周波数関数を算出し、それに合わせて高解像度の原画像を再配列して不均一解像度画像を生成する。
【０１１４】
以上に説明したような方法によっても、対話システムに使用する不均一解像度画像を簡易に生成することができる。
（実施の形態１６）
次に、本発明の第１６の実施の形態について説明する。本実施の形態では、コンピュータビジョンにおけるパターン認識処理への応用方法について述べる。
【０１１５】
第７の実施の形態で説明した方法により、受光素子が不均一に分布している画像センサをもつ画像入力部か、あるいは光学系の歪みを利用した画像入力部を用いることにより、中心が密で周辺が粗な不均一解像度画像データを直接的に取得する。
【０１１６】
まず、低解像度ではあるがシーンの全体を捉えた「全体像」を抽出する。この「全体像」から対象物のセグメンテーションを行い、その対象物の外接長方形の中心がカメラの中心で捉えられるようにカメラを向け直して再び撮像する。
【０１１７】
そして、対象物全体を含み、かつ、最も高解像度で表現される部分画像を抽出し、その部分画像から再びセグメンテーションを行う。これにより、その対象物がカメラから遠く離れている場合でも、十分に情報量を持った部分画像から特徴量抽出処理を行うことができる。従って、抽出された特徴量をもとに行う認識処理の精度の向上が期待できる。
【０１１８】
また、二度目の撮像の前に対象物が動いてしまい、その結果、特徴抽出に失敗した場合は、「全体像」の抽出処理以降の処理を繰り返す。ただし、この場合に新たに撮像する必要はなく、二度目に撮像した不均一解像度画像から「全体像」を抽出することが可能である。これにより、対象物を見逃した時と同時刻の全体像を取得することができるので、動きを伴う対象物をトラッキングしながらパターン認識処理する際に有利となる。
【０１１９】
なお、本発明である画像処理装置を実現するプログラムを記録した記録媒体は、図２０に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでもよく、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【０１２０】
また、本発明で生成される不均一解像度画像データを記録した記録媒体も、図２０に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでもよく、本発明である画像処理装置を実現するプログラムが実行される時にローディングされ、当該プログラムの実行に使用される。
【０１２１】
【発明の効果】
以上に説明したように、本発明に係る不均一解像度画像データ生成装置及び方法によれば、対話システムにおいてユーザが全体画像を見回したり、コンピュータビジョンにおいてカメラが実環境を見回したりする際に、画像貯蔵資源や画像転送資源を浪費することなく、広範囲のズーミングを行うことが可能となる不均一解像度画像データを生成することができるという効果がある。
【０１２２】
また、本発明に係る画像処理装置を用いれば、不均一解像度画像データを用いることにより、画像貯蔵資源や画像転送資源を浪費することなく、広範囲のズーミングを行うことが可能な画像データを、ユーザの指示に従い適切に表示することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】標本化周波数関数について説明するための図である。
【図３】本発明の第１の実施の形態におけるカメラパラメータ空間及び標本化周波数関数について説明するための図である。
【図４】本発明の第１の実施の形態において、現実に不均一解像度画像を生成する場合の、標本化周波数関数の例を示す図である。
【図５】本発明の第２の実施の形態におけるカメラパラメータ空間及び標本化周波数関数について説明するための図である。
【図６】本発明の第３の実施の形態におけるカメラパラメータ空間及び標本化周波数関数について説明するための図である。
【図７】本発明の第４の実施の形態におけるカメラパラメータ空間及び標本化周波数関数について説明するための図である。
【図８】本発明の第５の実施の形態におけるカメラパラメータ空間及び標本化周波数関数について説明するための図である。
【図９】本発明の第６の実施の形態におけるカメラパラメータ空間及び標本化周波数関数について説明するための図である。
【図１０】本発明の第７の実施の形態における、２枚の鏡の設計方法について説明するための図である。
【図１１】本発明の第８の実施の形態で用いる受光素子の構成と、得られた不均一解像度画像の形式の一例を示す図である。
【図１２】配列パターン情報を格納するテーブルの内容の一例を示す図である。
【図１３】本発明の第１１の実施の形態において、画像センサの各受光素子をどの位置に配置すればよいかを説明するための図である。
【図１４】本発明の第１１の実施の形態における受光素子の配列の例を示す図である。
【図１５】本発明の第１１の実施の形態における受光素子の配列の例を示す図である。
【図１６】本発明の第１２の実施の形態における、動画像からの不均一解像度画像の生成について説明するための図である。
【図１７】本発明の第１３の実施で用いられる不均一解像度画像の一例を示す図である。
【図１８】本発明の第１４の実施で用いられる装置の形態について説明するための図である。
【図１９】本発明の第１４の実施の形態の「隠し絵ゲーム」について説明するための図である。
【図２０】記録媒体の例を示す図である。
【符号の説明】
１０１画像入力部
１０２制御部
１０２１画像管理部
１０２２画像編集部
１０２３不均一解像度画像生成部
１０２４出力画像生成部
１０２５出力制御部
１０３入力部
１０４出力部
１０５画像格納部
１０６不均一解像度画像格納部
１８０１画像提示ウィンドウ
１８０２パンニングボタン
１８０３ティルティングボタン
１８０４ズーミングボタン
１８０５前ショットボタン
２０１回線先の記憶装置
２０２ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
２０２−１ＣＤ−ＲＯＭ
２０２−２フロッピーディスク
２０３コンピュータ
２０４コンピュータ上のＲＡＭ／ハードディスク等の記録媒体

Claims

画像データを入力する画像入力部と、
利用者からの前記画像データで表わされる全体画像のどの部分をどの位の解像度にするかの指示の入力を受ける入力部と、
前記入力部で受けた入力に基づいて、全体画像の中に、拡大表示され得る部分と拡大表示されない部分とが含まれていると場合に、拡大表示され得る部分のみを拡大率に応じて高解像度化することによって不均一解像度画像データを生成する不均一解像度画像生成部とを備え、
前記入力部は、前記不均一解像度画像生成部が生成した不均一解像度画像データの全体画像の中でどの範囲を表示すべきかの指示を利用者から受け付け、
前記入力部が受け付けた範囲の一部に高解像度な画像データが含まれている場合に、均一解像度画像データを得るべく解像度変換処理を行う出力画像生成部とをさらに備える、不均一解像度画像データ生成装置。
撮像により不均一解像度画像データを得ることが可能な画像センサに含まれるそれぞれの受光素子の中心位置及び当該受光素子の大きさに関する情報、又は、均一解像度画像データに解像度変換処理を施すことにより得られた不均一解像度画像データを、不均一解像度画像データを得ることが可能な仮想的な画像センサにより得た場合の、当該仮想的な画像センサに含まれるそれぞれの受光素子の中心位置及び当該受光素子の大きさに関する情報を保持する配列情報保持部をさらに備え、
前記不均一解像度画像生成部は、不均一解像度画像データを、前記画像センサまたは仮想的な画像センサに含まれる受光素子が得た濃度値の配列の形式で表現することを特徴とする、請求項１に記載の不均一解像度画像データ生成装置。
前記画像入力部は、同一の大きさの正方形の受光面を有する第１の受光素子を、一度に表示すべき縦方向と横方向の画素の数と等しい数だけ並べた第１階層の受光素子ブロックの外側に、前記第１の受光素子の受光面より大きい正方形の受光面を有する第２の受光素子を、その最外周の第２の受光素子の縦方向と横方向の数が、前記表示すべき縦方向と横方向の画素の数と等しくなり、かつ、前記第１階層の受光素子ブロックの最外周が、全て前記第２の受光素子と接触するように配置して第２階層の受光素子ブロックを形成し、さらに前記第２階層の受光素子ブロックの外側に、前記第２階層の受光素子ブロックを形成した場合と同様の処理を、必要な階層の受光素子ブロックを得るまで再帰的に行うことにより形成した受光素子ブロックを含む画像センサを用いて撮像した画像データを入力することを特徴とする、請求項１に記載の不均一解像度画像データ生成装置。
画像データを入力する画像入力処理と、
利用者からの前記画像データで表わされる全体画像のどの部分をどの位の解像度にするかの指示の入力を受ける入力処理と、
前記入力処理で受けた入力に基づいて、全体画像の中に、拡大表示され得る部分と拡大表示されない部分とが含まれている場合に、拡大表示され得る部分のみを拡大率に応じて高解像度化することによって不均一解像度画像データを生成する不均一解像度画像生成処理と、
前記不均一解像度画像生成部が生成した不均一解像度画像データの全体画像の中でどの範囲を表示すべきかの指示を利用者から受け付ける入力処理と、
前記入力処理で受け付けられた範囲の一部に高解像度な画像データが含まれている場合に、均一解像度画像データを得るべく解像度変換処理を行う出力画像生成処理と、
前記均一解像度画像データを表示する出力処理とをコンピュータに実行させる不均一解像度画像データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体。