JPH11213136A - 不均一解像度画像データ生成装置及び方法及び不均一解像度画像データを用いる画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 対話システムにおいてユーザが全体画像を見
回したり、コンピュータビジョンにおいてカメラが実環
境を見回したりする際に、画像貯蔵資源や画像転送資源
を浪費することなく、広範囲のズーミングを行うことが
可能となる不均一解像度画像データ生成装置及び方法及
び不均一解像度画像データを用いた画像処理装置を提供
すること。 【解決手段】 撮像することにより不均一解像度画像デ
ータを得ることが可能な画像入力部１０１を用いるか、
又は不均一解像度画像生成部１０２３において均一解像
度画像データの一部分に解像度変換処理を施すことによ
り不均一解像度画像データを得、出力の際には、出力画
像生成部１０２４において、再度解像度変換処理を行う
ことにより均一解像度画像データを得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、不均一解像度画像
データ生成装置及び方法及び不均一解像度画像データを
用いる画像処理装置に関する。

【０００２】

【従来の技術】固定した視点から見た静的なシーンをユ
ーザに提示する際、１枚の画像をディスプレイ装置にた
だ提示するだけでなく、ユーザからの指示により、その
シーンを含む全体画像に基づいて、シーンの上下左右を
見回したり、拡大率を変えてそのシーンの一部を拡大し
て見ることができれば、ユーザはそのシーンをより容易
に理解でき、また、より現実感を感じることができる。

【０００３】このような画像提示システムは既に実用化
されており、画像に基づいた、いわゆるウィンドウ型の
バーチャルリアリティシステムの要素技術の一つとなっ
ている。上記のような機能を備えた画像提示システム
を、以下、「対話システム」という。また、本明細書に
おいては、対話システムにおいて、左右に連続的に全体
画像を見回すことを「パンニング」、上下に連続的に全
体画像を見回すことを「ティルティング」、連続的に拡
大率を変えることを「ズーミング」という。ただし、パ
ンニングとティルティングとを区別する必要のないとき
には、両者を包括的に説明するための語句として「パン
ニング」を使用する場合もある。

【０００４】パンニングやティルティングは、画像を提
示するウィンドウのサイズよりも大きな全体画像を用意
しておき、ユーザの指示に基づいて適切な部分の画像を
切り出してディスプレイ装置に提示することによって実
現することができる。また、ズーミングは、画像の解像
度変換を行うことにより実現することができる。なお、
厳密にいえば、パンニングやティルティングにおいて
は、球面にマッピングされた全体画像から適切な部分の
画像を切り出すべきであるが、本明細書では、平面にマ
ッピングされた全体画像からの切り出しと考える。

【０００５】一方、コンピュータビジョンの分野におけ
るパターン認識処理では、通常、注目する対象物を切り
出すセグメンテーション処理、切り出された対象物から
特徴量を抽出する特徴量抽出処理、及び、抽出された特
徴量をもとに対象物の認識を行う認識処理、の三段階の
手順で行われる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の対話システムは、空間的に均一な解像度を持つよう
に標本化された画像を用いるため、ズーミングにより画
像を拡大していくと、画像の空間周波数の高周波成分が
失われ、画像がぼけたように提示されてしまうという問
題点を有していた。これを防止するためには、広い範囲
にわたって、非常に高解像度の画像を準備しておかなけ
ればならず、画像貯蔵資源や画像転送資源を浪費してし
まうので実用的ではない。さらに、現在のように画像デ
ータのネットワーク上での転送が試みられるようになる
と、自由度の高い対話システムを構築するためには、無
駄の少ない画像表現形式を実現することが極めて重要な
課題となっている。

【０００７】一方、コンピュータビジョンの分野におけ
るパターン認識処理でも、上記従来の技術では、空間的
に均一な解像度を持つように標本化された画像を基本と
している。したがって、特にその対象物がカメラから遠
く離れている場合には、セグメンテーション処理におい
て切り出された対象物が、極めて少数の画素で表現され
ることになる。これでは、特徴量抽出処理において特徴
量の抽出が十分に行えない場合が生じ、最終的な認識処
理において不利となるという問題点があった。

【０００８】かかる不利を解消すべく、中心部が高解像
度で、周辺部に行くほど低解像度となる対数極（log-po
lar）座標という表現形式の画像を取り込むように工夫
されたカメラを、対象物に向けて撮像する手法が開発さ
れている（例えば、SPIE Vol.1192 Intelligent Robots
and Computer Vision VIII : Algorithms and Techniq
ues (1989) pp.843-853 に開示されている。）。

【０００９】しかし、対数極座標を用いる手法では、画
像の表現方法が特殊であるため、後続する処理におい
て、正方格子で標本化された直角座標で表現された画像
に対して用いられる通常の諸手法を利用することができ
ない。即ち、その表現方法に特化したアルゴリズムで特
徴量抽出処理などを行わなければならない。

【００１０】本発明は、上記の問題点に鑑み、対話シス
テムにおいてユーザが全体画像を見回したり、コンピュ
ータビジョンにおいてカメラが実環境を見回したりする
際に、画像貯蔵資源や画像転送資源を浪費することな
く、広範囲のズーミングを行うことが可能となる不均一
解像度画像データ生成装置及び方法及び不均一解像度画
像データを用いた画像処理装置を提供することを目的と
する。

【００１１】

【課題を解決するための手段】前記目的を達成するた
め、本発明の第１の不均一解像度画像データ生成装置
は、同一の大きさの正方形の受光面を有する第１の受光
素子を、一度に表示すべき縦方向と横方向の画素の数と
等しい数だけ並べた第１階層の受光素子ブロックの外側
に、前記第１の受光素子の受光面より大きい正方形の受
光面を有する第２の受光素子を、その最外周の第２の受
光素子の縦方向と横方向の数が、前記表示すべき縦方向
と横方向の画素の数と等しくなり、かつ、前記第１階層
の受光素子ブロックの最外周が、全て前記第２の受光素
子と接触するように配置して第２階層の受光素子ブロッ
クを形成し、さらに前記第２階層の受光素子ブロックの
外側に、前記第２階層の受光素子ブロックを形成した場
合と同様の処理を、必要な階層の受光素子ブロックを得
るまで再帰的に行うことにより形成した受光素子ブロッ
クを含む画像センサを用いることを特徴とする。なお、
本発明においては、正方格子状に標本化された画像は、
同一の大きさの正方形の受光面を有する受光素子が間隙
なく敷き詰められた画像センサによって撮像された画像
であると考える。本発明の不均一解像度画像データ生成
装置によれば、対話システムにおいてユーザが全体画像
を見回したり、コンピュータビジョンにおいてカメラが
実環境を見回したりする際に、画像貯蔵資源や画像転送
資源を浪費することなく、広範囲のズーミングを行うこ
とが可能となる不均一解像度画像データを、解像度変換
処理を行うことなく得ることができる。また、本発明の
不均一解像度画像データ生成装置によって得られた不均
一解像度画像データを用いると、画像縮小処理等の再帰
的適用という比較的単純なアルゴリズムによって一連の
均一解像度画像を得ることができるため、処理速度的に
も有利である。

【００１２】また、本発明の第２の不均一解像度画像デ
ータ生成装置は、撮像により不均一解像度画像データを
得ることが可能な画像センサに含まれるそれぞれの受光
素子の中心位置及び当該受光素子の大きさに関する情
報、又は均一解像度画像データに解像度変換処理を施す
ことにより得られた不均一解像度画像データを、不均一
解像度画像データを得ることが可能な画像センサにより
得た場合の、当該仮想的な画像センサに含まれるそれぞ
れの受光素子の中心位置及び当該受光素子の大きさに関
する情報を保持する配列情報保持手段を有し、不均一解
像度画像データを、画像センサに含まれる受光素子が得
た濃度値の配列の形式で表現することを特徴とする。従
来の均一解像度画像では、画像は各画素の大きさが一定
であると仮定していたため、各画素の中心位置に関する
情報を保持する配列情報と、各画素の濃度値配列によっ
て特定されてきた。例えば、幅がＷ、高さがＨ、各画素
の濃度値がｆ_ｋ（ｋ＝０〜Ｗ×Ｈ−１）であるラスター
走査画像の場合、「この画像がラスター走査画像であ
り、幅がＷで高さがＨであること」という情報を基にし
て、濃度値ｆ_ｋをとる画素の位置の配列（ｘ_ｋ，ｙ_ｋ）
を決定することができる（即ち、ｘ_ｋをｋ÷Ｗの余りと
し、ｙ_ｋをｋ÷Ｗの商とすればよい。）。従って、「ラ
スター走査画像であり幅がＷで高さがＨであること」と
いう配列情報と各画素の濃度値配列によって画像が一意
に特定できるといえる。

【００１３】本発明の不均一解像度画像データ生成装置
によれば、配列情報の中に受光素子の大きさに関する情
報も含めることができるため、各画素の大きさを可変と
することができ、よって、画像貯蔵資源や画像転送資源
を浪費することがないよう工夫された不均一解像度画像
データを表現することができる。

【００１４】また、本発明の不均一解像度画像生成方法
は、全体画像の中に、拡大表示され得る部分と拡大表示
されない部分とが含まれている場合に、拡大表示され得
る部分のみを拡大率に応じて高解像度とすることを特徴
とする。本発明の不均一解像度画像生成方法によれば、
画像提供者が全体画像の中のどこをどれだけ拡大され得
るようにしたいかという意図に基づいて、どのような解
像度分布とするべきか決定し、それに従って不均一解像
度画像を生成することが可能となるため、画像貯蔵資源
や画像転送資源を浪費することがない不均一解像度画像
データを生成することができる。

【００１５】また、本発明の画像処理装置は、全体画像
の中で、拡大表示され得る部分が拡大率に応じた高解像
度となっている不均一解像度画像データを用いる画像処
理装置であって、利用者からの、全体画像の中でどの範
囲を表示すべきかの指示を受け付ける入力受付手段と、
前記入力受付手段が受け付けた範囲の一部に高解像度な
画像データが含まれている場合に、均一解像度画像デー
タを得るべく解像度変換処理を行う解像度変換手段とを
含むことを特徴とする。本発明の画像処理装置によれ
ば、画像貯蔵資源や画像転送資源を浪費することがない
不均一解像度画像データを適切に表示することができ
る。

【００１６】また、本発明の第１の記録媒体は、全体画
像の中で、拡大表示され得る部分が拡大率に応じた高解
像度となっている不均一解像度画像データを用いる画像
処理装置を実現するプログラムであって、利用者から
の、全体画像の中でどの範囲を表示すべきかの指示を受
け付ける入力受付ステップと、前記入力受付ステップに
おいて受け付けた範囲の一部に高解像度な画像データが
含まれている場合に、均一解像度画像データを得るべく
解像度変換処理を行う解像度変換ステップとを含むプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
である。

【００１７】また、本発明の第２の記録媒体は、全体画
像の中に、拡大表示され得る部分と拡大表示されない部
分とが含まれている場合に、拡大表示され得る部分のみ
を拡大率に応じて高解像度とした不均一解像度画像デー
タを記録したコンピュータ読み取り可能な記録媒体であ
る。不均一解像度画像データの生成と、不均一解像度画
像データを用いた画像の表示が別々の装置で実現される
場合や、一旦生成した不均一解像度画像データを保存し
ておき、後に不均一解像度画像データを用いた画像の表
示を行いたい場合等に特に有効である。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【００１９】図１は、本発明の一実施の形態における不
均一解像度画像データ生成装置及び不均一解像度画像を
用いる画像処理装置の構成を示す機能ブロック図であ
る。尚、本実施の形態では、不均一解像度画像データ
（以下、単に「不均一解像度画像」ともいう。）の生成
処理と、不均一解像度画像を用いる画像の表示を同一の
装置において実施できるようにしている。図１に示す構
成を有する装置を、本実施の形態の説明では、単に「画
像処理装置」という。

【００２０】なお、後述の如く、不均一解像度画像生成
処理と、不均一解像度画像を用いる画像の表示とを、別
の装置で実施することも可能である。

【００２１】同図１に示されるように、本実施の形態の
画像処理装置は、画像入力部１０１、制御部１０２、入
力部１０３、出力部１０４、画像格納部１０５、不均一
解像度画像格納部１０６を備えている。

【００２２】また、制御部１０２は、機能的に、画像管
理部１０２１、画像編集部１０２２、不均一解像度画像
生成部１０２３、出力画像生成部１０２４、出力制御部
１０２５を備える。

【００２３】画像入力部１０１からは、画像データが入
力される。画像入力部１０１としては、具体的には、通
常のビデオカメラや、ＣＣＤカメラ等を用いることがで
きる。

【００２４】制御部１０２は、本実施の形態の画像処理
装置全体の制御を行う他、不均一解像度画像の生成処理
や、当該不均一解像度画像から均一解像度画像を生成す
る処理、均一解像度画像の表示処理等を行う。ここで、
「不均一解像度画像」とは、不均一な空間解像度で標本
化された画像か、または、均一な空間解像度で標本化さ
れた画像を再配置することにより仮想的に不均一に標本
化された画像をいう。「再配置」とは、例えば、高解像
度で撮影された全体画像のうち、高解像度を必要としな
い部分について縮小解像度変換しておくような処理を意
味する。また、「均一解像度画像」とは、均一な空間解
像度で標本化された通常の画像をいう。

【００２５】制御部１０２は、ハードウェア的には、Ｃ
ＰＵや入出力インターフェース等に相当する部分であ
る。制御部１０２の各部の処理内容については後述す
る。

【００２６】入力部１０３は、不均一解像度画像の編集
操作や、不均一解像度画像から均一解像度画像を生成し
て出力する際の指示等の入力に用いられる。入力部１０
３としては、具体的には、マウスやキーボード等の入力
手段を利用できる。

【００２７】出力部１０４には、不均一解像度画像か
ら、解像度を均一にする処理を行った画像が表示され
る。出力部１０４としては、具体的には、ディスプレイ
装置等が利用できる。

【００２８】画像格納部１０５には、画像入力部１０１
から入力された画像データが格納される。画像格納部１
０５に格納される画像データは、通常のビデオカメラ等
を用いて撮影された均一解像度画像である場合もあれ
ば、不均一解像度画像の場合もある。画像格納部１０５
としては、ハードウェア的には、メモリ、ディスク装置
等の記憶手段が利用できる。

【００２９】不均一解像度画像格納部１０６には、不均
一解像度画像が格納される。撮影の時点で不均一解像度
画像が得られるような画像入力部１０１を用いた場合に
は、撮影された画像データをそのまま不均一解像度画像
格納部１０６に格納することができるが、撮影時には均
一解像度画像が得られるような画像入力部１０１を用い
た場合には、制御部１０２において、不均一解像度画像
生成処理を行う必要がある。不均一解像度画像生成処理
については、後に詳細に説明する。ハードウェア的に
は、画像格納部１０５と同様に、メモリ、ディスク装置
等の記憶手段が利用できる。なお、図１では、画像格納
部１０５と、不均一解像度画像格納部１０６とは、別々
に記載しているが、物理的に同一の記憶手段を用いても
よい。

【００３０】次に、制御部１０２の各部の処理内容につ
いて説明する。

【００３１】画像管理部１０２１は、画像入力部１０１
から入力された画像データを画像格納部１０５に格納し
たり、画像格納部１０５から画像データを読み出したり
する処理を行う。即ち、画像管理部１０２１は、主とし
て入出力インターフェースに相当する部分である。

【００３２】画像編集部１０２２は、入力部１０３から
の入力を受けて、不均一解像度画像生成部１０２３に対
して、画像データの編集指示を行う。具体的には、全体
画像のどの部分をどの位の解像度にするかの指示を行
う。

【００３３】不均一解像度画像生成部１０２３は、画像
編集部１０２２の指示により、画像データから不均一解
像度画像を生成し、不均一解像度画像格納部１０６に格
納する。物理的には、主としてＣＰＵに相当する部分で
ある。本実施の形態における不均一解像度画像の生成方
法については、後に詳細に説明する。なお、前述の如
く、撮影の時点で不均一解像度画像を得ることができる
ような画像入力部１０１を用いた場合には、撮影された
画像データをそのまま不均一解像度画像格納部１０６に
格納することができるため、そのままの解像度で問題な
い場合には、不均一解像度画像生成部１０２３では、特
に処理を行う必要はない。

【００３４】出力画像生成部１０２４は、不均一解像度
画像格納部１０６から、不均一解像度画像を読み出し、
解像度を均一にする処理を行う。出力画像生成部１０２
４により生成された画像は、出力制御部１０２５により
出力部１０４に表示される。

【００３５】以上のような構成を有する本実施の形態の
画像処理装置における、不均一解像度画像生成の概念に
ついて、まず、以下に詳細に説明する。

【００３６】本発明においては、不均一解像度画像を生
成する際に、どのような解像度分布にするかを決定する
ことが重要である。ここで、解像度分布について説明す
るための概念として、標本化周波数関数ｓ（ｘ，ｙ）を
定義する。標本化周波数関数とは、シーン中の各点
（ｘ，ｙ）における標本化周波数を示す非負の実数値を
とる２次元関数である。

【００３７】図２は、標本化周波数関数について説明す
るための図である。例えば、対話システムにおける画像
の提供者（以下、単に「提供者」という。）が、図２
（ａ）に示されるｘｙ平面上に存在する静的なシーンか
ら、図２（ａ）におけるσ_０の部分を、固定ショットと
してユーザに提示しようと考えたとすると、標本化周波
数関数を以下の（数１）のように定義すればよい。

【００３８】

【数１】

【００３９】上記（数１）は、ショットσ_０内の領域全
体にわたって標本化周波数を一定値ｓ_０として均一に標
本化すればよいことを表している。これを図で表したの
が図２（ｂ）である。同図においてｘｙ平面がシーンを
表し、ｓ軸は標本化周波数を意味する。ここで、ｓ_０の
値は、ユーザに画像を提示する際の水平方向及び垂直方
向の画素数に依存する。

【００４０】また、提供者がシーンから、図２（ｃ）に
示されるσ_１の部分をロングショットで提示し、σ_１よ
りも小さな領域であるσ_２の部分を、より高い拡大率で
撮像したクローズアップショットで提示しようとする
と、標本化周波数関数は以下の（数２）のように定義さ
れる。

【００４１】

【数２】

【００４２】上記（数２）を図で表したのが図２（ｄ）
である。同図に示されるように、この場合には、標本化
周波数ｓ_１で標本化されたσ_１の部分と、標本化周波数
ｓ_２で標本化されたσ_２の部分との画像データを、別々
に全て記憶しておく必要はない。σ_１とσ_２とが重なっ
ている領域については、標本化周波数σ_２の画像データ
があれば、それを縮小解像度変換することにより、σ_１
の該当領域を復元することができるからである。即ち、
上記（数２）に示された標本化周波数関数ｓ（ｘ，ｙ）
に基づいて標本化を行えば、必要十分な画像データを取
得できることになる。

【００４３】次に、カメラパラメータ空間の概念につい
て説明する。出力部１０４に出力される画像が同じ形で
同じ大きさであるとすると、画像の中心座標（Ｘ，
Ｙ）、拡大率Ｓ、及び回転係数Ｒを用いて、出力画像の
抽出状態を一意に表現することができる。ここで、「抽
出」とは、不均一解像度画像から部分画像を切り出し、
その部分画像の各領域について、所望の解像度より解像
度が高い領域には縮小解像度変換を施し、所望の解像度
より解像度が低い領域には拡大解像度変換を施して所望
の解像度の均一解像度画像を得る処理をいう。上記のよ
うな（Ｘ，Ｙ，Ｓ，Ｒ）によって定められる空間を、以
下、「カメラパラメータ空間」という。

【００４４】本実施の形態の画像処理装置では、上記に
説明したような、標本化周波数関数及びカメラパラメー
タ空間の概念を用い、提供者が提供したい画像の内容に
対応した不均一解像度画像の生成を行う。以下、提供し
たい画像の内容に対応して、いかなる標本化周波数関数
を設計すればよいかについて説明する。 （実施の形態１）まず、本発明の第１の実施の形態につ
いて説明する。本実施の形態では、平行移動状態と回転
移動状態が変化しない連続ショット、即ち出力部１０４
に出力される画像の中心座標が変化しない状態で、拡大
率が徐々に変化していくような画像を提供しようとする
場合について説明する。

【００４５】画像の中心位置の座標（Ｘ，Ｙ）、及び回
転係数Ｒが変化せず、拡大率Ｓのみが変化する場合であ
るから、カメラパラメータ空間は、図３（ａ）に示すよ
うな、Ｓ軸に平行な線分となる。同図において、Ｘ軸及
びＹ軸は、画像の中心位置の座標、Ｓ軸は拡大率である
から、最も拡大率が低い場合の拡大率がＳ_１であり、最
も拡大率が高い場合の拡大率がＳ_２であることを意味し
ている。

【００４６】このときの標準化周波数関数は、同図
（ｂ）に示すような形となる。この関数を平面ｘ＝０で
切断した形態が同図（ｃ）である。同図は、全体画像の
うちで、最も拡大率が低い場合に提示される画像データ
については、標本化周波数をｓ_１とし、最も拡大率が高
い場合に提示される領域については、標本化周波数をｓ
_２とすることを意味する。標本化周波数ｓは、画像中心
に近い領域付近では一定値ｓ_２をとるが、周辺部、即
ち、拡大率が低くなるに従って表示されるようになる領
域ではｙに反比例することになる。

【００４７】平面ｙ＝０で切断した場合も同様な形とな
るが、比例定数ｋ_ｘはｋ_ｙと異なる。即ち、出力画像の
ｘ軸方向とｙ軸方向のアスペクト比がＭ：Ｎの場合に
は、両者の関係は以下の（数３）で表される。

【００４８】

【数３】

【００４９】上記に示したような標本化周波数関数に従
って、不均一解像度画像を生成することにより、平行移
動状態と回転移動状態とが変化しない連続ショットを提
供することができる。図４は、本実施の形態の標本化周
波数関数に基づいて、現実に不均一解像度画像を生成す
る場合の、標本化周波数関数の例を示す図である。同図
に示されるように、標本化周波数関数を階層的にすれ
ば、連続的に変化する標本化周波数関数に従った連続シ
ョットを擬似的に表現することができる。 （実施の形態２）次に、本発明の第２の実施の形態につ
いて説明する。本実施の形態では、回転移動状態は変化
せず、解像度の変化に伴って平行移動をする場合、具体
的には、例えば、ズーミングを行うに従ってｙ軸方向に
平行移動をするような画像を提供しようとする場合につ
いて説明する。

【００５０】図５（ａ）に示すように、出力画像の画像
中心がｘｙ平面内でｙ＝ａを漸近線とする双曲線ｓ＝ｋ
／（ｙ−ａ）の軌跡をとるとすると、等拡大率で拡大し
ていった場合に単位時間あたりに平行移動する画素数が
一定となるので効果的である。このときの、画像中心か
ら画像境界までの距離をｄ／ｓとすると、画像境界は、
ｓ＝（ｋ±ｄ）／（ｙ−ａ）となる（ただし、ｋ＝±ｄ
のときは漸近線と一致する。）。従って、標本化周波数
関数の形態は、図５（ｂ）に示すものと、図５（ｃ）に
示すものとの二通りとなる。前者は、漸近線が出力画像
の内部に存在する場合であり、後者は、漸近線が出力画
像の外部もしくは境界上に存在する場合である。なお、
本明細書において、出力画像を上記のような漸近線が通
る点のことを、以下、「ズーム中心」という。

【００５１】上記図５（ｂ）又は図５（ｃ）に示すよう
な標本化周波数関数に従って、不均一解像度画像を生成
することにより、ズーミングを行うに従ってｙ軸方向に
平行移動をするような画像を提供することができる。 （実施の形態３）次に、本発明の第３の実施の形態につ
いて説明する。本実施の形態では、回転移動状態は変化
せず、解像度の変化とは独立に平行移動することが可能
な場合の中の第１のタイプについて説明する。なお、回
転移動状態は変化せず、解像度の変化とは独立に平行移
動することが可能な場合では、平行移動はｙ軸方向のみ
について可能なものとする。平行移動をｙ軸方向のみに
ついて可能とした場合には、標本化周波数関数のｘ軸方
向の形態は第１の実施の形態と等しいものとなるので、
以下、ｙ軸方向の形態のみを図示することにする。

【００５２】本実施の形態では、拡大率と関係なく同じ
範囲をパンニングできるタイプについて説明する。図６
（ａ）は、本実施の形態の不均一解像度画像のカメラパ
ラメータ空間を示す図であり、図６（ｂ）は、本実施の
形態の不均一解像度画像の標本化周波数関数を示す図で
ある。

【００５３】図６（ｂ）に示されるように、本実施の形
態の不均一解像度画像の標本化周波数関数は、両端に第
１の実施の形態の標本化周波数関数、即ち、ｙに反比例
する関数を配置させた形態となっている。このような標
本化周波数関数に従って、不均一解像度画像を生成すれ
ば、図６（ａ）に示すカメラパラメータ空間、即ち、一
定の奥行き、及び一定の幅の範囲内で、奥行きに従って
ズーミングしつつ、どのような軌跡でも通ることができ
るような画像を提供することができる。 （実施の形態４）次に、本発明の第４の実施の形態につ
いて説明する。本実施の形態では、回転移動状態は変化
せず、解像度の変化とは独立に平行移動することが可能
な場合の中の第２のタイプについて説明する。本実施の
形態でも、平行移動はｙ軸方向のみについて可能なもの
とする。即ち、標本化周波数関数のｘ軸方向の形態は、
第１の実施の形態と等しい。

【００５４】本実施の形態では、ズームアウトした状態
ではパンニングできないが、ズームインするとパンニン
グできるようになるタイプについて説明する。図７
（ａ）は、本実施の形態の不均一解像度画像のカメラパ
ラメータ空間を示す図であり、図７（ｂ）は、本実施の
形態の不均一解像度画像の標本化周波数関数を示す図で
ある。

【００５５】図７（ｂ）に示されるように、本実施の形
態の不均一解像度画像の標本化周波数関数は、両端に第
２の実施の形態において、ズーム中心が出力画像の内部
に存在する場合の標本化周波数関数の一部、即ち、図５
（ｂ）におけるＨ_１のような双曲線を配置させた形態と
なっている。このような標本化周波数関数に従って、不
均一解像度画像を生成すれば、図７（ａ）に示すカメラ
パラメータ空間、即ち、最も手前の位置では、画像の左
右を移動できないが、奥行きが増すに従って、徐々にパ
ンニングが可能な画像を提供することができる。 （実施の形態５）次に、本発明の第５の実施の形態につ
いて説明する。本実施の形態では、回転移動状態は変化
せず、解像度の変化とは独立に平行移動することが可能
な場合の中の第３のタイプについて説明する。本実施の
形態でも、平行移動はｙ軸方向のみについて可能なもの
とする。即ち、標本化周波数関数のｘ軸方向の形態は、
第１の実施の形態と等しい。

【００５６】本実施の形態では、ズームインした状態で
はパンニングできないが、ズームアウトするとパンニン
グできるようになるタイプについて説明する。図８
（ａ）は、本実施の形態の不均一解像度画像のカメラパ
ラメータ空間を示す図であり、図８（ｂ）は、本実施の
形態の不均一解像度画像の標本化周波数関数を示す図で
ある。

【００５７】図８（ｂ）に示されるように、本実施の形
態の不均一解像度画像の標本化周波数関数は、両端に第
２の実施の形態において、ズーム中心が出力画像の外部
もしくは境界上に存在する場合の標本化周波数関数の一
部、即ち、図５（ｃ）におけるＨ_３のような双曲線を配
置させた形態となっている。なお、本実施の形態の標本
化周波数関数を得るためには、一方の端に、ズーム中心
が出力画像の内部に存在する場合の標本化周波数関数を
配置し、もう一方の端に、ズーム中心が出力画像の外部
もしくは境界上に存在する場合の標本化周波数関数を配
置するようにしてもよい。このような標本化周波数関数
に従って、不均一解像度画像を生成すれば、図８（ａ）
に示すカメラパラメータ空間、即ち、最も手前の位置で
は、画像の左右を移動できるが、奥行きが増すに従っ
て、徐々にパンニングができなくなるような画像を提供
することができる。 （実施の形態６）次に本発明の第６の実施の形態につい
て説明する。本実施の形態では、平行移動状態は変化せ
ず、解像度の変化とは独立して、画像の回転が可能なタ
イプについて説明する。

【００５８】ある解像度において、出力画像の回転中心
から画像内の最遠点までの距離を半径とする円形の画像
を用意しておけば、その解像度で回転変換を施すことが
可能である。図９（ａ）は、本実施の形態の不均一解像
度画像のカメラパラメータ空間を示す図であり、図９
（ｂ）は、本実施の形態の不均一解像度画像の標本化周
波数関数を示す図である。

【００５９】本実施の形態では、ズーミングしながら、
画像を回転させることができる場合について設計してい
る。即ち、図９（ｂ）に示されるように、最も拡大率を
上げた場合（解像度も高くする必要がある）から、最も
拡大率の低い場合（比較的低い解像度でよい）までの間
について、それぞれ、出力画像の回転中心から画像内の
最遠点までの距離を半径とする円形の画像を用意する。

【００６０】このような標本化周波数関数に従って、不
均一解像度画像を生成すれば、図９（ａ）に示すカメラ
パラメータ空間、即ち、平行移動状態は変化せず、拡大
率の変化に伴う解像度の変化とは独立して、画像の回転
が可能な画像を提供することができる。なお、本実施の
形態の標本化周波数関数に従う不均一解像度画像は、前
述の対数極座標形式で表現するのが最も効果的である。 （実施の形態７）次に、本発明の第７の実施の形態につ
いて説明する。これまでの実施の形態では、提供する画
像の内容により、どのような標本化周波数関数に基づい
た画像を用意すれば良いかについて説明したが、以後の
実施の形態では、それらを具体的に実現する方法を中心
にして説明する。

【００６１】本実施の形態では、画像入力部１０１にお
いて画像データを取得する際の方法について説明する。
画像入力部１０１としては、ペイントソフトによる描画
等を用いることが可能であるが、前述の如く、一般的な
画像センサを用いてデジタル画像を取得することも可能
である。ここで、当該画像センサにおいて、個々の受光
素子を前記不均一解像度画像と一致するかまたは類似し
た配列で分布させることにより、画像センサを用いて直
接不均一解像度画像を得ることも可能となる。

【００６２】また、画像の取得にあたり、画像センサに
光が到達するまでの光学系の歪みを利用することによ
り、不均一解像度画像を得ることもできる。ここで、前
記光学系の歪みを利用した不均一解像度画像の取得につ
いて説明する。

【００６３】例えば、図１０（ａ）に示したように、２
枚の鏡Ｍ１、Ｍ２に反射させた像を、単焦点レンズと均
一分布の画像センサＳを用いて撮像するときには、Ｍ１
は水平方向についてのみ、Ｍ２は垂直方向についての
み、中央部が平面鏡で周辺部が中央部から離れる程湾曲
の大きい凸面鏡とすることにより、図１０（ｂ）（同図
においては、画像の右上４分の１のみを示している。）
に示すような格子模様が、Ｓ上では正方格子として投影
されるようにＭ１、Ｍ２を設計する。

【００６４】画像センサＳによって得られた画像の周辺
部は、対角線上の領域に関しては、水平方向、及び垂直
方向の解像度が同程度に変化するが、上下左右の領域に
関しては、水平方向及び垂直方向の解像度が異なった程
度に変化してしまうので補正処理を行う（例えば、正方
格子の真上や真下の領域に関しては、正方格子から離れ
るに従って垂直方向の解像度が減少していくが水平方向
の解像度は減少しないため、水平方向の解像度を垂直方
向の解像度に合わせるための補正処理を行う。）。この
ようにして、後述の図１４（ｂ）に準じた形式の不均一
解像度画像を生成し、保存する。

【００６５】この方法を用いることにより、撮影時には
ズーミング操作を行わなくても、得ようとする画像の中
心を常にファインダーの中心にフレーミングするだけ
で、ズーミング可能な画像を得ることができる。また、
不均一解像度画像として保存されるため、画像貯蔵資源
を浪費することもない。

【００６６】なお、ここでは、２枚の鏡を用いる方法に
ついて説明したが、例えば、レンズの屈折率を変えるこ
とにより同様の効果を得ることも可能である。

【００６７】また、画像入力部１０１による画像の取得
としては、画像センサを複数設けることにより、解像度
の異なる複数の画像を同時に撮像したり、解像度の異な
る複数の画像を連続的に撮像することも可能である。 （実施の形態８）次に、本発明の第８の実施の形態につ
いて説明する。本実施の形態では、不均一解像度画像を
如何に表現するかについて説明する。具体的には、不均
一解像度画像格納部１０６に不均一解像度画像を格納す
る際のフォーマットについて説明する。

【００６８】本実施の形態の画像処理装置は、不均一解
像度画像の生成と、当該不均一解像度画像の解像度を均
一化した画像の表示とを同一の装置で行うようにしてい
るが、例えば、不均一解像度画像をネットワークを介し
て転送し、転送先で表示するような場合には、通信処理
の効率化等のためにも、不均一解像度画像をいかなる形
式で表現するかは重要な問題である。

【００６９】図１１（ａ）は、本実施の形態で撮像に用
いる受光素子の構成の一例を示す図である。

【００７０】本実施の形態での「受光素子」とは、画像
センサを構成する実際の受光素子の他、撮像済みの画像
を、縮小解像度変換又は拡大解像度変換を行って再配置
することにより、仮想的に不均一に標本化される場合の
仮想的な受光素子を含む。また、「受光素子の配列情
報」とは、受光素子の位置を示す座標や形、大きさ等を
表す情報を意味する。

【００７１】図１１（ｂ）は、本実施の形態の画像処理
装置において、図１１（ａ）に示されたような受光素子
を用いて不均一解像度画像を撮影した場合の、不均一解
像度画像の形式の一例を示す図である。本実施の形態で
は、全ての受光素子は円形であるものとする。

【００７２】図１１（ａ）のような分布を有する撮像素
子を用いて撮像した不均一解像度画像は、図１１（ｂ）
に示すように、各受光素子の中心の座標（ｘ_ｎ，
ｙ_ｎ）、受光素子の半径ｒ_ｎ、各受光素子によって撮像
された画像の濃度値ｆ_ｎを組にして、順に配列したもの
となる。なお、本実施の形態では、受光素子の受光特性
は一様であり、その受光素子の出力する濃度値は受光素
子に照射された光の総和を受光素子の面積で割った値に
等しいものと考える。

【００７３】図１１（ｂ）に示すような形式を用いるこ
とにより、一般的な不均一解像度画像を表現することが
できる。 （実施の形態９）次に、本発明の第９の実施の形態につ
いて説明する。本実施の形態でも、不均一解像度画像の
表現方法について説明する。

【００７４】第８の実施の形態で説明した方法を用いる
のは、画像転送資源の節約という観点からは効果的では
ない。そこで、本実施の形態では、画像データをネット
ワークを介して転送するような場合に、画像転送資源の
効率化を図るための表現方法について説明する。

【００７５】まず、第８の実施の形態における表現形式
から濃度値ｆ_ｎを除いた部分を、「配列パターン」と定
義する。この配列パターンを、識別子を付与した形式で
テーブルに格納しておき、パラメータとして識別子を指
定することにより、受光素子の配列パターンを特定でき
るようにする。図１２は、配列パターンを保持するテー
ブルの内容の一例を示す図である。同図に示されるよう
に、識別子を指定することにより、受光素子の中心の座
標や、受光素子の半径の情報を得ることができる。

【００７６】このように配列パターンを定義すると、配
列情報とは、ある画像において用いられる配列パターン
を一意に特定することのできる情報といえる。本実施の
形態においては、パラメータとして与えられる識別子と
配列パターンを格納したテーブルを合わせたものが配列
情報といえる。

【００７７】本実施の形態の画像処理装置では、具体的
には、配列パターンを保持するテーブルを不均一解像度
画像格納部１０６に保持しておき、不均一解像度画像の
情報を、受光素子の配列パターンを特定する識別子と、
画素の濃度値の一次元配列として保持する。不均一解像
度画像の情報を格納する場所から遠く離れた場所で画像
を出力する場合には、画像送信側と、画像受信側とに、
同一の配列パターンを格納したテーブルを保持してお
き、画素の濃度値ｆ_ｎの一次元配列と識別子のみを転送
するだけでよい。

【００７８】以上に説明したように、配列パターンを格
納したテーブルを、送信側と受信側とに備えておくこと
により、不均一解像度画像を一次元配列の形で特定でき
るようになり、画像転送資源の効率化を図ることができ
る。 （実施の形態１０）次に、本発明の第１０の実施の形態
について説明する。本実施の形態では、「シーンが複数
の均一解像度画像によってモザイク状に覆われている」
という制約の下での不均一解像度画像の表現方法につい
て説明する。

【００７９】第８の実施の形態や、第９の実施の形態で
説明した方法を用いれば、一般的な不均一解像度画像を
表現することができるが、これらの手法は、画像貯蓄資
源の節約という観点からは効率的ではない。本実施の形
態における前記の制約を設ければ、モザイクを構成する
各均一解像度画像の位置、向き及び解像度を特定する情
報を指定するだけで、第９の実施の形態で説明した配列
パターンを特定することができる。よって、配列パター
ンを逐一テーブルに格納しておく必要はない。このよう
に、本実施の形態においては、モザイクを構成する各均
一解像度画像の位置、向き及び解像度を特定する情報が
「配列情報」であるといえる。例えば、図２（ｃ）に示
した不均一解像度画像を表現する場合には、配列情報
は、「σ_１とσ_２のそれぞれの位置情報、回転情報、及
び解像度情報」であり、濃度値配列は、σ_１を低密度に
表現する画像配列からσ_２と重なる領域部分を除いたも
のと、σ_２を高密度に表現する画像配列とを連結させた
配列となる。

【００８０】ここで、モザイクの形が長方形でないとき
には、配列情報としてマスク画像を用いることもでき
る。即ち、ある複雑な形をした物体領域のみにおいて高
解像度の情報が必要であり、それ以外の背景領域におい
ては低解像度で十分な状況の場合には、物体領域が１で
背景領域が０となる二値画像をマスク画像として用いる
ことにより、物体領域、即ちマスクプレーン上のみに濃
度値情報がならんでいる画像を指定することが可能であ
る。

【００８１】この場合、配列情報は、マスク画像の位
置、向き及び解像度と、マスク画像自体である。なお、
マスク画像は二値画像特有の圧縮方法により、可逆的圧
縮が可能である。一方、濃度値の配列は、マスクプレー
ン上の画素を順に並べた配列である。

【００８２】また、数画素からなるブロックに対するマ
スク画像を用いれば、物体領域の指定に関しては粗くな
ってしまうが、マスク画像自体の画素数が少なくなるた
め、さらに情報量を削減できる。

【００８３】以上に説明したように、「シーンが複数の
均一解像度画像によってモザイク上に覆われている」と
いう制約を設ければ、不均一解像度画像を、少量の配列
情報と濃度値の一次元配列の形で特定できるようにな
り、画像貯蔵資源の効率化を図ることができる。 （実施の形態１１）次に、本発明の第１１の実施の形態
について説明する。本実施の形態では、第１及び第２の
実施の形態で説明した標本化周波数関数に基づく不均一
解像度画像を効率よく生成する方法について説明する。

【００８４】図１３は、本実施の形態において、画像セ
ンサ（仮想的な画像センサを含む）の各受光素子をどの
位置に配置すればよいかを説明するための図である。同
図において、■は定点Ａ、○は均一解像度画像の辺上の
標本点、●は均一解像度画像の周辺部分について標本化
を行う場合の不均一解像度画像の標本点を表す。

【００８５】本実施の形態では、例えば四角形の表示手
段に均一解像度画像を表示するとした場合に、当該四角
形の各辺について、シーン上の定点Ａと辺の両端Ｂ及び
Ｃとを結ぶ２本の半直線で挟まれた領域のうち、定点Ａ
からみて辺よりも離れた部分に、辺と平行な走査線
L_１、L_２、…を複数定義する。この走査線は、画像セン
サで標本化するときに用いられる実際の走査線、又は仮
想的に標本化される場合における仮想的な走査線であ
る。

【００８６】ここで、定点Ａから辺ＢＣまでの距離Ｓに
対する、定点Ａから走査線L_１、L_２、…までの距離の比
を、辺ＢＣ上の標本点の間隔（以下、「標本化間隔」と
いう。）に掛けた値が、それぞれの走査線間の標本化間
隔、及び各走査線内の標本化間隔となるように標本化し
て２次元配列に格納していくことにより、第１及び第２
の実施の形態で説明した標本化周波数関数を実現する不
均一解像度画像を得ることができる。

【００８７】以上に述べた手法による受光素子の配列の
例を図１４に示す。ここでは、各受光素子の中心が各格
子点上に存在するのではなく、各受光素子の受光面が各
格子の内部いっぱいに広がっているものとする。そうす
ることにより、シーン全体を受光素子の受光面で過不足
なく覆うことができ、かつ、各受光素子の大きさをその
点における標本化間隔に近づけることができる。例えば
図１４（ａ）のような格子上に受光素子を敷き詰めれ
ば、６画素×６画素の出力画像を出力しながらズーミン
グさせることができる。また、この方法によれば、図１
４（ｂ）に示されるようなアスペクト比が１：１でない
画像（同図においては、画像の右上の４分の１のみを示
している。）や、同図（ｃ）、（ｄ）に示されるよう
な、ズーム中心のずれた画像も含めて、第１及び第２の
実施の形態で説明した標本化周波数関数に基づく不均一
解像度画像を表現することができる。

【００８８】また、図１５に示すように、各受光素子の
受光面を正方形として配列させることも可能である。こ
の場合には、例えば利用可能なアスペクト比等につい
て、やや自由度は失われるが、処理のアルゴリズムが単
純化されるため、処理時間を短縮することが可能とな
る。

【００８９】図１５に示した例において、同図（ａ）の
例は画像の中心がズーム中心である、６×６画素の画像
を出力する場合である。また、出力画像のアスペクト比
が１：１でない場合は、出力画像と同じアスペクト比を
持つブロックを処理単位として用いることにより同種の
表現を実現することができる。同図（ｂ）に（同図にお
いては、画像の右上の４分の１のみを示している。）、
４個×４個の３画素×２画素からなるブロックで１２画
素×８画素の出力画像を覆った例を示す。

【００９０】また、ズーム中心が画像中心からずれてい
る場合には、画像の右上、左上、右下、左下の各領域に
アスペクト比の異なるブロックを配置することにより同
種の表現を実現することが可能である。同図（ｃ）に
（同図においては、画像の上半分のみを示してい
る。）、左上及び左下の領域には２画素×３画素のブロ
ックを配置し、右上及び右下の領域には４画素×３画素
のブロックを配置することにより、１２画素×１２画素
の出力画像を、４個×４個のブロックで覆った例を示
す。

【００９１】また、出力画像が数百画素×数百画素の大
きさの場合には、これらの処理ブロックの縦横の画素数
を８の倍数としておけば、ＪＰＥＧ圧縮と同じＤＣＴ変
換を用いることにより得られた不均一解像度画像をさら
に圧縮することができるので効果的である。

【００９２】本実施の形態によって生成された不均一解
像度画像は、ズーム中心の座標や周辺部走査線の数など
ごく少数の配列情報によって配列パターンが特定できる
ので、不均一解像度画像の表現方法としても効率的な方
法といえる。また、この表現方法による不均一解像度画
像を第１０の実施の形態で説明したモザイクを構成する
均一解像度画像の代わりに用いることも可能である。 （実施の形態１２）次に、本発明の第１２の実施の形態
について説明する。

【００９３】本実施の形態では、Ｍ×Ｍ画素の画像提示
ウィンドウをもつ対話システムにおいて、ズーミングの
み可能で画像中心とズーム中心が一致する不均一解像度
画像を生成する方法と、その不均一解像度画像から均一
解像度画像を抽出する方法について説明する。

【００９４】まず、本実施の形態における不均一解像度
画像の生成について説明する。本実施の形態では、画像
入力部１０１として、ビデオカメラを用いる。提供者
は、ユーザに提示したい対象物をズーミングしながらビ
デオカメラで撮影する。撮影された画像はデジタル画像
として、画像格納部１０５に格納される。図１６は、得
られた動画像からの不均一解像度画像の生成について説
明するための図である。

【００９５】まず、得られた動画像から、適当に画像を
解像度変換することにより、それぞれＭ×Ｍの解像度を
もつ正規化された均一解像度をもつ連続画像（Ｉ_０〜Ｉ
_Ｎ）を生成する。具体的には、入力部１０３から解像度
を指定し、不均一解像度画像生成部１０２３が、前記正
規化された均一解像度を持つ連続画像を生成する。

【００９６】不均一解像度画像生成部１０２３は、Ｉ_０
が連続画像のなかで最もズームインされた画像であり、
Ｉ_ＮはＩ_Ｎ−１の画像と比べて、被写体の長さがＭ／
（Ｍ＋２）倍となるように、ズームアウトされたものと
なるように画像を生成する。

【００９７】さらに不均一解像度画像生成部１０２３
は、Ｉ_０の上下左右に、Ｉ_１〜Ｉ_Ｎ画像の外枠１画素分
のみを配置していくことにより、不均一解像度の静止画
像を生成することができる。生成された不均一解像度の
静止画像は、不均一解像度画像格納部１０６に格納され
る。

【００９８】一方、不均一解像度画像から均一解像度画
像の部分画像を抽出し、出力部１０４に表示する際に
は、生成時と比べて逆変換的な再帰的アルゴリズム、あ
るいはそれに等価なアルゴリズムを用いて均一解像度画
像が生成される。これらの処理は、出力画像生成部１０
２４によって行われる。即ち、ｎ＝０のときは、クロー
ズアップ画像（Ｉ_０）をそのまま取り出す。また、ｎ＝
ｋのときは、ｎ＝ｋ−１の画像をＭ×Ｍの解像度から
（Ｍ−２）×（Ｍ−２）へと縮小解像度変換し、保存さ
れている外枠を取り付ける。

【００９９】外枠が取り付けられた均一解像度画像が、
出力制御部１０２５を介して出力部１０４に表示され
る。

【０１００】以上に説明したような方法により、ズーミ
ングのみ可能で画像中心とズーム中心が一致する不均一
解像度画像を生成し、また当該不均一解像度画像に基づ
いた表示を行うことができる。 （実施の形態１３）次に、本発明の第１３の実施の形態
について説明する。本実施の形態では、第２の実施の形
態で説明したような、解像度の変化に伴って平行移動を
する場合の応用例を示す。本実施の形態の例では、ズー
ム中心と出力画像の画像中心が一致せず、ズーミングを
行うとそれにつれて自動的にパンニングやティルティン
グが行われる。

【０１０１】本実施の形態では、画像入力部１０１とし
てビデオカメラが用いられる。提供者は、シーンの中の
ズーム中心にしたい点がフレーム内で動かないようにし
ながら、ビデオカメラをパンニング及びティルティング
しつつ撮影する。得られた動画像を素に、そして第１２
の実施の形態と同種のアルゴリズムを用いて、不均一解
像度画像を生成する。

【０１０２】図１７に示すように、ズーム中心を遠近法
における消失点に一致させれば、ズーミングに伴い、消
失点が常に画像の同じ位置を占め、あたかも、消失点に
向かって近づいたり遠ざかったりしているように錯覚さ
せることが出来る。

【０１０３】なお、本実施の形態では、ズーム中心がＸ
軸、Ｙ軸共に画像中心からずれているので、共に標本化
周波数関数の形態はＸ軸方向、Ｙ軸方向共に図５（ｂ）
に示したものとなる。 （実施の形態１４）次に、本発明の第１４の実施の形態
について説明する。本実施の形態では、パンニング、テ
ィルティング及びズーミングの可能な対話システムの応
用例について説明する。

【０１０４】本実施の形態の対話システムを実現するに
あたり、提供者は、まず、不均一解像度画像の設計を行
う。画像の生成方法としては、均一解像度画像を階層的
に配置し、擬似的に連続ショットを表現するようにす
る。

【０１０５】設計プロセスにおいては、「どのショット
を提供するか」、「どのような標本化周波数関数でシー
ンを標本化するか」、「各ショットにおいて、最大にズ
ーミングした場合の解像度や、最もズームアウトした場
合の解像度の値をどれくらいにするか」、「擬似的連続
ショットにおける階層は何段階にするか」等を決定す
る。

【０１０６】提供者によるシーンの撮影は、擬似的連続
ショットの各階層にあたる解像度にズームレンズを調節
して、その解像度で必要な領域をパンニング又はティル
ティングしながら行う。そして、得られた映像素材を素
に不均一解像度画像を生成して、ネットワークを介して
ユーザに提供する。即ち、本実施の形態の画像処理装置
においては、不均一解像度画像生成処理と、それを用い
た均一解像度画像表示処理とは、ネットワークを介した
別々の装置上で実行される。

【０１０７】図１８は、本実施の形態でユーザが使用す
る装置（以下、「ビューワ」という。）の形態の一例を
示す図である。同図に示されるように、本実施の形態の
ビューワには、画像提示ウィンドウ１８０１の他に、左
右の移動を指示するパンニングボタン１８０２、上下の
移動を指示するティルティングボタン１８０３、拡大率
の大小を指示するズーミングボタン１８０４が備えられ
ている。これらのボタンは、使用可能なときのみアクテ
ィブとなり、それ以外のときはインアクティブとなる。
即ち、図１８の例では、ズーミングボタン１８０４のう
ち、ズームアウトのためのボタンはインアクティブとな
っている。また、前のショットに戻るための前ショット
ボタン１８０５も用意されている。

【０１０８】ユーザによる使用例として、風景の中から
数匹の動物を探し出す「隠し絵ゲーム」を行う例につい
て説明する。図１９は、「隠し絵ゲーム」について説明
するための図である。

【０１０９】まず、図１９（ａ）のような風景を表示す
る。表示されている点線は最も拡大率を上げることがで
きる範囲である。この状態では、パンニングボタンと、
ズームアウトボタンはインアクティブとなっている。ま
た、ティルティングとズームインは可能となっているの
で、ティルティングボタンとズームインボタンはアクテ
ィブとなっている。

【０１１０】ユーザがズームインボタンを押すと徐々に
ズームインする。ズームインするとパンニングが可能と
なるため、パンニングボタンがアクティブとなる。さら
にユーザがズームインを続けると、拡大率が最大となっ
たところでズームインボタンがインアクティブとなる。
この際に画像提示ウィンドウ１８０１に提示される画面
の一例を図１９（ｂ）に示す。この過程に伴い、パンニ
ングできる範囲は徐々に広くなっていき、ティルティン
グできる範囲は徐々に狭くなっていく。最も拡大率が上
がった状態では、全くティルティングできなくなってし
まう。

【０１１１】拡大率が最大になった状態では、図１９
（ｂ）に示されるように、その状態よりもさらに高解像
度なショットの外枠が表示される。表示された外枠をマ
ウス等を用いてクリックすると、そのショットの表示に
切り替えられる。家の窓の部分をクリックした場合に表
示されるショットの例を図１９（ｃ）に示す。このショ
ットでも、さらに拡大していくとパンニング及びティル
ティングが可能となり、パンニングボタンとティルティ
ングボタンがアクティブとなる。このショットの中を移
動していくと、机の陰に猫が見つかるので、その部分を
ダブルクリックすると、図１９（ｄ）に示したようなシ
ョットが表示される。他の部分も移動することにより、
他の動物を探していくことができる。

【０１１２】以上に説明したように、本実施の形態の応
用例のようなシステムを構築することにより、従来のシ
ステムでは、非常に大量の高解像度画像を用意する必要
があったような場合でも、画像貯蔵資源及び画像転送資
源を無駄にすることなく、効率的に画像データを提供す
ることが可能となる。 （実施の形態１５）次に、本発明の第１５の実施の形態
について説明する。本実施の形態では、パンニング、テ
ィルティング及びズーミングの可能な対話システムに使
用する不均一解像度画像を簡易に生成する方法について
説明する。

【０１１３】第１４の実施の形態で行ったように、標本
化周波数関数をまず決定し、それに従ってパンニング、
ティルティングしながら画像を撮影すれば、非常に自由
度の高い不均一解像度画像を作成することができる。し
かし、その場合は、画像を撮影する前に標本化周波数関
数を決定しなければならないので困難を伴う。そこで、
画像の提供者が対話システムを用いて、より簡単に不均
一解像度画像を生成できる不均一解像度画像の生成方法
を説明する。まず、一枚の非常に高解像度の均一解像度
画像を撮影し、十分に画像貯蓄資源のあるシステムにお
いて、画像提供者が通常の対話システムを用いてパンニ
ング、ティルティング、ズーミングを行う。その対話的
操作の途中で、このショットはユーザに提示されるべき
と感じるときに、その旨を指定する。その操作記録をも
とに標本化周波数関数を算出し、それに合わせて高解像
度の原画像を再配列して不均一解像度画像を生成する。

【０１１４】以上に説明したような方法によっても、対
話システムに使用する不均一解像度画像を簡易に生成す
ることができる。 （実施の形態１６）次に、本発明の第１６の実施の形態
について説明する。本実施の形態では、コンピュータビ
ジョンにおけるパターン認識処理への応用方法について
述べる。

【０１１５】第７の実施の形態で説明した方法により、
受光素子が不均一に分布している画像センサをもつ画像
入力部か、あるいは光学系の歪みを利用した画像入力部
を用いることにより、中心が密で周辺が粗な不均一解像
度画像データを直接的に取得する。

【０１１６】まず、低解像度ではあるがシーンの全体を
捉えた「全体像」を抽出する。この「全体像」から対象
物のセグメンテーションを行い、その対象物の外接長方
形の中心がカメラの中心で捉えられるようにカメラを向
け直して再び撮像する。

【０１１７】そして、対象物全体を含み、かつ、最も高
解像度で表現される部分画像を抽出し、その部分画像か
ら再びセグメンテーションを行う。これにより、その対
象物がカメラから遠く離れている場合でも、十分に情報
量を持った部分画像から特徴量抽出処理を行うことがで
きる。従って、抽出された特徴量をもとに行う認識処理
の精度の向上が期待できる。

【０１１８】また、二度目の撮像の前に対象物が動いて
しまい、その結果、特徴抽出に失敗した場合は、「全体
像」の抽出処理以降の処理を繰り返す。ただし、この場
合に新たに撮像する必要はなく、二度目に撮像した不均
一解像度画像から「全体像」を抽出することが可能であ
る。これにより、対象物を見逃した時と同時刻の全体像
を取得することができるので、動きを伴う対象物をトラ
ッキングしながらパターン認識処理する際に有利とな
る。

【０１１９】なお、本発明である画像処理装置を実現す
るプログラムを記録した記録媒体は、図２０に示す記録
媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディ
スク等の可搬型記録媒体だけでなく、通信回線の先に備
えられた他の記憶装置や、コンピュータのハードディス
クやＲＡＭ等の記録媒体のいずれでもよく、プログラム
実行時には、プログラムはローディングされ、主メモリ
上で実行される。

【０１２０】また、本発明で生成される不均一解像度画
像データを記録した記録媒体も、図２０に示す記録媒体
の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク
等の可搬型記録媒体だけでなく、通信回線の先に備えら
れた他の記憶装置や、コンピュータのハードディスクや
ＲＡＭ等の記録媒体のいずれでもよく、本発明である画
像処理装置を実現するプログラムが実行される時にロー
ディングされ、当該プログラムの実行に使用される。

【０１２１】

【発明の効果】以上に説明したように、本発明に係る不
均一解像度画像データ生成装置及び方法によれば、対話
システムにおいてユーザが全体画像を見回したり、コン
ピュータビジョンにおいてカメラが実環境を見回したり
する際に、画像貯蔵資源や画像転送資源を浪費すること
なく、広範囲のズーミングを行うことが可能となる不均
一解像度画像データを生成することができるという効果
がある。

【０１２２】また、本発明に係る画像処理装置を用いれ
ば、不均一解像度画像データを用いることにより、画像
貯蔵資源や画像転送資源を浪費することなく、広範囲の
ズーミングを行うことが可能な画像データを、ユーザの
指示に従い適切に表示することができるという効果があ
る。

【図面の簡単な説明】

【図１】 本発明の一実施の形態に係る画像処理装置の
構成を示すブロック図である。

【図２】 標本化周波数関数について説明するための図
である。

【図３】 本発明の第１の実施の形態におけるカメラパ
ラメータ空間及び標本化周波数関数について説明するた
めの図である。

【図４】 本発明の第１の実施の形態において、現実に
不均一解像度画像を生成する場合の、標本化周波数関数
の例を示す図である。

【図５】 本発明の第２の実施の形態におけるカメラパ
ラメータ空間及び標本化周波数関数について説明するた
めの図である。

【図６】 本発明の第３の実施の形態におけるカメラパ
ラメータ空間及び標本化周波数関数について説明するた
めの図である。

【図７】 本発明の第４の実施の形態におけるカメラパ
ラメータ空間及び標本化周波数関数について説明するた
めの図である。

【図８】 本発明の第５の実施の形態におけるカメラパ
ラメータ空間及び標本化周波数関数について説明するた
めの図である。

【図９】 本発明の第６の実施の形態におけるカメラパ
ラメータ空間及び標本化周波数関数について説明するた
めの図である。

【図１０】 本発明の第７の実施の形態における、２枚
の鏡の設計方法について説明するための図である。

【図１１】 本発明の第８の実施の形態で用いる受光素
子の構成と、得られた不均一解像度画像の形式の一例を
示す図である。

【図１２】 配列パターン情報を格納するテーブルの内
容の一例を示す図である。

【図１３】 本発明の第１１の実施の形態において、画
像センサの各受光素子をどの位置に配置すればよいかを
説明するための図である。

【図１４】 本発明の第１１の実施の形態における受光
素子の配列の例を示す図である。

【図１５】 本発明の第１１の実施の形態における受光
素子の配列の例を示す図である。

【図１６】 本発明の第１２の実施の形態における、動
画像からの不均一解像度画像の生成について説明するた
めの図である。

【図１７】 本発明の第１３の実施で用いられる不均一
解像度画像の一例を示す図である。

【図１８】 本発明の第１４の実施で用いられる装置の
形態について説明するための図である。

【図１９】 本発明の第１４の実施の形態の「隠し絵ゲ
ーム」について説明するための図である。

【図２０】 記録媒体の例を示す図である。

【符号の説明】

１０１ 画像入力部 １０２ 制御部 １０２１ 画像管理部 １０２２ 画像編集部 １０２３ 不均一解像度画像生成部 １０２４ 出力画像生成部 １０２５ 出力制御部 １０３ 入力部 １０４ 出力部 １０５ 画像格納部 １０６ 不均一解像度画像格納部 １８０１ 画像提示ウィンドウ １８０２ パンニングボタン １８０３ ティルティングボタン １８０４ ズーミングボタン １８０５ 前ショットボタン ２０１ 回線先の記憶装置 ２０２ ＣＤ−ＲＯＭやフロッピーディスク等
の可搬型記録媒体 ２０２−１ ＣＤ−ＲＯＭ ２０２−２ フロッピーディスク ２０３ コンピュータ ２０４ コンピュータ上のＲＡＭ／ハードディ
スク等の記録媒体

Claims (6)

【特許請求の範囲】
1. 【請求項１】 同一の大きさの正方形の受光面を有する
   第１の受光素子を、一度に表示すべき縦方向と横方向の
   画素の数と等しい数だけ並べた第１階層の受光素子ブロ
   ックの外側に、前記第１の受光素子の受光面より大きい
   正方形の受光面を有する第２の受光素子を、その最外周
   の第２の受光素子の縦方向と横方向の数が、前記表示す
   べき縦方向と横方向の画素の数と等しくなり、かつ、前
   記第１階層の受光素子ブロックの最外周が、全て前記第
   ２の受光素子と接触するように配置して第２階層の受光
   素子ブロックを形成し、さらに前記第２階層の受光素子
   ブロックの外側に、前記第２階層の受光素子ブロックを
   形成した場合と同様の処理を、必要な階層の受光素子ブ
   ロックを得るまで再帰的に行うことにより形成した受光
   素子ブロックを含む画像センサを用いることを特徴とす
   る不均一解像度画像データ生成装置。
2. 【請求項２】 撮像により不均一解像度画像データを得
   ることが可能な画像センサに含まれるそれぞれの受光素
   子の中心位置及び当該受光素子の大きさに関する情報、
   又は均一解像度画像データに解像度変換処理を施すこと
   により得られた不均一解像度画像データを、不均一解像
   度画像データを得ることが可能な画像センサにより得た
   場合の、当該仮想的な画像センサに含まれるそれぞれの
   受光素子の中心位置及び当該受光素子の大きさに関する
   情報を保持する配列情報保持手段を有し、不均一解像度
   画像データを、画像センサに含まれる受光素子が得た濃
   度値の配列の形式で表現することを特徴とする不均一解
   像度画像データ生成装置。
3. 【請求項３】 全体画像の中に、拡大表示され得る部分
   と拡大表示されない部分とが含まれている場合に、拡大
   表示され得る部分のみを拡大率に応じて高解像度とする
   ことを特徴とする不均一解像度画像データ生成方法。
4. 【請求項４】 全体画像の中で、拡大表示され得る部分
   が拡大率に応じた高解像度となっている不均一解像度画
   像データを用いる画像処理装置であって、利用者から
   の、全体画像の中でどの範囲を表示すべきかの指示を受
   け付ける入力受付手段と、前記入力受付手段が受け付け
   た範囲の一部に高解像度な画像データが含まれている場
   合に、均一解像度画像データを得るべく解像度変換処理
   を行う解像度変換手段とを含むことを特徴とする画像処
   理装置。
5. 【請求項５】 全体画像の中で、拡大表示され得る部分
   が拡大率に応じた高解像度となっている不均一解像度画
   像データを用いる画像処理装置を実現するプログラムで
   あって、利用者からの、全体画像の中でどの範囲を表示
   すべきかの指示を受け付ける入力受付ステップと、前記
   入力受付ステップにおいて受け付けた範囲の一部に高解
   像度な画像データが含まれている場合に、均一解像度画
   像データを得るべく解像度変換処理を行う解像度変換ス
   テップとを含むプログラムを記録したコンピュータ読み
   取り可能な記録媒体。
6. 【請求項６】 全体画像の中に、拡大表示され得る部分
   と拡大表示されない部分とが含まれている場合に、拡大
   表示され得る部分のみを拡大率に応じて高解像度とした
   不均一解像度画像データを記録したコンピュータ読み取
   り可能な記録媒体。