JP6606530B2 - 画像処理装置およびその制御方法、撮像装置、監視システム - Google Patents

Description

本発明は画像処理装置およびその制御方法、撮像装置、監視システムに関する。

全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラは、一度に全周囲（３６０度）の景観を撮影する撮像装置であり、監視カメラやロボットナビゲーションなどのさまざまな用途に利用されている。例えば、全周魚眼レンズを搭載した全方位カメラでは、３６０度円環あるいは円形などの魚眼画像が撮影される。撮影された魚眼画像は歪を含むが、魚眼画像から画像を切り出して幾何変換処理を行なうことにより、パノラマ展開画像、平面透視投影画像などの切り出し画像が得られる。

特許文献１では、全方位カメラのような広視野角カメラの画像を部分的に切り出して配信する技術が開示されている。また、近年、ネットワークカメラなどの撮像装置において、領域毎に画像の品質を変えることが可能な撮像装置が提案されている。特許文献２では、画面中央部の映像を高画質にし、周辺部の映像を低画質にする事で実質の画質を向上しつつ画像のデータ容量を抑えることが開示されている。

特開２００６−１１５０４６号公報 特開平０６−２８４３９５号公報

動画像の圧縮、符号化技術として、ＭＰＥＧ規格が知られている。ＭＰＥＧ規格に従って動画像を符号化する符号化装置は、目標とするデータレートに基づいてピクチャ毎に目標とする符号量を決定している。そして、各ピクチャの目標符号量に基づいて、各ピクチャを構成する全てのマクロブロックに平均的に目標となる符号量を割り当てる。その後、目標符号量となるよう、各マクロブロックを符号化する際の量子化ステップを決定し、符号化を行う。この量子化ステップを小さくすれば、符号量は増加するが高画質な画像が得られる。したがって、例えば、符号化対象の画像中に設定された領域を高画質にする場合、その領域を構成するマクロブロックの量子化ステップを他の領域のマクロブロックの量子化ステップよりも小さくする。なお、ＨＥＶＣ（High efficiency video coding）規格では、マクロブロックではなく、Coding unitと呼ばれる単位で量子化ステップが決定される。いずれにしても、動画像の圧縮符号化技術では、複数の画素からなる矩形状のブロック単位に量子化ステップが決定される。なお、動画像の圧縮符号化技術では、量子化ステップ以外のパラメータも基本的に矩形状のブロック単位に決定される。

図３（ａ）に示されるように、魚眼画像４００に対して高画質な領域４０１を設定した場合を考える。図３（ｂ）において、切り出し画像４５０は、歪を有する魚眼画像４００から部分的に切り出され、歪を取り除くための幾何変換処理を行って得られた画像である。魚眼画像４００に設定された高画質な領域４０１を切り出し画像４５０上に展開すると、領域４０１は上記の幾何変換処理によって歪むため、領域４５１のようになる。領域４５１はマクロブロック単位の形状にはならず、ＭＰＥＧ規格のようにマクロブロック単位で符号化する場合に切り出し画像４５０に対して高画質な領域を設定することができない。上記の事項は、高画質に符号化する領域だけではなく、符号化に影響する機能に係る領域を設定する場合も同様である。

本発明は上記の課題を解決するためになされたものであり、第１の画像に符号化処理に影響する機能に係る領域が設定された場合に、第１の画像から切り出され歪みが補正された第２の画像に対して適切に領域を設定可能にすることを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
第１の画像を取得する取得手段と、
前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする前記高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、
を備え、
前記設定手段は、
設定することが可能な前記高画質領域の数に上限があるか否かに応じて、
前記対応領域に外接する矩形に対応する前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第１の設定処理、及び、
前記対応領域の少なくとも一部を含む前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第２の設定処理のいずれかを実行する。

本発明によれば、第１の画像に対して設定された画質を異ならせる領域に対応する領域を、第１の画像から切り出され歪みが補正された第２の画像に対して自動的に設定することが可能になる。

（ａ）は本実施形態におけるカメラサーバの機能構成例を示すブロック図、（ｂ）は本実施形態における監視システムの構成例を示すブロック図。 本実施形態におけるカメラサーバのハードウェア構成例を示すブロック図。 魚眼画像とそれに対応する切り出し画像における高画質領域を示す図。 第１実施形態における、高画質領域を設定する処理を示すフローチャート。 魚眼画像に高画質領域を設定するためのＵＩ画面の一例を示す図。 変形した高画質領域を包含する矩形領域を導出する処理を示すフローチャート。 変形した高画質領域を包含する矩形領域を導出する処理を示すフローチャート。 （ａ）は第１実施形態における幾何変換処理後の高画質領域を包含する矩形領域を示した模式図、（ｂ）は第２実施形態における幾何変換処理後の高画質領域を包含するマクロブロックの集合による領域の模式図。 第２実施形態における、高画質領域を設定する処理を示すフローチャート。 第３実施形態における、高画質領域を設定する処理を示すフローチャート。 第３実施形態における、高画質領域を設定する処理を示すフローチャート。 切り出し画像における高画質領域の変更状態を登録したテーブルを示す図。 切り出し画像において高画質領域を設定するためのＵＩ画面の一例を示す図。 第４実施形態における高画質領域を設定する処理を示すフローチャート。 ４画切り出し画像と高画質領域を説明する図。

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

＜第１実施形態＞
図１（ｂ）は第１実施形態による監視システムの装置構成例を示す図である。画像処理装置としてのカメラサーバ２００とクライアント２２０がネットワーク２３０を介して相互に通信可能に接続されている。カメラサーバ２００は撮影画角が可変のカメラ２１０と接続され、カメラ２１０で撮影した画像を、ネットワーク２３０を介して外部装置へ配信する。カメラ２１０は、たとえば、全周魚眼レンズを搭載した全方位カメラである。クライアント２２０はカメラサーバ２００にアクセスし、画像を取得しながら、パン・チルト・ズーム及びフォーカスや露出等の撮影パラメータを制御する。また、クライアント２２０は、それら撮影パラメータをカメラサーバ２００にプリセット設定する。それぞれの詳細については後述する。なお、説明の簡略化のためにカメラサーバが１台の監視システムを示したが、カメラサーバが２台以上であっても構わない。またクライアント２２０以外にもカメラサーバ２００にアクセスして画像の受信や蓄積を行う他のクライアントがあっても構わない。また、カメラサーバ２００の機能がカメラ２１０に組み込まれていてもよい。

ネットワーク２３０はＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては各サーバ・クライアント間の通信が支障なく行えるものであればその通信規格、規模、構成を問わない。故に、ネットワーク２３０には、インターネットからＬＡＮ（Ｌｏｃａｌ Ａｒａ Ｎｅｔｗｏｒｋ）まで、種々のネットワークを適用可能である。

図２はカメラサーバ２００のハードウェア構成例を示すブロック図である。カメラサーバ２００では、ＣＰＵ３００、一次記憶装置３１０、二次記憶装置３２０、画像キャプチャＩ／Ｆ３３０、雲台制御Ｉ／Ｆ３４０、ネットワークＩ／Ｆ３６０が内部バス３０１を介して相互に接続されている。

ＣＰＵ３００は、一次記憶装置３１０にロードされた所定のプログラムを実行することにより各種の制御を実現する。一次記憶装置３１０はＲＡＭに代表される書き込み可能な高速の記憶装置である。一次記憶装置３１０には、ＣＰＵ３００が実行するＯＳと各種プログラム、及び各種データが二次記憶装置３２０からロードされる。また、一次記憶装置３１０は、ＯＳや各種プログラムを実行するＣＰＵ３００の作業領域としても使用される。二次記憶装置３２０はＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性を持った記憶装置である。二次記憶装置３２０は、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。カメラサーバ２００の一次記憶装置３１０及び二次記憶装置３２０に置かれる各種プログラム等の詳細については後述する。

画像キャプチャＩ／Ｆ３３０にはカメラ２１０の画像センサ３７０が接続される。画像センサ３７０は、ＣＣＤセンサまたはＣＭＯＳセンサにより構成される。ＣＰＵ３００は、画像センサ３７０から画像キャプチャＩ／Ｆ３３０を介して画像データを取得し、取得した画像データを画質パラメータに従って画像処理し、所定のフォーマットに変換・圧縮して一次記憶装置３１０に格納する。雲台制御Ｉ／Ｆ３４０は、カメラ２１０のレンズ／雲台３８０と接続される。ＣＰＵ３００は、雲台制御Ｉ／Ｆ３４０を介してパン・チルト・ズーム機構を制御してカメラ２１０（画像センサ３７０）の撮影位置や撮影画角を変更する。ネットワークＩ／Ｆ３６０はネットワーク２３０と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してクライアント２２０等との通信を担う。

図１（ａ）は、カメラサーバ２００の機能構成例を示すブロック図である。図１（ａ）に示される撮像処理部１１０、プリセット制御部１１１、通信処理部１１２、領域処理部１１４、一時記憶部１１３の各機能部は、ＣＰＵ３００が一次記憶装置３１０にロードされたプログラム（ソフトウェア）を実行することにより実現される。ただし、各機能部は、専用のハードウェアにより実現されてもよいし、ハードウェアとソフトウェアの協働により実現されてもよい。

撮像処理部１１０は、カメラ２１０により撮像された画像（歪みを有する画像）を取得し、取得した画像の少なくとも一部を切り出して歪み補正した画像を生成する。より具体的には、撮像処理部１１０は、画像センサ３７０で生成された画像データを画像キャプチャＩ／Ｆ３３０を介して取得し、プリセット制御部１１１から指定された画質パラメータに従って画像処理と符号化処理を行う。なお、本実施形態では、画像センサ３７０から全方位画像（魚眼画像）が取得され、撮像処理部１１０は、魚眼画像の全体を符号化した魚眼画像データを出力する。また、撮像処理部１１０は、魚眼画像から一部を切り出した画像に歪みを除去または低減するための幾何変換（歪み補正）を行って得られた画像（切り出し画像）を符号化した切り出し画像データを出力する。なお、切り出し画像の切り出し位置と切り出しサイズは、クライアント２２０から設定可能としてもよい。また、本実施形態では、歪みを有する画像として魚眼画像を用いるが、これに限定されるものではない。

プリセット制御部１１１は、クライアント２２０から設定されたプリセット位置、プリセット巡回設定、および／またはイベントによるプリセット移動設定、などの撮影パラメータに応じて、雲台制御Ｉ／Ｆ３４０を介してレンズ／雲台３８０を制御する。これにより、プリセットの内容に応じてパン・チルト・ズーム位置が制御される。また、プリセット制御部１１１は、プリセットとして保存されている画質パラメータを、撮像処理部１１０に設定する。画質パラメータには、例えば、フォーカス、露出、ホワイトバランス、デイナイト、スマートシェード補正、ノイズリダクション、シャープネス、色の濃さ等のパラメータが含まれる。また、プリセットには魚眼画像から切り出し画像を得るための切り出し範囲を示す情報が含まれてもよい。

通信処理部１１２は、クライアント２２０からのリクエストに応じて、一次記憶装置３１０に保存された画像データを、ネットワークＩ／Ｆ３６０およびネットワーク２３０を介してクライアント２２０へ送る。また、通信処理部１１２は、クライアント２２０から送られる撮影パラメータ（パン・チルト・ズームの位置など）や画質パラメータをプリセット制御部１１１に伝える。受信したプリセットの内容は二次記憶装置３２０に保存される。

一時記憶部１１３は、撮像処理部１１０により符号化された画像データ（魚眼画像データ、切り出し画像データ）を一次記憶装置３１０に保存する。領域処理部１１４は、クライアント２２０により指定された同じ画像内の他の領域よりも高画質とする高画質領域（符号化処理に影響する機能に係る領域の一例）を受け付け、撮像処理部１１０に設定する。高画質領域については後述する。例えば、領域処理部１１４は、魚眼画像または切り出し画像において高画質領域に指定された領域を構成するマクロブロックの量子化ステップのステップ幅を他の領域よりも小さく設定する。これにより、撮像処理部１１０により生成された画像データは、高画質領域の画質が他の領域の画質よりも高い画像データとなる。この際、上記のように、高画質領域はマクロブロック単位となる。なお、各機能部の相互の連携は、例えばオペレーティングシステムが提供する機能を用いることで実現され得る。なお、マクロブロックは一例であり、使用する動画圧縮符号化規格で規定される符号化処理における処理単位であればよい。また、符号化処理に影響する機能としては、画像内の特定の領域の画質を変更する機能だけではなく、符号化に係るパラメータの変更が発生する機能であればよい。

以下、図４、図５、図６、図７、図８（ａ）を参照して、第１実施形態による、高画質領域の設定処理について説明する。図４は、カメラサーバ２００による、魚眼画像および切り出し画像に対して高画質領域を設定する処理を示すフローチャートである。なお、切り出し画像とは、魚眼画像から少なくとも一部が切り出され、幾何変換処理により歪みが低減もしくは除去された画像である。図５は、魚眼画像に対して高画質領域を設定する際の、クライアント２２０に提供されるユーザインターフェース（ＵＩ）画面の一例である。図６、図７は、幾何変換処理によって変形した高画質領域を包含する矩形領域を導出するための処理を示すフローチャートである。図８（ａ）は、幾何変換処理後の高画質領域とそれを包含する矩形領域を示した模式図である。

なお、各領域を矩形で設定する理由は、符号化における処理単位（マクロブロックやCoding unit等）が矩形状だからである。なお、各領域は矩形に限らず、画像の縦方向又は横方向に平行な直線によって規定してもよい。また、符号化における処理単位に合うように、ユーザによって設定された領域を自動的に調整するようにしてもよい。

なお、本実施形態では、カメラサーバ２００がＵＩをクライアント２２０に提供する。例えば、高画質領域を設定するためのＵＩは、カメラサーバ２００の領域処理部１１４からクライアント２２０へウェブページの形態で提供され、クライアント２２０で稼働するブラウザにより表示される。もちろん、ＵＩの提供形態はこれに限られるものではなく、クライアント２２０上で専用のアプリケーションを実行することでＵＩが実現されてもよい。

ユーザは、例えばクライアント２２０上の設定画面（不図示）等を操作することで、魚眼画像に対して高画質領域を設定するかどうかを指示することができる。魚眼画像に対して高画質領域を設定することが指示された場合、その指示がクライアント２２０からカメラサーバ２００に通知される。領域処理部１１４は、魚眼画像に対して高画質領域を設定することの指示を受け取ると（Ｓ５０１でＹＥＳ）、魚眼画像に対して高画質領域を設定するためのユーザインターフェースをクライアント２２０に提供する（Ｓ５０２）。クライアント２２０は、カメラサーバ２００からユーザインターフェース（魚眼画像用の領域設定画面６００）を受信すると、これをディスプレイ上に表示する。魚眼画像に高画質領域を設定する指示がなされない場合は（Ｓ５０１でＮＯ）、本処理を終了する。

図５は、領域処理部１１４により提供され、クライアント２２０で表示される魚眼画像用の領域設定画面６００の一例を示す図である。領域設定画面６００の魚眼画像表示６２７には、カメラ２１０により撮影された魚眼画像が表示される。ユーザは、この魚眼画像表示６２７における魚眼画像の表示上で高画質領域を指定することにより、魚眼画像に高画質領域を設定することができる。図５では、画像中に２つの高画質領域６２８、６２９が有効に設定されている様子が示されている。

本実施形態の領域設定画面６００では、８個の高画質領域を設定しておくことができ、それらの有効、無効を個別に設定することができる。なお、設定可能な高画質領域の数が８に限られないことは言うまでもない。項目６０１〜６０８は領域１〜領域８として魚眼画像上に設定される高画質領域に対応する。例えば、ユーザが、項目６０１を選択し、ポインティングデバイスを用いて魚眼画像表示６２７上の任意の位置に任意の大きさの矩形を指定すると、領域１に対応する高画質領域が設定される。図５では、高画質領域６２８が領域１に対応し、高画質領域６２９が領域２に対応しているとする。また、例えば、ユーザが項目６０１（領域１）を指定すると、これに対応する高画質領域６２８の枠がハイライト表示される。あるいは、魚眼画像表示６２７上で高画質領域６２８を選択すると対応する項目６０１がハイライト表示される。これにより、ユーザは項目６０１〜６０８と魚眼画像上の高画質領域との対応を把握できる。

ユーザは、プルダウンリスト６０９〜６１６を用いて、領域１〜８のそれぞれの高画質領域について有効／無効を設定することができる。また、ユーザは、プレビューボタン６１７〜６２４により、それぞれの高画質領域をプレビュー表示させることができる。図５では、領域１（６０１）の高画質領域６２８と領域２（６０２）の高画質領域６２９が有効となっている。また、ユーザは、高画質領域６２８および６２９の位置および形状（矩形のアスペクト比）を、例えばポインティングデバイスを用いて変更することができる。

領域設定画面６００においてなされた上記設定内容は適用ボタン６２５の押下に応じてクライアント２２０からカメラサーバ２００に送信され、領域処理部１１４によって二次記憶装置３２０に保存される。クリアボタン６２６が押下されると、これらの設定が変更前に戻る。適用ボタン６２５の押下により領域設定画面６００による設定内容（魚眼画像における高画質領域の位置および大きさを示す情報）がカメラサーバ２００に通知される。領域処理部１１４は、設定内容の通知を受け取ると、幾何変換処理により、魚眼画像における高画質領域に対応する切り出し画像上の領域を計算する（Ｓ５０３）。

領域処理部１１４は、切り出し画像上において、魚眼画像上に設定された高画質領域に対応する領域（Ｓ５０３で計算された領域）を包含する矩形領域を決定し、切り出し画像における高画質領域として設定する（Ｓ５０４）。高画質領域は、厳密には、Ｓ５０３で計算された矩形領域を包含するマクロブロックの集合となる。上述のように、切り出し画像は魚眼画像に対して幾何変換処理を行って得られた画像であるため、魚眼画像上で設定された矩形の高画質領域はその幾何変換処理により変形する。領域処理部１１４は、切り出し画像上でこの変形した高画質領域に外接する矩形領域を設定する。この様子を図８（ａ）に示す。図８（ａ）の８０５は、幾何変換処理後の高画質領域を表している。８００は、高画質領域８０５を包含する矩形領域を表している。８０１〜８０４は、矩形領域８００の頂点の座標を表している。矩形領域８００は、Ｓ５０３で計算された領域（高画質領域８０５）に外接し、各辺が切り出し画像の水平方向または垂直方向と平行な矩形により規定される。

以下、切り出し画像上において高画質領域に外接する矩形領域を設定するための処理について図６、図７のフローチャートを用いて説明する。まず、領域処理部１１４は、幾何変換処理後の高画質領域８０５の最大座標値と最小座標値を算出する（Ｓ７０１）。ここでいう座標とは、切り出し画像におけるＸ軸とＹ軸の座標のことである。Ｓ７０１の詳細については、図７のフローチャートで示す。

幾何変換処理後の高画質領域８０５の最大座標値と最小座標値を算出したら、領域処理部１１４は、Ｘ座標における最小値とＹ座標における最大値とからなる座標を座標１として設定する（Ｓ７０２）。座標１は、座標８０１に該当する。続いて、領域処理部１１４は、Ｘ座標における最小値とＹ座標における最小値とからなる座標を座標２として設定する（Ｓ７０３）。座標２は、座標８０２に該当する。次に、領域処理部１１４は、Ｘ座標における最大値とＹ座標における最大値からなる座標を座標３として設定する（Ｓ７０４）。座標３は、座標８０３に該当する。次に、領域処理部１１４は、Ｘ座標における最大値とＹ座標における最小値からなる座標を座標４として設定する（Ｓ７０５）。座標４は、座標８０４に該当する。そして、領域処理部１１４は、座標１（８０１）、座標２（８０２）、座標３（８０３）、座標４（８０４）で囲まれた矩形を、矩形領域８００として決定する（Ｓ７０６）。

次に、Ｓ７０１で行った幾何変換処理後の高画質領域８０５の最大座標値と最小座標値を算出する処理について図７を用いて説明する。

まず、領域処理部１１４は、最小Ｘ座標、最小Ｙ座標、最大Ｘ座標、最大Ｙ座標の値を保持するための領域を一次記憶装置３１０に確保する。確保した段階では、これら領域には値が入っていない。次に、領域処理部１１４は、高画質領域６２９を縁取る枠（以下、枠と呼ぶ）のうち、任意の座標を一点決め、チェック対象の座標とする（Ｓ７５１）。

次に、領域処理部１１４は、枠を構成する画素の座標を全てチェックしたかどうかを判定する（Ｓ７５２）。枠を構成する画素の座標全てがチェック済みであれば（Ｓ７５２でＹＥＳ）、保持している最小Ｘ座標および最小Ｙ座標、最大Ｘ座標、最大Ｙ座標を幾何変換処理後の最大座標値と最小座標値とする（Ｓ７６３）。枠を構成する画素に未チェックのものがあれば（Ｓ７５２でＮＯ）、領域処理部１１４は、高画質領域６２９を幾何変換処理した結果の座標を算出する（Ｓ７５３）。ここで、最小Ｘ座標、最小Ｙ座標、最大Ｘ座標、最大Ｙ座標のための領域に値が設定されていない場合は、算出した座標をそれぞれ設定する。

続いて、領域処理部１１４は、Ｓ７５３で算出したＸ座標値が保持している最小Ｘ座標値以下かどうかを判定する（Ｓ７５４）。Ｓ７５３で算出したＸ座標値が保持している最小Ｘ座標値以下の場合（Ｓ７５４でＹＥＳ）、最小Ｘ座標をその座標値に置き換える（Ｓ７５５）。Ｓ７５３で算出したＸ座標値が保持している最小Ｘ座標値よりも大きい場合（Ｓ７５４でＮＯ）、領域処理部１１４は、Ｓ７５３で算出したＸ座標値が保持している最大Ｘ座標値以上かどうかを判定する（Ｓ７５９）。Ｓ７５３で算出したＸ座標値が保持している最大Ｘ座標値以上の場合（Ｓ７５９でＹＥＳ）、最大Ｘ座標をその座標値に置き換える（Ｓ７６０）。

続いて、領域処理部１１４は、Ｓ７５３で算出したＹ座標値が保持している最小Ｙ座標値以下かどうかを判定する（Ｓ７５６）。Ｓ７５３で算出したＹ座標値が保持している最小Ｙ座標値以下の場合（Ｓ７５６でＹＥＳ）、最小Ｙ座標をその座標値に置き換える（Ｓ７５７）。Ｓ７５３で算出したＹ座標値が保持している最小Ｙ座標値よりも大きい場合（Ｓ７５６でＮＯ）、領域処理部１１４は、Ｓ７５３で算出したＹ座標値が保持している最大Ｙ座標値以上かどうかを判定する（Ｓ７６１）。Ｓ７５３で算出したＹ座標値が保持している最大Ｙ座標値以上の場合（Ｓ７６１でＹＥＳ）、最大Ｙ座標をその座標値に置き換える（Ｓ７６２）。

以上の処理が終わると、領域処理部１１４は、高画質領域６２９を縁取る枠において次の座標を選択し（Ｓ７５８）、処理をＳ７５２に戻す。Ｓ７５２からＳ７６２の処理を繰り返すことで、幾何変換処理後の高画質領域の最小Ｘ座標および最小Ｙ座標、最大Ｘ座標、最大Ｙ座標を算出することができる。

このように、幾何変換処理後の高画質領域８０５を包含した矩形領域８００に対して矩形の高画質領域を設定することで、符号化処理における処理単位の形状かつ高画質領域８０５に近似した領域設定を行うことができる。したがって、ユーザが魚眼画像表示６２７対して高画質領域を設定すると、切り出し画像に対してユーザが再度設定することなく、ユーザの意図に近い位置に高画質領域を設定することができる。

＜第２実施形態＞
第１実施形態では、魚眼画像に設定された矩形の高画質領域に対応する切り出し画像上の領域に外接する矩形を用いて、切り出し画像における高画質領域に設定する処理を説明した。第２実施形態では、切り出し画像上の領域を覆うマクロブロック（符号化処理における処理単位の一例）を、高画質領域（符号化処理に影響する機能に係る領域の一例）に設定する構成を説明する。以下、図９、図８（ｂ）を参照して、第２実施形態の領域処理部１１４による、高画質領域の設定処理について説明する。図９は、魚眼画像および切り出し画像に対して高画質領域を設定する処理を示すフローチャートである。図８（ｂ）は、幾何変換処理後の高画質領域とそれを包含するようにマクロブロックを組み合わせた領域の模式図である。

図９において、Ｓ５０１〜Ｓ５０３は第１実施形態（図４）で説明したとおりである。領域処理部１１４は、魚眼画像において設定された高画質領域に対応する切り出し画像上の領域（Ｓ５０３で計算した領域）の大きさが１つのマクロブロック大きさ未満であるかどうか判定する（Ｓ９０１）。マクロブロックの大きさ未満である場合（Ｓ９０１でＹＥＳ）、領域処理部１１４は、有効な高画質領域が存在しないと判断し、切り出し画像における高画質領域の設定を無効化する（Ｓ９０２）。

切り出し画像上の領域の大きさが１つのマクロブロックの大きさ以上である場合（Ｓ９０１でＮＯ）、領域処理部１１４は、撮像処理部１１０の仕様として、高画質領域の個数に上限があるかどうか判定する（Ｓ９０３）。高画質領域の個数に上限がない場合（Ｓ９０３でＮＯ）、高画質領域の一部を含むマクロブロックの集合を高画質領域とする（Ｓ９０４）。たとえば、図８（ｂ）に示されるように幾何変換処理後の高画質領域８０５を包含するように配置されたマクロブロック１００１の集合を切り出し画像における高画質領域とする。この場合、集合を構成するマクロブロックのそれぞれが、切り出し画像中の高画質領域として設定される（Ｓ９０４）。こうすることで、よりユーザの意図に近い位置に高画質領域の設定を行うことができる。他方、高画質領域の個数に上限がある場合（Ｓ９０３でＹＥＳ）、領域処理部１１４は、幾何変換処理によって変形した高画質領域８０５を包含する矩形領域を切り出し画像に対して設定する（Ｓ９０５）。高画質領域８０５を包含する矩形領域については、第１実施形態で説明したとおりである。

以上のように、第２実施形態によれば、種々の制限に応じて切り出し画像における高画質領域を変更することで、装置の仕様に従いながら、ユーザの意図により近い位置に領域設定を行うことができる。なお、Ｓ９０３において、仕様上の上限があるか否かに基づいて、高画質領域８０５を覆うマクロブロックの集合（図８（ｂ））を用いるか、高画質領域８０５を包含する矩形を用いるか（図８（ａ））を判定したがこれに限られるものではない。たとえば、高画質領域８０５を含むマクロブロックの個数が所定数未満であれば図８（ｂ）に示すようなマクロブロック１００１の集合を用い、所定数以上であれば図８（ａ）に示すような矩形領域８００を用いるようにしてもよい。

＜第３実施形態＞
第１実施形態、第２実施形態では、魚眼画像に任意の高画質領域を設定すると切り出し画像上に対応する高画質領域が設定される構成を説明した。第３実施形態では、魚眼画像における高画質領域（符号化処理に影響する機能に係る領域の一例）の設定に基づいて設定された切り出し画像上の高画質領域を変更可能とする構成について説明する。以下、図１０、図１１、図１２、図１３を参照して、第３実施形態による高画質領域の設定処理について説明する。

図１０は、ユーザが手動で切り出し画像に対する高画質領域の設定を変更するための処理を示すフローチャートである。図１１は、ユーザが魚眼画像に対して高画質領域を設定した際に、切り出し画像に対して高画質領域を設定するフローチャートである。図１２は、切り出し画像における各高画質領域をユーザが設定変更したかどうかを表すテーブルのデータ構成例を示す。図１３は、切り出し画像に対して高画質領域を設定する際の、クライアント２２０に提供されるＵＩ画面の一例である。

図１０において、ユーザは、例えばクライアント２２０上の設定画面（不図示）等を操作することで、切り出し画像に対して高画質領域を設定するかどうかを指示することができる（Ｓ１１０１）。切り出し画像に対して高画質領域を設定することが指示された場合（Ｓ１１０１でＹＥＳ）、領域処理部１１４は、切り出し画像に対して高画質領域を設定するためのユーザインターフェースをクライアント２２０に提供する（Ｓ１１０２）。クライアント２２０は、このユーザインターフェース（切り出し画像用の領域設定画面１３００、図１３）を受信すると、これをディスプレイに表示する。

ここで、図１３を参照して、切り出し画像用の領域設定画面１３００について説明する。図１３において、図５に示したユーザインターフェースと同様の機能を有する表示項目については同一の参照番号を付してある。図１３では切り出し画像表示１３０１に表示されている切り出し画像中に、高画質領域１３０２と１３０３が設定されている様子が示されている。

項目６０１〜６０８は領域１〜領域８として切り出し画像上に設定される高画質領域に対応する。図１３では、切り出し画像上に、領域１としての高画質領域１３０２と領域２としての高画質領域１３０３が有効となっている。なお、高画質領域１３０２，１３０３は、魚眼画像に対して設定された高画質領域に対応して切り出し画像に設定された領域である。第１実施形態の魚眼画像用の領域設定画面６００と同様に、ユーザは、高画質領域１３０２および１３０３の位置および形状を変更することができる。適用ボタン６２５が押下されると、設定内容がクライアント２２０からカメラサーバ２００へ通知され、二次記憶装置３２０に保存される。クリアボタン６２６が押下されると、これらの設定が変更前に戻る。

領域処理部１１４は、クライアント２２０から通知された設定内容に基づいて、テーブル１２００（図１２）に保持している高画質領域の変更状態を更新する（Ｓ１１０３〜Ｓ１１０４、Ｓ１１０６〜Ｓ１１０７）。ここで、図１２におけるテーブル１２００のデータ構成例について説明する。テーブル１２００には、領域１〜８の各々についてその変更状態が保持されている。変更状態とは、切り出し画像に設定されている高画質領域が、魚眼画像に設定された高画質領域から導出された設定のままであるか、クライアント２２０からユーザによって設定変更されたものかどうかの状態を表している。「変更あり」の場合、ユーザによって（例えば、クライアント２２０で図１３のＵＩを用いて）、高画質領域が設定変更されていることを表している。「変更なし」は、切り出し画像における高画質領域の設定が魚眼画像で指定された高画質領域から導出された設定から変更されていないことを表している。「無効」は、切り出し画像における高画質領域が無効になっていることを表している。テーブル１２００の場合、領域１（切り出し画像における高画質領域１３０２）がユーザによって設定変更されており、領域２（切り出し画像における高画質領域１３０３）は設定変更されておらず、それ以外の領域は無効になっていることを表している。テーブル１２００の内容は、一次記憶装置３１０に保存される。なお、カメラサーバ２００の起動時（再起動時を含む）に、領域処理部１１４は、テーブル１２００に設定されている各領域の変更状態を「変更なし」で初期化する。

ユーザが高画質領域の位置／大きさを変更したこと、もしくはユーザがプルダウンリストを無効から有効に切り替えたことが通知された場合（Ｓ１１０３でＹＥＳ）、領域処理部１１４は、テーブル１２００の該当する領域を「変更あり」に変更する（Ｓ１１０４）。続いて、領域処理部１１４は、ユーザの設定した内容（通知された内容）に基づいて、切り出し画像上の高画質領域の設定を変更する（Ｓ１１０５）。また、切り出し画像上の高画質領域が有効から無効に変更されたことが通知された場合（Ｓ１１０３でＮＯ，Ｓ１１０６でＹＥＳ）、領域処理部１１４は、テーブル１２００の該当する領域を「無効」に変更する（Ｓ１１０７）。切り出し画像の高画質領域について何の変更もなければ（Ｓ１１０３でＮＯ，Ｓ１１０６でＮＯ）、テーブル１２００の更新は行われず、そのまま処理を終了する。

次に、第３実施形態における魚眼画像へ高画質領域を設定する処理と、切り出し画像へ高画質領域を反映させる処理について図１１のフローチャートを参照して説明する。Ｓ５０１〜Ｓ５０２の処理は、第１実施形態（図４）と同様である。適用ボタン６２５の押下に応じてクライアント２２０からカメラサーバ２００に高画質領域の設定内容が通知されると、領域処理部１１４は、テーブル１２００を参照し、魚眼画像に対して設定した高画質領域に対応する領域の変更状態を確認する（Ｓ１１２１）。

テーブル１２００において、魚眼画像について設定または変更された高画質領域の変更状態が「変更あり」の場合（Ｓ１１２１でＹＥＳ）は、そのまま処理を終了する。すなわち、この場合、領域処理部１１４は、ユーザが意図的に切り出し画像における高画質領域を設定変更したものと判断して、切り出し画像における高画質領域の設定／変更を行わない。他方、変更状態が「変更あり」以外の場合（Ｓ１１２１でＮＯ）、領域処理部１１４は、テーブル１２００の該当する領域の変更状態を、「変更なし」に変更する（Ｓ１１２２）。続いて、領域処理部１１４は、幾何変換処理によって変形した高画質領域８０５を包含する矩形領域８００を切り出し画像に対して設定する（Ｓ１１２４）。なお、Ｓ１１２４の処理は第１実施形態（図４）のＳ５０３〜Ｓ５０４と同様である。但し、Ｓ５０４については、第２実施形態（図９）で示した処理（Ｓ９０１〜Ｓ９０５）にしたがってもよい。

以上のように、第３実施形態によれば、ユーザが切り出し画像における高画質領域を設定変更した場合、対応する魚眼画像における高画質領域を設定変更しても、その変更を切り出し画像における高画質領域に反映しない。したがって、ユーザの意図を損なうことなく、魚眼画像における高画質領域の設定変更を切り出し画像における高画質領域に反映することが可能となる。

なお、第３実施形態では、魚眼画像における高画質領域の設定変更を切り出し画像における高画質領域の設定変更に適用する場合について説明したが、その逆の倍も同様である。すなわち、切り出し画像における高画質領域の設定変更を、魚眼画像における高画質領域の設定変更に適用する場合も同様である。

＜第４実施形態＞
次に、魚眼画像から複数の部分を切り出して複数の切り出し画像が生成される場合の、高画質領域の設定について説明する。以下では、切り出し画像を４つ並べて１つの画像（以下、４画切り出し画像と呼ぶ）として映像配信する場合を例として説明する。第４実施形態では、高画質領域（符号化処理に影響する機能に係る領域の一例）が複数の切り出し画像に分割されて存在する場合に、小さい方の領域を高画質にする領域の対象から除外する。以下、図１４、図１５を参照して本発明の第４実施形態による、高画質領域を設定するフローについて説明する。

図１４は、魚眼画像および切り出し画像に対して高画質領域を設定するフローチャートである。図１５（ａ）は、４画切り出し画像１５００と高画質領域１５０１〜１５０９を表した模式図である。図１４のＳ５０１〜Ｓ５０２の処理は第１実施形態（図４）と同様である。領域処理部１１４は、クライアント２２０から通知された魚眼画像上に設定された高画質領域に対応する領域を４画切り出し画像上に配置する（Ｓ１４０１）。この際、第１実施形態で説明したように、幾何変換処理により矩形形状から変形した領域に外接する矩形を、切り出し画像上の高画質領域として設定する。

次に、領域処理部１１４は、切り出し画像における高画質領域が分断されたことにより、領域の数が魚眼画像における高画質領域よりも増えたかどうかを判定する（Ｓ１４０２）。たとえば図１５（ｂ）に示されるように、４画切り出し画像は、魚眼画像から円環状に切り出された４つの領域１５２２〜１５２５を幾何変換処理することにより得られる４つの切り出し画像１５３２〜１５３５からなる。各切り出し画像の下側の辺は、魚眼画像の中心側の辺に対応する（図１５（ｂ）では、太い線で示されている）。４画切り出し画像において、切り出し画像１５３２〜１５３５が図示のように配置される場合、魚眼画像上で設定された高画質領域１５２１は、４画切り出し画像上で高画質領域１５３１ａと高画質領域１５３１ｂに分断される。この状態を示したのが、図１５（ａ）の４画切り出し画像１５００の左上の領域にある高画質領域１５０２と右下の領域の高画質領域１５０９であり、これらは、魚眼画像上で１つの高画質領域として設定された領域である。

上述のように、領域処理部１１４は、魚眼画像で設定された高画質領域の個数に比べて、４画切り出し画像上に設定される高画質領域の個数が増えたか否かを判定する。４画切り出し画像上における高画質領域の個数が増えたと判定された場合（Ｓ１４０２でＹＥＳ）、領域処理部１１４は、高画質領域の個数が撮像処理部１１０の仕様上の高画質領域の個数の上限を超えたかどうかを判定する（Ｓ１４０３）。高画質領域の個数が上限を超えた場合（Ｓ１４０３でＹＥＳ）、領域処理部１１４は、分断された高画質領域のうち面積の小さい方の高画質領域（図１５では高画質領域１５０９）を無効とする（Ｓ１４０４）。

以上のように、第４実施形態によれば、４画切り出し画像において、高画質領域の個数が上限を超える場合もユーザの意図をなるべく損なうことなく高画質領域の設定を行うことができる。また、図１４では、面積の小さい領域を無効とすることで高画質領域の個数の上限を超えないようにしたがこれに限られるものではない。たとえば、分断された高画質領域１５０９から所定の距離以内にある別の高画質領域１５０８とまとめた領域を一つの高画質領域として設定することで、高画質領域の個数の上限を超えないようにしてもよい。なお、図１５の例の場合、高画質領域１５０８と高画質領域１５０９を包含する最小の矩形が高画質領域として設定される。

また、第４実施形態では、切り出し画像を４つ並べて１つの画像とした画像を対象としたが、魚眼画像を切り開いたパノラマ画像においても同様である。この場合、パノラマ画像の左右の辺において分断が発生する。

＜他の実施形態＞
上記各実施形態では、高画質領域について有効／無効を切り換えるのみであったが、これに限られるものではない。例えば、高画質に複数段階のレベルを設けて、領域ごとに指定できるようにしてもよい。例えば、高画質、中間画質、無効のいずれかを領域ごとに指定できるようにしてもよい。また、上記実施形態では、画質を高める領域を指定する構成を示したが、画質を下げる領域を指定するようにしてもよい。すなわち、領域処理部１１４がクライアント２２０に提供するＵＩは、魚眼画像または引き出し画像において異なる画質とするべき領域を設定するものであればよい。そして、撮像処理部１１０の符号化は、ＵＩにより設定された領域の画質が他の領域の画質と異なるように魚眼画像または引き出し画像を符号化する。

また、上記各実施形態では、魚眼画像において設定された高画質領域から切り出し画像における高画質領域を導出したが、切り出し画像において設定された高画質領域から魚眼画像における高画質領域を導出するものでもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、魚眼画像と魚眼画像を幾何変換処理によって補正した画像を対象としたが、補正が必要な画像であれば魚眼画像に限定されない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：ＯＳ、１１０：撮像処理部、１１１：プリセット制御部、１１２：通信処理部、１１３：一時記憶部、１１４：領域処理部、２００：カメラサーバ、２１０：カメラ、２２０：クライアント、２３０：ネットワーク

Claims (12)

1. 第１の画像を取得する取得手段と、
   前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
   前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
   前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
   前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする前記高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、
   を備え、
   前記設定手段は、
   設定することが可能な前記高画質領域の数に上限があるか否かに応じて、
   前記対応領域に外接する矩形に対応する前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第１の設定処理、及び、
   前記対応領域の少なくとも一部を含む前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第２の設定処理のいずれかを実行する
   ことを特徴とする画像処理装置。
2. 第１の画像を取得する取得手段と、
   前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
   前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
   前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
   前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、
   を備え、
   前記設定手段は、
   前記対応領域における前記処理単位の数に応じて、
   前記対応領域に外接する矩形に対応する前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第１の設定処理、及び、
   前記対応領域の少なくとも一部を含む前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第２の設定処理のいずれかを実行する
   ことを特徴とする画像処理装置。
3. 第１の画像を取得する取得手段と、
   前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
   前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
   前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
   前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、
   を備え、
   前記生成手段は、前記第１の画像から複数の部分を切り出して複数の前記第２の画像を生成し、
   前記設定手段は、前記第１の画像において指定された１つの前記高画質領域が、複数の前記第２の画像における複数の領域に分割される場合に、当該複数の領域の内の小さい方の領域を、前記高画質領域として設定しない
   ことを特徴とする画像処理装置。
4. 第１の画像を取得する取得手段と、
   前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
   前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
   前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
   前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、
   を備え、
   前記生成手段は、前記第１の画像から複数の部分を切り出して複数の前記第２の画像を生成し、
   前記設定手段は、前記第１の画像において指定された１つの前記高画質領域が、複数の前記第２の画像における複数の領域に分割される場合に、当該複数の領域の内の小さい方の領域と、当該小さい方の領域から所定の距離以内にある領域を１つの領域にまとめた領域を前記第２の画像における前記高画質領域として設定する
   ことを特徴とする画像処理装置。
5. 前記対応領域の大きさが１つの前記処理単位の大きさ未満の場合に、当該対応領域を前記高画質領域として設定しないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第２の画像中の前記高画質領域に対する変更の指示に応じて、前記第２の画像中の前記高画質領域を変更する変更手段をさらに備え、
   前記変更手段により変更された前記高画質領域に対応する、前記第１の画像における前記高画質領域について変更の指示を受け取った場合に、受け取った変更を前記変更手段により変更された前記高画質領域に反映させないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記高画質領域の画質が他の領域よりも高画質となるように前記第２の画像を符号化する符号化手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記符号化手段は、前記高画質領域に適用する量子化ステップのステップ幅を、前記他の領域に適用する量子化ステップのステップ幅よりも小さくすることを特徴とする請求項７に記載の画像処理装置。
9. 撮像手段と、
   前記撮像手段により撮像された第１の画像を取得する取得手段と、
   前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
   前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
   前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
   前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする前記高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、を備え、
   前記設定手段は、
   設定することが可能な前記高画質領域の数に上限があるか否かに応じて、
   前記対応領域に外接する矩形に対応する前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第１の設定処理、及び、
   前記対応領域の少なくとも一部を含む前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第２の設定処理のいずれかを実行する
   ことを特徴とする撮像装置。
10. 撮像装置と、画像処理装置と、クライアント装置を備える監視システムであって、
    前記画像処理装置が、
    前記撮像装置により撮像された第１の画像を取得する取得手段と、
    前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
    前記クライアント装置から、前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り手段と、
    前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算手段と、
    前記第２の画像おいて他の領域よりも相対的に高画質とする前記高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定手段と、を備え
    前記設定手段は、
    設定することが可能な前記高画質領域の数に上限があるか否かに応じて、
    前記対応領域に外接する矩形に対応する前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第１の設定処理、及び、
    前記対応領域の少なくとも一部を含む前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第２の設定処理のいずれかを実行する
    ことを特徴とする監視システム。
11. 画像処理装置の制御方法であって、
    第１の画像を取得する取得工程と、
    前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成工程と、
    前記第１の画像において、他の領域よりも相対的に高画質とする高画質領域の指定を受け取る受け取り工程と、
    前記第２の画像において、前記第１の画像において指定された前記高画質領域に対応する対応領域を計算する計算工程と、
    前記第２の画像の符号化処理において他の領域よりも相対的に高画質とする前記高画質領域として、前記第２の画像を符号化するための符号化処理における処理単位に基づく、前記対応領域を包含する領域を設定する設定工程と、を有し、
    前記設定工程では、
    設定することが可能な前記高画質領域の数に上限があるか否かに応じて、
    前記対応領域に外接する矩形に対応する前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第１の設定処理、及び、
    前記対応領域の少なくとも一部を含む前記処理単位の集合を、前記第２の画像における前記高画質領域として設定する第２の設定処理のいずれかを実行する
    ことを特徴とする、画像処理装置の制御方法。
12. 請求項１１に記載された制御方法の各工程をコンピュータに実行させるためのプログラム。

Images