JP4306219B2

JP4306219B2 - 画像処理装置

Info

Publication number: JP4306219B2
Application number: JP2002304809A
Authority: JP
Inventors: 佳秀中島; 和幸今川; 英ニ福宮; 英明松尾
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-10-18
Filing date: 2002-10-18
Publication date: 2009-07-29
Anticipated expiration: 2022-10-18
Also published as: JP2004140693A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像サイズの正規化を行う装置に関し、特に、被写体までの距離に応じた適切な倍率で正規化を行う装置に関する。
【０００２】
【従来の技術】
従来より、画像処理技術の一つとして、画像サイズの正規化が知られている（例えば、特許文献１）。
【０００３】
画像サイズの正規化においては、正規化対象の画像が所定の正規化サイズへと拡大または縮小される。正規化対象の画像が正規化サイズより小さいときは、対象画像が拡大される。このとき、対象画像が小さいほど、拡大倍率は大きくなる。反対に、正規化対象の画像が正規化サイズより大きいときは、対象画像が縮小される。このときは、対象画像が大きいほど、縮小倍率（＜１）は小さくなる。画像サイズの正規化により、元の画像の大きさに拘わらず、画像を同じ大きさにすることができる。正規化は、例えば、画像を同じ大きさで表示することによって見易くするために利用される。
【０００４】
【特許文献１】
特開平１０−９８６０９号公報（第８頁左欄第１４−５０行、図６）。
【０００５】
【発明が解決しようとする課題】
上述のように、画像サイズの正規化処理は、元の画像のサイズに拘わらず、画像サイズを一定の大きさへと変換するものであるが、このような処理を行うと、場合によっては、以下に説明するように、変換された画像が見づらいものとなることがある。
【０００６】
すなわち、監視カメラ等のカメラの撮影画像に写った被写体を抽出して正規化する場合を考えると、同じ大きさの被写体でも、被写体までの撮影距離の大きさによって被写体の大きさが異なり、したがって、正規化のための倍率も異なる。撮影距離が相当に大きいと、被写体が相当に小さくなり、正規化のための倍率が相当に大きくなる。この場合、倍率が大きすぎる結果、正規化された画像は、モザイク模様のようにざらついたものとなり、却って見づらい画像、すなわち被写体を認識しづらい画像になることがある。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、その目的は、上述にて挙げた正規化処理の如くに画像サイズを変更するときに、被写体までの距離が大きい場合でも適当な画像を得ることが可能な技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、カメラの撮影画像から対象画像を抽出する対象画像抽出手段と、
前記対象画像の被写体までの撮影距離の大きさを表す情報を取得する距離情報取得手段と、前記対象画像の表示サイズを、前記被写体までの距離に応じて変更するサイズ変更手段と
を有している。
【０００９】
この構成により、前記サイズ変更手段は、前記対象画像を正規化サイズにするための正規化倍率を、前記被写体までの距離に応じた大きさの補正幅だけ小さくなるように補正した補正正規化倍率を用いて、前記対象画像の表示サイズを変更することができる。
【００１２】
また、本発明の画像処理装置において、前記距離情報取得手段は、前記距離の大きさを表す情報として、前記対象画像の大きさを表す情報を取得する。
【００１３】
この構成により、同じ被写体であれば距離に応じて画像中の大きさが変わることを利用して、距離そのものの情報を用いずとも、距離に応じた本発明の適切な処理を行うことができる。
【００１４】
また、本発明の画像処理装置において、前記対象画像抽出手段は、動画像における前記被写体の画像を追跡するように構成され、前記サイズ変更手段は、前記動画像における各時点での前記被写体を含む対象画像の表示サイズを、前記各時点での前記被写体までの距離に応じて変更する。
【００１５】
この構成により、動画像中での被写体の移動に応じて、各時点での被写体までの距離に応じたサイズ変更が行われるので、動画像中で継続的に認識しやすい被写体画像が得られる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２０】
図１は、本発明の実施の形態の画像処理装置を示している。本実施の形態では、画像処理装置１０は、カメラ１２と共に監視カメラシステムを構成している。カメラ１２は、画像処理装置１０から離れた場所に設置され、画像処理装置１０と通信可能に接続される。画像処理装置１０は、カメラ１２から撮影画像を受信する。画像処理装置１０は、モニタ１４を有し、受信した画像をモニタ１４に表示させる。また、画像処理装置１０は、キーボードおよびマウス等の入力装置１６を有し、入力装置１６からオペレータの各種の指示を受け付ける。
【００２１】
画像処理装置１０は、コンピュータで構成されており、ＣＰＵ、ＲＡＭ、ＲＯＭ等の構成を備える。コンピュータには、本実施の形態の画像処理装置としてコンピュータを機能させるためのプログラムがインストールされており、このプログラムを実行することで本実施の形態の画像処理装置が実現される。コンピュータは、汎用のコンピュータでも、本実施の形態の監視カメラシステムのための専用コンピュータでもよい。
【００２２】
図１に示されるように、画像処理装置１０は、画像サイズの正規化のための構成として、対象画像指定受付部２０、対象画像抽出部２２、対象画像切出し部２４、サイズ変更部２６、倍率補正部２８および補正パラメータ記憶部３０を有する。
【００２３】
対象画像指定受付部２０は、正規化の対象画像の指定を受け付ける。対象画像の指定は、オペレータにより入力装置１６を用いて入力され、対象画像指定受付部２０により受け付けられる。対象画像抽出部２２は、指定された対象画像を撮影画像から抽出する。対象画像切出し部２４は、対象画像抽出部２２が抽出した対象画像を、元の撮影画像から切り出す処理を行う。
【００２４】
サイズ変更部２６は、切り出された対象画像の表示サイズを変更することで対象画像を正規化する。本実施の形態では、サイズ変更部２６は、本実施の形態に特徴的な補正正規化倍率を用いて正規化を行う。補正正規化倍率は、倍率補正部２８により、補正パラメータ記憶部３０に記憶されている情報を用いて求められる。補正正規化倍率については後述にて詳細に説明する。
【００２５】
図２は、図１の画像処理装置１０による処理の概略を示している。本実施の形態においては、オペレータは、撮影画像に写っている被写体を入力装置１６で選択することで、正規化の対象画像を指定する。図２の例では、撮影画像中の人物がマウス等で選択される。この被写体の指定が、対象画像指定受付部２０により受け付けられる。そして、対象画像抽出部２２は、撮影画像を解析して、指定された被写体を内包する矩形領域（点線で示す）を求める。この領域の画像が、正規化の対象画像となる。
【００２６】
本実施の形態では、上記の処理中で、対象画像の縦横比は固定されており、撮影画像の縦横比と同じに設定されている。また、被写体を含む領域の抽出は、撮影画像中の画素値の比較等の処理によって行われる。この抽出処理には、従来提案されている各種の画像処理技術の一つが適用されればよい。この種の技術は、例えば、特開平７−１１６９０５号公報および特開平７−１１６９０６号公報に開示されている。
【００２７】
なお、対象画像は、上述と別の処理によって指定されてもよい。例えば、対象画像の２つの角の位置がマウス等で指定されてもよい。
【００２８】
また、対象画像は、オペレータの指定を受け付けることなく、自動的に抽出されてもよい。例えば、撮影画像中の人物が画像処理により検出されれば、人物を含む領域画像が抽出される。
【００２９】
図２に示されるように、対象画像が抽出されると、その対象画像が対象画像切出し部２４により撮影画像から切り出される。そして、サイズ変更部２６が、この対象画像のサイズを正規化のために変更する。このとき、本実施の形態では、補正正規化倍率が用いられる。
【００３０】
図３は、補正正規化倍率を用いた正規化処理を示している。図３は、正規化により対象画像が拡大される場合を示している。以下では、拡大が行われる場合を想定して本実施の形態を説明する。ただし、後述するように、本実施の形態は、縮小による正規化にも適用可能である。
【００３１】
図３の上段には、撮影画像Ａ、Ｂ、Ｃが示されている。撮影画像Ａ、Ｂ、Ｃには、おおよその大きさが分かる被写体である人間が写っている。撮影画像Ａ、Ｂ、Ｃには、前段の対象画像抽出処理で抽出された正規化の対象画像ａ、ｂ、ｃが、点線の四角形で示されている。
【００３２】
撮影画像Ａ、Ｂ、Ｃには同じ被写体が写っているが、被写体までの撮影距離（カメラから被写体までの距離）が異なる。撮影画像Ａ、Ｂ、Ｃの順番で、撮影距離が大きい。そして、撮影距離の相違に応じて、図示のように、画像中での被写体の大きさが異なっており、撮影画像Ａ、Ｂ、Ｃの順番で、被写体が小さくなる。これに伴い、対象画像ａ、ｂ、ｃも、この順番で小さくなっている。
【００３３】
図３の中段は、従来一般の正規化処理を示している。従来の正規化処理では、正規化対象画像のサイズが、一定のサイズ（ここでは正規化サイズという）へと変更される。被写体までの撮影距離が小さい場合、対象画像が比較的大きく、正規化倍率が小さいので、正規化された画像も比較的鮮明である（対象画像ａ）。しかし、撮影距離が大きい場合、対象画像が小さく、正規化倍率が大きいために、正規化された画像は、モザイク模様のようにざらついたものとなる（対象画像ｂ、ｃ）。撮影距離が大きいほど、ざらつきの程度が増し、これにより、被写体が認識しづらくなる。
【００３４】
上記の点について、正規化倍率の計算式を用いてより具体的に説明する。正規化サイズの大きさをＳ０、対象画像ａ、ｂ、ｃのサイズを、それぞれａ０、ｂ０、ｃ０、正規化倍率をＭａ、Ｍｂ、Ｍｃとする。この場合、正規化倍率Ｍａ、Ｍｂ、Ｍｃは、以下のようになる（Ｍａ＜Ｍｂ＜Ｍｃ）。
【００３５】
【数１】
Ｍａ＝Ｓ０／ａ０
Ｍｂ＝Ｓ０／ｂ０
Ｍｃ＝Ｓ０／ｃ０
従来は、上記の正規化倍率で対象画像を拡大することによって正規化が行われる。この場合、対象画像ａは比較的大きいので、正規化倍率Ｍａが小さく、正規化された画像は比較的鮮明である。しかし、対象画像ｃは小さいので、正規化倍率Ｍｃが大きく、これにより、正規化された画像は相当にざらついたものとなる。
【００３６】
図３の下段は、本実施の形態の正規化処理を示している。本実施の形態では、正規化された画像のざらつきを抑えるために、補正正規化倍率が用いられる。補正正規化倍率は、上述の正規化倍率を、被写体までの距離に応じた大きさの補正幅だけ小さくなるように補正した倍率である。
【００３７】
補正正規化倍率の例を以下に示す。ここで、ＡＭａ、ＡＭｂ、ＡＭｃは、それぞれ、対象画像ａ、ｂ、ｃの補正正規化倍率である。
【００３８】
【数２】
ＡＭａ＝Ｍａ×１．０＝Ｓ０／ａ０×１．０
ＡＭｂ＝Ｍｂ×０．９＝Ｓ０／ｂ０×０．９
ＡＭｃ＝Ｍｃ×０．６＝Ｓ０／ｃ０×０．６
上記において、対象画像ａについては、撮影距離が小さいので、正規化倍率Ｍａ＝Ｓ０／ｂ０がそのまま補正正規化倍率として用いられる。対象画像ｂについては、正規化倍率Ｍｂに補正係数０．９が掛けられている。対象画像ｃについては、撮影距離がより長いので、調整幅が大きくなるように、補正係数０．６が掛けられている。
【００３９】
本実施の形態の正規化は、上記の補正正規化倍率を用いて行われる。したがって、図３に示されるように、撮影距離が長いときでも、倍率が大きすぎることがなく、画像が認識しづらくなるのを避けられる。
【００４０】
なお、本実施の形態では、補正正規化倍率が補正前の正規化倍率より小さく補正されているので、正規化後の画像のサイズも、補正前の正規化倍率を使ったときの正規化サイズ（Ｓ０）より小さくなる。そして、撮影距離が長いほど、補正幅が大きいので、正規化後の画像のサイズが小さくなる。これに対して、正規化後の画像のサイズをＳ０に揃えることも可能である。そのためには、対象画像を切り出すときに、周囲の画像も一緒に切り出せばよい。このような変形例も、本実施の形態の補正正規化倍率を用いており、本発明の範囲に含まれる。
【００４１】
ここで、本実施の形態の実際の処理は、補正正規化倍率を求めるために、被写体までの撮影距離が、対象画像の大きさによって表されることを利用する。撮影距離が大きくなるに従って対象画像が小さくなる。そこで、対象画像が小さいときに補正幅が大きくなるように補正幅が設定される。具体的には、図４の関数が補正係数として用いられる。
【００４２】
図４において、横軸は対象画像のサイズｘであり、縦軸は補正係数α（ｘ）である。本実施の形態では、サイズｘは、対象画像の水平方向の長さである。そして、本実施の形態では、サイズｘの単位は例えばピクセル（画素）である。なお、前述したように、本実施の形態では、対象画像の縦横比が固定されている。したがって、上記の定義に示される画像の水平方向の長さは、対象画像のサイズを的確に表す。ただし、本発明の範囲内で対象画像の縦横比は固定されずともよく、この場合にも、対象画像のサイズが適当に定義されればよく、例えば、縦、横の長い方の辺の長さが対象画像のサイズとされる。
【００４３】
図４に示されるように、補正係数α（ｘ）は、対象画像のサイズｘに対して単調減少する（０≦ｘ、０＜α（ｘ）≦１）。そして、補正正規化倍率ＡＭは、下式で表される。
【００４４】
【数３】
ＡＭ＝Ｍ×α（ｘ）＝Ｓ０／ｘ×α（ｘ）
ここで、Ｍは補正前の正規化倍率であり、ＡＭが補正正規化倍率である（前出の図３では、対象画像ａ、ｂ、ｃの正規化倍率は、符号ａ、ｂ、ｃを付けて、Ｍａ、Ｍｂ、Ｍｃと表されており、補正正規化倍率は、同じく符号ａ、ｂ、ｃを付けて、ＡＭａ、ＡＭｂ、ＡＭｃと表されている）。
【００４５】
図５は、図４の補正係数の関数α（ｘ）を用いて補正された正規化倍率を示している。図５において、横軸は対象画像のサイズであり、縦軸は、補正前後の正規化倍率を示している。図４の関数α（ｘ）が掛けられるので、図５に示されるように、対象画像のサイズが小さいほど、すなわち、撮影距離が大きいほど、正規化倍率の補正幅が大きくなる。
【００４６】
なお、本実施の形態は、上述のように、対象画像のサイズと撮影距離との関係に基づき、撮影距離を表す情報として対象画像サイズｘを用いている。ただし、実際には、対象画像のサイズは、撮影距離以外の条件、例えば被写体の大きさによっても異なる。また、被写体が同じでも、姿勢の変化によって撮影画像中での大きさが変わる。したがって、対象画像のサイズが撮影距離を正確に表していない場合もある。
【００４７】
しかし、この点を考慮したとしても、対象画像のサイズは撮影距離と相当に関連しているので、上述の対象画像のサイズを用いる処理により、撮影距離に応じた正規化倍率の補正を実現できるといえる。特に、監視カメラシステムで人物画像を正規化する場合のように、被写体の大きさがある程度決まっていれば、対象画像のサイズが撮影距離の大小を概ね表しているといえる。
【００４８】
また、別の観点では、本実施の形態のように対象画像のサイズを補正の基準に用いると、撮影距離が大きいために対象画像が小さいだけでなく、被写体が小さい等の別の理由で対象画像が小さいときにも、正規化での過度の拡大による画像のざらつきを抑えることができる。この点でも本実施の形態の処理は有利である。
【００４９】
図１を再び参照すると、本実施の形態の画像処理装置１０においては、補正パラメータ記憶部３０が、図４の関数α（ｘ）に相当するテーブルを記憶している。このテーブルにおいては、対象画像のサイズｘが、関数α（ｘ）の値と対応づけられている。
【００５０】
倍率補正部２８は、対象画像切出し部２４から対象画像のサイズｘを取得する。このとき、倍率補正部２８は、本発明の距離情報取得手段として機能する。そして、倍率補正部２８は、補正パラメータ記憶部３０から、取得したサイズｘに対応する関数α（ｘ）の値、すなわち補正係数を読み出す。さらに、倍率補正部２８は、前出の式ＡＭ＝Ｓ０／ｘ×α（ｘ）に従い、補正正規化倍率ＡＭを求める。サイズ変更部２６は、倍率補正部２８が求めた補正正規化倍率ＡＭを用いて、対象画像のサイズを変更する。
【００５１】
図６は、図１の画像処理装置１０による正規化処理を示すフローチャートである。元の撮影画像が表示され（Ｓ１０）、対象画像指定受付部２０が対象画像の指定を受け付ける（Ｓ１２）。対象画像抽出部２２が、対象画像を撮影画像から抽出し（Ｓ１４）、対象画像切出し部２４が対象画像を撮影画像から切り出す（Ｓ１６）。倍率補正部２８が、対象画像のサイズに基づき、補正パラメータ記憶部３０に記憶された補正係数を参照して、補正正規化倍率を求める（Ｓ１８）。そして、サイズ変更部２６が、倍率補正部２８により求められた補正正規化倍率を用いて対象画像のサイズを変更する（Ｓ２０）。サイズ変更後の画像は、正規化された画像として、モニタ１４に表示される（Ｓ２２）。
【００５２】
以上に本発明の実施の形態を説明したが、上述の実施の形態は本発明の範囲内で当業者により変形可能なことはもちろんである。
【００５３】
例えば、本実施の形態では、対象画像の縦横比が固定されており、撮影画像の縦横比と同一であったが、本発明はこれに限定されない。対象画像の縦横比は、被写体に応じて変更されてもよい。この場合には、前述したように、対象画像のサイズは適当に定められればよい。例えば、縦、横の長い方の辺の長さが対象画像のサイズとされる。
【００５４】
また、本実施の形態では、対象画像が矩形であったが、本発明はこれに限定されない。例えば、対象画像は、被写体そのものに対応する複雑な形状を有してもよい。この場合にも対象画像のサイズは適当に設定される。例えば、対象画像のサイズは、被写体を内包する矩形の高さとされる。
【００５５】
また、本実施の形態では、対象画像が拡大される例について説明した。これに対して、対象画像を縮小する正規化においても本発明を同様に適用可能である。この場合には、正規化倍率は１より小さくなる。図４の補正係数の関数は同様に使用可能である。本発明の範囲内で、画像処理装置は、その用途に応じて、拡大と縮小の片方のみを行ってもよく、両方を行ってもよい。
【００５６】
図７は、補正係数の別の例を示している。図４の補正係数は連続的に変化するのに対して、図７の補正係数は階段状に変化するように設定されている。この場合も、対象画像のサイズに応じて、すなわち、撮影距離に応じて調整幅が異なり、本発明の補正正規化倍率が得られる。補正係数の段階数は図７に限定されず、少なくとも２段階の補正係数が設定されていればよい。
【００５７】
また、上述の実施の形態では、図１の補正パラメータ記憶部３０は、補正係数を記憶していた。これに対し、補正パラメータ記憶部３０は、補正正規化倍率を表す情報であれば、他の情報を記憶していてもよい。例えば、補正パラメータ記憶部３０は、補正正規化倍率そのものを対象画像のサイズと対応付けて記憶していてもよい。この場合、倍率補正部２８は、対象画像のサイズに対応する補正正規化倍率を読み出すことで、補正正規化倍率を求める。
【００５８】
また、上述の実施の形態では、撮影距離を表す情報として、対象画像のサイズが用いられたが、本発明はこれに限定されない。例えば、撮影距離そのものが、撮影距離を表す情報として用いられてもよい。画像処理装置１０は、カメラ１２に設けられた距離センサによる撮影距離の検出情報を通信で入手し、この距離検出情報に応じて補正された正規化倍率を用いて正規化を行ってもよい。
【００５９】
また、上述の実施の形態では監視カメラシステムに本発明が適用されたが、本発明はこれに限定されない。他の用途の画像処理装置に本発明が適用されてもよい。
【００６０】
「動画像への適用」
次に、本発明の別の実施の形態を説明する。本実施の形態では、動画像の正規化が行われる。
【００６１】
なお、上述の実施の形態でも、監視カメラシステムは動画像を撮影し、表示してよい。ただし、例示された正規化処理は、動画像中の１時点の画像に対して行われた。これに対して、本実施の形態では、動画像中の被写体の画像が、ある期間に渡って継続的に正規化される。
【００６２】
図８は、本実施の形態の画像処理装置１００を備えた監視カメラシステムを示している。以下では、図１の画像処理装置１０と共通する事項の説明は省略する。
【００６３】
図８において、画像処理装置１００は、カメラ１２から動画像を受信する。対象画像指定受付部１０２は、図１の対象画像抽出部２２と同様の機能に加えて、被写体追跡部１０４を有する。被写体追跡部１０４は、動画像を構成する各フレームにおける被写体を追跡する。
【００６４】
対象画像切出し部２４、サイズ変更部２６、倍率補正部２８および補正パラメータ記憶部３０は、図１と同様の構成を有する。ただし、これらの構成要素は、動画像を構成する各フレームに対して、上述の実施の形態で説明した処理を行う。したがって、サイズ変更部２６は、動画像における各時点での対象画像のサイズを、該当時点での被写体までの距離に応じた補正正規化倍率（具体例では対象画像のサイズに応じた補正幅だけ補正された正規化倍率）を用いて変更する。
【００６５】
次に、図８の画像処理装置１００の動作の例を説明する。画像処理装置１００は、カメラ１２から受信した動画像を図示しない記憶装置に記録している。オペレータは、入力装置１６を操作して、動画像の一つのフレームをモニタ１４に表示させる。そして、上述の実施の形態と同様にして、入力装置１６を操作して被写体を選択する。この選択操作が対象画像指定受付部２０により、対象画像の指定として受け付けられる。
【００６６】
対象画像抽出部１０２は、上述の第１の実施の形態と同様にして、指定された被写体を含む対象画像を抽出する。対象画像切出し部２４、サイズ変更部２６および倍率補正部２８も、上述の第１の実施の形態と同様にして、対象画像の切出しとサイズの変更を行う。
【００６７】
被写体追跡部１０４は、後続する各フレームから被写体を画像処理により検出することで、被写体を追跡する。対象画像抽出部１０２は、各フレームから被写体を含む対象画像を抽出する。そして、対象画像切出し部２４、サイズ変更部２６および倍率補正部２８も、各フレームに対して上述の処理を行う。すなわち、各フレームから対象画像が切り出され、対象画像のサイズから補正正規化倍率が求められ、補正正規化倍率を用いてサイズが変更される。このようにして、各フレームから正規化画像が得られ、それら正規化画像は順次モニタ１４に表示される。
【００６８】
図９は、動画像中で被写体がカメラに近づくときの正規化処理の例を示している。図示のように、動画像中で被写体が追跡される。この追跡では、時間軸に沿った各時点のフレームから被写体が検出される。各フレームから、被写体を含む対象画像が抽出され（点線）、対象画像に対して補正正規化倍率を用いた正規化が行われる。被写体が近づくに従い、対象画像のサイズが順次大きくなり、これに伴い補正正規化倍率も変化する。各時点で適切な倍率が使われるので、継続的に認識し易い正規化動画像が得られる。
【００６９】
図１０は、図９の処理が行われるときの補正係数の変化を示している。被写体がカメラから遠くにあるときの対象画像のサイズはｘａである。被写体は、対象画像のサイズがｘｂになるまでカメラに近づくとする。この間に、補正係数は、矢印で示されるように、関数α（ｘ）のラインに沿って移動する。
【００７０】
また、図１１は、図９の処理に対応した補正正規化倍率の変化を示している。補正係数が図１０に示されるように変化する結果、補正正規化倍率も図１１のラインに沿って移動する。各時点での正規化は、その時点の補正正規化倍率を用いて行われる。
【００７１】
以上のように、本発明の実施の形態の画像処理装置は、対象画像の表示サイズを被写体までの距離に応じて変更するように構成されているので、距離が遠くて被写体が小さいときの過度の拡大を回避できるといったように、認識しやすい適切な画像を得ることが可能になる。
【００７２】
また、本発明の実施の形態の画像処理装置は補正正規化倍率を用いて正規化を行うように構成されており、補正正規化倍率は、対象画像を正規化サイズにするための正規化倍率を、被写体までの距離に応じた大きさの補正幅だけ小さくなるように補正した倍率である。このような構成を設けたので、撮影距離が小さいときには従来と同様またはそれに近い倍率での正規化を行いつつ、撮影距離が大きくて被写体が小さく画像に写っているときには、過度な拡大による画像のざらつきを抑えることができる。したがって、撮影距離が小さいときも、大きいときも、認識しやすい適切な正規化画像が得られる。
【００７３】
また、本発明の実施の形態の画像処理装置は、距離の大きさを表す情報として、対象画像の大きさを表す情報を用いるように構成されている。この構成により、同じ被写体であれば距離に応じて画像中の大きさが変わることを利用して、距離そのものの情報を用いずとも、距離に応じた本発明の適切な処理を行うことができる。
【００７４】
また、本発明の実施の形態の画像処理装置は、動画像における被写体の画像を追跡して、継続的に被写体を含む対象画像を抽出して、対象画像のサイズ変更を行うように構成されている。そして画像処理装置は、各時点での対象画像のサイズを、各時点での被写体までの距離に応じて変更する。このような構成により、動画像中での被写体の移動に応じて、各時点での被写体までの距離に応じたサイズ変更が行われるので、動画像中で継続的に認識しやすい被写体画像が得られる。
【００７５】
この点に関し、上述の実施の形態の例では、動画像中で人物等の被写体が近づいたり、遠ざかったりするときに、被写体の位置変化に応じて補正量が異なる補正正規化倍率が用いられ、正規化が行われる。このようにして、被写体の移動に応じて適切に補正された正規化倍率を用いて正規化を行うので、動画像中で継続的に認識しやすい被写体画像が得られる。
【００７６】
なお、既に述べたとおり、上述の実施の形態は、本発明の範囲内で当業者により変形可能なことはもちろんである。
【００７７】
【発明の効果】
以上説明したように、本発明は、対象画像の表示サイズを、前記被写体までの距離に応じて変更するように構成したことにより、距離が遠くて被写体が小さいときの過度の拡大を回避できるといったように、サイズ変更の際に認識しやすい適切な画像が得られるという、すぐれた効果を有する画像処理装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置を示す図
【図２】本発明の実施の形態の画像処理装置による正規化処理の概略を示す図
【図３】本実施の形態の補正正規化倍率を用いた正規化処理を、従来の正規化倍率を用いた処理と比較して示す図
【図４】本発明の実施の形態の画像処理で用いられる補正係数を示す図
【図５】本発明の実施の形態の処理にて補正係数が適用された補正正規化倍率を示す図
【図６】本発明の実施の形態の画像処理装置による正規化処理を示すフローチャート
【図７】補正係数を表す関数の別の例を示す図
【図８】本発明の別の実施の形態の画像処理装置を示す図
【図９】本発明の別の実施の形態の画像処理装置により、カメラに接近する被写体の画像を正規化する処理を示す図
【図１０】本発明の別の実施の形態の画像処理装置により正規化が行われるときの補正係数の変化を示す図
【図１１】本発明の別の実施の形態の画像処理装置により正規化が行われるときの補正正規化倍率の変化を示す図
【符号の説明】
１０画像処理装置
１２カメラ
１４モニタ
１６入力装置
２０対象画像指定受付部
２２対象画像抽出部
２４対象画像切出し部
２６サイズ変更部
２８倍率補正部
３０補正パラメータ記憶部

Claims

カメラの撮影画像から対象画像を抽出する対象画像抽出手段と、
前記対象画像の被写体までの撮影距離の大きさを表す情報を取得する距離情報取得手段と、
前記対象画像の表示サイズを、前記被写体までの距離に応じて変更するサイズ変更手段とを有し、
前記サイズ変更手段は、前記対象画像を正規化サイズにするための正規化倍率を、前記被写体までの距離に応じた大きさの補正幅だけ小さくなるように補正した補正正規化倍率を用いて、前記対象画像の表示サイズを変更することを特徴とする画像処理装置。
前記距離情報取得手段は、前記距離の大きさを表す情報として、前記対象画像の大きさを表す情報を取得することを特徴とする請求項１に記載の画像処理装置。
前記対象画像抽出手段は、動画像における前記被写体の画像を追跡するように構成され、前記サイズ変更手段は、前記動画像における各時点での前記被写体を含む対象画像の表示サイズを、前記各時点での前記被写体までの距離に応じて変更することを特徴とする請求項１または２に記載の画像処理装置。
カメラの撮影画像から対象画像を抽出する対象画像抽出ステップと、
前記対象画像の被写体までの撮影距離の大きさを表す情報を取得する距離情報取得ステップと、
前記対象画像の表示サイズを、前記被写体までの距離に応じて変更するサイズ変更ステップとを有し、
前記サイズ変更ステップは、前記対象画像を正規化サイズにするための正規化倍率を、前記被写体までの距離に応じた大きさの補正幅だけ小さくなるように補正した補正正規化倍率を用いて、前記対象画像の表示サイズを変更することを特徴とする画像処理方法。
前記距離情報取得ステップは、前記距離の大きさを表す情報として、前記対象画像の大きさを表す情報を取得することを特徴とする請求項４に記載の画像処理方法。
前記対象画像抽出ステップは、動画像における前記被写体の画像を追跡するように構成され、前記サイズ変更ステップは、前記動画像における各時点での前記被写体を含む対象画像の表示サイズを、前記各時点での前記被写体までの距離に応じて変更することを特徴とする請求項４または５に記載の画像処理方法。
コンピュータにカメラの撮影画像から対象画像を抽出する対象画像抽出ステップと、
前記対象画像の被写体までの撮影距離の大きさを表す情報を取得する距離情報取得ステップと、
前記対象画像の表示サイズを、前記被写体までの距離に応じて変更するサイズ変更ステップとを実行させる画像処理プログラムであって、
前記サイズ変更ステップが、前記対象画像を正規化サイズにするための正規化倍率を、前記被写体までの距離に応じた大きさの補正幅だけ小さくなるように補正した補正正規化倍率を用いて、前記対象画像の表示サイズを変更することを特徴とする画像処理プログラム。
前記距離情報取得ステップが、前記距離の大きさを表す情報として、前記対象画像の大きさを表す情報を取得することを特徴とする請求項７に記載の画像処理プログラム。
前記対象画像抽出ステップが、動画像における前記被写体の画像を追跡するように構成され、前記サイズ変更ステップは、前記動画像における各時点での前記被写体を含む対象画像の表示サイズを、前記各時点での前記被写体までの距離に応じて変更することを特徴とする請求項７または８に記載の画像処理プログラム。
請求項７〜９のいずれかに記載のプログラムを格納した、コンピュータにて読取可能な記録媒体。