JP6212878B2 - 画像処理装置、画像処理システム及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理システム及びプログラムに関する。

従来、座席に座った複数の人物をカメラ等で写すようなシーンにおいて、それぞれの人物とカメラとの距離に違いが生じていたり、カメラの画角中のどこに人物がいるかによって人物の大きさが大きく変化してしまったりする場合がある。この場合、ある人物の顔は見えるのに、他の人物の顔は見えないなどの不均衡が生じる可能性があり、こうした問題に対処するために特許文献１に記載の技術では、画像を連続的に拡大縮小し、人物の顔を大きく映す技術が開示されている。

しかしながら、上記従来の画像拡大縮小技術では、画像の拡大縮小が予め設定された固定の拡大縮小方法を用いて行っていたため、様々な人物の配置の場合に対応できないという課題があった。その一方で、人物の座っている場所に合わせて拡大縮小を行うことも考えられるが、単純に拡大縮小を行うと人物を構成する画像と背景の画像との間で変形が連続的でなくなり、画像に違和感が生じてしまうという問題があった。

本発明の実施形態は、上記に鑑みてなされたものであって、複数の人物の画像を適切に拡大することのできる画像処理装置を提供することにある。

上述した課題を解決し、目的を達成するために、本発明の実施形態の画像処理装置は、画像から複数の人物の顔部分を構成する画素を検出する人物検出部と、前記人物検出部によって検出された前記画素の上端位置に基づく上端座標を基点とした横方向の横線を生成する横線生成部であって、前記横線の長さを前記人物検出部によって検出された前記画素の横方向の長さに対して所定数を乗じた長さとする横線生成部と、前記横線生成部によって生成された前記横線が、前記画像の上端部に位置するように前記横線より下方側の前記画像をＸおよびＹ方向に引き伸ばす変換を行う画像変換部と、を備えることを特徴とする。

本発明は、複数の人物を適切に拡大することができるという効果を奏する。

図１は、実施形態の画像処理装置を含むテレビ会議システムの構成を示す図である。 図２は、実施形態の画像処理装置を含むテレビ会議システムの機能構成を示すブロック図である。 図３は、実施形態の画像処理装置において拡大処理がされた画像の状態遷移を示す図である。 図４−１は、実施形態の画像をｙ軸方向に拡大して変換する際の説明図である。 図４−２は、実施形態の画像をｘ軸方向に拡大して変換する際の説明図である。 図４−３は、実施形態の画像をｘ座標とＸ座標の変換テーブルの一例を示す図である。 図５は、実施形態の画像処理装置における画像変換の処理の流れを示すフロー図である。 図６−１は、実施形態の変形例における複数のフレームから顔部分を抽出した場合の説明図である。 図６−２は、実施形態の変形例における複数のフレームから顔部分を抽出した場合の説明図である。 図６−３は、実施形態の変形例における複数のフレームから顔部分を抽出した場合の説明図である。 図７は、実施形態の変形例における顔部分の抽出にかかる処理の流れを示すフロー図である。 図８は、実施形態の変形例における上端規定線の生成にかかる処理の流れを示すフロー図である。 図９−１は、実施形態の変形例における上端規定線を生成する処理の説明図である。 図９−２は、実施形態の変形例における上端規定線を生成する処理の説明図である。 図９−３は、実施形態の変形例における上端規定線を生成する処理の抽出した場合の説明図である。 図１０は、実施形態の変形例における画像から左右の領域を削除して拡大する処理の流れを示すフロー図である。 図１１−１は、実施形態の変形例における画像から左右の領域を削除して拡大する処理の説明図である。 図１１−２は、実施形態の変形例における画像から左右の領域を削除して拡大する処理の説明図である。 図１１−３は、実施形態の変形例における画像から左右の領域を削除して拡大する処理の説明図である。

以下に添付図面を参照して、画像処理装置の実施の形態を詳細に説明する。図１は、実施の形態にかかる画像処理装置を用いたシステム構成を示す図である。画像処理装置１００は、撮影部である撮影部２００と、表示装置である表示装置３００との接続されている。本構成にあっては、撮影部２００で撮影された画像が、画像処理装置１００によって処理された後に、表示装置３００に表示される。なお、このような装置の用途としては、例えばテレビ会議システムなどに用いることもできる。その場合、画像処理装置１００は、ネットワークを通じて別の場所に設置された表示装置３００に接続されており、画像処理装置１００の処理結果が遠隔表示される。なお、画像処理装置１００に撮影部や表示装置が組み込まれた一体型の構成であってもよい。

図２は、画像処理装置１００の機能構成を示すブロック図である。図２に示されるように、画像処理装置１００は、人物検出部１１０、上端定義部１２０、画像変換部１３０、及び出力制御部１４０を備えている。これらの各部は、プログラムによって実現されてもよいし、ハードウェアによって実現されてもよい。画像処理装置１００には、撮影部２００で撮影された画像データが入力される。画像データにおける各画素は、Ｘ座標（左右方向の座標）とＹ座標（上下方向の座標）とを用いると、Ｐ（ｘ，ｙ）と示すものとする。人物検出部１１０は、入力された画像データから、人物の顔部分を抽出し、座標を特定する。顔を示す画像データは、動く、肌色である、正面顔・横顔のテクスチャを持つという特徴を有している。顔検出にあたっては、動作検出、肌色検出、顔検出の一つまたは複数を組み合わせることで実現することができる。

上端定義部１２０は、抽出された顔部分を構成する画素の上端の位置に基づいて、上端座標を決定し、決定した上端座標を起点に左右方向の横線を生成し、横線の各画素の座標を記憶する。なお、横線の長さは、人物検出部１１０が検出した顔部分の横方向の長さに対して、所定の数を乗じた長さに設定されており、例えば１．１〜１．３倍程度の長さである。所定の数は、顔の横幅に所定の数を乗じた際に、体全体の横幅を超えてしまわないように設定される。

この際、ある人物の顔部分の上端位置の画素が、それぞれＰ（ｘ_ｎ、ｙ_ｎ）、Ｐ（ｘ_ｎ＋１、ｙ_ｎ＋１）、・・・、Ｐ（ｘ_ｎ＋ｍ、ｙ_ｎ＋ｍ）であるとする。そうすると、上端の位置としては、顔部分の画像のうち最も上側に位置する画素の座標を使用してもよいし、画素Ｐ（ｘ_ｎ、ｙ_ｎ）、Ｐ（ｘ_ｎ+1、ｙ_ｎ+1）、・・・、Ｐ（ｘ_ｎ＋ｍ、ｙ_ｎ＋ｍ）の平均座標を使用してもよいし、最も上側の座標より所定のバッファ分上側の座標を使用してもよい。そして、このように使用された上端座標を起点に、設定された横幅の横線が生成される。この横線は、実際に画像データに描画されるのではなく、メモリ上にて表示されないデータとして生成されるものである。以下の説明では、最も上側の座標より所定のバッファ分上側の座標を上端座標として使用した場合について説明する。図３（ａ）は、顔部分の画像より決定された上端座標に基づいて、横線２０ａ〜２０ｄが生成された状態を示している。

次いで、上端定義部１２０は、図３（ｂ）に示されるように、生成された横線２０ａ〜２０ｄの間を滑らかな曲線で連結した線を生成し、生成された曲線の各座標を保持する。滑らかな曲線を生成する方法としては、例えばシグモイド関数を用いたり、ベジエ曲線を用いたりすることができる。曲線３０ａは、横線２０ａと横線２０ｂとの間を連結する線である。曲線３０ｂは、横線２０ｂと横線２０ｃとの間を連結する線である。曲線３０ｃは、横線２０ｃと横線２０ｄとの間を連結する線である。また、横線２０ａの左側と、横線２０ｄの右側の領域には、連結する対象の横線が存在していないことから、横線２０ａ、及び横線２０ｄは、解像度によって規定される画面端までそのまま延長され、横線２０ｅと、横線２０ｆが生成される。曲線の生成の方法としては、Ｓ字の曲線として関数ａｒｃｔａｎ（ｘ）を用いて生成された曲線を−５＜ｘ＜５の範囲で切り取ったものを、座標を合わせて拡大縮小して当てはめることで実現できる。

そして、画像変換部１３０は、図３（ｃ）に示されるように、生成された横線２０ａ〜２０ｆと、曲線３０ａ〜３０ｃによって、構成される上端規定線４０が画像の上端側に位置するように、画像を引き伸ばす変換を行う。変換にあたっては、変換前の元画像の座標Ｔ（Ｘ，Ｙ）から変換後の座標Ｔ（ｘ，ｙ）への変換テーブルを生成し、テーブルに従って、画素値を再配置することで画像を変換する。したがって、変換の対象となる画素は、上端規定線４０よりも下方に位置する画素のみであり、上方側の画素は削除される。

この際、横線２０ａ〜２０ｆの下方側に位置する画像については、各画素に対して全て同じ拡大比率が適用されるため、画像の視覚的な印象がかわらないようになっている。一方、曲線３０ａ〜〜３０ｃの下方側に位置する画像については、上端規定線４０と、画像の上端部との距離がＸ座標の位置によって異なることとなる。その場合、ある画素については拡大率が大きく、ある画素について拡大率が小さいといったことが起こりうる。このような、拡大率の違いによって画像は変換前の画像とは形状が異なってしまうこととなる。しかしながら、この曲線３０ａ〜３０ｃの下方においては、視覚的に変化があった場合に違和感を与えやすい顔部分の画像は存在していないため、利用者に違和感を感じさせにくくなっている。例えば、図３（ｃ）にて示される左から２番目の人物の肩付近の形状は、変換前から変形しているが、顔部分の変形と比較すると、視覚的な違和感は少ないものとなっている。

以下、具体的に図４−１から図４−３を参照して説明する。図４−１（ａ）、及び図４−２（ａ）は、拡大前の画像の座標を示す図であり、図４−１（ｂ）、及び図４−２（ｂ）は、拡大後の画像の座標を示す図である。なお、ｆ（Ｘ）は、上端規定線４０を示し、Ｘの値によって、Ｙが決定される関数である。

この図において、まず拡大後のｙの座標を算出する式を以下に示す。

上記の式にあっては、画像の上下方向の解像度によって規定されるｈと、Ｘの座標によって決定されるＹ座標ｆ（Ｘ）との比から、拡大後の画素のｙ座標が算出される。

また、拡大後のｘ座標の算出の方法については、図４−２（ａ）、図４−２（ｂ）を用いて説明する。ｘ座標の算出の仕方は、ｙ座標を算出する際に、決定された画像の拡大率を用いて行う。すなわち、画像の高さｈとｆ（Ｙ）との比によって算出される。このように算出されるｘは以下の式によって表すことができる。

このようにして、各画素の拡大前と拡大後のそれぞれに割り当てられている座標の一覧が取得される。これらの拡大前の座標と、拡大後の座標の対応関係は図４−３に示されるテーブル形式で保存される。テーブルは、拡大後のｘの座標と拡大前のＸの座標との対応関係を示したものであり、たとえばｘが「１」の場合、拡大前の座標Ｘは「０．５」であることを示している。この対応関係に基づき、関数Ｔ１（ｘ，ｙ）を使用して、拡大後のｘ座標から、拡大前のＸ座標の値を取得することができ、拡大後の画像としてプロットすべき画素のピクセル値を拡大前の画像から取得することができる。関数Ｔ１（ｘ，ｙ）の具体的な算出方法としては、例えば上述した数２の数式を有限差分法などにより数値計算することでＸとｘ、及びＹとｙの対応を算出するといった方法を採ることができる。関数Ｔ１（ｘ，ｙ）は実際にはｙの値にかかわらず、ｘの値によって拡大前のＸ座標を取得することができる。また、同様に拡大前のＹ座標を取得するためには、以下の式で示すことのできる関数Ｔ２（ｘ，ｙ）を使用することができる。

関数Ｔ２（ｘ，ｙ）は、ｙ座標を、元の上端規定線４０を示すｆ（Ｘ）の関数と高さｈとの比から逆算することができる。なお、Ｘの値は、上述したＴ１（ｘ，ｙ）から算出することができる。

出力制御部１４０は、このようにした拡大処理が完了した画像を表示装置３００へと表示させる際の制御を行う。出力制御の一例としては、表示装置３００の解像度にあわせて画像を拡大・縮小する処理や、画面内における表示位置を調整する処理である。例えば拡大処理を行った後の画像のサイズが横２５０ピクセル、縦１００ピクセルの場合、表示装置３００の解像度が９６０×５４０とすると、画像の横サイズに合わせるように拡大される。この場合、画像の上下には余白が生じる。

次いで、以上で示した画像処理装置１００における処理の流れを図５を用いて説明する。図５の処理では、画像データを撮影して取得するごとに、画像の拡大処理が実施される場合の処理の流れを示すものである。図５に示されるように、まず画像処理装置１００は、撮影部２００で撮影された画像データを取得する（ステップＳ１０１）。次いで、人物検出部１１０は、取得した画像データより人物の顔部分を特定する（ステップＳ１０２）。次いで、上端定義部１２０は、顔における上端の位置を定義し、上端の座標を決定する（ステップＳ１０３）。次いで、上端定義部１２０は、決定した上端の座標を結んだ横線２０ａ〜２０ｄを生成するととともに、各横線２０ａ〜２０ｄ間を曲線３０ａ〜３０ｃで連結する（ステップＳ１０４）。そして、画像変換部１３０は、画像を上端規定線４０が画像の一番上の端部へと来るように、画像を変換する（ステップＳ１０５）。

以上で示した、本実施形態の画像処理装置１００にあっては、顔に該当する画像については、どの画素においても拡大率が同じであることから、画像自体が拡大されても変形することがない。したがって、拡大の際に利用者に違和感を与えるようなことがなく、複数の人物を適切に拡大することができるようになる。また、顔部分ではない部分にあっては、横線２０ａ〜２０ｄとの間を滑らかな曲線で連結するため、隣接する画素間で大きく拡大率が異なってしまうことを抑制することができ、画像の変形による違和感を最小限に抑制することができるようになる。

また、横線２０ａ〜２０ｄは、実際の顔部分の横幅よりも少し長く設定されているため、顔部分と連続する身体の部分の画像と、顔部分との間で同じ拡大率が適用されるため、この間の変形による違和感を防止することができるようになる。

（変形例）
以下、上記実施形態の変形例について説明する。変形例の一例としては、画像を取得するごとに上端規定線を生成するのではなく、所定の時間の間に検出された人物の顔の位置に基づいて、上端規定線を生成し、所定の期間の間は、生成した上端規定線に基づいて、画像の変換を継続する場合がある。図６−１〜図６−３、及び図７を用いて詳細について説明する。図６−１、及び図７に示されるように、まず人物検出部１１０は、現在よりｎフレーム（ｎは１以上の整数）分の各画像において人物の顔部分を検出する（ステップＳ２０１）。次いで、図６−２、及び図７に示されるように、人物検出部１１０は、現在の画像における各ピクセルを参照し、そのピクセルが過去ｎフレームにおいて、何回顔部分に相当していたかをカウントする（ステップＳ２０２）。そして、人物検出部１１０は、カウントした値が閾値ｍ以上（ｍは正の整数）のピクセルのみを抽出する（ステップＳ２０３）。そして、図６−３、図７に示されるように、人物検出部１１０は、抽出されたピクセルを連結して、外接矩形を抽出し、外接矩形を人物の顔部分の位置として認識する（ステップＳ２０４）。

このようにして顔部分の位置が生成され、以下顔部分の位置に基づいて上端規定線の位置が決定され、拡大処理が実施される。この場合、ある時点における顔部分の位置は、その時点以前のｎフレーム分の顔部分の位置に基づいて決定される。そのため、大きく顔部分が移動した場合であっても、その移動は平均化され、顔部分の画像の拡大率が大きく変化したり、場所がかわってしまったりといった問題を抑制することができるようになる。

また、別の変形例について図８、図９を用いて説明する。この変形例では、上端規定線を生成する際に、現在のフレームの上端規定線だけではなく、一つ前のフレームにおける上端規定線と、現在のフレームの上端規定線とに基づいて、新たな上端規定線を生成する。図８、図９−１に示されるように、まず上端定義部１２０は、１フレーム前で抽出された顔部分の上を通る上端規定線をｆ_ｎ−１（ｘ）として、取得する（ステップＳ３０１）。次いで、図８、図９−２に示されるように、上端定義部１２０は、現在のフレームから抽出された顔部分の上を通る上端規定線をｆ（ｘ）として、取得する（ステップＳ３０２）。そして、上端定義部１２０は、１フレーム前の上端規定線と、現在のフレームの上端規定線とを合成して、図８、図９−３に示されるように、上端規定線をｆ_ｎ（ｘ）＝α（ｆ（ｘ）−ｆ_ｎ−１（ｘ））＋ｆ_ｎ−１（ｘ）から算出する（ステップＳ３０３）。なお、αは十分に小さい定数である。拡大の際には、このように算出されたｆ_ｎ（ｘ）の上端規定線を用いて行われる。

このように算出された上端規定線を用いることで、顔部分の移動が大きかった場合にも、拡大率の変化を抑制することができるようになる。

また、別の変形例として、拡大にあたって、画像の人物の左右のいない領域を削除した後に拡大する方法も採用することが可能である。これは例えば、ディスプレイなどの解像度によって横幅への拡大が制限されている場合に有効である。上端規定線に基づいて算出された拡大率が、解像度によって規定される左右方向に拡大可能な拡大率よりも大きい場合は、実際の拡大は左右方向の拡大率での拡大が行われるため、十分に画像を拡大できない場合がある。この際に、画像の人物が映っていない領域を削除することで、より大きな拡大が可能となる。以下、図１０、図１１を用いて説明する。

図１０、図１１−１に示されるように、画像変換部１３０は、現在のフレームの画像中の最も左の座標から右方向に向けて画像を見ていき、最初に人物の顔部分の存在が検出されたｘ座標までの領域を画像から削除する（ステップＳ４０１）。次いで、同様に画像変換部１３０は、現在のフレームの画像中の最も右の座標から左方向に向けて画像を見ていき、最初に人物の顔部分の存在が検出されたｘ座標までの領域を画像から削除する（ステップＳ４０２）。そして、図１１−２に示されるように、画像変換部１３０は、左右の領域を削除した画像を、上端規定線に基づいて算出された拡大率に基づいて、拡大処理を実行する（ステップＳ４０３）。そして、図１１−３に示されるように、最後に出力制御部１４０は、出力先の表示装置３００の解像度に合わせて、画像の縦横比が変わらないように拡大・縮小処理をして、画像を出力させる（ステップＳ４０４）。

なお、上記の実施形態にあっては、画像処理装置１００は、接続された撮影装置２００によって撮影された画像を加工する処理を行う場合を示したが、これは以下のような場合であってもよい。例えば、画像処理装置同士がネットワークを介して接続され、相手の画像処理装置から送信された画像を処理対象としてもよい。この場合に、画像処理装置同士が直接接続されていてもよいし、間にサーバを挟んで接続されていてもよい。また、間にサーバを挟む場合には、画像処理装置が実行する処理を代わりに同じ機能を備えたサーバが実行してもよい。

以上の実施の形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

以上の実施の形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、以上の実施の形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、以上の実施の形態の画像処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、以上の実施の形態の画像処理装置で実行されるプログラムムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

以上の実施の形態の画像処理装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

２０ａ 横線
２０ｂ 横線
２０ｃ 横線
２０ｄ 横線
２０ｅ 横線
２０ｆ 横線
３０ａ 曲線
３０ｂ 曲線
３０ｃ 曲線
４０ 上端規定線
１００ 画像処理装置
１１０ 人物検出部
１２０ 上端定義部
１３０ 画像変換部
１４０ 出力制御部
２００ 撮影部
３００ 表示装置

特表２００８−５３６２３８号公報

Claims (9)

1. 画像から複数の人物の顔部分を構成する画素を検出する人物検出部と、
   前記人物検出部によって検出された前記画素の上端位置に基づく上端座標を基点とした横方向の横線を生成する横線生成部であって、前記横線の長さを前記人物検出部によって検出された前記画素の横方向の長さに対して所定数を乗じた長さとする横線生成部と、
   前記横線生成部によって生成された前記横線が、前記画像の上端部に位置するように前記横線より下方側の前記画像をＸおよびＹ方向に引き伸ばす変換を行う画像変換部と、
   を備えることを特徴とする画像処理装置。
2. 前記横線を前記人物毎に生成する上端定義部を、
   さらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記上端定義部は、前記横線間を、曲線によって連結し、連続する前記横線、及び前記曲線を含む上端規定線を生成するとともに、
   前記画像変換部は、前記上端規定線が、前記画像の上端部に位置するように前記上端規定線より下方側の前記画像をＸおよびＹ方向に引き伸ばす
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記人物検出部は、第１の期間、前記人物の顔部分を継続して検出し、前記第１の期間において、前記顔部分として認識できた回数が所定の閾値以上の画素を前記顔部分と認識し、
   前記上端定義部は、前記第１の期間に前記顔部分として認識された前記画素の上端位置の座標に基づいて、前記上端規定線を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記上端定義部は、第１フレームにおける前記人物の顔部分に基づいて生成した第１上端規定線と、前記第１フレームより前の第２フレームにおける前記人物の顔部分に基づいて生成した第２上端規定線とを合成して、前記上端規定線を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記画像変換部は、前記画像のうち、前記人物の顔部分が存在しない左右の領域を削除する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記人物検出部は、前記画像の色、動き、及びテクスチャの３種類の情報のいずれか一つ、又は組み合わせによって、前記顔部分を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 画像から複数の人物の顔部分を構成する画素を検出する人物検出部と、
   前記人物検出部によって検出された前記画素の上端位置に基づく上端座標を基点とした横方向の横線を生成する横線生成部であって、前記横線の長さを前記人物検出部によって検出された前記画素の横方向の長さに対して所定数を乗じた長さとする横線生成部と、
   前記横線生成部によって生成された前記横線が、前記画像の上端部に位置するように前記横線より下方側の前記画像をＸおよびＹ方向に引き伸ばす変換を行う画像変換部と、
   を備えることを特徴とする画像処理システム。
9. コンピュータを
   画像から複数の人物の顔部分の画像を検出する人物検出部と、
   前記人物検出部によって検出された前記画素の上端位置に基づく上端座標を基点とした横方向の横線を生成する横線生成部であって、前記横線の長さを前記人物検出部によって検出された前記画素の横方向の長さに対して所定数を乗じた長さとする横線生成部と、
   前記横線生成部によって生成された前記横線が、前記画像の上端部に位置するように前記横線より下方側の前記画像をＸおよびＹ方向に引き伸ばす変換を行う画像変換部と、
   して機能させるためのプログラム。

Images