JP4305996B2

JP4305996B2 - 画像処理装置および方法、並びに記録媒体

Info

Publication number: JP4305996B2
Application number: JP06845599A
Authority: JP
Inventors: 哲二郎近藤; 大介菊地
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-03-15
Filing date: 1999-03-15
Publication date: 2009-07-29
Anticipated expiration: 2019-03-15
Also published as: JP2000268180A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、被写体の向きを迅速かつ簡単に求めることができるようにした画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システムなどにおいて、使用者の顔の向きを検出すれば、使用者の顔の向きに対応して、その方向のテレビ会議の出席者に対して、音量を大きくしたり、画像を切り替えたりすることができる。
【０００３】
このように、人の顔の向きを検出するには、テンプレートマッチングがよく用いられる。このテンプレートマッチングによる方法は、所定の方向に向いている人の顔の画像をテンプレートとして予め登録しておくものであり、人の現在の画像とテンプレートとを比較することで、使用者の顔の向きが判定される。
【０００４】
【発明が解決しようとする課題】
しかしながら、テンプレートマッチングによる方法は、確実に、人の向きを検出することが可能であるが、計算量が多くなり、検出に時間がかかる課題があった。
【０００５】
さらにまた、検出する画像によって、テンプレートを変更する必要があり、リファレンスとして記憶しておくためのメモリの容量が大きくなる。
【０００６】
さらに、角度を検出する場合には、角度毎のテンプレートが必要となる。さらに、照明などに起因して輝度が変化したり、被写体の位置に起因して画像が回転したり、拡大または縮小したりすると、それぞれに対応するテンプレートが必要となる。従って、テンプレートマッチングは、物体の方向を検出するのには、あまり適していない方法ということができる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、簡単な構成で、かつ、迅速に、被写体の向きを検出することができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、被写体を複数の撮像部により撮像して得られた被写体の複数の画像データの供給を受ける入力手段と、複数の画像データのそれぞれから被写体の向きを検出する検出手段と、複数の画像データのそれぞれから検出した被写体の向きが一致しているか否かを判定する第１の判定手段と、複数の画像データのそれぞれから検出した被写体の向きが一致していない場合、複数の画像データのそれぞれから検出した被写体の向きが所定の範囲内であるか否かを判定する第２の判定手段と、複数の画像データのそれぞれから検出した被写体の向きの何れかが所定の範囲内である場合、所定の範囲内である向きを被写体の向きとして出力する出力手段とを含むことを特徴とする。
【０００９】
本発明の画像処理方法は、入力手段が、複数の画像データの供給を受ける入力ステップと、供給された複数の画像データのそれぞれから、検出手段が被写体の向きを検出する検出ステップと、第１の判定手段が、被写体の向きが一致しているか否かを判定する第１の判定ステップと、複数の画像データのそれぞれから検出した被写体の向きが一致していない場合、第２の判定手段が、被写体の向きが所定の範囲内であるか否かを判定する第２の判定ステップと、複数の画像データのそれぞれから検出した被写体の向きの何れかが所定の範囲内である場合、出力手段が、所定の範囲内である向きを被写体の向きとして出力する出力ステップと含むことを特徴とする。
【００１０】
本発明の記録媒体のプログラムは、被写体を複数の撮像部により撮像して得られた被写体の複数の画像データの供給を受ける入力ステップと、複数の画像データのそれぞれから被写体の向きを検出する検出ステップと、複数の画像データのそれぞれから検出した被写体の向きが一致しているか否かを判定する第１の判定ステップと、複数の画像データのそれぞれから検出した被写体の向きが一致していない場合、複数の画像データのそれぞれから検出した被写体の向きが所定の範囲内であるか否かを判定する第２の判定ステップと、複数の画像データのそれぞれから検出した被写体の向きの何れかが所定の範囲内である場合、所定の範囲内である向きを被写体の向きとして出力する出力ステップとを含むことを特徴とする処理をコンピュータに実行させることを特徴とする。
【００１１】
本発明の画像処理装置、画像処理方法、および記録媒体のプログラムにおいては、被写体を複数の撮像部により撮像して得られた被写体の複数の画像データの供給を受け、複数の画像データのそれぞれから被写体の向きが検出され、複数の画像データのそれぞれから検出した前記被写体の向きが一致しているか否かが判定され、複数の画像データのそれぞれから検出した被写体の向きが一致していない場合、複数の画像データのそれぞれから検出した被写体の向きが所定の範囲内であるか否かが判定され、複数の画像データのそれぞれから検出した被写体の向きの何れかが所定の範囲内である場合、所定の範囲内である向きが被写体の向きとして出力される。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の構成例を表している。この構成例においては、ビデオカメラ１により撮像された被写体の画像が演算装置２に供給され、被写体の向きが演算されるようになされている。演算装置２は、例えばパーソナルコンピュータなどにより構成される。
【００１３】
次に、演算装置２が行う処理について、図２のフローチャートを参照して説明する。最初にステップＳ１において、ビデオカメラ１により被写体が撮像される。ビデオカメラ１により撮像された被写体の画像データは、演算装置２に供給される。演算装置２は、ステップＳ２において、入力された画像データから、被写体の髪の毛の領域と顔の領域を抽出する処理を実行する。いま、ここでは簡単のため、髪の毛の領域を黒色の画素の領域として抽出し、また、顔の領域を肌色の画素の領域として抽出するものとする。この黒色領域抽出処理と肌色領域抽出処理の詳細は、図３と図４のフローチャートにそれぞれ示されている。
【００１４】
黒色領域を抽出する場合、図３に示すように、ステップＳ２１において、１フレーム分の画像がｎ×ｍの画素毎のブロックにブロック化される。図５は、簡単のため、４×４画素単位でブロック化が行われている例を表している。
【００１５】
次に、ステップＳ２２において、黒色のブロックの数を表す変数Ｎに０が初期設定される。ステップＳ２３において、演算装置２は、所定の１つのブロックを抽出し、そのブロック内の１つの画素の色差データＵ，Ｖの値が約１２８であり、かつ、輝度成分Ｙの値が予め設定されている値（閾値）Ｙ₁と等しいか、それより小さい値であるか否かを判定する。これらの条件が満足される場合、その画素は黒色の画素（髪の毛の画素）であると認識することができる。そこで、これらの条件が満足される場合には、ステップＳ２４において、変数Ｎが１だけインクリメントされる。これらの条件が満足されない場合には、変数Ｎの値はインクリメントされない。
【００１６】
次に、ステップＳ２５において、そのブロック内の全ての画素についての判定が終了したか否かが判定され、まだ判定が終了していない画素が存在する場合には、ステップＳ２３に戻り、それ以降の処理が繰り返し実行される。
【００１７】
ステップＳ２５において、そのブロック内の全ての画素（図５の例では、１６個の画素）についての判定処理が終了したと判定された場合、ステップＳ２６に進み、変数Ｎの値（ブロック内の黒い画素の数）が、予め設定されている閾値Ｎ₁以上であるか否かが判定される。値Ｎが閾値Ｎ₁以上である場合、ステップＳ２７において、そのブロックは黒色領域のブロックであるとして、黒色領域であることを示すフラグが設定される。このように、ブロック内の全ての画素が黒色でないにしても、そのブロック内の多くの画素が黒色である場合には、そのブロックは、全て黒色の領域のブロックであるとされる。このようにすることで、孤立点が発生することが防止される。
【００１８】
ステップＳ２６において、値Ｎが閾値Ｎ₁より小さいと判定された場合、ステップＳ２７の処理はスキップされる。すなわち、この場合には、そのブロックには、黒色領域であることを示すフラグは設定されない。
【００１９】
次に、ステップＳ２８に進み、１フレーム内の全てのブロックについての判定処理が終了したか否かが判定され、まだ判定が終了していないブロックが存在する場合には、ステップＳ２９に進み、処理対象とするブロックが変更される。そして、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。ステップＳ２８において、１フレーム分の全てのブロックについての判定処理が終了したと判定された場合、処理は終了される。
【００２０】
同様にして、肌色領域の抽出処理が図４のフローチャートに示すステップＳ４１乃至ステップＳ４９の処理により行われる。このステップＳ４１乃至ステップＳ４９の処理は、基本的に、図３のステップＳ２１乃至ステップＳ２９の処理と同様の処理であるが、当然のことながら、ステップＳ４３における肌色の画素であるか否かの判定の基準が、図３のステップＳ２３における黒色の画素であるか否かの判定基準と異なっている。
【００２１】
すなわち、ステップＳ４３においては、色差データＵを輝度データＹで割り算することで正規化した値Ｕ／Ｙが、−０．１より大きく、０より小さく、かつ、色差データＶを輝度データＹで割り算して正規化した値Ｖ／Ｙが、０．１より大きく、かつ、０．３より小さいとき、肌色の画素と判定される。その他の処理は、図３における場合と同様であるので、その説明は省略する。
【００２２】
図２に戻って、以上のようにして、黒色領域と肌色領域の抽出処理が完了したとき、ステップＳ３において、黒色領域が連続する範囲と肌色領域が連続する範囲を検出する処理が実行される。いま検出しようとしているのは、髪の毛と顔であり、これらはいずれも所定のフレーム内の領域に連続してまとまって存在するはずであり、所定のブロックが黒色または肌色であったとしても、フレーム内の所定の位置に孤立したブロックである場合、そのブロックは、髪の毛または顔を表す画像のブロックではない可能性が高い。そこで、このようなブロックは除去し、連続する範囲のブロックだけを髪の毛または顔の領域として検出する。
【００２３】
次に、ステップＳ４において、ステップＳ３で検出した黒色の連続する範囲の面積Ｓ_Bと肌色の連続する範囲の面積Ｓ_Sが求められる。この面積は、単純にブロックの数とすることができる。
【００２４】
次に、ステップＳ５において、ステップＳ２で演算された面積Ｓ_Bと面積Ｓ_Sの比Ｒが、次式から演算される。
Ｒ＝Ｓ_S／（Ｓ_S＋Ｓ_B）
【００２５】
さらに、ステップＳ６において、演算装置２は、ステップＳ５で演算により求められた比Ｒを、予め設定されている基準値と比較し、被写体（例えば、テレビ会議の出席者の顔）の角度θを求める。
【００２６】
すなわち、例えば図６に示すように、ビデオカメラ１に対して、ほぼ９０度の方向を向いた人の顔を撮像する（図６（Ａ））。その後、人が顔を左方向（ビデオカメラ１の方向）に徐々に回転し、ビデオカメラ１に顔の正面を向けた状態となるまで撮像する（図６（Ｂ））。そして、人が再びビデオカメラ１に対して９０度の方向を向くまで、連続的に被写体としての人の顔を撮像する。これにより、例えば図７に示すように、被写体の横を向いた顔（図７（Ａ））、斜めを向いた顔（図７（Ｂ））、さらに正面を向いた顔（図７（Ｃ））などの画像が得られることになる。
【００２７】
被写体としての人にセンサを取り付け、そのセンサにより被写体の向きを検出して、図８に示すような結果が得られた。すなわち、真横を向いた状態（ビデオカメラ１に対して９０度の方向を向いた状態）から、正面を向いた状態（ビデオカメラ１に対して０度の方向を向いた状態）まで顔を動かし、その後また、前の状態に戻るようにすると、その角度に応じた値がセンサにより検出される。
【００２８】
一方、このように、人が顔を横に向けた状態から、正面を向き、また横を向いた状態に戻るように顔を動かしたときの、ステップＳ５で求めた肌色の割合の比Ｒは、図９に示すように変化した。肌色の割合は、使用者が正面を向いているとき最も大きく（約８３％）、横方向を向いているとき最も小さくなった（約５３％）。
【００２９】
この図８と図９を比較して明らかなように、肌色の比Ｒの値は、人の顔の角度にほぼ対応している。従って、図９に示すような値をキャリブレーションにより予め求めておき、演算装置２に記憶しておき、それを基準値として、ステップＳ５でいま演算された比Ｒと比較することにより、人の向いている角度θを求めることができる。
【００３０】
図１０は、このようにして、髪の毛の領域と顔の領域をブロック単位で近似して、それぞれの面積を求め、人の角度を演算したとき得られた画像の例を表している。
【００３１】
以上の処理によっては、正面に対する角度θを求めることが可能であるが、その角度は、正面に対して右方向の角度であるのか、左方向の角度であるのかを知ることはできない。すなわち、人の顔がビデオカメラ１に対して右側に４５度の角度を向いた場合と、左側に４５度の方向を向いた場合とでは、ステップＳ６においては、同じ値が得られる。そこで、以下の処理により、使用者が右を向いているのか、左を向いているのかが判定される。すなわち、ステップＳ７において、演算装置２は、黒色の領域の面積Ｓ_Bのｘ座標方向の重心Ｇ_Bと、肌色の領域の面積Ｓ_Sのｘ座標方向の重心Ｇ_Sを求める。この演算は、各領域内に含まれるｉ番目のブロックのｘ座標をｘｉ、その領域内のブロック数をｎとすれば、次式から行うことができる。
Ｇ＝（１／ｎ）Σｘｉ
【００３２】
図７（Ａ）に模式的に示すように、人が左方向を向いている場合には、髪の毛の領域の重心Ｇ_Bのｘ座標は、顔の領域の重心Ｇ_Sのｘ座標より右側に位置する（より大きな値となる）。これに対して、人が右方向を向いている場合には、髪の毛の重心Ｇ_Bのｘ座標の値は、肌色の重心Ｇ_Sのｘ座標より左側に位置する（小さい値となる）。そこで、ステップＳ８において、ステップＳ７で求めた面積Ｓ_Bの重心Ｇ_Bのｘ座標と面積Ｓ_Sの重心Ｇ_Sのｘ座標の大小を比較し、重心Ｇ_Bのｘ座標の値が重心Ｇ_Sのｘ座標の値より大きい場合には、ステップＳ９において、フラグＦに人が左方向を向いていることを表す記号Ｌを設定する。これに対して、重心Ｇ_Bのｘ座標の値が重心Ｇ_Sのｘ座標の値より小さい場合には、ステップＳ１０において、フラグＦに人の顔が右方向を向いていることを表す記号Ｒを設定する。
【００３３】
以上のようにして、ステップＳ６で求めた角度θと、ステップＳ９，Ｓ１０で求めたフラグＦから、使用者が左右どちらの方向に何度向いているのかを検出することができる。
【００３４】
なお、以上においては、基準値として、図９に示すようなキャリブレーションの結果を予め記憶するようにしたが、図１１に示すように、使用者が正面を向いているときの比Ｒの値をＲ_a、４５度の方向を向いているときの比Ｒの値をＲ_bとするとき、ステップＳ５で求められた比Ｒを、次式に代入することで角度θを求めることもできる。この場合、キャリブレーションは不要となる。
θ＝（（Ｒ−Ｒ_a）／（Ｒ_b−Ｒ_a））×４５度
【００３５】
図１２は、他の構成例を表している。この構成例においては、ビデオカメラ１が２台（ビデオカメラ１−１とビデオカメラ１−２）設けられており、それぞれが撮像した画像信号が演算装置２に供給されている。図１３は、このような構成例における場合の演算装置２の動作を表している。
【００３６】
最初にステップＳ７１において、ビデオカメラ１−１により被写体が撮像され、その撮像結果から、演算装置２は、上述した場合と同様にして（図２のフローチャートに示す処理を実行して）、被写体の向きと角度を検出する。同様に、ステップＳ７２において、演算装置２は、ビデオカメラ１−２の出力から、被写体の角度と向きが検出される。
【００３７】
ステップＳ７３において、演算装置２は、ステップＳ７１で検出した被写体の角度と、ステップＳ７２で検出した被写体の角度とが一致するか否かを判定する。両者が一致する場合、ステップＳ７４において、演算装置２は、ステップＳ７１で検出された角度、またはステップＳ７２で検出された角度の一方（例えば、ステップＳ７１で検出された角度）を選択し、出力する。
【００３８】
これに対して、ステップＳ７３において、ステップＳ７１で検出した角度と、ステップＳ７２で検出した角度とが一致しないと判定された場合、少なくともいずれか一方の検出角度は誤っている可能性がある。そこで、ステップＳ７５において、演算装置２は、ステップＳ７１で検出した角度が予め設定されている所定の範囲内の角度、すなわち、検出可能な角度の範囲内にあるか否かを判定する。検出された角度が所定の範囲内の角度である場合には、ステップＳ７６に進み、その検出された角度が正しい角度であるとして、その結果が出力される。
【００３９】
ステップＳ７５において、ステップＳ７１の検出結果が所定の範囲内の角度を超えていると判定された場合、ステップＳ７７に進み、ステップＳ７２で検出した角度が所定の範囲内に含まれているか否かが判定される。検出された角度が所定の範囲内に含まれている場合には、ステップＳ７６に進み、ステップＳ７２で検出した結果が正しい結果であるとして、出力される。
【００４０】
これに対して、ステップＳ７７において、ステップＳ７２の検出結果も所定の範囲内に含まれていないと判定された場合、ステップＳ７８に進み、いずれの検出結果も誤りであるとして、演算装置２は、図示せぬディスプレイにエラーを表示する。
【００４１】
なお、このように、ビデオカメラが２台存在する場合には、黒い領域の重心Ｇ_Bと肌色の領域の重心Ｇ_Sを計算しないでも、例えば図１４に示す処理から、被写体の向きを求めることが可能となる。
【００４２】
すなわち、この場合、最初にステップＳ９１において、演算装置２は、ビデオカメラ１−１による面積比Ｒ₁を求め、ステップＳ９２において、ビデオカメラ１−２による面積比Ｒ₂を求める。ステップＳ９３において、ステップＳ９１で求めた値Ｒ₁と、ステップＳ９２で求めた値Ｒ₂の大小が比較される。値Ｒ₁が値Ｒ₂より大きい場合には、顔はビデオカメラ１−１の方向を向いていることを表すフラグが設定される。また、値Ｒ₁の方が値Ｒ₂より小さい場合には、ステップＳ９５に進み、フラグＦにビデオカメラ１−２の方向を向いていることを表すフラグが設定される。
【００４３】
また、２台のビデオカメラをそれぞれ異なる方向に向けた場合には、１台の場合に比べて、検出範囲をより広くすることが可能となる。
【００４４】
図１５は、人間ではなく、ブロックの向きを検出する場合の例を示している。この例においては、ブロック２１の面Ａの面積Ｓ_Aと、面Ａに対して垂直な面Ｂの面積Ｓ_Bが既知であるものとする。この場合、図１６のフローチャートの処理が実行される。
【００４５】
最初に、ステップＳ１０１において、ビデオカメラ１によりブロック２１が撮像される。演算装置２は、ブロック２１の撮像結果から、ステップＳ１０２において、面Ａの面積Ｓ_aを演算する。同様に、ステップＳ１０３において、面Ｂの面積Ｓ_bが演算される。次に、ステップＳ１０４において、演算装置２は、ステップＳ１０２とステップＳ１０３の演算により求めた値Ｓ_a，Ｓ_bを次式に代入して、面Ａの正面となす角度θを求める。
θ＝（Ｓ_B／Ｓ_A）tan^-1（Ｓ_b／Ｓ_a）
【００４６】
なお、ブロック２１の動きを考慮する必要がない場合には、面積比ではなく、面積そのものから角度を求めることも可能である。この場合の抽出領域は、１つで良い。すなわち、面Ａまたは面Ｂだけで良いことになる。
【００４７】
なお、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００４８】
【発明の効果】
以上の如く、本発明の画像処理装置、画像処理方法、および記録媒体によれば、簡単かつ確実に、被写体の向きを求めることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示す図である。
【図２】図１の画像処理装置の動作を説明するフローチャートである。
【図３】図２のステップＳ２の黒色領域を抽出する処理を説明するフローチャートである。
【図４】図２のステップＳ２の肌色領域を抽出する処理を説明するフローチャートである。
【図５】図３のステップＳ２１のブロック化処理を説明する図である。
【図６】ビデオカメラと被写体の角度を説明する図である。
【図７】被写体の向きを説明する図である。
【図８】センサによる被写体の向きの検出結果を示す図である。
【図９】肌色の領域の黒色の領域に対する面積の比の変化を説明する図である。
【図１０】髪の領域と顔の領域をブロック化し、抽出した処理の例を示す図である。
【図１１】ビデオカメラと被写体の角度を説明する図である。
【図１２】本発明を適用した他の情報処理装置の構成を示す図である。
【図１３】図１２の情報処理装置の動作を説明するフローチャートである。
【図１４】図１２の情報処理装置の動作を説明するフローチャートである。
【図１５】本発明を適用したさらに他の情報処理装置の構成を示す図である。
【図１６】図１５の情報処理装置の動作を説明するフローチャートである。
【符号の説明】
１，１−１，１−２ビデオカメラ，２演算装置，２１ブロック

Claims

被写体を複数の撮像部により撮像して得られた前記被写体の複数の画像データの供給を受ける入力手段と、
前記複数の画像データのそれぞれから前記被写体の向きを検出する検出手段と、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致しているか否かを判定する第１の判定手段と、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致していない場合、前記複数の画像データのそれぞれから検出した前記被写体の向きが所定の範囲内であるか否かを判定する第２の判定手段と、
前記複数の画像データのそれぞれから検出した前記被写体の向きの何れかが前記所定の範囲内である場合、前記所定の範囲内である向きを前記被写体の向きとして出力する出力手段と
を含むことを特徴とする画像処理装置。
前記検出手段は、
前記被写体の画像データから、第１の領域と第２の領域を抽出する抽出手段と、
前記抽出手段により抽出された前記第１の領域と第２の領域の面積を演算する第１の演算手段と、
前記第１の演算手段により演算された前記第１の領域と第２の領域の面積の比を演算する第２の演算手段と、
前記第２の演算手段の演算結果に基づいて、前記被写体の向きを演算する第３の演算手段と
を含むことを特徴とする請求項１に記載の画像処理装置。
前記第３の演算手段は、前記第２の演算手段の演算結果を、予め記憶されている基準値と比較することで、前記被写体の角度を演算する
ことを特徴とする請求項２に記載の画像処理装置。
前記第３の演算手段は、前記第２の演算手段の演算結果を、所定の計算式に代入することで、前記被写体の角度を演算する
ことを特徴とする請求項２に記載の画像処理装置。
前記検出手段は、
前記第１の領域と第２の領域の重心を演算する第４の演算手段と、
前記第４の演算手段の演算結果に基づいて、前記被写体の方向を演算する第５の演算手段と
をさらに含むことを特徴とする請求項２に記載の画像処理装置。
被写体を複数の撮像部により撮像して得られた前記被写体の複数の画像データの供給を受ける入力手段と、
前記複数の画像データのそれぞれから前記被写体の向きを検出する検出手段と、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致しているか否かを判定する第１の判定手段と、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致していない場合、前記複数の画像データのそれぞれから検出した前記被写体の向きが所定の範囲内であるか否かを判定する第２の判定手段と、
前記複数の画像データのそれぞれから検出した前記被写体の向きの何れかが前記所定の範囲内である場合、前記所定の範囲内である向きを前記被写体の向きとして出力する出力手段と
を含む画像処理装置の画像処理方法であって、
前記入力手段が、前記複数の画像データの供給を受ける入力ステップと、
供給された前記複数の画像データのそれぞれから、前記検出手段が前記被写体の向きを検出する検出ステップと、
前記第１の判定手段が、前記被写体の向きが一致しているか否かを判定する第１の判定ステップと、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致していない場合、前記第２の判定手段が、前記被写体の向きが前記所定の範囲内であるか否かを判定する第２の判定ステップと、
前記複数の画像データのそれぞれから検出した前記被写体の向きの何れかが前記所定の範囲内である場合、前記出力手段が、前記所定の範囲内である向きを前記被写体の向きとして出力する出力ステップと
含むことを特徴とする画像処理方法。
被写体を複数の撮像部により撮像して得られた前記被写体の複数の画像データの供給を受ける入力ステップと、
前記複数の画像データのそれぞれから前記被写体の向きを検出する検出ステップと、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致しているか否かを判定する第１の判定ステップと、
前記複数の画像データのそれぞれから検出した前記被写体の向きが一致していない場合、前記複数の画像データのそれぞれから検出した前記被写体の向きが所定の範囲内であるか否かを判定する第２の判定ステップと、
前記複数の画像データのそれぞれから検出した前記被写体の向きの何れかが前記所定の範囲内である場合、前記所定の範囲内である向きを前記被写体の向きとして出力する出力ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。