JP6264866B2

JP6264866B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP6264866B2
Application number: JP2013249874A
Authority: JP
Inventors: 将幸遠藤; 圭一長嶺; 一人小島
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2013-12-03
Filing date: 2013-12-03
Publication date: 2018-01-24
Anticipated expiration: 2033-12-03
Also published as: JP2015106910A

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

画像処理装置の一形態である撮像装置において、従来、撮像装置本体が縦向きか横向きかを検出し、撮像画像の向きを特定する技術が知られている。しかしながら、撮像装置の光軸方向が重力方向に近いような場合、或いは撮像装置本体と異なる向きに回動可能なモニタが搭載されている場合に、撮像画像の縦横の判別ができないという問題がある。

その解決方法として、例えば、特許文献１に、被写体となる人物の顔を検出し、検出した顔の部位の位置関係から撮像画像の向きを特定する技術が紹介されている。しかしながら、特許文献１で紹介された技術によれば、被写体となる人物が一人の場合にのみ特定可能であり、被写体が複数であることが想定されていない。

特開２０１０−５０５６６号公報

本発明の課題は、画像の向きを適切に特定することのできる、画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するため、本発明の一態様の画像処理装置は、
被写体を含む画像を取得する取得部と、
前記取得部により取得された画像に含まれる複数の被写体各々の向きを判別する第一判別部と、
前記第一判別部により判別された複数の向きに基づき前記画像の向きを特定する制御部と、
を有し、
前記制御部は、
前記第一判別部により判別された複数の向きが異なる場合に、所定の基準に基づき前記画像の向きを特定し、
前記所定の基準は、前記第一判別部により判別された複数の向きの平均の向きを含む
ことを特徴とする。

本発明によれば、画像の向きを適切に特定することのできる、画像処理装置、画像処理方法およびプログラムを提供することができる。

本発明の実施の形態による画像処理装置の構成を示すブロック図である。図１の記憶部に格納される基準データテーブルのデータ構造の一例を示す図である。図１の画像処理装置の動作を示すフローチャートである。実施例１の被写体（１）と使用される基準との関係を説明するために引用した図である。実施例１の被写体（２）と使用される基準との関係を説明するために引用した図である。実施例１の被写体（３）と使用される基準との関係を説明するために引用した図である。実施例１の被写体（４）と使用される基準との関係を説明するために引用した図である。実施例２の被写体（１）と使用される基準との関係を説明するために引用した図である。実施例２の被写体（２）と使用される基準との関係を説明するために引用した図である。実施例２の被写体（３）と使用される基準との関係を説明するために引用した図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態という）について詳細に説明する。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。

（実施形態の構成）
図１に示すように、本実施形態の画像処理装置１０は、制御部１１と、記憶部１２と、撮像部１３と、操作部１４と、表示部１５と、電源部１６とが、アドレス、データ、コントロールのためのラインが複数本で構成されるシステムバス１７に共通に接続されている。

制御部１１は、例えばマイクロプロセッサを含み、マイクロプロセッサが記憶部１２のプログラム領域に格納された本実施形態のプログラムを逐次読み出し実行する。制御部１１は、例えば、図３にフローチャートでその処理手順を示す本実施形態のプログラムを実行することにより、画像に含まれる複数の被写体各々の向きを判別し、複数の被写体が異なる向きの場合に、所定の基準に基づき画像の向きを特定する機能を実行することができる。

記憶部１２は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、例えば、図３に示すフローチャート（処理手順）からなる本実施形態のプログラムが格納されるプログラム領域、表示データが描画されるＶＲＡＭ領域、あるいは、後述する基準テーブル１２０が記憶されるテーブル領域等が割り当てられている。記憶部１２には、更に、撮像済み画像を保存する画像記憶領域の他、制御部１１による本実施形態のプログラムの実行過程で生成される作業データ等を一時的に記憶するワーク領域も割り当てられている。なお、記憶部１２は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよい。

なお、基準テーブル１２０には、制御部１１が被写体に含まれる人物の顔や文字の向きを判別する際に使用される判定基準が予め設定されている。例えば、図２に示すように、被写体に人物の顔が含まれる場合、人物の顔の向きを判定する基準として、「優先順位の高い人物の顔の向きを優先する」、「同一方向を向いている人数が多い向きを優先する」、「顔の面積が大きい人物の顔の向きを優先する」、「複数の人物の顔の方向の平均の向きとする」等が設定されている。また、被写体に文字が含まれる場合、文字の向きを判定する基準として、「優先順位の高い文字が含まれる文字の向きを優先する」、「同一方向を向いている文字が多い向きを優先する」、「文字サイズの大きい文字の向きを優先する」、「複数の文字の方向の平均の向きとする」等が設定されている。なお、どの基準を有効にするかは、デフォルトの状態でそれぞれ一つが選択されており、適宜選択可能（セレクタブル）になっている。したがって、ユーザにより動的に設定してもよい。

説明を図１に戻す。撮像部１３は、光学レンズ、絞り、撮像素子を有し、光学レンズから絞りを通して撮像素子に結像される被写体を撮像する。絞りは、光学レンズと結像面の撮像素子との間に配置され、複数枚の板（絞り羽根）を重ね合わせて円形に近い開口部を有する構成となっている。撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサである。撮像部１３には、光学レンズ、絞り、撮像素子の他、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。絞り及び撮像素子は、光軸の垂直方向に対して平行に移動可能となっており、絞り及び撮像素子を平行移動させる駆動機構にそれぞれ連結されている。

操作部１４は、複数のキースイッチからなり、これらキースイッチのいずれかが押下されると、キースイッチが押下されたことを示す入力操作信号を制御部１１に出力する。制御部１１は、この入力操作信号に基づいて、複数のキースイッチのうちのどれが押下されたかを特定し、押下されたキースイッチに応じた動作を行う。

表示部１５は、制御部１１により生成される、例えば、図４〜図１０に示す被写体像を表示する。表示部１５は、例えば、高精細ＬＣＤ（Liquid Crystal Device：液晶）、有機ＥＬ（Electro Luminescence）、電気泳動型ディスプレイ（電子ペーパ）等の表示デバイスを用い、上記した被写体像を高精細に表示する。なお、この表示部１５の表示面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしてもよい。

電源部１６は、制御部１１、記憶部１２、撮像部１３、操作部１４、表示部１５のそれぞれを駆動するのに必要な、充電式バッテリ等、電力を供給する直流電源回路である。

（実施形態の動作）
次に、図３のフローチャートを参照しながら図１に示す本実施形態の画像処理装置１０の動作について詳細に説明する。

まず、ユーザが、例えば、表示部１５に表示されたサムネール画像の中から所望の一つを選択すると、制御部１１は、記憶部１２から撮影済みの該当の画像ファイルを読み出す（ステップＳ１０１）。続いて、制御部１１は、顔認識処理により（ステップＳ１０２）、その画像に人物の顔が含まれるか否かを判定する（ステップＳ１０３）。

ここで、画像に人物の顔が含まれる場合（ステップＳ１０３”ＹＥＳ”）、制御部１１は、画像認識により複数の顔が含まれているか否かを判定する（ステップＳ１０４）。複数の顔が含まれている場合（ステップＳ１０４”ＹＥＳ”）、制御部１１は、更なる画像認識により各人物の顔の向きを判別する（ステップＳ１０５）。

なお、制御部１１により実行されるステップＳ１０２，１０５の画像認識は周知であり、例えば、読み出された画像ファイルの中から肌色領域を切り出し、その分布（ヒストグラム）の特徴抽出を行なうことで人物の存在を特定し、かつ、肌色領域の分布が上下左右に均等にある場合を基準に、上下左右のいずれかに偏っている場合に、上向き、下向き、左向き、右向きと判別する。すなわち、向きは９０°単位で最も近い向きを決定する。また、目や口といった顔を構成する各部位を認識し、それらの位置関係から顔の向きを判別するようにしてもよい。

上記した顔の向きの判別結果に基づき複数人の顔が略同一方向を向いていると判定されると（ステップＳ１０６”ＹＥＳ”）、制御部１１は、人物の顔の向きに合わせて記憶部１２に保存する画像の向きを特定する（ステップＳ１０７）。一方、複数人の顔の向きが異なる場合（ステップＳ１０６”ＮＯ”）、制御部１１は、記憶部１２の基準テーブル１２０を参照し、選択されている基準にしたがい記憶部１２の画像記憶領域に保存する画像の向きを特定する（ステップＳ１０８）。

なお、ステップＳ１０４の画像認識処理で一人の顔しか認識できなかった場合（ステップＳ１０４”ＮＯ”）、制御部１１は、人物の顔の向きに合わせて記憶部１２の画像記憶領域に保存する画像の向きを特定する（ステップＳ１０７）。

次に、ステップＳ１０３の画像認識処理で読み出された画像に人物の顔が含まれていない場合（ステップＳ１０３”ＮＯ”）、制御部１１は、更に、文字が含まれているか否かを判定する（ステップＳ１０９）。ここで、画像に文字が含まれていた場合（ステップＳ１０９”ＹＥＳ”）、制御部１１は、画像処理により複数の文字が含まれているか否かを判定する（ステップＳ１１０）。複数の文字が含まれている場合（ステップＳ１１０”ＹＥＳ”）、制御部１１は、更なる画像認識により各文字の向きを判別する（ステップＳ１１１）。

ここで、制御部１１により実行される画像認識は周知であり、例えば、文字を１文字ずつ区切り、１文字を幾つかのセグメントに分割して、各セグメント内の文字がどの方向を向いているかについて特徴を抽出することにより実行される。主な特徴として、上、下、縦、横２種類をカウント（右上がりは上または縦、左下がりは下または横としてダプルカウント）し、カウントした数字が大きい程その方向を向いていると判別する。すなわち、文字の向きも人物の顔同様、９０°単位で最も近い向きとみなす。

上記した文字の向きの判別結果に基づき複数の文字が略同一方向を向いていると判定された場合（ステップＳ１１２”ＹＥＳ”）、制御部１１は、文字の向きに合わせて記憶部１２の画像記憶領域に保存する画像の向きを特定する（ステップＳ１１３）。一方、複数の文字の向きが異なる場合（ステップＳ１１２”ＮＯ”）、制御部１１は、記憶部１２に格納された基準テーブル１２０を参照し、選択されている基準にしたがい記憶部１２の画像記憶領域に保存する画像の向きを特定する（ステップＳ１０８）。

なお、ステップＳ１１０の画像認識処理で一つの文字しか認識できなかった場合（ステップＳ１１０”ＮＯ”）、制御部１１は、その文字の向きに合わせて記憶部１２の画像記憶領域に保存する画像の向きを特定する（ステップＳ１１３）。

次に、図４〜図７に示すように、複数人物が異なる向きから上向きのカメラを覗き込むようにして撮影された人物を被写体とした横置きの画像の場合に適用される基準との関係を実施例１とし，図８〜図１０に示すように、縦書き文字と横書き文字とが混在した文書を被写体とした場合に適用される基準との関係を実施例２として詳述する。

（実施例１）
図４は、「優先順位の高い人物の顔の向きを優先する」場合の事例を示す。ここでは、事前に登録してある人物の顔の向きを優先する。図４の被写体によれば、事前登録されている人物Ａの顔の向きａによる上下方向が右側成分を有するため、向きを変更して縦置きに特定される。

図５は、「同一方向を向いている人数が多い向きを優先する」場合の事例を示す。図５の被写体によれば、顔の向きによる上下方向が、上側成分が６人、右側成分が３人、下側成分が５人、左側成分が１人であり、下側成分が最多であるため、向きを変更することなく横置きに特定される。なお、斜め方向はダブルカウントされる。

図６は、「顔の面積が大きい人物の顔の向きを優先する」場合の事例を示す。図６の被写体によれば、顔の面積の大きい人物Ｂの顔の向きａによる上下方向が右側成分を有するため、向きを変更して縦置きに特定される。図７は、「複数の人物の顔の方向の平均の向きとする」場合の事例を示す。図７の被写体によれば、平均の向きＣが下側方向に近いため、向きを変更することなく横置きに特定される。
なお、特定された向きを反映させるために、画像の付加情報として保存してもよく、画像自体の向きを変更して保存してもよい。

（実施例２）
図８は、縦書き文字と横書き文字が混在する特許公報の図面、図９は、縦書き文章の中に横書き文字が含まれた文書、図１０は、放射状にコメントが記入された寄せ書きであり、それぞれにおける保存文書の向きを示す。この場合も実施例１同様、選択されている基準である、「優先順位の高い文字が含まれる文字の向きを優先する」、「同一方向を向いている文字が多い向きを優先する」、「文字サイズの大きい文字の向きを優先する」、「複数の文字の方向の平均の向きとする」のいずれかにしたがい、画像認識によって文字の向きを判断し、その向きによって画像の向きを特定する。
なお、実施例１同様、特定された向きを反映させるために、向きを画像の付加情報として保存してもよく、画像自体の向きを変更して保存してもよい。

図８に示す例では、基準として、「優先順位の高い文字が含まれる文字の向きを優先する」が選択されており、この場合、事前に登録されてある文字である、例えば、「制御部」の文字が優先され、したがって、縦方向に特定される。図９に示す例では、基準として、「同一方向を向いている文字が多い向きを優先する」が選択されており、この場合、縦方向の文字が多く同一方向を向いているため縦方向が優先され、したがって、縦方向に特定される。また、図１０に示す例では、基準として、「文字サイズの大きい文字の向きを優先する」が選択されており、この場合、文字サイズの大きい文字である「誠」の向きが優先され、したがって、横方向に特定される。

なお、人物の顔と文字とが混在する画像については、いずれを優先するかを設定できるようにしてもよい。また、加速度センサ等を使用し、加速度センサ等によって得られる動き情報に基づいて人物の顔と文字のいずれを優先するかを設定できるようにしてもよい。また、上記の実施例では、選択された撮影済みの画像ファイルの向きを特定するようにしているが、撮像部１３により撮像されている撮像画像の向きを特定するようにしてもよい。その際、上記実施例により向きが特定できない場合は、加速度センサ等によって得られる動き情報に基づいて画像処理装置１０の向きを判別し、その向きを用いて撮像画像の向きを特定するようにしてもよい。

（実施形態の効果）
以上説明のように本実施形態の画像処理装置１０によれば、画像に含まれる複数の被写体各々の向きを判別し、複数の被写体が略同一の向きの場合に、その向きに合わせて画像の向きを特定し、複数の被写体が異なる向きの場合に、所定の基準に基づき画像の向きを特定することにより、被写体が複数であっても画像の向きを適切に特定することができる。また、複数の被写体が異なる向きの場合に、優先順位の高い被写体の向きに基づき画像の向きを特定することで、優先したい被写体の向きに画像の向きを合わせることができ、また、略同一の向きの被写体の数の多い向きに基づき画像の向きを特定することで、自然な向きに画像の向きを合わせることができる。更に、面積の大きい被写体の向きに基づき画像の向きを特定することで、最も目立つ被写体の向きに画像の向きを合わせることができる。

また、本実施形態の画像処理装置１０によれば、被写体に人物の顔が含まれる場合、向きが混在する人物の顔を含む画像の向きを特定でき、被写体に文字が含まれる場合、向きが混在する文字を含む画像の向きを特定できる。更に、各被写体の向きを画像認識により特定することで、特別なセンサを使用することなく画像の向きを適切に特定することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

出願時の特許請求の範囲を付記する。
［請求項１］
被写体を含む画像を取得する取得部と、
前記取得部により取得された画像に含まれる複数の被写体各々の向きを判別する第一判別部と、
前記第一判別部により判別された複数の向きに基づき前記画像の向きを特定する制御部、
を有することを特徴とする画像処理装置。
［請求項２］
前記制御部は、
前記第一判別部により判別された複数の向きが異なる場合に、所定の基準に基づき前記画像の向きを特定することを特徴とする請求項１記載の画像処理装置。
［請求項３］
前記所定の基準は、
前記第一判別部により判別された複数の向きのうち、より優先順位の高い被写体の向きであることを特徴とする請求項２記載の画像処理装置。
［請求項４］
前記所定の基準は、
前記第一判別部により判別された複数の向きのうち、略同一の向きの被写体の数が多い向きであることを特徴とする請求項２記載の画像処理装置。
［請求項５］
前記所定の基準は、
前記第一判別部により判別された複数の向きのうち、より面積が大きい被写体の向きであることを特徴とする請求項２記載の画像処理装置。
［請求項６］
前記所定の基準は、
前記第一判別部により判別された複数の向きの平均の向きであることを特徴とする請求項２記載の画像処理装置。
［請求項７］
前記所定の基準は、
選択可能であることを特徴とする請求項２〜６のいずれか１項記載の画像処理装置。
［請求項８］
指定された種類の被写体を検出する検出部を更に有し、
前記第一判別部は、
前記検出部により検出された被写体の向きを、前記指定された被写体の種類に応じて判別することを特徴とする請求項２〜７のいずれか１項記載の画像処理装置。
［請求項９］
前記指定された種類の被写体は、
人物の顔であることを特徴とする請求項８記載の画像処理装置。
［請求項１０］
前記指定された種類の被写体は、
文字であることを特徴とする請求項８記載の画像処理装置。
［請求項１１］
前記第一判別部は、
各被写体の向きを、前記画像を被写体認識して判別することを特徴とする請求項２〜１０のいずれか１項記載の画像処理装置。
［請求項１２］
画像を撮像する撮像部と、当該画像処理装置の向きを判別する第二判別部を更に有し、
前記取得部は、前記撮像部により撮像される画像を取得し、
前記制御部は、前記所定の基準に基づく前記画像の向きを特定できない場合に、前記第二判別部により判別された前記撮像部による撮像時の当該画像処理装置の向きに基づき、前記画像の向きを特定することを特徴とする請求項２〜１１のいずれか１項記載の画像処理装置。
［請求項１３］
被写体を含む画像を取得するステップと、
前記取得された画像に含まれる複数の被写体各々の向きを判別するステップと、
前記判別された複数の向きに基づき前記画像の向きを特定するステップと、を含むことを特徴とする画像処理方法。
［請求項１４］
コンピュータに、
被写体を含む画像を取得する機能と、
前記取得された画像に含まれる複数の被写体各々の向きを判別する機能と、
前記判別された複数の向きに基づき前記画像の向きを特定する機能と、を実現させるプログラム。

１０…画像処理装置、１１…制御部、１２…記憶部、１３…撮像部、１４…操作部、１５…表示部、１６…電源部、１７…システムバス、１２０…基準テーブル

Claims

被写体を含む画像を取得する取得部と、
前記取得部により取得された画像に含まれる複数の被写体各々の向きを判別する第一判別部と、
前記第一判別部により判別された複数の向きに基づき前記画像の向きを特定する制御部と、
を有し、
前記制御部は、
前記第一判別部により判別された複数の向きが異なる場合に、所定の基準に基づき前記画像の向きを特定し、
前記所定の基準は、前記第一判別部により判別された複数の向きの平均の向きを含む
ことを特徴とする画像処理装置。
前記所定の基準は、
前記第一判別部により判別された複数の向きのうち、より優先順位の高い被写体の向きであることを特徴とする請求項１記載の画像処理装置。
前記所定の基準は、
前記第一判別部により判別された複数の向きのうち、略同一の向きの被写体の数が多い向きであることを特徴とする請求項１又は２記載の画像処理装置。
前記所定の基準は、
前記第一判別部により判別された複数の向きのうち、より面積が大きい被写体の向きであることを特徴とする請求項１〜３のいずれか１項記載の画像処理装置。
前記所定の基準は、
選択可能であることを特徴とする請求項１〜４のいずれか１項記載の画像処理装置。
被写体の種類のうち、１の種類の指定を受け付ける種類受付部を更に有し、
前記第一判別部は、
前記種類受付部により指定を受付た種類の被写体の向きを優先して判別することを特徴とする請求項１〜５のいずれか１項記載の画像処理装置。
前記指定された種類の被写体は、
人物の顔であることを特徴とする請求項６記載の画像処理装置。
前記指定された種類の被写体は、
文字であることを特徴とする請求項６記載の画像処理装置。
前記第一判別部は、
各被写体の向きを、前記画像を被写体認識して判別することを特徴とする請求項１〜８のいずれか１項記載の画像処理装置。
画像を撮像する撮像部と、当該画像処理装置の向きを判別する第二判別部を更に有し、
前記取得部は、前記撮像部により撮像される画像を取得し、
前記制御部は、前記所定の基準に基づく前記画像の向きを特定できない場合に、前記第二判別部により判別された前記撮像部による撮像時の当該画像処理装置の向きに基づき、前記画像の向きを特定することを特徴とする請求項１〜９のいずれか１項記載の画像処理装置。
被写体を含む画像を取得するステップと、
前記取得された画像に含まれる複数の被写体各々の向きを判別するステップと、
前記判別された複数の向きに基づき前記画像の向きを特定するステップと、を含み、
前記画像の向きを特定するステップは、
前記判別された複数の向きが異なる場合に、所定の基準に基づき前記画像の向きを特定し、
前記所定の基準は、前記複数の被写体の各々の向きを判別するステップにより判別された複数の向きの平均の向きを含む
ことを特徴とする画像処理方法。
コンピュータに、
被写体を含む画像を取得する機能と、
前記取得された画像に含まれる複数の被写体各々の向きを判別する機能と、
前記判別された複数の向きに基づき前記画像の向きを特定する機能と、を実現させ、
前記画像の向きを特定する機能は、
前記判別された複数の向きが異なる場合に、所定の基準に基づき前記画像の向きを特定し、
前記所定の基準は、前記複数の被写体各々の向きを判別する機能により判別された複数の向きの平均の向きを含む
ことを特徴とするプログラム。