JP6119380B2 - 画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末 - Google Patents

Description

本発明は、画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末に関する。

近年、撮像素子の進歩により、高画素数の撮像素子が携帯通信端末等にも搭載されている。携帯通信端末等には、携帯性の観点等から光学ズーム機能が搭載されていないこともある。光学ズーム機能が搭載されていない携帯通信端末等において、たとえば、レンズの焦点距離が広角側に固定され、高画素数を活かして画像データ上で構図を切り出す技術（デジタルズーム）が知られている。

また、車載カメラを用いて画像の２値化を行い、水平垂直、垂直方向のヒストグラムから車を認識する技術が知られている（たとえば、下記特許文献１参照。）。また、印刷物のＸ方向Ｙ方向のヒストグラム形状からプリンタの搬送機構が傾いて設置されているかどうかを判定する技術が知られている（たとえば、下記特許文献２参照。）。また、撮影者の指輪を基準にフレーミングを行う技術が知られている（たとえば、下記特許文献３参照。）。

特開２００５−０９０９７４号公報 特開２０１１−１４８１４９号公報 特開２０００−１０１８９８号公報

しかしながら、上述した従来技術では、フレーミングの際に特定の指輪を要するなど、撮影が容易ではないという問題がある。

１つの側面では、本発明は、撮影の容易化を図ることができる画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明の一側面によれば、撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定し、特定した前記領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出し、算出した前記度数分布に基づく取込範囲を決定し、所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの決定した前記取込範囲の画像を示す画像データを記憶装置に記憶させる画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末が提案される。

本発明の一側面によれば、撮影の容易化を図ることができるという効果を奏する。

図１−１は、実施の形態にかかる画像取込装置および撮影装置の構成の一例を示す図である。 図１−２は、図１−１に示した画像取込装置および撮影装置における信号の流れの一例を示す図である。 図２は、撮影装置のハードウェア構成の一例を示す図である。 図３−１は、静止時画像の取込処理の一例を示すフローチャート（その１）である。 図３−２は、静止時画像の取込処理の一例を示すフローチャート（その２）である。 図４は、指領域の特定処理の一例を示すフローチャートである。 図５は、フレーミング操作の検出処理の一例を示すフローチャートである。 図６−１は、取込フレーム［ｎ］の決定処理（左手用）の一例を示すフローチャートである。 図６−２は、取込フレーム［ｎ］の決定処理（右手用）の一例を示すフローチャートである。 図７は、取込操作の検出処理の一例を示すフローチャートである。 図８−１は、指領域の特定の一例を示す図（その１）である。 図８−２は、指領域の特定の一例を示す図（その２）である。 図８−３は、指領域の特定の一例を示す図（その３）である。 図８−４は、指領域の特定の一例を示す図（その４）である。 図９は、取込フレームの決定の一例を示す図である。 図１０は、取込フレームの決定の別の例を示す図である。 図１１は、取込操作の検出（左手用）の一例を示す図である。 図１２は、取込操作の検出（右手用）の一例を示す図である。 図１３は、取込フレームの決定の他の例を示す図である。 図１４は、撮影者による取込操作の具体例を示す図である。 図１５は、親指による取込操作の検出処理の一例を示すフローチャートである。 図１６は、親指による取込操作の検出の一例を示す図である。 図１７は、動画像の取込処理の一例を示すフローチャートである。

以下に図面を参照して、本発明にかかる画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末の実施の形態を詳細に説明する。

（実施の形態）
（実施の形態にかかる画像取込装置および撮影装置の構成）
図１−１は、実施の形態にかかる画像取込装置および撮影装置の構成の一例を示す図である。図１−２は、図１−１に示した画像取込装置および撮影装置における信号の流れの一例を示す図である。図１−１，図１−２に示すように、実施の形態にかかる撮影装置１００は、撮像素子１１０と、画像取込装置１２０と、記憶装置１３０と、を備える。

撮像素子１１０は、光を電気信号に変換する電子部品であり、入射光を受光する単位画素が二次元状に複数配置された固体撮像素子である。撮像素子１１０は、入射光に応じた画像データを画像取込装置１２０へ出力する。記憶装置１３０は、撮像素子１１０によって得られた画像データが示す画像のうちの、画像取込装置１２０によって取り込まれた画像を示す画像データを記憶する。

画像取込装置１２０は、特定部１２１と、算出部１２２と、決定部１２３と、取込部１２４と、を備える。撮像素子１１０から出力された画像データは、特定部１２１および取込部１２４へ入力される。

特定部１２１は、撮像素子１１０から出力された画像データが示す画像のうちの所定の領域を特定する。特定部１２１は、特定した領域を算出部１２２へ通知する。特定部１２１により特定される所定の領域は、所定の色の領域であって、画像の端部に接する領域である。所定の色は、たとえば人間の指の色（たとえば肌色）に該当する範囲であって、たとえば赤、緑、青の各輝度の範囲や色相、彩度、明度等の範囲によって規定することができる。これにより、画像のうちの指が写った領域を特定することができる。また、画像の端部に接する領域を特定することにより、画像データが示す画像のうちの、撮影者の指が写った領域を特定することができる。

算出部１２２は、特定部１２１から通知された領域に含まれる画素の、画像の第１方向および第２方向における度数分布を算出する。第１方向および第２方向は互いに交差（たとえば直交）する方向である。たとえば、第１方向は画像の縦方向であり、第２方向は画像の横方向である。算出部１２２は、算出した各度数分布を決定部１２３へ通知する。

決定部１２３は、算出部１２２から通知された各度数分布に基づいて、撮像素子１１０から出力される画像データが示す画像のうちの記憶装置１３０への取込範囲を決定する。決定部１２３は、決定した取込範囲を取込部１２４へ通知する。

取込部１２４は、所定の取込タイミングにおいて、撮像素子１１０から出力された画像データが示す画像のうちの、決定部１２３から通知された取込範囲の画像を示す画像データを生成する。そして、取込部１２４は、生成した画像データを記憶装置１３０に記憶する。これにより、撮像素子１１０から出力された画像データが示す画像のうちの、撮影者の指が写った領域に基づいて決定した取込範囲の画像を取り込むことができる。

これにより、撮影者は、撮像素子１１０の前（撮像素子１１０によって撮像される位置）に出した指の形状や位置等によってフレーミングを行うことができる。このため、撮影の容易化を図ることができる。

たとえば、スマートフォン等に搭載された撮像装置においては、本体のタッチパネルに対するタッチ操作等によって構図決定を行うことも考えられる。しかしながら、この場合はタッチ操作による本体のブレ等に起因して構図決定が困難な場合がある。これに対して、画像取込装置１２０を用いることにより、撮影装置に対して直接タッチ操作等をしなくてもフレーミングを行うことが可能になるため、構図決定の容易化を図ることができる。

＜度数分布に基づく取込範囲の決定の例＞
また、決定部１２３は、第１方向の度数分布のピーク位置および第２方向の度数分布における第２方向の最大値に基づく位置と、第２方向の最大値より正側の位置と、を検出し、検出結果に基づいて取込範囲を決定する第１決定処理を行ってもよい。これにより、たとえば右側を正方向とすると、撮影者が撮影装置１００の前に出した左手によって作られた左下に凸のＬ字型による取込範囲を決定することができる。このため、より直感的な操作によって取込範囲を決定することができる。

また、決定部１２３は、第１方向の度数分布のピーク位置および第２方向の度数分布における第２方向の最小値に基づく位置と、第２方向の最小値より負側の位置と、を検出し、検出結果に基づいて取込範囲を決定する第２決定処理を行ってもよい。これにより、たとえば右側を正方向とすると、撮影者が撮影装置１００の前に出した右手によって作られた右下に凸のＬ字型による取込範囲を決定することができる。このため、より直感的な操作によって取込範囲を決定することができる。

また、決定部１２３は、画像データが示す画像における特定された領域の第２方向の位置を判定（右または左）し、判定結果に基づいて第１決定処理および第２決定処理を切り替えてもよい。これにより、撮影者は、右手と左手のうちの任意の手によって取込範囲を指定することが可能になり、より利便性を向上させることができる。

＜指の動きによる取込操作＞
また、画像取込装置１２０が静止画像を取り込む場合に、取込部１２４による画像の取込タイミングを、算出部１２２から通知された度数分布の所定の変化が検出されたタイミングとしてもよい。これにより、撮影者は、撮影装置１００の前に出した指の動きによって取込操作を行うことができる。このため、撮影の容易化を図ることができる。

たとえば、取込部１２４による画像の取込タイミングは、第１方向の度数分布の所定のピーク位置の数が変化したタイミングとしてもよい。または、取込部１２４による画像の取込タイミングは、第１方向の度数分布の所定のピーク位置と、第１方向の度数分布における第１方向の最小値または最大値と、の差異の所定の変化が検出されたタイミングとしてもよい。これにより、撮影者が撮影装置１００の前に出した指を曲げる等の動作によって画像を取り込むことができる。このため、より直感的な操作によって取込を指示することができる。

たとえば、シャッターボタンの押下や、デジタルカメラに設けられたタッチパネルに対するタッチ操作等によって取込操作を行うことも考えられるが、この場合はシャッターボタンの押下やタッチ操作によって取込画像のブレ（手ブレ）が大きくなる場合がある。これに対して、画像取込装置１２０を用いることにより、シャッターボタンの押下やタッチ操作等をしなくても取込操作を行うことが可能になるため、取込画像のブレを抑えることができる。また、フレーミングおよび取込操作を、撮影者の指の動きによってスムーズに行うことができる。

＜その他の取込操作＞
ただし、取込部１２４による画像の取込タイミングは、上記のタイミングに限らず、たとえば、撮影者による特定の発声を検出したタイミングや、タッチ操作等によって取り込みが指示されてから一定時間が経過したタイミング等とすることもできる。これにより、構図決定の容易化を図りつつ、取込画像のブレを抑えることができる。

また、取込部１２４による画像の取込タイミングは、シャッターボタンの押下や、デジタルカメラに設けられたタッチパネルに対するタッチ操作等が行われた時としてもよい。この場合も、構図決定の容易化を図ることができる。

＜動画像の取込＞
また、画像取込装置１２０が動画像を取り込む場合は、取込部１２４による画像の取込タイミングを、動画像のフレームレートに応じた周期的な取込タイミングとしてもよい。これにより、撮影者は、撮像素子１１０の前に出した指の形状等によってフレーミングを行いつつ動画撮影を行うことができる。このため、撮影の容易化を図ることができる。

たとえば、スマートフォン等に搭載された撮像装置においては、撮影装置に設けられたタッチパネルに対するタッチ操作等によって構図決定を行うことも考えられる。しかしながら、この場合は、動画像の撮影中にタッチ操作等によってフレーミングを行うと、取り込む動画像のブレ（手ブレ）が大きくなる場合がある。これに対して、画像取込装置１２０を用いることにより、撮影装置へのタッチ操作等をしなくてもフレーミングを行いつつ動画撮影を行うことが可能になるため、動画像のブレを抑えることができる。

（撮影装置のハードウェア構成）
図２は、撮影装置のハードウェア構成の一例を示す図である。図１−１，図１−２に示した撮影装置１００は、たとえば図２に示す移動通信端末２００に適用することができる。移動通信端末２００は、通信装置２０１と、情報処理装置２０２と、対物レンズ２０３と、撮像素子２０４と、画像バッファメモリ２０５と、表示装置２０６と、記憶装置２０７と、入力インターフェース２０８と、を備えている。

通信装置２０１は、たとえば、無線によって移動通信端末２００の外部との間で通信を行う通信インターフェースである。通信装置２０１は、情報処理装置２０２によって制御される。通信装置２０１による通信には、たとえば、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）に規定されたセルラ通信やＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：無線構内通信網）の通信等、各種の通信方式を適用することができる。

情報処理装置２０２は、移動通信端末２００の全体の制御を司る。また、情報処理装置２０２は対物レンズ２０３の制御を行う。対物レンズ２０３の制御には、たとえば絞り制御やフォーカス制御等がある。また、情報処理装置２０２は、撮像素子２０４によって得られた画像データに基づく取込処理を行う。情報処理装置２０２は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の電気回路によって実現することができる。

対物レンズ２０３は、移動通信端末２００の外部の映像を撮像素子２０４に結像させる。対物レンズ２０３は、たとえばズーム機能のない単焦点レンズであってもよい。

撮像素子２０４は、対物レンズ２０３によって結像した映像を画像データに変換する。撮像素子２０４には、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）等を用いることができる。

画像バッファメモリ２０５は、情報処理装置２０２による画像処理のワークエリアとして使用される。たとえば、画像バッファメモリ２０５には、撮像素子２０４によって得られた画像データ等が記憶される。画像バッファメモリ２０５には、たとえばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いることができる。

表示装置２０６は、情報処理装置２０２からの制御により、移動通信端末２００のユーザに対して画像等を表示する。

記憶装置２０７は、情報処理装置２０２からの制御により、画像データ等を記憶する。記憶装置２０７は、たとえば、磁気ディスクやフラッシュメモリなどの不揮発メモリを用いることができる。また、記憶装置２０７は、メモリーカード等、移動通信端末２００に対して着脱可能な外部メモリであってもよい。また、記憶装置２０７は、移動通信端末２００を動作させる各種のプログラムが記憶されていてもよい。記憶装置２０７に記憶されたプログラムは、画像バッファメモリ２０５などのメモリにロードされて情報処理装置２０２によって実行される。

入力インターフェース２０８は、ユーザからの操作入力を受け付ける入力デバイスである。たとえば、入力インターフェース２０８は、キー（たとえばキーボード）やリモコンなどによって実現することができる。また、タッチパネルなどによって表示装置２０６および入力インターフェース２０８を実現してもよい。

図１−１，図１−２に示した撮像素子１１０は、たとえば撮像素子２０４によって実現することができる。図１−１，図１−２に示した画像取込装置１２０は、たとえば情報処理装置２０２によって実現することができる。図１−１，図１−２に示した記憶装置１３０は、たとえば記憶装置２０７によって実現することができる。

（情報処理装置による処理）
図３−１および図３−２は、静止時画像の取込処理の一例を示すフローチャートである。図２に示した情報処理装置２０２は、静止時画像を取り込む場合に、たとえば図３−１，図３−２に示す各ステップを実行する。

＜フレーミング操作の検出＞
まず、情報処理装置２０２は、図３−１に示すように、撮像素子２０４からの画像データを取得する（ステップＳ３０１）。つぎに、情報処理装置２０２は、ステップＳ３０１によって取得した画像データが示す画像を表示装置２０６によって表示する（ステップＳ３０２）。つぎに、情報処理装置２０２は、ステップＳ３０１によって取得した画像データが示す画像に含まれる、撮影者の指が写った指領域の特定処理を行う（ステップＳ３０３）。指領域の特定処理については後述する（たとえば図４参照）。

つぎに、情報処理装置２０２は、ステップＳ３０３による特定処理によって特定した指領域に基づく、撮影者によるフレーミング操作の検出処理を行う（ステップＳ３０４）。撮影者によるフレーミング操作は、移動通信端末２００の対物レンズ２０３の前に出した撮影者の指の位置や形状等に基づく操作である。フレーミング操作の検出処理については後述する（たとえば図５参照）。

つぎに、情報処理装置２０２は、ステップＳ３０４による検出結果に基づいて、撮影者によるフレーミング操作があったか否かを判断する（ステップＳ３０５）。フレーミング操作がなかった場合（ステップＳ３０５：Ｎｏ）は、情報処理装置２０２は、ステップＳ３０１へ戻る。これにより、取込可能な画像をリアルタイムに表示するライブビューを行いつつ、撮影者によるフレーミング操作を待つことができる。

＜取込フレームの決定＞
ステップＳ３０５において、フレーミング操作があった場合（ステップＳ３０５：Ｙｅｓ）は、撮影者がフレーミング操作を開始したと判断することができる。この場合は、情報処理装置２０２は、第１タイマを起動する（ステップＳ３０６）。第１タイマは、たとえば情報処理装置２０２が実行するソフトウェア上で実現され、第１タイマの起動時からの経過時間を計時するタイマである。

また、情報処理装置２０２は、カウンタｎに「１」を格納する（ステップＳ３０７）。カウンタｎは、たとえば画像バッファメモリ２０５等に記憶される情報である。ステップＳ３０６とステップＳ３０７の順序は逆であってもよい。

つぎに、情報処理装置２０２は、ステップＳ３０８へ移行する。ステップＳ３０８〜Ｓ３１０は、ステップＳ３０１〜Ｓ３０３と同様である。ステップＳ３１０のつぎに、情報処理装置２０２は、ステップＳ３１０による特定処理によって特定した指領域に基づく取込フレーム［ｎ］の決定処理を行う（ステップＳ３１１）。取込フレーム［ｎ］は、撮像素子２０４によって得られた画像データが示す画像のうちの、記憶装置２０７に取り込む範囲である。取込フレーム［ｎ］の決定処理については後述する（たとえば図６−１，図６−２参照）。

つぎに、情報処理装置２０２は、表示装置２０６によって、ステップＳ３０８で取得した画像データが示す画像上に、ステップＳ３１１によって決定された取込フレーム［ｎ］を表示する（ステップＳ３１２）。これにより、撮影者は、自身の現在のフレーミング操作によって決定された取込フレーム［ｎ］を認識することができる。

つぎに、情報処理装置２０２は、今回のステップＳ３１１によって決定された取込フレーム［ｎ］が、前回のステップＳ３１１によって決定された取込フレーム［ｎ−１］と同一か否かを判断する（ステップＳ３１３）。取込フレーム［ｎ］が取込フレーム［ｎ−１］と同一でない場合（ステップＳ３１３：Ｎｏ）は、撮影者がフレーミング操作を変化させたと判断することができる。この場合は、情報処理装置２０２は、第１タイマを再起動し（ステップＳ３１４）、ステップＳ３１６へ移行する。

ステップＳ３１３において、取込フレーム［ｎ］が取込フレーム［ｎ−１］と同一である場合（ステップＳ３１３：Ｙｅｓ）は、撮影者がフレーミング操作を変化させていないと判断することができる。この場合は、情報処理装置２０２は、カウンタｎをインクリメント（＋１）する（ステップＳ３１５）。

つぎに、情報処理装置２０２は、第１タイマによる計時時間が第１閾値を超えたか否かを判断する（ステップＳ３１６）。計時時間が第１閾値を超えていない場合（ステップＳ３１６：Ｎｏ）は、撮影者がフレーミング操作を固定してから一定時間が経過していないと判断することができる。この場合は、情報処理装置２０２は、ステップＳ３０８へ戻る。これにより、撮影者がフレーミング操作を固定してから一定時間が経過するまで待つことができる。

＜取込タイミングにおける取込＞
ステップＳ３１６において、計時時間が第１閾値を超えた場合（ステップＳ３１６：Ｙｅｓ）は、撮影者がフレーミング操作を固定してから一定時間が経過したと判断することができる。この場合は、情報処理装置２０２は、図３−２に示すステップＳ３１７へ移行する（符号Ａ）。

すなわち、情報処理装置２０２は、取込フレームが現在の取込フレーム［ｎ］に決定したことを撮影者へ通知する（ステップＳ３１７）。ステップＳ３１７の通知は、たとえば、移動通信端末２００に設けたスピーカ等によって音声によって行ってもよいし、ステップＳ３１２によって表示した取込フレーム［ｎ］の部分を強調表示すること等によって行ってもよい。

つぎに、情報処理装置２０２は、第２タイマを起動する（ステップＳ３１８）。第２タイマは、たとえば情報処理装置２０２が実行するソフトウェア上で実現され、第２タイマの起動時からの経過時間を計時するタイマである。つぎに、情報処理装置２０２は、撮影者による取込操作の検出処理を行う（ステップＳ３１９）。取込操作の検出処理については後述する（たとえば図７参照）。

つぎに、情報処理装置２０２は、ステップＳ３１９による検出結果に基づいて、取込操作があったか否かを判断する（ステップＳ３２０）。取込操作がなかった場合（ステップＳ３２０：Ｎｏ）は、情報処理装置２０２は、第２タイマによる計時時間が第２閾値を超えたか否かを判断する（ステップＳ３２１）。計時時間が第２閾値を超えていない場合（ステップＳ３２１：Ｎｏ）は、情報処理装置２０２は、ステップＳ３２０へ戻る。

ステップＳ３２１において、計時時間が第２閾値を超えた場合（ステップＳ３２１：Ｙｅｓ）は、情報処理装置２０２は、取込フレームが決定されてから一定時間以上、撮影者による取込操作がなかったと判断することができる。この場合は、情報処理装置２０２は、図３−１に示したステップＳ３０１へ戻り（符号Ｂ）、フレーミング操作の検出からやり直す。

ステップＳ３２０において、取込操作があった場合（ステップＳ３２０：Ｙｅｓ）は、情報処理装置２０２は、撮像素子２０４からの画像データを取得する（ステップＳ３２２）。つぎに、情報処理装置２０２は、ステップＳ３２２によって取得した画像データのうちの、現在の取込フレーム［ｎ］内の画像を示す画像データを記憶装置２０７に記憶させる（ステップＳ３２３）。これにより、撮像素子２０４によって得られた画像データが示す画像のうちの撮影者がフレーミング操作によって指定した範囲の画像を示す画像データを記憶装置２０７に取り込むことができる。

また、情報処理装置２０２は、ステップＳ３２２によって取得した画像データのうちの、取込フレーム［ｎ］内の画像を表示装置２０６によって表示し（ステップＳ３２４）、一連の処理を終了する。ステップＳ３２４により、撮影者は、取り込まれた画像データの内容を確認することができる。

（指領域の特定処理）
図４は、指領域の特定処理の一例を示すフローチャートである。図３−１に示したステップＳ３０３，Ｓ３１０において、情報処理装置２０２は、指領域の特定処理としてたとえば図４に示す各ステップを実行する。まず、情報処理装置２０２は、撮像素子２０４によって得られた画像データが示す画像の各画素について、色が所定範囲（たとえば肌色）に含まれるか否かを判定する（ステップＳ４０１）。

つぎに、情報処理装置２０２は、ステップＳ４０１による判定結果に基づいて、画像データが示す画像のうちの色が所定範囲に含まれると判定した画素が連続する領域を抽出する（ステップＳ４０２）。つぎに、情報処理装置２０２は、ステップＳ４０２によって抽出した各領域のうちの、画像データが示す画像の端部に接する領域を指領域として特定し（ステップＳ４０３）、一連の特定処理を終了する。

（フレーミング操作の検出処理）
図５は、フレーミング操作の検出処理の一例を示すフローチャートである。図３−１に示したステップＳ３０４において、情報処理装置２０２は、フレーミング操作の検出処理としてたとえば図５に示す各ステップを実行する。まず、情報処理装置２０２は、画像データが示す画像における指領域のＹ軸方向およびＸ軸方向の度数分布を算出する（ステップＳ５０１）。

つぎに、情報処理装置２０２は、ステップＳ５０１によって算出したＹ軸方向の度数分布におけるピーク位置を検出する（ステップＳ５０２）。また、情報処理装置２０２は、ステップＳ５０１によって算出したＸ軸方向の度数分布におけるピーク位置を検出する（ステップＳ５０３）。ピーク位置は、たとえば、分布方向に対して度数が増加から減少に転じる分布位置である。たとえば、ピーク位置は、分布方向の変化に対する度数の微分値を算出することによって検出することができる。

つぎに、情報処理装置２０２は、ステップＳ５０２，Ｓ５０３による検出結果に基づいて、Ｙ軸方向およびＸ軸方向の各度数分布においてピーク位置の数が１であるか否かを判断する（ステップＳ５０４）。Ｙ軸方向の度数分布およびＸ軸方向の度数分布の少なくとも一方においてピーク位置の数が１でない場合（ステップＳ５０４：Ｎｏ）は、情報処理装置２０２は、対物レンズ２０３の前に出した撮影者の指によるフレーミング操作がなかったと判定し（ステップＳ５０５）、一連の検出処理を終了する。

ステップＳ５０４において、Ｙ軸方向およびＸ軸方向の各度数分布においてピーク位置の数が１である場合（ステップＳ５０４：Ｙｅｓ）は、Ｌ字型の指領域が検出されたと判断することができる。この場合は、情報処理装置２０２は、対物レンズ２０３の前に出した撮影者の指によるフレーミング操作があったと判定し（ステップＳ５０６）、一連の検出処理を終了する。

（取込フレーム［ｎ］の決定処理）
図６−１は、取込フレーム［ｎ］の決定処理（左手用）の一例を示すフローチャートである。図３−１に示したステップＳ３１１において、情報処理装置２０２は、取込フレーム［ｎ］の決定処理としてたとえば図６−１に示す各ステップを実行する。図６−１については、撮影者が左手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合について説明する。

まず、情報処理装置２０２は、撮像素子２０４によって得られた画像データが示す画像における指領域のＹ軸方向およびＸ軸方向の度数分布を算出する（ステップＳ６０１）。つぎに、情報処理装置２０２は、ステップＳ６０１によって算出したＹ軸方向の度数分布におけるＹ軸方向の最大値Ｙｍを検出する（ステップＳ６０２）。また、情報処理装置２０２は、ステップＳ６０１によって算出したＸ軸方向の度数分布におけるＸ軸方向の最大値Ｘｍを検出する（ステップＳ６０３）。

つぎに、情報処理装置２０２は、ステップＳ６０１によって算出したＹ軸方向の度数分布におけるピーク位置Ｙｐ１を検出する（ステップＳ６０４）。つぎに、情報処理装置２０２は、取込フレームのＹ軸方向の長さＹＬＴｍａｘをＹｍ−Ｙｐ１により算出する（ステップＳ６０５）。ＹｍはステップＳ６０２により検出された最大値である。Ｙｐ１はステップＳ６０４により検出されたピーク位置である。

つぎに、情報処理装置２０２は、取込フレームの対角座標を算出する（ステップＳ６０６）。たとえば、情報処理装置２０２は、ステップＳ６０２〜Ｓ６０５の各結果に基づいて、（Ｘｍ，Ｙｐ１）および（Ｘｍ＋（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）を取込フレームの対角座標として算出する。Ｎは取込フレームのＹ軸方向の長さに対するＸ軸方向の長さの比率（アスペクト比）である。つぎに、情報処理装置２０２は、取込フレーム［ｎ］を、ステップＳ６０６により算出した対角座標に基づく範囲に決定し（ステップＳ６０７）、一連の決定処理を終了する。

図６−２は、取込フレーム［ｎ］の決定処理（右手用）の一例を示すフローチャートである。図３−１に示したステップＳ３１１において、情報処理装置２０２は、取込フレーム［ｎ］の決定処理としてたとえば図６−２に示す各ステップを実行してもよい。図６−２については、撮影者が右手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合について説明する。

図６−２に示すように、撮影者が右手の指によりフレーミング操作を行う場合は、ステップＳ６０３において、情報処理装置２０２は、ステップＳ６０１によって算出したＸ軸方向の度数分布におけるＸ軸方向の最小値Ｘｍｉｎを検出する。また、情報処理装置２０２は、ステップＳ６０６において、（Ｘｍｉｎ，Ｙｐ１）および（Ｘｍｉｎ−（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）を取込フレームの対角座標として算出する。

（取込操作の検出処理）
図７は、取込操作の検出処理の一例を示すフローチャートである。図３−２に示したステップＳ３１９において、情報処理装置２０２は、取込操作の検出処理としてたとえば図７に示す各ステップを実行する。まず、情報処理装置２０２は、撮像素子２０４からの画像データを取得する（ステップＳ７０１）。

つぎに、情報処理装置２０２は、ステップＳ７０１によって取得した画像データが示す画像に含まれる、撮影者の指が写った指領域の特定処理を行う（ステップＳ７０２）。ステップＳ７０２による指領域の特定処理は、たとえば図４に示した特定処理によって実現することができる。つぎに、情報処理装置２０２は、ステップＳ７０１によって取得した画像データが示す画像における指領域のＹ軸方向およびＸ軸方向の度数分布を算出する（ステップＳ７０３）。

つぎに、情報処理装置２０２は、ステップＳ７０３によって算出したＹ軸方向の度数分布におけるピーク位置を検出する（ステップＳ７０４）。つぎに、情報処理装置２０２は、ステップＳ７０４によって検出したＹ軸方向の度数分布におけるピーク位置の数が２であるか否かを判断する（ステップＳ７０５）。Ｙ軸方向の度数分布におけるピーク位置の数が２でない場合（ステップＳ７０５：Ｎｏ）は、情報処理装置２０２は、撮影者による取込操作がなかったと判定し（ステップＳ７０６）、一連の検出処理を終了する。

ステップＳ７０５において、Ｙ軸方向の度数分布におけるピーク位置の数が２である場合（ステップＳ７０５：Ｙｅｓ）は、情報処理装置２０２は、ステップＳ７０３によって算出したＸ軸方向の度数分布におけるピーク位置を検出する（ステップＳ７０７）。つぎに、情報処理装置２０２は、ステップＳ７０７によって検出したＸ軸方向の度数分布におけるピーク位置の数が１であるか否かを判断する（ステップＳ７０８）。Ｘ軸方向の度数分布におけるピーク位置の数が１でない場合（ステップＳ７０８：Ｎｏ）は、情報処理装置２０２は、ステップＳ７０６へ移行する。

ステップＳ７０８において、Ｘ軸方向の度数分布におけるピーク位置の数が１である場合（ステップＳ７０８：Ｙｅｓ）は、情報処理装置２０２は、ステップＳ７０９へ移行する。すなわち、情報処理装置２０２は、ステップＳ７０４によって検出したＹ軸方向の度数分布における２つのピーク位置Ｙｐ１，Ｙｐ２（Ｙｐ１＜Ｙｐ２）を取得する（ステップＳ７０９）。

つぎに、情報処理装置２０２は、ステップＳ７０９によって取得したピーク位置Ｙｐ１，Ｙｐ２に基づいて、ピーク位置Ｙｐ１に対するピーク位置Ｙｐ２の比率Ｙｐ２／Ｙｐ１が所定比率より小さいか否かを判断する（ステップＳ７１０）。比率Ｙｐ２／Ｙｐ１が所定比率より小さくない場合（ステップＳ７１０：Ｎｏ）は、情報処理装置２０２は、ステップＳ７０６へ移行する。

ステップＳ７１０において、比率Ｙｐ２／Ｙｐ１が所定比率より小さい場合（ステップＳ７１０：Ｙｅｓ）は、撮影者が一方の指先を曲げたと判断することができる。この場合は、情報処理装置２０２は、撮影者による取込操作があったと判定し（ステップＳ７１１）、一連の検出処理を終了する。

（指領域の特定）
つぎに、撮影者が左手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合における指領域の特定の具体例について説明する。以下、便宜上、画像データが示す画面の左下を原点（０，０）とし、Ｘ軸右側を正方向、Ｙ軸上側を正方向として説明する。

図８−１〜図８−４は、指領域の特定の一例を示す図である。まず、図８−１に示すように、撮像素子２０４によって画像８００を示す画像データが得られたとする。画像８００は表示装置２０６によって表示される（ライブビュー）。図８−１に示す例では、画像８００には被写体領域８０１〜８０６が含まれている。

また、画像８００のうちの被写体領域８０１，８０３，８０５の部分のみが肌色であるとする。また、被写体領域８０１は、撮影者の指が写った部分である。情報処理装置２０２は、画像８００の各画素について、各色の輝度（Ｒ，Ｇ，Ｂ）が所定範囲（Ｒ１，Ｇ１，Ｂ１）〜（Ｒ２，Ｇ２，Ｂ２）に含まれるか否かを判定することにより、色が肌色であるか否かを判定する。たとえば、情報処理装置２０２は、画像８００の各画素について、肌色である画素を「１」とし、肌色でない画素を「０」とする二値化を行う。

そして、情報処理装置２０２は、「１」の画素が連続する領域を抽出することにより、図８−２に示すように、肌色の画素が連続する領域である被写体領域８０１，８０３，８０５を抽出することができる。

つぎに、情報処理装置２０２は、抽出した被写体領域８０１，８０３，８０５のうちの、画像８００の端部に接する領域を指領域として特定する。たとえば、情報処理装置２０２は、図８−３に示すように、被写体領域８０１，８０３，８０５のうちの、画像８００の端部に接する被写体領域８０１を特定する。

また、情報処理装置２０２は、「１」の画素が連続し、かつ画像８００の端部に接する領域を直接特定してもよい。たとえば、情報処理装置２０２は、画像８００の原点（０，０）をスタート地点とし、以下のように画像８００の画素を順次走査して点をつないでいく手法を用いることにより対象物の外形の形状（輪郭）を抽出することができる。

（１）画像８００の境界上の未追跡の１画素を探し、あればその１画素を始点として記録し、なければ終了する。

（２）記録した始点の画素の周囲を反時計まわりに探索して境界上の１画素を特定し、特定した１画素をマーク済み（境界）とする。

（３）特定した１画素が始点に一致していなければ（２）へ戻り、一致していたら（１）へ戻って新しい境界の始点を探す。

そして、情報処理装置２０２は、図８−４に示すように、被写体領域８０１，８０３，８０５のうちの、特定した被写体領域８０１以外の被写体領域８０３，８０５をマスキングする。これにより、画像８００に含まれる指領域として被写体領域８０１を得ることができる。

（取込フレームの決定）
つぎに、撮影者が左手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合における取込フレームの決定（たとえば図６−１参照）の具体例について説明する。

図９は、取込フレームの決定の一例を示す図である。図９において、図８−４に示した部分と同様の部分については同一の符号を付して説明を省略する。また、Ｙ軸方向ヒストグラム９１０は、指領域として特定した被写体領域８０１におけるＹ軸方向の度数（Ｙ軸画素累積数）分布を示すヒストグラムである。Ｘ軸方向ヒストグラム９２０は、指領域として特定した被写体領域８０１におけるＸ軸方向の度数（Ｘ軸画素累積数）分布を示すヒストグラムである。

最大値Ｙｍは、Ｙ軸方向ヒストグラム９１０が示すＹ軸方向の度数分布におけるＹ軸方向の最大値である。ピーク位置Ｙｐ１は、Ｙ軸方向ヒストグラム９１０が示すＹ軸方向の度数分布における、度数が最大のピーク位置である。ＹＬＴｍａｘは、最大値Ｙｍとピーク位置Ｙｐ１との差分である。

最大値Ｘｍは、Ｘ軸方向ヒストグラム９２０が示すＸ軸方向の度数分布におけるＸ軸方向の最大値である。ピーク位置Ｘｐ１は、Ｘ軸方向ヒストグラム９２０が示すＸ軸方向の度数分布における、度数が最大のピーク位置である。

情報処理装置２０２は、画像８００のうちの座標９１１，９１２を、取込フレームの対角座標として算出する。座標９１１は（Ｘｍ，Ｙｐ１）である。座標９１２は（Ｘｍ＋（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）である。Ｎは取込フレームのＹ軸方向の長さに対するＸ軸方向の長さの比率（アスペクト比）である。そして、情報処理装置２０２は、座標９１１，９１２を対角座標とする取込フレーム９１３を取込範囲として決定する。

つぎに、撮影者が右手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合における取込フレームの決定（たとえば図６−２参照）の具体例について説明する。

図１０は、取込フレームの決定の別の例を示す図である。図１０において、図９に示した部分と同様の部分については同一の符号を付して説明を省略する。

最小値Ｘｍｉｎは、Ｘ軸方向ヒストグラム９２０が示すＸ軸方向の度数分布におけるＸ軸方向の最小値である。撮影者が右手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合は、情報処理装置２０２は、たとえば、図１０に示す画像８００のうちの座標９１１，９１２を、取込フレームの対角座標として算出する。座標９１１は（Ｘｍｉｎ，Ｙｐ１）である。座標９１２は（Ｘｍｉｎ−（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）である。そして、情報処理装置２０２は、座標９１１，９１２を対角座標とする取込フレーム９１３を取込範囲として決定する。

また、情報処理装置２０２は、撮影者がフレーミング操作を左手および右手のいずれかによって行っているかを判定してもよい。そして、情報処理装置２０２は、左右の判定結果に応じて、図６−１，図９に示した左手用の決定処理と、図６−２，図１０に示した右手用の決定処理と、のいずれかを行う。

たとえば、情報処理装置２０２は、最小値Ｘｍｉｎが、画像８００のＸ軸方向の長さＸＦｒａｍａｘの半分より小さければ、撮影者がフレーミング操作を左手によって行っていると判断し、図６−１，図９に示した左手用の決定処理を行う。一方、情報処理装置２０２は、最小値Ｘｍｉｎが、画像８００のＸ軸方向の長さＸＦｒａｍａｘの半分より大きければ、撮影者がフレーミング操作を右手によって行っていると判断し、図６−２，図１０に示した右手用の決定処理を行う。これにより、撮影者が左右いずれの手によってフレーミング操作を行っても取込フレームの決定処理を行うことができる。

ただし、撮影者がフレーミング操作を左手および右手のいずれかによって行っているかの判定についてはこれに限らず、各種の判定方法を用いることができる。たとえば、Ｘ軸方向ヒストグラム９２０におけるＸ＝０の度数と、Ｘ軸方向ヒストグラム９２０におけるＸ＝ＸＦｒａｍａｘの度数と、の比較に基づいて判定を行ってもよい。

（取込操作の検出）
つぎに、撮影者が左手の指を対物レンズ２０３の前に出して取込操作を行う場合における取込操作の検出（たとえば図７参照）の具体例について説明する。

図１１は、取込操作の検出（左手用）の一例を示す図である。図１１において、図９に示した部分と同様の部分については同一の符号を付して説明を省略する。図１１に示すように、撮影者は、写真を取り込みたいタイミングにおいて人差し指を曲げる。これにより、Ｙ軸方向ヒストグラム９１０には２つのピーク位置Ｙｐ１，Ｙｐ２が生じる。

情報処理装置２０２は、Ｙ軸方向ヒストグラム９１０において２つのピーク位置Ｙｐ１，Ｙｐ２が検出されると、ピーク位置Ｙｐ１に対するピーク位置Ｙｐ２の比率Ｙｐ２／Ｙｐ１が所定比率より小さいか否かを判断する。そして、情報処理装置２０２は、比率Ｙｐ２／Ｙｐ１が所定比率より小さい場合に撮影者による取込操作があったと判定する。これにより、撮影者が指先を曲げることにより、画像データの取込を行うことができる。

また、撮影者が人差し指を曲げると最大値Ｙｍが小さくなる。このため、情報処理装置２０２は、所定期間内の最大値Ｙｍの減少量が所定値を超えた場合に取込操作があったと判定してもよい。または、情報処理装置２０２は、ピーク位置Ｙｐ１に対する最大値Ｙｍの比率Ｙｍ／Ｙｐ１が所定比率より小さい場合に取込操作があったと判定してもよい。これにより、ピーク位置Ｙｐ２を検出しなくても取込操作を検出することができる。

つぎに、撮影者が右手の指を対物レンズ２０３の前に出して取込操作を行う場合における取込操作の検出の具体例について説明する。

図１２は、取込操作の検出（右手用）の一例を示す図である。図１２において、図１１に示した部分と同様の部分については同一の符号を付して説明を省略する。図１２に示すように、撮影者は、写真を取り込みたいタイミングにおいて右手の人差し指を曲げる。これにより、Ｙ軸方向ヒストグラム９１０には２つのピーク位置Ｙｐ１，Ｙｐ２が生じる。

この場合も、情報処理装置２０２は、Ｙ軸方向ヒストグラム９１０において２つのピーク位置Ｙｐ１，Ｙｐ２が検出されると、ピーク位置Ｙｐ１に対するピーク位置Ｙｐ２の比率Ｙｐ２／Ｙｐ１が所定比率より小さいか否かを判断する。そして、情報処理装置２０２は、比率Ｙｐ２／Ｙｐ１が所定比率より小さい場合に撮影者による取込操作があったと判定する。これにより、撮影者が右手の指先を曲げることにより、画像データの取込を行うことができる。

また、撮影者が人差し指を曲げると最大値Ｙｍが小さくなる。このため、情報処理装置２０２は、所定期間内の最大値Ｙｍの減少量が所定値を超えた場合に取込操作があったと判定してもよい。または、情報処理装置２０２は、ピーク位置Ｙｐ１に対する最大値Ｙｍの比率Ｙｍ／Ｙｐ１が所定比率より小さい場合に取込操作があったと判定してもよい。これにより、ピーク位置Ｙｐ２を検出しなくても取込操作を検出することができる。

（取込フレームの決定の他の例）
つぎに、撮影者が左手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合における取込フレームの決定の別の具体例について説明する。

図１３は、取込フレームの決定の他の例を示す図である。図１３において、図９に示した部分と同様の部分については同一の符号を付して説明を省略する。図１３に示すように、情報処理装置２０２は、座標９１１を（Ｘｐ１，Ｙｐ１）によって算出し、座標９１２を（Ｘｐ１＋（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）によって算出してもよい。これにより、撮影者の指によって指示されるＬ字形状の部分が取込フレーム９１３の左下の角と一致し、撮影者はより直感的にフレーミング操作を行うことができる。

また、撮影者が左手の指を対物レンズ２０３の前に出してフレーミング操作を行う場合においても同様である。たとえば図１０において、情報処理装置２０２は、座標９１１を（Ｘｐ１，Ｙｐ１）によって算出し、座標９１２を（Ｘｐ１＋（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）によって算出してもよい。これにより、撮影者の指によって指示されるＬ字形状の部分が取込フレーム９１３の左下の角と一致し、撮影者はより直感的にフレーミング操作を行うことができる。

つぎに、この場合の撮影者による取込操作の具体例について説明する。

図１４は、撮影者による取込操作の具体例を示す図である。図１４において、図１１に示した部分と同様の部分については同一の符号を付して説明を省略する。たとえば図１３に示したように、座標９１１を（Ｘｐ１，Ｙｐ１）によって算出し、座標９１２を（Ｘｐ１＋（Ｎ＊ＹＬＴｍａｘ），Ｙｍ）によって算出する場合は、撮影者は、画像を取り込みたいタイミングにおいて、たとえば左手を左側へずらしてから人差し指を曲げる。これにより、被写体領域８０１の曲げた指先の部分が取込フレーム９１３に含まれてしまうことを回避することができる。

（取込フレームの決定のさらに他の例）
また、たとえば図１３において、情報処理装置２０２は、座標９１１を（Ｘｐ１＋Ｘｏｆｆｓｅｔ，Ｙｐ１＋Ｙｏｆｆｓｅｔ）によって算出し、座標９１２を（Ｘｐ１＋（Ｎ＊ＹＬＴｍａｘ）＋Ｘｏｆｆｓｅｔ，Ｙｍ＋Ｙｏｆｆｓｅｔ）によって算出してもよい。

これにより、撮影者の指によって指示されるＬ字形状に対してＸｏｆｆｓｅｔだけＸ軸の正方向に、ＹｏｆｆｓｅｔだけＹ軸の正方向にずれた位置が取込フレーム９１３の左下の角と一致する。このため、撮影者はより直感的にフレーミング操作を行うことができるとともに、フレーミング操作の後、左手をずらさずに人差し指を曲げても、被写体領域８０１の曲げた指先の部分が取込フレーム９１３に含まれることを回避することができる。

また、取込操作を、親指に対して人差し指をさらに開いたり、傾けたりする操作としてもよい。この場合も、被写体領域８０１の曲げた指先の部分が取込フレーム９１３に含まれることを回避することができる。

（親指による取込操作）
つぎに、撮影者の親指による取込操作について説明する。

（取込操作の検出処理）
図１５は、親指による取込操作の検出処理の一例を示すフローチャートである。図３−２に示したステップＳ３１９において、情報処理装置２０２は、取込操作の検出処理としてたとえば図１５に示す各ステップを実行してもよい。図１５に示すステップＳ１５０１〜Ｓ１５０４は、図７に示したステップＳ７０１〜Ｓ７０４と同様である。

ステップＳ１５０４のつぎに、情報処理装置２０２は、ステップＳ１５０４によって検出したＹ軸方向の度数分布におけるピーク位置の数が１であるか否かを判断する（ステップＳ１５０５）。Ｙ軸方向の度数分布におけるピーク位置の数が１でない場合（ステップＳ１５０５：Ｎｏ）は、情報処理装置２０２は、撮影者による取込操作がなかったと判定し（ステップＳ１５０６）、一連の検出処理を終了する。

ステップＳ１５０５において、Ｙ軸方向の度数分布におけるピーク位置の数が１である場合（ステップＳ１５０５：Ｙｅｓ）は、情報処理装置２０２は、ステップＳ１５０３によって算出したＸ軸方向の度数分布におけるピーク位置を検出する（ステップＳ１５０７）。つぎに、情報処理装置２０２は、ステップＳ１５０７によって検出したＸ軸方向の度数分布におけるピーク位置の数が２であるか否かを判断する（ステップＳ１５０８）。Ｘ軸方向の度数分布におけるピーク位置の数が２でない場合（ステップＳ１５０８：Ｎｏ）は、情報処理装置２０２は、ステップＳ１５０６へ移行する。

ステップＳ１５０８において、Ｘ軸方向の度数分布におけるピーク位置の数が２である場合（ステップＳ１５０８：Ｙｅｓ）は、情報処理装置２０２は、ステップＳ１５０９へ移行する。すなわち、情報処理装置２０２は、ステップＳ１５０７によって検出したＸ軸方向の度数分布における２つのピーク位置Ｘｐ１，Ｘｐ２（Ｘｐ１＜Ｘｐ２）を取得する（ステップＳ１５０９）。

つぎに、情報処理装置２０２は、ステップＳ１５０９によって取得したピーク位置Ｘｐ１，Ｘｐ２に基づいて、ピーク位置Ｘｐ１に対するピーク位置Ｘｐ２の比率Ｘｐ２／Ｘｐ１が所定比率より小さいか否かを判断する（ステップＳ１５１０）。比率Ｘｐ２／Ｘｐ１が所定比率より小さくない場合（ステップＳ１５１０：Ｎｏ）は、情報処理装置２０２は、ステップＳ１５０６へ移行する。

ステップＳ１５１０において、比率Ｘｐ２／Ｘｐ１が所定比率より小さい場合（ステップＳ１５１０：Ｙｅｓ）は、撮影者が一方の指先を曲げたと判断することができる。この場合は、情報処理装置２０２は、撮影者による取込操作があったと判定し（ステップＳ１５１１）、一連の検出処理を終了する。

（親指による取込操作の検出）
つぎに、親指による取込操作の検出の具体例について説明する。

図１６は、親指による取込操作の検出の一例を示す図である。図１６において、図９に示した部分と同様の部分については同一の符号を付して説明を省略する。図１６に示すように、撮影者は、写真を取り込みたいタイミングにおいて親指を曲げる。これにより、Ｘ軸方向ヒストグラム９２０には２つのピーク位置Ｘｐ１，Ｘｐ２が生じる。

情報処理装置２０２は、Ｘ軸方向ヒストグラム９２０において２つのピーク位置Ｘｐ１，Ｘｐ２が検出されると、ピーク位置Ｘｐ１に対するピーク位置Ｘｐ２の比率Ｘｐ２／Ｘｐ１が所定比率より小さいか否かを判断する。そして、情報処理装置２０２は、比率Ｘｐ２／Ｘｐ１が所定比率より小さい場合に撮影者による取込操作があったと判定する。これにより、撮影者が親指を曲げることにより、画像データの取込を行うことができる。

また、撮影者が親指を曲げると最大値Ｘｍが小さくなる。このため、情報処理装置２０２は、所定期間内の最大値Ｘｍの減少量が所定値を超えた場合に取込操作があったと判定してもよい。または、情報処理装置２０２は、ピーク位置Ｘｐ１に対する最大値Ｘｍの比率Ｘｍ／Ｘｐ１が所定比率より小さい場合に取込操作があったと判定してもよい。これにより、ピーク位置Ｘｐ２を検出しなくても取込操作を検出することができる。

（動画への適用）
つぎに、撮影装置１００の動画への適用例を説明する。

（動画像の取込処理）
図１７は、動画像の取込処理の一例を示すフローチャートである。図２に示した情報処理装置２０２は、動画像を取り込む場合にたとえば図１７に示す各ステップを実行する。

図１７に示すステップＳ１７０１〜Ｓ１７０４は、図３−１に示したステップＳ３０１〜Ｓ３０４と同様である。ステップＳ１７０４のつぎに、情報処理装置２０２は、ステップＳ１７０４による検出結果に基づいて、撮影者によるフレーミング操作があったか否かを判断する（ステップＳ１７０５）。フレーミング操作がなかった場合（ステップＳ１７０５：Ｎｏ）は、ステップＳ１７０１によって取得した画像データを記憶装置２０７に記憶させ（ステップＳ１７０６）、ステップＳ１７０１へ戻る。

ステップＳ１７０５において、フレーミング操作があった場合（ステップＳ１７０５：Ｙｅｓ）は、情報処理装置２０２は、ステップＳ１７０３による特定処理によって特定した指領域に基づく取込フレームの決定処理を行う（ステップＳ１７０７）。ステップＳ１７０７の決定処理は、たとえば図６−１，図６−２に示した決定処理によって実現することができる。

つぎに、情報処理装置２０２は、ステップＳ１７０１によって取得した画像データのうちの、ステップＳ１７０７によって決定された取込フレーム内の画像を示す画像データを記憶装置２０７に記憶させる（ステップＳ１７０８）。表示装置２０６によって、ステップＳ１７０１で取得した画像データが示す画像上に、ステップＳ１７０７によって決定された取込フレームを表示する（ステップＳ１７０９）。

つぎに、情報処理装置２０２は、動画撮影を終了するか否かを判断する（ステップＳ１７１０）。動画撮影を終了するか否かの判断は、たとえば入力インターフェース２０８によって撮影者からの終了指示を受け付けたか否かを判定することによって行うことができる。動画撮影を終了すると判断した場合（ステップＳ１７１０：Ｙｅｓ）は、情報処理装置２０２は、一連の処理を終了する。

ステップＳ１７１０において、動画撮影を終了しないと判断した場合（ステップＳ１７１０：Ｎｏ）は、情報処理装置２０２は、ステップＳ１７０１へ戻る。このとき、情報処理装置２０２は、動画像のフレームレートに応じたつぎの取込周期となるまで待機してからステップＳ１７０１へ戻ってもよい。

また、動画像の取込処理は上記の各ステップに限らない。たとえば、情報処理装置２０２は、フレーミング操作が一度検出されると、つぎにフレーミング操作が検出されるまで取込フレームを固定してもよい。

また、情報処理装置２０２は、たとえば取込フレーム内に人物の顔が含まれていた場合に、人物の顔の位置の変化に対して取込フレームの位置を追従させてもよい。これにより、狙った人をフレームアウトさせずに撮影し続けることができる。

以上説明したように、画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末によれば、撮影の容易化を図ることができる。

また、たとえば撮影者の指輪を基準にフレーミングを行う技術に比べて、撮影のたびに特定の指輪を装着しなくてもフレーミングを行うことができるため、利便性を向上させることができる。

なお、本実施の形態で説明した画像取込方法は、たとえば、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布されてもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定する特定部と、
前記特定部によって特定された領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出する算出部と、
前記算出部によって算出された前記度数分布に基づく取込範囲を決定する決定部と、
所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの前記決定部によって決定された取込範囲の画像を示す画像データを記憶装置に記憶させる取込部と、
を備えることを特徴とする画像取込装置。

（付記２）前記決定部は、前記第１方向の度数分布のピーク位置および前記第２方向の度数分布における前記第２方向の最大値に基づく位置と、前記第２方向の最大値より正側の位置と、によって前記取込範囲を決定することを特徴とする付記１に記載の画像取込装置。

（付記３）前記決定部は、前記第１方向の度数分布のピーク位置および前記第２方向の度数分布における前記第２方向の最小値に基づく位置と、前記第２方向の最小値より負側の位置と、によって前記取込範囲を決定することを特徴とする付記１に記載の画像取込装置。

（付記４）前記決定部は、
前記第１方向の度数分布のピーク位置および前記第２方向の度数分布における前記第２方向の最大値に基づく位置と、前記第２方向の最大値より正側の位置と、によって前記取込範囲を決定する第１決定処理と、
前記第１方向の度数分布のピーク位置および前記第２方向の度数分布における前記第２方向の最小値に基づく位置と、前記第２方向の最小値より負側の位置と、によって前記取込範囲を決定する第２決定処理と、
を実行可能であり、前記画像における前記領域の前記第２方向の位置を判定し、判定結果に基づいて前記第１決定処理および前記第２決定処理を切り替えることを特徴とする付記１に記載の画像取込装置。

（付記５）静止画像を取り込む画像取込装置であって、
前記所定の取込タイミングは、前記算出部によって算出された度数分布の所定の変化が検出されたタイミングである、
ことを特徴とする付記１〜４のいずれか一つに記載の画像取込装置。

（付記６）前記所定の取込タイミングは、前記第１方向の度数分布の所定のピーク位置の数が変化したタイミングであることを特徴とする付記５に記載の画像取込装置。

（付記７）前記所定の取込タイミングは、前記第１方向の度数分布の所定のピーク位置と、前記第１方向の度数分布における前記第１方向の最小値または最大値と、の差異の所定の変化が検出されたタイミングであることを特徴とする付記５に記載の画像取込装置。

（付記８）動画像を取り込む画像取込装置であって、
前記所定の取込タイミングは周期的なタイミングである、
ことを特徴とする付記１〜４のいずれか一つに記載の画像取込装置。

（付記９）撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定し、
特定した前記領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出し、
算出した前記度数分布に基づく取込範囲を決定し、
所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの決定した前記取込範囲の画像を示す画像データを記憶装置に記憶させる、
ことを特徴とする画像取込方法。

（付記１０）コンピュータに、
撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定し、
特定した前記領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出し、
算出した前記度数分布に基づく取込範囲を決定し、
所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの決定した前記取込範囲の画像を示す画像データを記憶装置に記憶させる、
処理を実行させることを特徴とする画像取込プログラム。

（付記１１）撮像素子と、
記憶装置と、
前記撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定する特定部と、
前記特定部によって特定された領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出する算出部と、
前記算出部によって算出された前記度数分布に基づく取込範囲を決定する決定部と、
所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの前記決定部によって決定された取込範囲の画像を示す画像データを前記記憶装置に記憶させる取込部と、
を備えることを特徴とする移動通信端末。

（付記１２）撮像素子によって得られた画像データが示す画像のうちの指が写った領域であって前記画像の端部に接する領域を特定する特定部と、
前記特定部によって特定された領域に基づく取込範囲を決定する決定部と、
所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの前記決定部によって決定された取込範囲の画像を示す画像データを記憶装置に記憶させる取込部と、
を備えることを特徴とする画像取込装置。

１００ 撮影装置
１１０，２０４ 撮像素子
１２０ 画像取込装置
１２１ 特定部
１２２ 算出部
１２３ 決定部
１２４ 取込部
１３０，２０７ 記憶装置
２００ 移動通信端末
２０１ 通信装置
２０２ 情報処理装置
２０３ 対物レンズ
２０５ 画像バッファメモリ
２０６ 表示装置
２０８ 入力インターフェース
８００ 画像
８０１〜８０６ 被写体領域
９１０ Ｙ軸方向ヒストグラム
９１１，９１２ 座標
９１３ 取込フレーム
９２０ Ｘ軸方向ヒストグラム

Claims (7)

1. 撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定する特定部と、
   前記特定部によって特定された領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出する算出部と、
   前記算出部によって算出された前記度数分布に基づく取込範囲を決定する決定部と、
   所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの前記決定部によって決定された取込範囲の画像を示す画像データを記憶装置に記憶させる取込部と、
   を備えることを特徴とする画像取込装置。
2. 静止画像を取り込む画像取込装置であって、
   前記所定の取込タイミングは、前記算出部によって算出された度数分布の所定の変化が検出されたタイミングである、
   ことを特徴とする請求項１に記載の画像取込装置。
3. 動画像を取り込む画像取込装置であって、
   前記所定の取込タイミングは周期的なタイミングである、
   ことを特徴とする請求項１に記載の画像取込装置。
4. 撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定し、
   特定した前記領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出し、
   算出した前記度数分布に基づく取込範囲を決定し、
   所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの決定した前記取込範囲の画像を示す画像データを記憶装置に記憶させる、
   ことを特徴とする画像取込方法。
5. コンピュータに、
   撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定し、
   特定した前記領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出し、
   算出した前記度数分布に基づく取込範囲を決定し、
   所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの決定した前記取込範囲の画像を示す画像データを記憶装置に記憶させる、
   処理を実行させることを特徴とする画像取込プログラム。
6. 撮像素子と、
   記憶装置と、
   前記撮像素子によって得られた画像データが示す画像のうちの所定の色の領域であって前記画像の端部に接する領域を特定する特定部と、
   前記特定部によって特定された領域に含まれる画素の前記画像における第１方向および前記第１方向と交差する第２方向における度数分布を算出する算出部と、
   前記算出部によって算出された前記度数分布に基づく取込範囲を決定する決定部と、
   所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの前記決定部によって決定された取込範囲の画像を示す画像データを前記記憶装置に記憶させる取込部と、
   を備えることを特徴とする移動通信端末。
7. 撮像素子によって得られ指が写った画像データが示す画像のうちの前記指の部分の領域であって前記画像の端部に接する領域を特定する特定部と、
   前記特定部によって特定された領域に基づく取込範囲を決定する決定部と、
   所定の取込タイミングにおいて、前記撮像素子によって得られた画像データが示す画像のうちの前記決定部によって決定された取込範囲の画像を示す画像データを記憶装置に記憶させる取込部と、
   を備えることを特徴とする画像取込装置。

Images