JP7311617B2 - 処理装置、電子機器、処理方法、及びプログラム - Google Patents

Description

本開示の技術は、処理装置、電子機器、処理方法、及びプログラムに関する。

特許第６３２１１４５号には、測距装置が開示されている。特許第６３２１１４５号に記載の測距装置は、被写体を示す被写体像を結像する結像光学系により結像された被写体像を撮影する撮影部と、結像光学系の光軸方向に沿って、指向性のある光である指向性光を射出する射出部であって、指向性光の射出強度が調整可能であり、合焦状態特定情報と、被写体輝度又は露出状態特定情報と、の少なくとも一方に基づいて射出強度を調整して指向性光を射出する射出部と、指向性光の被写体からの反射光を受光する受光部と、射出部により指向性光が射出されたタイミング及び受光部により反射光が受光されたタイミングに基づいて被写体までの距離を導出する導出部と、撮影部による撮影に先立って、結像光学系の被写体への焦点調整、及び露出調整の少なくとも一方を実行する実行部と、実行部に対して焦点調整及び露出調整の少なくとも一方の実行を開始させる撮影準備指示の第１押圧操作と撮影部による本露光を開始させる撮影指示の第２押圧操作との２段階の押圧操作を受け付ける受付部と、受付部によって第１押圧操作が受け付けられた場合に、実行部により焦点調整及び露出調整の少なくとも一方が実行される制御を行い、焦点調整及び露出調整の少なくとも一方が実行されたことを条件に射出部、受光部、及び導出部による測距を開始させる制御を行い、測距が完了した後に、第１押圧操作が維持された状態で、情報を提示する提示部に対して、測距の結果に関する情報を提示させてから、受付部に対する押圧操作が解除されることなく第１押圧操作から引き続き第２押圧操作が受付部によって受け付けられた場合に、撮影部による本露光が行われる制御を行う制御部と、を含む。

特開２００６－１７１１２０号には、撮影装置が開示されている。特開２００６－１７１１２０号に記載の撮影装置は、撮影操作に先立って被写体コントラストを検知してピント調整を行う撮影装置であり、被写体コントラスト検出用に被写体に向けて相対的に波長帯域の広い光を照射する第１の補助光発光体と、被写体コントラスト検出用に被写体に向けて相対的に波長帯域の狭い光を照射する第２の補助光発光体と、第１の補助光発光体と第２の補助光発光体を切り替える切替手段と、を備えたことを特徴とする。

国際公開第２０１８／１４２９９３号には、発光制御装置が開示されている。国際公開第２０１８／１４２９９３号に記載の発光制御装置は、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）補助光の光量を設定する光量設定部と、光量設定部による設定に従って、ＡＦ補助光の発光を制御する発光制御部と、を備えている。

本開示の技術に係る一つの実施形態は、撮像領域に対して常に同一の照射エネルギーで照射される光に基づく測距と撮像領域に含まれる特定被写体の認識とが同時に行われる場合に比べ、測距と特定被写体の認識とを高精度に両立させることができる処理装置、電子機器、処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像部によって撮像領域が撮像されることで得られた撮像画像に基づいて認識部が撮像領域に含まれる特定被写体を認識する認識動作と、測距部が撮像領域に対して光を照射し、撮像領域に対する光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行う制御部と、測距動作毎に、撮像領域に対する光の照射エネルギーを変更する変更部とを含む処理装置である。

本開示の技術に係る第２の態様は、認識動作によって得られる認識結果と測距動作によって得られる測距結果とを複数回のうちの特定の回に合わせて特定の出力先に出力する出力部を更に含む第１の態様に係る処理装置である。

本開示の技術に係る第３の態様は、特定の出力先が、認識結果及び測距結果のうちの少なくとも一方を表示可能な表示部である第２の態様に係る処理装置である。

本開示の技術に係る第４の態様は、表示部が、特定被写体を示す特定被写体画像と、認識結果として特定被写体画像を取り囲む画像とを表示する第３の態様に係る処理装置である。

本開示の技術に係る第５の態様は、撮像部が、光軸に沿って移動可能なレンズを有し、制御部が、光軸上の位置であって、測距動作によって得られる測距結果に応じて定められた位置にレンズを光軸に沿って移動させる第１の態様から第４の態様の何れか一つの態様に係る処理装置である。

本開示の技術に係る第６の態様は、位置が、合焦位置である第５の態様に係る処理装置である。

本開示の技術に係る第７の態様は、撮像部が、光軸に沿って移動可能なレンズを有し、測距部が、認識動作に先立って、撮像領域に対して合焦制御用光を照射し、撮像領域に対する合焦制御用光による合焦制御用反射光を受光することで合焦制御用測距を行い、制御部は、合焦制御用測距によって得られる測距結果に応じて定められた合焦位置にレンズを光軸に沿って移動させる第１の態様から第４の態様の何れか一つの態様に係る処理装置である。

本開示の技術に係る第８の態様は、複数回の認識動作によって得られた複数の認識結果を用いた特定処理を行う処理部を更に含む第１の態様から第７の態様の何れか一つの態様に係る処理装置である。

本開示の技術に係る第９の態様は、認識動作によって得られる認識結果が、特定被写体と、認識動作に並行する測距動作で用いられる照射エネルギーとのうち少なくとも一方に応じて重みづけされる第１の態様から第８の態様の何れか一つの態様に係る処理装置である。

本開示の技術に係る第１０の態様は、制御部が、重みづけに従って選定された認識結果に基づいて撮像部に対して本露光による撮像を行わせる第９の態様に係る処理装置である。

本開示の技術に係る第１１の態様は、特定被写体が、顔である第１の態様から第１０の態様の何れか一つの態様に係る処理装置である。

本開示の技術に係る第１２の態様は、顔が、特定の表情の顔である第１１の態様に係る処理装置である。

本開示の技術に係る第１３の態様は、特定被写体が、閾値未満の反射率を有する物体である第１の態様から第１０の態様の何れか一つの態様に係る処理装置である。

本開示の技術に係る第１４の態様は、第１の態様から第１３の態様の何れか一つの態様に係る処理装置と、認識部及び測距部のうちの少なくとも一方とを含む電子機器である。

本開示の技術に係る第１５の態様は、撮像部によって撮像領域が撮像されることで得られた撮像画像に基づいて認識部が撮像領域に含まれる特定被写体を認識する認識動作と、測距部が撮像領域に対して光を照射し、撮像領域に対する光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行うこと、及び、測距動作毎に、撮像領域に対する光の照射エネルギーを変更することを含む処理方法である。

本開示の技術に係る第１６の態様は、コンピュータに、撮像部によって撮像領域が撮像されることで得られた撮像画像に基づいて認識部が撮像領域に含まれる特定被写体を認識する認識動作と、測距部が撮像領域に対して光を照射し、撮像領域に対する光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行うこと、及び、測距動作毎に、撮像領域に対する光の照射エネルギーを変更することを含む処理を実行させるためのプログラムである。

第１実施形態に係るスマートデバイスの使用態様の一例を示す概略斜視図である。 第１実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 第１実施形態に係るスマートデバイスに含まれる光電変換素子の構造の一例を示す概略斜視図である。 図２に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図である。 第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域が撮像され、ディスプレイに可視光画像が表示されている態様の一例を示す概念図である。 第１実施形態に係るスマートデバイスに含まれる測距撮像装置によって測距動作と認識動作が行われ、ディスプレイにライブビュー画像が表示されている態様の一例を示す概念図である。 第１実施形態に係るスマートデバイスによって静止画像を撮像した態様の一例を示す概念図である。 第１実施形態に係るスマートデバイスの電気系ハードウェアの構成の一例を示すブロック図である。 第１実施形態に係るスマートデバイスに含まれるＣＰＵによって撮像処理を実行する場合の撮像処理プログラム読み込みの一例を示す概念図である。 第１実施形態に係るスマートデバイスに含まれるＣＰＵによって撮像処理が行われる場合のＣＰＵ及び測距撮像装置の機能の一例を示す機能ブロック図である。 第１実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第２実施形態に係るスマートデバイスの電気系ハードウェアの構成の一例を示すブロック図である。 第２実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第２実施形態に係る撮像処理の流れの変形例を示すフローチャートである。 第３実施形態に係る撮像処理フローの一例を示すフローチャートである。 その他の実施形態に係るスマートデバイスに含まれるディスプレイに表示された測距範囲指定案内画面の一例を示す概略画面図である。 その他の実施形態に係るスマートデバイスに含まれるディスプレイにライブビュー画像として表示された可視光画像と指定画像領域との一例を示す概略画面図である。 その他の実施形態に係るスマートデバイスに含まれる光電変換素子の測距用区分領域から測距用指定区分領域への絞り方の一例の説明に供する概念図である。 その他の実施形態に係るスマートデバイスの外観構成の第１変形例を示す概略斜視図である。 その他の実施形態に係るスマートデバイスの外観構成の第２変形例を示す概略斜視図である。 その他の実施形態に係る測距撮像装置とスマートデバイスとを組み合わせた外観構成の一例を示す概略斜視図である。 撮像処理プログラムがスマートデバイスにインストールされる態様の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る測距撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。ＬＤとは、“Ｌａｓｅｒ Ｄｉｏｄｅ”の略称を指す。ＩＲとは、“Ｉｎｆｒａｒｅｄ”の略称を指す。ＡＰＤとは、“Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＬＥＤとは、“Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ”の略称を指す。ＲＯＩとは、“Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。Ｅｘｉｆとは、“Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ”の略称を指す。

本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの同一を指す。また、本明細書の説明において「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値及び上限値として含む範囲を意味する。

［第１実施形態］
一例として図１に示すように、第１実施形態によるスマートデバイス１０は、画角θ１で規定された撮像領域が撮像されることで得られた撮像画像に基づいて撮像領域に含まれる特定被写体を認識する認識動作と、撮像領域に対してレーザ光を照射し、撮像領域に対するレーザ光による反射光を受光することで測距を行う測距動作とを行う。レーザ光は、本開示の技術に係る「光」の一例である。

本実施形態において、「測距」とは、スマートデバイス１０から撮像領域内の測距対象までの距離を測定する処理を指す。また、ここで、「測距対象」とは、光を反射する物体を指し、図１に示す例では、撮像領域内の測距対象として、人物及び樹木が示されている。なお、スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。

一例として図２に示すように、スマートデバイス１０は、筐体１２を備えている。筐体１２には、測距撮像装置１４が収容されている。測距撮像装置１４は、光照射器１６及び受光器１８を備えている。光照射器１６は、ＬＤ２４を備えており、受光器１８は、光電変換素子２６を備えている。スマートデバイス１０において、撮像動作及び測距動作は、測距撮像装置１４によって行われる。なお、測距撮像装置１４は、本開示の技術に係る「撮像部（撮像装置）」及び「測距部（測距装置）」の一例である。

スマートデバイス１０の側面には、指示キー１３が配置されている。指示キー１３は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。

スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの上部（縦置きの状態のスマートデバイス１０の背面視上部）には、透光窓２０及び２２が設けられている。透光窓２０及び２２は、透光性を有する光学素子（例えば、レンズ）であり、水平方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。光照射器１６は、ＬＤ２４から出射されたレーザ光を、透光窓２０を介して測距対象に照射する。本実施形態では、赤外波長域のレーザ光が採用されている。しかし、レーザ光の波長域は、これに限らず、他の波長域のレーザ光であってもよい。

受光器１８は、透光窓２２を介してＩＲ反射光を取り込む。ＩＲ反射光とは、光照射器１６によって測距対象に照射されたレーザ光による反射光を指す。また、受光器１８は、透光窓２２を介して可視反射光を取り込む。可視反射光とは、撮像領域に対して照射された可視光（例えば、太陽光に含まれる可視光）による反射光を指す。なお、以下では、説明の便宜上、ＩＲ反射光と可視反射光とを区別して説明する必要がない場合、単に「反射光」と称する。

受光器１８は、光電変換素子２６を備えており、光電変換素子２６は、透光窓２２を介して受光器１８に取り込まれた反射光を受光し、受光した反射光の光量に応じた電気信号を出力する。

一例として図３に示すように、光電変換素子２６は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子２６に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑色）波長域に対応するＧフィルタ、Ｒ（赤色）波長域に対応するＲフィルタ、Ｂ（青色）波長域に対応するＢフィルタ、及びＩＲ（赤外）波長域に対応するＩＲフィルタを含む。なお、本実施形態において、Ｇフィルタ、Ｒフィルタ、及びＢフィルタは、赤外光をカットする赤外光カットフィルタとしての機能も有する。また、以下では、説明の便宜上、Ｇフィルタ、Ｒフィルタ、及びＢフィルタを区別して説明する必要がない場合、「可視光フィルタ」とも称する。

光電変換素子２６は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素であり、ＩＲ画素は、ＩＲフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態において、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列は、Ｘ－Ｔｒａｎｓ（登録商標）配列のうち、一部のＧ画素をＩＲ画素に置き換えられることで得られた配列である。ＩＲ画素は、行方向及び列方向に沿って特定の周期性で配置されている。

なお、ここでは、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列として、Ｘ－Ｔｒａｎｓ配列を基礎とした配列が例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列は、ベイヤ配列又はハニカム（登録商標）配列などの他の配列を基礎とした配列であってもよい。

また、ここでは、Ｒ画素、Ｇ画素、及びＢ画素の配列として一般的に知られている配列のうち、一部のＧ画素がＩＲ画素に置き換えられることで得られた配列がＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列として例示されているが、本開示の技術はこれに限定されない。例えば、Ｒ画素、Ｇ画素、及びＢ画素（以下、これらを「可視光画素」とも称する）の各々に対応する各カラーフィルタを、赤外光も透過させるカラーフィルタとし、１つのカラーフィルタにつき、可視光画素用のフォトダイオードとＩＲ画素用のフォトダイオート（例えば、ＩｎＧａＡｓ ＡＰＤ）による一対のフォトダイオードが配置されるようにしてもよい。

本実施形態において、光電変換素子２６は、２つの領域に区分される。すなわち、光電変換素子２６は、可視光画像用区分領域２６Ｎ１と測距用区分領域２６Ｎ２とを有する。可視光画像用区分領域２６Ｎ１は、複数の可視光画素による可視光画素群であり、可視光画像の生成に用いられる。測距用区分領域２６Ｎ２は、複数のＩＲ画素によるＩＲ画素群であり、測距に用いられる。可視光画像用区分領域２６Ｎ１は、可視反射光を受光し、受光量に応じた電気信号を出力する。測距用区分領域２６Ｎ２は、ＩＲ反射光を受光し、受光量に応じた電気信号を出力する。

一例として図４に示すように、筐体１２の前面１２Ｂには、タッチパネル・ディスプレイ５９が設けられている。タッチパネル・ディスプレイ５９は、ディスプレイ４６及びタッチパネル４８を備えている。ディスプレイ４６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ４６は、有機ＥＬディスプレイではなく、液晶ディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ４６は、本開示の技術に係る「表示部」の一例である。

ディスプレイ４６は、画像及び文字情報等を表示する。タッチパネル４８は、透過型のタッチパネルであり、ディスプレイ４６の表示領域の表面に重ねられている。タッチパネル４８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、ここでは、タッチパネル・ディスプレイ５９の一例として、タッチパネル４８がディスプレイ４６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ５９として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

一例として図５に示すように、スマートデバイス１０では、撮像を開始する指示がタッチパネル４８によって受け付けられると、受光器１８によって撮像領域が撮像される。すなわち、受光器１８は、可視反射光を受光し、受光した可視反射光に応じた画像として、撮像領域を示す可視光画像を生成する。可視光画像は、本開示の技術に係る「撮像画像」の一例である。

可視光画像は、タッチパネル４８によって受け付けられた指示に応じて、ディスプレイ４６に表示される。図５に示す例では、撮像領域が画角θ１によって規定されている。画角θ１は、タッチパネル４８によって受け付けられた指示に従って変更される。

スマートデバイス１０は、画像認識機能を備えている。スマートデバイス１０は、画像認識機能を働かせることで、可視光画像から人物の顔を示す顔画像を認識する。スマートデバイス１０では、撮像領域に含まれる人物の顔を認識する認識動作（以下、単に「認識動作」とも称する）が行われる。認識動作は、画像認識機能を働かせること、すなわち、可視光画像から顔画像が認識されることによって実現される。図５に示す例では、可視光画像から顔画像が認識され、認識結果として枠線２９が顔画像を取り囲んだ状態で表示されている。認識結果には、例えば、認識された顔画像、認識された顔画像の個数（以下、「顔画像数」とも称する）、顔画像の位置を特定可能な座標、及び枠線２９を示す枠線情報等が含まれている。なお、人物の顔は、本開示の技術に係る「特定被写体」の一例である。また、枠線２９は、本開示の技術に係る「測距結果」及び「特定被写体画像を取り囲む画像」の一例である。

また、スマートデバイス１０は、測距機能を備えている。スマートデバイス１０は、測距機能を働かせることで、一例として図６に示すように、光照射器１６に対して照射角度θ２でレーザ光を照射させ、ＩＲ反射光を受光器１８の測距用区分領域２６Ｎ２に対して受光させる。照射角度θ２は、画角θ１と同じであってもよいし、違っていてもよい。レーザ光の照射からＩＲ反射光が受光されるまでに要する時間と、光速とに基づいて、スマートデバイス１０から測距対象までの距離が測定される。例えば、測距対象までの距離を“Ｌ”とし、光速を“ｃ”とし、光照射器１６によってレーザ光が照射されてから測距用区分領域２６Ｎ２よってＩＲ反射光が受光されるまでに要する時間を“ｔ”とすると、距離Ｌは、“Ｌ＝ｃ×ｔ×０．５”の式に従って算出される。

認識結果と測距結果は可視光画像に重畳される。可視光画像に対して認識結果と測距結果とが重畳されることで得られた重畳画像は、ライブビュー画像としてディスプレイ４６に表示される。図６に示す例では、可視光画像に対して、顔画像を囲む枠線２９が認識結果として重畳され、かつ、スマートデバイス１０から測距対象までの距離を示す数値（図６に示す例では、１．６ｍ、１．８ｍ、及び５．３ｍ）が測距結果として重畳された画像が重畳画像として示されており、重畳画像がライブビュー画像としてディスプレイ４６に表示されている。また、図６に示す例では、スマートデバイス１０から撮像領域内のうちの代表的な複数の箇所（図６に示す例では３箇所）の各々までの距離が可視光画像に重畳されている。代表的な複数の箇所の一例としては、撮像領域内の特定被写体（例えば、画面中央領域に含まれる被写体、及び／又は、人間等）のうち、互いのコントラストの差が既定値以上の複数の箇所が挙げられる。

ディスプレイ４６には、ライブビュー画像と共にソフトキー２８が表示される。ソフトキー２８は、記録画像用の撮像の開始を指示する場合にユーザ等によって操作される。記録画像としては、例えば、静止画像及び／又は動画像が挙げられる。図７に示すように、ユーザは、ライブビュー画像を視認しながら撮像領域を決定して、ソフトキー２８を操作する。スマートデバイス１０では、ユーザによってソフトキー２８が操作されることで、認識結果と測距結果とに応じてピントの調整が行われ、記録画像用の撮像が行われる。なお、以下では、記録画像用の撮像で行われる露光を「本露光」とも称する。

図８を参照して、スマートデバイス１０の構成について説明する。スマートデバイス１０は、光照射器１６及び受光器１８の他に、コントローラ１５、入出力インタフェース４０、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４を備えている。なお、コントローラ１５は、本開示の技術に係る「処理装置」及び「コンピュータ」の一例である。

コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃを備えている。ＣＰＵ１５Ａは、本開示の技術に係る「プロセッサ」及び「認識プロセッサ」の一例であり、メモリ１５Ｃは、本開示の技術に係る「メモリ」の一例である。ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃは、バス５０を介して接続されており、バス５０は、入出力インタフェース４０に接続されている。なお、図８に示す例では、図示の都合上、バス５０として１本のバスが図示されているが、複数本のバスであってもよい。バス５０は、シリアルバスであってもよいし、情報バス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ１５Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリ１５Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

ストレージ１５Ｂには、撮像処理プログラム７０を含む各種プログラムが記憶されている。撮像処理プログラム７０は、本開示の技術に係る「プログラム」の一例である。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従ってスマートデバイス１０の全体を制御する。

入出力インタフェース４０には、複数のデバイスが接続されており、入出力インタフェース４０は、複数のデバイス間での各種情報の授受を司る。図８に示す例では、入出力インタフェース４０に接続されている複数のデバイスとして、コントローラ１５、光照射器１６、受光器１８、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４が示されている。

外部Ｉ／Ｆ５２は、スマートデバイス１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５２の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。

通信Ｉ／Ｆ５４は、ＬＴＥ、５Ｇ、無線ＬＡＮ、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を有しており、外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。例えば、通信Ｉ／Ｆ５４は、基地局（図示省略）を介してネットワーク５６（例えば、インターネット）に通信可能に接続されており、ネットワーク５６上の外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。

ＵＩ系デバイス４４は、ディスプレイ４６を備えており、ＣＰＵ１５Ａは、ディスプレイ４６に対して各種情報を表示させる。また、ＵＩ系デバイス４４は、受付デバイス４７を備えている。受付デバイス４７は、タッチパネル４８及びハードキー部５３を備えている。ハードキー部５３は、指示キー１３（図２参照）を含む少なくとも１つのハードキーである。ＣＰＵ１５Ａは、タッチパネル４８によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部５３がＵＩ系デバイス４４に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部５３は、外部Ｉ／Ｆ５２に接続されていてもよい。

光照射器１６は、透光窓２０、ビームエクスパンダ２１、コリメートレンズ２３、ＬＤ２４、及びＬＤドライバ２５を備えており、光軸Ｌ１に沿って、撮像領域側（物体側）からＬＤ２４にかけて、透光窓２０、ビームエクスパンダ２１、及びコリメートレンズ２３が順に配置されている。ＬＤドライバ２５は、ＬＤ２４及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従ってＬＤ２４を駆動させてＬＤ２４からレーザ光を出射させる。

ＬＤ２４から出射されたレーザ光は、コリメートレンズ２３によって平行光に変換されてからビームエクスパンダ２１によって光径が拡げられ、透光窓２０から測距対象に向けて照射される。

受光器１８は、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、絞り３０Ｃ、光電変換素子２６、光電変換素子ドライバ３２、及び信号処理回路３４を備えている。受光器１８では、光軸Ｌ２に沿って、撮像領域側（物体側）から光電変換素子２６にかけて、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃが順に配置されている。光電変換素子ドライバ３２は、光電変換素子２６及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従って光電変換素子２６を駆動させる。例えば、光電変換素子ドライバ３２は、ＣＰＵ１５Ａの制御下で、光電変換素子２６によって行われる撮像のタイミングを規定する撮像タイミング信号を光電変換素子２６に供給する。光電変換素子２６は、光電変換素子ドライバ３２から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

受光器１８は、合焦制御機構３１を備えている。合焦制御機構３１は、フォーカスレンズ３０Ｂ、移動機構６０、モータ６２、及びモータドライバ６４を備えている。フォーカスレンズ３０Ｂは、移動機構６０によって光軸Ｌ２に沿ってスライド可能に支持されている。モータ６２は、移動機構６０及びモータドライバ６４に接続されている。モータドライバ６４は、入出力インタフェース４０に接続されており、ＣＰＵ１５Ａからの指示に従ってモータ６２を駆動させる。移動機構６０は、モータ６２の駆動軸（図示省略）に接続されており、モータ６２から動力を受けることで、フォーカスレンズ３０Ｂを光軸Ｌ２に沿って物体側と像側とに選択的に移動させる。すなわち、ＣＰＵ１５Ａは、モータドライバ６４を介してモータ６２の駆動を制御することで合焦位置を調整する。ここで、「合焦位置」とは、ピントが合っている状態（例えば、可視光画像のコントラストを最大値にした状態、又は、既定の被写体深度を実現した状態）でのフォーカスレンズ３０Ｂの光軸Ｌ２上での位置を指す。以下では、説明の便宜上、フォーカスレンズ３０Ｂを合焦位置に合わせる制御を「合焦制御」とも称する。

絞り３０Ｃは、開口が変化しない固定絞りである。固定絞りの場合、露出調節は光電変換素子２６の電子シャッタで行われる。絞り３０Ｃは、固定絞りでなく、可変絞りであってもよい。なお、受光器１８に含まれる対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃはあくまでも一例であり、レンズの構成及び／又は絞り３０Ｃの位置が変わっても本開示の技術は成立する。

受光器１８には、透光窓２２から反射光が入射される。透光窓２２に入射された反射光は、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃを介して光電変換素子２６に結像される。

光電変換素子２６は、信号処理回路３４に接続されており、可視光画素及びＩＲ画素の各画素について、画素値を示す画素データを信号処理回路３４に出力する。信号処理回路３４は、光電変換素子２６から入力された画素データに対してＡ／Ｄ変換を行うことで画素データをデジタル化し、デジタル化した画素データに対して各種の信号処理を施す。

信号処理回路３４は、可視光画素データ処理回路３４Ａ及びＩＲ画素データ処理回路３４Ｂを備えている。可視光画素データ処理回路３４Ａは、可視光画素についての画素データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理を施すことで可視光画像を生成する。そして、可視光画素データ処理回路３４Ａは、可視光画像を画像メモリ４２に格納する。なお、画像メモリ４２には、後述するように、測距用レーザ光の強度を段階的に変化させながら順次撮像された１０フレーム分の可視光画像が格納される。

測距用区分領域２６Ｎ２では、ＩＲ反射光は、ＩＲ画素によって受光され、出射タイミングと受光タイミングとに基づいて、スマートデバイス１０から測距対象までの距離を測定するのに使用される。ＩＲ画素データ処理回路３４Ｂは、ＣＰＵ１５ＡからＬＤ２４からレーザ光が出射されたタイミング（以下、「出射タイミング」とも称する）を示す出射タイミング信号を取得する。ＩＲ画素データ処理回路３４Ｂは、出射タイミング信号により示される出射タイミングと、各ＩＲ画素によってＩＲ反射光が受光されたタイミング（以下、「受光タイミング」とも称する）とに基づいて、各ＩＲ画素について、スマートデバイス１０から測距対象までの距離を測定する。そして、ＩＲ画素データ処理回路３４Ｂは、測定した距離を含む測距結果を可視光画像に関連付けて画像メモリ４２に格納する。

ところで、スマートデバイス１０は、人物が描かれた紙を被写体として撮像を行うことで得た可視光画像に対して画像認識を行う場合、被写体を「人物」として誤判定してしまうことがある。しかし、スマートデバイス１０は、被写体の奥行方向に対する測距を行うことで得た測距結果を利用した画像認識を行うことで、被写体が「人物が描かれた紙」であるか、又は、「人物」であるかを判定することができる。つまり、スマートデバイス１０は、測距結果を利用した画像認識を行うことで、画像認識の精度を向上させることができる。画像認識は、可視光画像用区分領域２６Ｎ１での受光結果に基づいて可視光画素データ処理回路３４Ａによって生成された可視光画像に対して行われる。可視光画像用区分領域２６Ｎ１では、ＩＲ反射光が、可視光フィルタによって完全にカットされるのが理想であるが、ＩＲ反射光の強度によっては、可視光フィルタで完全にカットすることが困難である。ＩＲ反射光が可視光画素に到達した場合、ＩＲ反射光がノイズとして可視光画像に写り込むことがある。可視光画像に対して画像認識を行う場合、可視光画像の画質が悪化すると、画像認識の精度が低下してしまう。例えば、ＬＤ２４のレーザ光の強度をゼロにすれば、ＩＲ反射光もゼロになるので、ＩＲ反射光がノイズとして可視光画像に写り込むことはなくなるが、測距ができなくなる。測距ができなくなると、測距結果を画像認識に利用することができなくなるので、画像認識に対して測距結果を利用する場合に比べ、画像認識の精度が低下する。

そこで、スマートデバイス１０では、一例として図９に示すように、ＣＰＵ１５Ａが、ストレージ１５Ｂから撮像処理プログラム７０を読み出し、読み出した撮像処理プログラムに従って撮像処理を実行する。

一例として図１０に示すように、撮像処理は、測距撮像装置１４が撮像部９１及び測距部９２として動作し、かつ、ＣＰＵ１５Ａが変更部９６、制御部９３、認識部９４、処理部９５、出力部９７、及び表示制御部９９として動作することによって実現される。撮像部９１は、受光器１８を備えており、測距部９２は、光照射器１６、測距用区分領域２６Ｎ２（図３及び図８参照）、及びＩＲ画素データ処理回路３４Ｂ等を備えている。

変更部９６は、レーザ光の照射エネルギー（以下、単に「照射エネルギー」とも称する）を多段階で変更する。本実施形態では、「多段階」の一例として、１０段階が採用されている。変更部９６は、ＬＤドライバ２５を介してＬＤ２４から出射されるレーザ光の強度を変更することで、照射エネルギーを変更する。照射エネルギーが最も低い状態では、照射エネルギーはゼロであってもよい。レーザ光は、可視光画像の撮像と同期して照射される。ここでは、変更部９６によってレーザ光の強度が変更される形態例が挙げられているが、本開示の技術はこれに限定されない。例えば、レーザ光の強度と共に、又は、レーザ光の強度に代えて、レーザ光の発光時間及び／又は単位時間あたりのレーザ光の発光回数が変更されることによってレーザ光の照射エネルギーが変更されるようにしてもよい。

制御部９３は、撮像部９１に対して既定のフレームレート（例えば、１２０ｆｐｓ）で撮像領域を撮像させる。撮像部９１によって撮像されることで得られた可視光画像は、画像メモリ４２に格納される。また、制御部９３は、連続並行処理を行う。連続並行処理とは、複数回連続した並行処理を指す。ここで、複数回とは、１０回を指す。１０回とは、例えば、撮像部９１によって行われる撮像の１０フレーム分を意味する。また、並行処理とは、認識部９４及び測距部９２に対して、認識動作と測距動作とを並行して行わせる処理を指す。認識動作は、認識部９４によって行われ、測距動作は、測距部９２によって行われる。つまり、制御部９３は、認識動作と測距動作とを１０フレーム分並行して行わせるように認識部９４及び測距部９２を制御する。

なお、ここでは、認識動作と測距動作とが１０フレーム分並行して行われる形態例を挙げて説明しているが、本開示の技術はこれに限定されず、認識動作と測距動作とが１０フレーム未満又は１１フレーム以上並行して行われるようにしてもよく、認識動作と測距動作とが複数回並行して行われるようにすればよい。認識動作と測距動作とが並行して行われる回数は、固定値であってもよいし、受付デバイス４７によって受け付けられた指示に応じて変更される値であってもよいし、スマートデバイス１０の動作モード及び／又は撮像シーン等に応じて変更される値であってもよい。

また、本実施形態において、連続並行処理は、繰り返し行われる。すなわち、認識動作と測距動作とを１０フレーム分並行して行う処理が複数回にわたって繰り返し行われる。本実施形態において、連続並行処理が繰り返し行われる回数は、数十回（例えば、３０回）以上である。連続並行処理が繰り返し行われる回数は、固定値であってもよいし、受付デバイス４７によって受け付けられた指示に応じて変更される値であってもよいし、スマートデバイス１０の動作モード及び／又は撮像シーン等に応じて変更される値であってもよい。

ＩＲ画素データ処理回路３４Ｂは、光照射器１６によってレーザ光が照射されてから、測距用区分領域２６Ｎ２（図３及び図８参照）によってＩＲ反射光が受光されるまでに要する時間と、光速とに基づいて、スマートデバイス１０から測距対象までの距離をＩＲ画素毎に測定する。このとき、レーザ光の照射エネルギーと測距対象までの距離によっては、ＩＲ反射光を十分に受光できないＩＲ画素が生じる。ここで、「ＩＲ反射光を十分に受光できないＩＲ画素」とは、例えば、数メートル先の測距対象からのＩＲ反射光の受光量が測距可能な受光量として、実機による試験及び／又はコンピュータ・シミュレーション等によって予め導出された受光量に満たないＩＲ画素を指す。一般に、レーザ光の照射エネルギーが高いほど測定できる距離は長くなり、弱くなるにしたがって測定できる距離は短くなる。ＩＲ画素データ処理回路３４Ｂは、各ＩＲ画素によるＩＲ反射光の受光量（例えば、単位時間あたりの受光量）との比較に用いる閾値を有しており、ＩＲ反射光の受光量が閾値未満のＩＲ画素については、正しく測距できなかったとしてブランク情報を出力する。測距部９２による１フレーム分の測距結果は、可視光画像と対応付けられて、画像メモリ４２に格納される。

測距結果には、測距部９２によって測定された距離、すなわち、スマートデバイス１０から測距対象までの距離と、正しく測距が行われたＩＲ画素（以下、「正測距ＩＲ画素」とも称する）の個数（以下、「正測距ＩＲ画素数」とも称する）と、ブランク情報とが含まれる。正測距ＩＲ画素数は、ＩＲ画素データ処理回路３４Ｂによって算出される。正測距ＩＲ画素は、例えば、受光量が閾値以上のＩＲ反射光を受光したＩＲ画素であり、概して、レーザ光の照射エネルギーが高いほど多くなる。逆に、レーザ光の照射エネルギーが高いと可視光画像に写り込むレーザ光の光量が多くなり画質が悪化するので、レーザ光の照射エネルギーが高いほど、顔画像数は少なくなる。

認識部９４は、画像メモリ４２から可視光画像を読み出し、読み出した可視光画像に対して、画像認識用辞書（図示省略）を参照して、顔画像についての画像認識を行う。画像認識用辞書には、例えば、複数種類の顔画像が登録されている。画像認識が行われることによって得られた１フレーム分の認識結果は、可視光画像及び測距結果と対応付けられて画像メモリ４２に格納される。

処理部９５は、画像メモリ４２から１フレーム分の測距結果及び認識結果を読み出す。そして、処理部９５は格付け処理を行う。ここで、格付け処理とは、読み出した測距結果に含まれるＩＲ画素数及び顔画像数に応じて、フレーム毎に（ここでは、一例として、１０フレーム分のフレームの各々について）対応するフレームの格付けをする処理を指す。各フレームが格付けされることは、各フレームに対応する認識結果が重みづけされることを意味する。なお、顔画像数は、本開示の技術に係る「複数回の認識動作によって得られた複数の認識結果」の一例である。また、格付け処理は、本開示の技術に係る「特定処理」の一例である。また、以下では、説明の便宜上、格付けをする対象とされる１フレームを「格付け対象フレーム」とも称する。

格付け処理は、下記の計算式（１）に従って処理部９５によって実行される。具体的には、下記の計算式（１）に示すように、処理部９５は、正測距ＩＲ画素数に対して係数Ａを乗じることで得た値と、顔画像数に対して、係数Ａとは異なる係数Ｂを乗じることで得た値との和を格付け値として算出する。ここでは、係数Ａ及びＢとして正値が採用されている。

格付け値＝（正測距ＩＲ画素数）×Ａ＋（顔画像数）×Ｂ・・・・（１）

なお、上記の計算式（１）において、係数Ａ及びＢは正値でなくてもよい。例えば、測距結果を無視した格付け値を得る場合、係数Ａを“０”とし、認識結果を無視した格付け値を得る場合、係数Ｂを“０”とすればよい。また、係数Ａは、照射エネルギーに応じて定められるようにしてもよい。例えば、照射エネルギーが“０”の場合、係数Ａを“０”とし、照射エネルギーが高くなるほど、係数Ａの値を大きくするようにしてもよい。これにより、格付け値は、認識動作に並行する測距動作で用いられる照射エネルギーに応じた値として算出される。また、係数Ａ及び／又は係数Ｂは、固定値であってもよいし、受付デバイス４７によって受け付けられた指示に応じて変更される値であってもよいし、スマートデバイス１０の動作モード及び／又は撮像シーン等に応じて変更される値であってもよい。

上記の計算式（１）によれば、正測距ＩＲ画素数が多く、かつ、顔画像数が多いほど、格付け値は高くなる。格付け値は、可視光画像、測距結果、及び認識結果と対応付けられて画像メモリ４２に格納される。

画像メモリ４２には、レーザ光の照射エネルギーレベルＲを１～１０の１０段階で変更しながら順次撮像された１０フレーム分の可視光画像、測距結果、認識結果、及び格付け値が格納される。

出力部９７は、撮像部９１によって既定のフレームレートに従って撮像領域が複数回撮像されることで得られた複数のフレームのうちの特定のフレームについての認識結果と測距結果とを出力する。具体的には、出力部９７は、１０フレーム分の格付け値を参照し、１０フレームのうちの最も格付け値の高いフレームの可視光画像、測距結果、及び認識結果を画像メモリ４２のライブビュー画像記憶領域４２Ａに出力する。なお、１０フレームのうちの最も格付け値の高いフレームは、本開示の技術に係る「複数回のうちの特定の回」の一例であり、ライブビュー画像記憶領域４２Ａは、本開示の技術に係る「特定の出力先」の一例である。

表示制御部９９は、ライブビュー画像記憶領域４２Ａから可視光画像、測距結果、及び認識結果を取得し、取得した可視光画像、測距結果、及び認識結果に基づいて重畳画像を生成する。表示制御部９９は、生成した重畳画像をライブビュー画像としてディスプレイ４６に出力することで、ディスプレイ４６に対してライブビュー画像を表示させる（図６参照）。なお、出力部９７及び表示制御部９９は、本開示の技術に係る「出力部」の一例である。また、ディスプレイ４６は、本開示の技術に係る「特定の出力先」及び「表示部」の一例である。

なお、ここでは、重畳画像として、測距結果と枠線２９との両方が可視光画像に対して重畳されることで得られた画像が例示されているが、本開示の技術はこれに限らず、可視光画像に対して測距結果又は枠線２９のいずれか一方のみが重畳されることで得られる画像であってもよい。また、重畳画像と可視光画像とがライブビュー画像としてディスプレイ４６に選択的に表示されるようにしてもよい。

次に、スマートデバイス１０の本開示の技術に係る部分についての作用について図１１を参照しながら説明する。なお、図１１には、ＣＰＵ１５Ａによって実行される撮像処理の流れの一例が示されている。

図１１に示す撮像処理では、先ず、ステップＳＴ１０で、制御部９３は、撮像処理を開始する条件（以下、「撮像処理開始条件」とも呼ぶ）を満足したか否かを判定する。撮像処理開始条件の一例としては、タッチパネル４８に対して、撮像処理を開始する指示が受け付けられた、との条件が挙げられる。ステップＳＴ１０において、撮像処理開始条件を満足してない場合は、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、撮像処理開始条件を満足した場合は、撮像処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、変更部９６は、レーザ光の照射エネルギーレベルＲを最大値１０に設定する。その後、撮像処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、制御部９３は、撮像タイミングが到来したか否かを判定する。撮像タイミングは、例えば、既定のフレームレートで定められた周期（例えば、１／１２０秒）毎に到来する。ステップＳＴ１４において、撮像タイミングが到来していない場合は、判定が否定されて、ステップＳＴ１４の判定が再び行われる。ステップＳＴ１４において、撮像タイミングが到来した場合、判定が肯定されて、撮像処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、制御部９３は、撮像部９１を制御することで光電変換素子２６に対して露光を行わせる。すなわち、制御部９３は、光電変換素子ドライバ３２に対して撮像タイミング信号を光電変換素子２６へ出力させることで、光電変換素子２６をリセットさせ、かつ、光電変換素子２６に対して新たな電荷を蓄積させる。そして、制御部９３は、可視光画素データ処理回路３４Ａに対して、光電変換素子２６に蓄積された電荷量に応じた可視光画像を生成させる。光電変換素子２６に対する露光によって得られた可視光画像は、画像メモリ４２に格納される。また、制御部９３は、測距部９２を制御して、レーザ光を照射させる。その後、撮像処理はステップＳＴ１８へ移行する。

ステップＳＴ１８で、制御部９３は、並行処理を行う。すなわち、ステップＳＴ１８では、測距部９２によって測距動作が行われ、かつ、認識部９４によって認識動作が行われる。測距部９２は、スマートデバイス１０から測距対象までの距離をＩＲ画素毎に測定する。認識部９４は、画像メモリ４２から可視光画像を読み出し、読み出した可視光画像に対して顔画像についての画像認識を行う。ここで得られた１フレーム分の測距結果及び認識結果は、可視光画像と対応付けられて制御部９３によって画像メモリ４２に格納される。その後、撮像処理はステップＳＴ２０へ移行する。

ステップＳＴ２０では、処理部９５は、画像メモリ４２から格付け対象フレームの測距結果及び認識結果を読み出し、正測距ＩＲ画素数と顔画像数とに応じて、格付け対象フレームにおける測距結果及び認識結果の格付け値を算出する。格付け値は、格付け対象フレームについての可視光画像、測距結果、及び認識結果と対応付けられて画像メモリ４２に格納される。その後、撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、処理部９５は、レーザ光の照射エネルギーレベルＲが最小値１に等しいか否かを判定する。ステップＳＴ２２において、Ｒ＝１を満たさない場合は、判定が否定されて、撮像処理はステップＳＴ２３へ移行する。ステップＳＴ２２において、Ｒ＝１を満たした場合は、判定が肯定されて、撮像処理はステップＳＴ２４へ移行する。

ステップＳＴ２３で、処理部９５は、照射エネルギーレベルＲから“１”を減算する。その後、撮像処理はステップＳＴ１４へ移行する。

このように、ステップＳＴ１４からステップＳＴ２０までの処理が繰り返されることで、照射エネルギーレベルＲが最大値１０から最小値１まで１ずつ減少し、これに伴って、照射エネルギーレベルＲが１０段階で変化する。照射エネルギーレベルＲが１段階ずつ変化するのに伴って撮像部９１によって撮像領域が順次撮像されることで得られた可視光画像と、測距部９２による測距結果と、認識部９４による認識結果と、処理部９５によって算出された格付け値とが画像メモリ４２に１０フレーム分記憶される。

ステップＳＴ２４で、出力部９７は、１０フレーム分の格付け値を参照し、最も格付けの良いフレームの可視光画像、測距結果、及び認識結果を画像メモリ４２のライブビュー画像記憶領域４２Ａに出力する。その後、撮像処理はステップＳＴ２６へ移行する。

ステップＳＴ２６で、表示制御部９９は、ライブビュー画像記憶領域４２Ａから最も格付け値の高いフレームの可視光画像、測距結果、及び認識結果を取得する。そして、表示制御部９９は、ライブビュー画像記憶領域４２Ａから取得した最も格付け値の高いフレームの可視光画像、測距結果、及び認識結果から重畳画像を生成し、生成した重畳画像をライブビュー画像としてディスプレイ４６に対して表示させる。これにより、照射エネルギーレベルＲを１０段階で変化させながら取得された１０フレーム分の測距結果及び認識結果のうち、測距動作と認識動作との総合的な精度が最も良いフレームの測距結果及び認識結果を使って生成されたライブビュー画像がディスプレイ４６に表示される。その後、撮像処理はステップＳＴ２８へ移行する。

ステップＳＴ２８で、制御部９３は、ユーザによってソフトキー２８（図６参照）が操作されたか否かを判定する。ステップＳＴ２８において、ソフトキー２８が操作されていない場合、判定が否定されて、撮像処理はステップＳＴ３２へ移行する。ステップＳＴ２８において、ソフトキー２８が操作された場合、判定が肯定されて、撮像処理はステップＳＴ３０へ移行する。

ステップＳＴ３０で、制御部９３は、ライブビュー画像で使用された最も格付け値の高いフレームの測距結果及び認識結果に基づいて、撮像部９１に対して本露光を伴う静止画像用の撮像を行わせる。その後、撮像処理はステップＳＴ３２へ移行する。なお、ここでは、静止画像用の撮像を例示しているが、本開示の技術はこれに限定されず、本露光を伴う動画像用の撮像であってもよく、上述した記録画像用の撮像であればよい。

ステップＳＴ３０での撮像部９１による静止画像用の撮像では、ライブビュー画像で使用された最も格付け値の高いフレームの測距結果及び認識結果に基づいて、特定の顔画像により示される人物の顔に対する合焦が行われる。ここで、特定の顔画像は、例えば、認識結果に含まれている顔画像である。認識結果に複数の顔画像が含まれている場合には、複数の顔画像により示される複数人の人物の顔のうち、撮像領域の中央に最も近い人物の顔、又は、特定の表情（例えば、笑顔）の人物の顔が合焦対象として選定される。また、枠線２９に囲まれてディスプレイ４６に表示された複数人の人物の顔のうち、ピントを合わせる領域として、ユーザ等によってタッチパネル４８を介して指定された人物の顔が合焦対象として選定されるようにしてもよい。

制御部９３は、測距結果から、合焦対象として選定した人物の顔までの距離を取得し、取得した距離に対応する合焦位置を導出する。合焦位置は、例えば、距離と合焦位置とが対応付けられた合焦位置導出テーブル（図示省略）、又は、距離を独立変数とし、合焦位置を従属変数とした合焦位置導出演算式（図示省略）から制御部９３によって導出される。制御部９３は、合焦制御機構３１を作動させることで、導出した合焦位置にフォーカスレンズ３０Ｂを移動させる。そして、制御部９３は、光電変換素子ドライバ３２を駆動することで、光電変換素子２６に対して本露光を行わせる。本露光が行われることによって可視光画素データ処理回路３４Ａによって静止画像が生成され、生成された静止画像は可視光画素データ処理回路３４Ａによって画像メモリ４２に格納される。そして、制御部９３は、画像メモリ４２から静止画像を取得し、取得した静止画像を、外部Ｉ／Ｆ５２に接続されているメモリカード（図示省略）に格納する。

ステップＳＴ３２で、制御部９３は、撮像処理を終了させる条件（以下、「撮像処理終了条件」とも称する）を満足したか否かを判定する。撮像処理終了条件の一例としては、タッチパネル４８に対して、撮像処理を終了する指示が受け付けられた、との条件が挙げられる。ステップＳＴ３６において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ１２へ移行する。ステップＳＴ３６において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。

以上説明したように、本第１実施形態のスマートデバイス１０によれば、制御部９３は、撮像部９１によって撮像領域が撮像されることで得られた可視光画像に基づいて認識部９４が撮像領域に含まれる特定被写体（ここでは、一例として、人物の顔）を認識する認識動作と、測距部９２が撮像領域に対してレーザ光を照射し、撮像領域に対するレーザ光によるＩＲ反射光を受光することで測距を行う測距動作とを複数回並行して行わせる。変更部９６は、測距動作毎に、撮像領域に対するレーザ光の照射エネルギーを変更する。従って、本構成によれば、常に同一の照射エネルギーのレーザ光を使って測距を行いながら特定被写体の画像認識を行う場合に比べ、測距と特定被写体の認識とを高精度に両立させることができる。なお、本開示の技術に係る「測距動作毎に撮像領域に対するレーザ光の照射エネルギーを変更する」の一例として、全ての測距動作毎のレーザ光の照射エネルギーを変更する態様を説明したが、本開示の技術はこれに限定されない。例えば、「測距動作毎に撮像領域に対するレーザ光の照射エネルギーを変更する」には、複数の測距動作の一部の連続した回又は連続しない回においてレーザ光の照射エネルギーが同一である場合も含まれる。これらのレーザ光の照射エネルギーが同一である測距動作を含む複数フレームは、いずれか１フレームのみを格付け対象フレームとしてもよいし、全てのフレームを格付け対象フレームとしてもよい。

本第１実施形態のスマートデバイス１０によれば、出力部９７は、最も格付け値が高いフレームについての認識結果と測距結果とを特定の出力先（ここでは、例えば、ライブビュー画像記憶領域４２Ａ及びディスプレイ４６）に出力する。従って、本構成によれば、認識結果と測距結果が互いに異なるタイミングで出力される場合に比べ、認識結果と測距結果とを得たタイミングを容易に特定することができる。

本第１実施形態のスマートデバイス１０によれば、特定の出力先は、認識結果及び測距結果のうち少なくとも一方を表示可能なディスプレイ４６である。従って、本構成によれば、認識動作によって得られた認識結果及び測距動作によって得られた測距結果をユーザに知覚させることができる。

本第１実施形態のスマートデバイス１０によれば、ディスプレイ４６は、特定被写体を示す特定被写体画像と、認識結果として特定被写体画像を取り囲む枠線２９とを表示する。従って、本構成によれば、認識動作によって得られた認識結果をユーザに対して視覚的に把握させることができる。

本第１実施形態のスマートデバイス１０によれば、制御部９３は、測距結果に応じて定められた合焦位置にフォーカスレンズ３０Ｂを移動させる。従って、本構成によれば、測距結果とは無関係に、マニュアルフォーカス方式で合焦させる場合に比べ、オートフォーカス方式によって、簡単に合焦させることができる。

本第１実施形態のスマートデバイス１０によれば、処理部９５は、１０回の認識動作と測距動作とによって得られた認識結果と測距結果から１０個の格付け値を算出する。従って、本構成によれば、格付け値を算出しない場合に比べ、認識結果及び測距結果の組み合わせとしてバランスの取れた組み合わせを特定することができる。

本第１実施形態のスマートデバイス１０によれば、認識動作によって得られる認識結果は、特定被写体の種類及び／又は態様などに応じて重みづけされる。従って、本構成によれば、認識結果について重要度の高低を特定することができる。

本第１実施形態のスマートデバイス１０によれば、制御部９３は、格付け値に従って選定された認識結果に基づいて、撮像部９１に対して本露光による撮像を行わせる。従って、本構成によれば、複数回の認識動作によって得られた複数の認識結果から無作為に選定された認識結果に基づいて撮像部９１に対して本露光による撮像を行わせる場合に比べ、不適切な認識結果に基づいて撮像部９１に対して本露光による撮像を行わせることを抑制することができる。

本第１実施形態のスマートデバイス１０によれば、特定被写体は、人物の顔である。従って、本構成によれば、撮像領域に対して常に同一の照射エネルギーで照射される指向性光に基づく測距と撮像領域に含まれる顔の認識とが同時に行われる場合に比べ、測距と人物の顔の認識とを高精度に両立させることができる。

本第１実施形態のスマートデバイス１０によれば、人物の顔は、特定の表情の顔であってもよい。この場合、撮像領域に対して常に同一の照射エネルギーで照射されるレーザ光に基づく測距と撮像領域に含まれる特定の表情の顔の認識とが同時に行われる場合に比べ、測距と特定の表情の顔の認識とを高精度に両立させることができる。

なお、上記第１実施形態では、本開示の技術に係る「特定被写体」の一例として、人物の顔を挙げたが、本開示の技術はこれに限定されない。例えば、特定被写体は、閾値未満の反射率を有する物体であってもよい。ここで、閾値は、例えば、既定の照射エネルギーレベルＲでレーザ光が照射されることで得られるＩＲ反射光がノイズとして可視光画像に視覚的に認識されるレベルで現れる反射率の下限値として、実機による官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された値である。既定の照射エネルギーレベルＲとは、例えば、上述した１０段階の照射エネルギーレベルＲのうちの５段階目の照射エネルギーレベルＲを指す。従って、本構成によれば、撮像領域に対して常に同一の照射エネルギーで照射されるレーザ光に基づく測距と閾値未満の反射率を有する物体の認識とが同時に行われる場合に比べ、測距と閾値未満の反射率を有する物体の認識とを高精度に両立させることができる。

また、上記第１実施形態では、本開示の技術に係る「特定処理」の一例として、格付け処理を挙げたが、本開示の技術はこれに限定されない。例えば、認識動作毎によって得られた認識結果、及び測距動作毎によって得られた測距結果のうちの少なくとも認識結果が、外部Ｉ／Ｆ５２を介して、スマートデバイス１０とは異なるスマートデバイス、パーソナル・コンピュータ、及び／又はサーバ等の外部装置（図示省略）に出力される処理が処理部９５によって行われるようにしてもよい。また、認識動作毎によって得られた認識結果、及び測距動作毎によって得られた測距結果のうちの少なくとも認識結果と、可視光画像とが特定のフォーマット形式（例えば、Ｅｘｉｆフォーマット形式）の画像ファイルとして作成される処理が処理部９５によって行われるようにしてもよい。

また、上記第１実施形態では、認識部９４は、特定被写体として人物の顔を認識したが、特定被写体は人物の顔に限らず、人物の全身であってもよいし、複数の人物の顔のうち特定の表情の顔（例えば、笑顔）であってもよい。認識部９４は、樹木、草花、歴史的な建築物、及び／又は文字などを特定被写体として認識してもよい。また、被写体に一般的に反射率が高いと認識されている物体（例えば、ミラー）が含まれている場合、一般的に反射率が高いと認識されている物体は、黒色の物体等のように光を吸収する物体に比べ、レーザ光を反射しやすく、可視光画像にノイズとして現れやすいので、認識部９４は、上述した閾値未満の反射率を有する物体のみを特定被写体として認識するようにしてもよい。

認識部９４は、特定被写体の種類もしくは様態に応じて、特定被写体を重みづけしてもよい。例えば、認識部９４が予め登録された人物の顔に重みづけをし、その認識結果に基づいて本露光を行えば、予め登録された人物が撮像領域の中央にいなくても、その人物に合焦された画像が撮像される。また、認識部９４が動物の珍しい表情または動作に重みづけをすれば、珍しい表情または動作に合焦されやすくなる。一方、人物の目を閉じている表情への重みをゼロにすれば、閉眼している人物に合焦されにくくなる。

また、上記第１実施形態では、最も高い格付け値のフレーム（本開示の技術に係る「特定の回」の一例）についての認識結果及び測距結果が特定の出力先（例えば、ライブビュー画像記憶領域４２Ａ及びディスプレイ４６）に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、連続並行処理において、１０フレーム分の１フレーム目、１０フレーム目、及び最も高い格付け値のフレームの各フレームについての認識結果及び測距結果が特定の出力先に出力されるようにしてもよい。また、連続並行処理は繰り返し行われるので、周期的に又は非周期的に選定された連続並行処理において、１０フレーム分のうちの少なくとも１以上の特定のフレームについての認識結果及び測距結果が特定の出力先に出力されるようにしてもよい。

［第２実施形態］
一例として図１２に示すように、本第２実施形態に係るスマートデバイス１００は、ズーム制御機構１３１を備えている点で、上記第１実施形態によるスマートデバイス１０と異なる。スマートデバイス１００のその他の構成は、上記第１実施形態によるスマートデバイス１０と同じであるので、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

スマートデバイス１００は、上記実施形態で説明したスマートデバイス１０に比べ、測距撮像装置１４に代えて測距撮像装置１１４を有する点が異なる。測距撮像装置１１４は、測距撮像装置１４に比べ、ズーム制御機構１３１を有する点が異なる。ズーム制御機構１３１は、ズームレンズ３０Ｄ、移動機構１６０、モータ１６２、及びモータドライバ１６４を備えている。ズームレンズ３０Ｄは、移動機構１６０によって光軸Ｌ２に沿ってスライド可能に支持されている。モータ１６２は、移動機構１６０及びモータドライバ１６４に接続されている。モータドライバ１６４は、入出力インタフェース４０に接続されており、ＣＰＵ１５Ａからの指示に従ってモータ１６２を駆動させる。移動機構１６０は、モータ１６２の駆動軸（図示省略）に接続されており、モータ１６２から動力を受けることで、ズームレンズ３０Ｄを光軸Ｌ２に沿って物体側と像側とに選択的に移動させる。すなわち、ＣＰＵ１５Ａは、モータドライバ１６４を介してモータ１６２の駆動を制御することで撮像の画角を調整する。

次に、本第２実施形態に係る撮像処理について図１３を参照しながら説明する。図１３に示す撮像処理は、図１１に示す撮像処理に比べ、ステップＳＴ４０及びステップＳＴ４２を有する点が異なる。そこで、以下では、図１１に示すフローチャートとは異なるステップについて説明し、図１１に示すフローチャートに含まれるステップと同一のステップについては、同一のステップ番号を付し、その説明を省略する。

図１３に示す撮像処理において、ステップＳＴ２６が終了すると、撮像処理はステップＳＴ４０へ移行する。ステップＳＴ４０で、制御部９３は、ライブビュー画像で使用された最も格付け値の高いフレームの測距結果から、ライブビュー画像で使用された最も格付け値の高いフレームに含まれる特定の顔画像（例えば、ライブビュー画像内の中央に最も近い顔画像）により示される人物の顔までの距離を取得し、取得した距離が既定範囲外か否かを判定する。既定範囲は、固定値であってもよいし、受付デバイス４７によって受け付けられた指示に応じて変更される値であってもよいし、スマートデバイス１０の動作モード及び／又は撮像シーン等に応じて変更される値であってもよい。

ステップＳＴ４０において、特定の顔画像により示される人物の顔までの距離が既定範囲内の場合は、判定が否定されて、撮像処理はステップＳＴ２８へ移行する。ステップＳＴ４０において、特定の顔画像により示される人物の顔までの距離が既定範囲外の場合は、判定が肯定されて、撮像処理はステップＳＴ４２へ移行する。

ステップＳＴ４２で、制御部９３は、特定の顔画像により示される人物の顔までの距離に応じて定められた画角となるように、モータドライバ１６４を介してモータ１６２を制御することで、特定移動量でズームレンズ３０Ｄを光軸Ｌ２に沿って移動させる。つまり、制御部９３は、光軸Ｌ２上の位置であって、測距動作によって得られる測距結果に応じて定められたズームイン位置又はズームアウト位置にズームレンズ３０Ｄを光軸Ｌ２に沿って移動させる。

ここで、上記の特定移動量は、例えば、距離とズームレンズ３０Ｄの移動量とが対応付けられた移動量導出用テーブル（図示省略）、又は、距離を独立変数とし、ズームレンズ３０Ｄの移動量を従属変数とする移動量導出用演算式（図示省略）から制御部９３によって導出された移動量である。ステップＳＴ４２の処理が終了すると、撮像処理はステップＳＴ１２へ移行する。

本第２実施形態のスマートデバイス１００によれば、測距撮像装置１１４は光軸Ｌ２に沿って移動可能なズームレンズ３０Ｄを有する。制御部９３は、光軸Ｌ２上の位置であって、測距動作によって得られる測距結果に応じて定められたズームイン位置又はズームアウト位置にズームレンズ３０Ｄを光軸Ｌ２に沿って移動させる。従って、本構成によれば、手動でズームレンズ３０Ｄを移動させる場合に比べ、測距結果に応じた位置に容易にズームレンズ３０Ｄを移動させることができる。

また、上記第２実施形態では、制御部９３が、測距動作によって得られる測距結果に応じてズームレンズ３０Ｄを移動させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部９３は、受付デバイス４７によって受け付けられたズーム操作に応じてズームレンズ３０Ｄを移動させるようにしてもよい。

この場合、例えば、図１４に示す撮像処理がＣＰＵ１５Ａによって実行される。図１４に示す撮像処理は、図１３に示す撮像処理に比べ、ステップＳＴ４０の処理に代えてステップＳＴ１４０の処理を有する点、及びステップＳＴ４２の処理に代えてステップＳＴ１４２を有する点が異なる。

図１４に示す撮像処理では、ステップＳＴ１４０で、制御部９３は、受付デバイス４７に対してズーム操作が行われたか否かを判定する。ズーム操作としては、例えば、タッチパネル４８に対するピンチイン操作及びピンチアウト操作が挙げられる。例えば、枠線２９で囲まれた顔画像により示される人物の顔に対してズームインする場合には、顔画像上でタッチパネル４８に対してピンチアウト操作が行われ、人物の顔からズームアウトする場合には、タッチパネル４８に対してピンチアウト操作が行われる。

ステップＳＴ１４０において、受付デバイス４７に対してズーム操作が行われた場合は、判定が肯定されて、撮像処理はステップＳＴ１４２へ移行する。ステップＳＴ１４０において、受付デバイス４７に対してズーム操作が行われていない場合は、判定が否定されて、撮像処理はステップＳＴ２８へ移行する。

ステップＳＴ１４２で、制御部９３は、モータドライバ１６４を介してモータ１６２を制御することで、ズーム操作に応じた移動量でズームレンズ３０Ｄを光軸Ｌ２に沿って移動させる。その後、撮像処理はステップＳＴ１２へ移行する。本ステップＳＴ１４２の処理が実行されることで、画角が変更される。

［第３実施形態］
一例として図８に示すように、本第３実施形態に係るスマートデバイス２００は、上記第１実施形態に係るスマートデバイス１０と同一の構成を有する。以下では、本第３実施形態に係るスマートデバイス２００の撮像処理について、上記第１実施形態に係るスマートデバイス１０の撮像処理と異なる点を説明する。

一例として図１５に示すように、本第３実施形態に係る撮像処理は、図１１に示す撮像処理に比べ、ステップＳＴ１０とステップＳＴ１２との間にステップＳＴ５０及びステップＳＴ５２を有する点が異なる。

図１５に示す撮像処理では、ステップＳＴ５０で、制御部９３は、合焦制御用測距を行う。本ステップＳＴ５０が実行されることで、光照射器１６は、撮像領域の全部もしくは一部（例えば、中央部）に向かってレーザ光を照射し、測距用区分領域２６Ｎ２は、ＩＲ反射光を受光する。測距用区分領域２６Ｎ２によってＩＲ反射光が受光されることによって得られた画素データは、ＩＲ画素データ処理回路３４Ｂに送られ、レーザ光の照射からＩＲ反射光が受光されるまでに要する時間と、光速とに基づいて、スマートデバイス２００から撮像領域の全部もしくは一部までの距離が測定される。このようにして得られた測距結果は、ＩＲ画素データ処理回路３４Ｂによって画像メモリ４２に格納される。

次のステップＳＴ５２で、制御部９３は、ステップＳＴ５０が実行されることで画像メモリ４２に格納された測距結果に応じて定められた合焦位置にフォーカスレンズ３０Ｂを移動させる。合焦位置は、上記第１実施形態と同様に、合焦位置導出テーブル（図示省略）又は合焦位置導出演算式（図示省略）から制御部９３によって導出される。

本第３実施形態のスマートデバイス２００によれば、測距撮像装置１４（撮像部）は光軸Ｌ２に沿って移動可能なフォーカスレンズ３０Ｂを有する。測距撮像装置１４（測距部）は、認識動作に先立って、撮像領域に対してレーザ光を照射し、撮像領域からのＩＲ反射光を受光することで合焦制御用測距を行う。制御部９３は、合焦制御用測距によって得られた測距結果に応じて定められた合焦位置にフォーカスレンズ３０Ｂを光軸Ｌ２に沿って移動させる。従って、本構成によれば、認識動作を行う前に合焦位置にフォーカスレンズ３０Ｂが移動されるので、スマートデバイス２００は、認識動作を行う前に合焦位置にフォーカスレンズ３０Ｂが移動されない場合に比べ、並行処理が行われることで得られる可視光画像の画質を良好にすることができる。この結果、認識動作を行う前に合焦位置にフォーカスレンズ３０Ｂが移動されない場合に比べ、並行処理が行われることで得られる可視光画像に対する画像認識の精度を高めることができる。

［その他の実施形態］
上記各実施形態では、測距用区分領域２６Ｎ２によってＩＲ反射光が受光される形態例を挙げて説明したが、本開示の技術はこれに限定されず、測距用区分領域２６Ｎ２内の一部のＩＲ画素によってＩＲ反射光が受光されるようにしてもよい。

この場合、例えば、図１６に示すように、制御部９３は、ディスプレイ４６に対して測距範囲指定案内画面１０２を表示させる。測距範囲指定案内画面１０２は、ユーザ等に対して測距範囲の指定を案内する画面である。測距範囲指定案内画面１０２には、測距範囲を指定するか否かをユーザに対して問うメッセージ（以下、「案内メッセージ」とも称する）が表示されている。図１６に示す例では、案内メッセージの一例として、「測距範囲を指定しますか？」というメッセージが示されている。また、測距範囲指定案内画面１０２には、ソフトキー１０２Ａ及び１０２Ｂが表示されている。ソフトキー１０２Ａは、ユーザ等が測距範囲を指定する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１０２Ｂは、ユーザ等が測距範囲を指定しない場合、すなわち、撮像領域の全体を測距範囲とする場合にタッチパネル４８を介してユーザ等によってオンされる。

測距範囲指定案内画面１０２がディスプレイ４６に表示されている状態で、タッチパネル４８を介してソフトキー１０２Ａがユーザ等によってオンされると、一例として図１７に示すように、制御部９３は、ディスプレイ４６に対して、可視光画像をライブビュー画像として表示させる。ディスプレイ４６にライブビュー画像が表示されている状態で、タッチパネル４８を介してユーザ等によって画像領域（図１７に示す例では、可視光画像上の破線で囲まれた矩形領域）が指定される。ユーザ等によって指定された画像領域（以下、「指定画像領域」とも称する）に対応する実空間領域は、測距撮像装置１４による測距対象として指定される。

この場合、一例として図１８に示すように、タッチパネル４８から、可視光画像上での指定画像領域の位置を特定可能な領域位置特定情報（例えば、座標）が制御部９３に出力される。制御部９３は、測距用区分領域２６Ｎ２のうちの測距用指定区分領域２６Ｎ２ａの位置を特定可能な区分領域位置情報（例えば、画素アドレス）を光電変換素子ドライバ３２に出力する。ここで、測距用指定区分領域２６Ｎ２ａとは、測距用区分領域２６Ｎ２のうち、タッチパネル４８から入力された領域位置特定情報により特定される指定画像領域の位置に対応する位置の区分領域を指す。

光電変換素子ドライバ３２は、測距動作において、測距用区分領域２６Ｎ２のうちの測距用指定区分領域２６Ｎ２ａのみを駆動させることで、測距撮像装置１４及び１１４に対して、測距用指定区分領域２６Ｎ２ａのみによって受光されたＩＲ反射光を用いて測距を行わせる。つまり、測距は、複数のＩＲ画素のうちの指定された領域内に含まれる少なくとも１つのＩＲ画素のみによって受光されたＩＲ反射光を用いて行われる。

図１６～図１８に示す例では、測距用区分領域２６Ｎ２が測距用指定区分領域２６Ｎ２ａに変更されることによって、ユーザ等が指定した測距対象（いわゆるＲＯＩ）に絞って測距が行われるようにしたが、測距対象を絞る方法は、これに限定されない。例えば、ユーザ等によって指定された測距対象にレーザ光が照射されるように、受付デバイス４７によって受け付けられた指示に従って制御部９３によってレーザ光のビーム径及び／又は向きを変更させる制御が行われるようにしてもよい。

上記各実施形態では、受光器１８が搭載されたスマートデバイス１０、１００及び２００を例示したが、本開示の技術はこれに限定されず、例えば、図１９に示すように、受光器１８及び３５０が搭載されたスマートデバイス３００であってもよい。一例として図１９に示すように、スマートデバイス３００を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス３００の背面視左上部）には、透光窓２２に隣接して透光窓３５２が設けられている。透光窓３５２は、透光窓２０及び２２と同様に、透光性を有する光学素子（例えば、レンズ）であり、透光窓２０、２２及び３５２は、水平方向に沿って既定の間隔で配置されている。透光窓３５２も、透光窓２０及び２２と同様に、背面１２Ａから露出している。

受光器３５０は、光電変換素子３５４を備えている。光電変換素子３５４は、ＩＲ反射光の受光用に特化した光電変換素子であり、マトリクス状に配置された複数のＩＲ画素を有している。複数のＩＲ画素の一例としては、“４８９６×３２６５”画素分のＩＲ画素用のフォトダイオート（例えば、ＩｎＧａＡｓ ＡＰＤ）が挙げられる。光電変換素子３５４は、透光窓３５２を介して受光器３５０に取り込まれたＩＲ反射光を受光し、受光したＩＲ反射光の光量に応じた電気信号を信号処理回路３４（図８参照）に出力する。

また、図１９に示す例では、受光器１８及び３５０が搭載されたスマートデバイス３００を示したが、本開示の技術はこれに限定されず、例えば、図２０に示すように、受光器１８及び４５０が搭載されたスマートデバイス４００であってもよい。一例として図２０に示すように、スマートデバイス４００を縦置きの状態にした場合の筐体１２の背面１２Ａの右上部（縦置きの状態のスマートデバイス４００の背面視右上部）には、透光窓２０に隣接して透光窓４５２が設けられている。透光窓４５２は、透光窓２０及び２２と同様に、透光性を有する光学素子（例えば、レンズ）であり、透光窓４５２、２０及び２２は、水平方向に沿って既定の間隔で配置されている。透光窓４５２も、透光窓２０及び２２と同様に、背面１２Ａから露出している。

受光器４５０は、単一のフォトダイオード４５４を備えている。フォトダイオード４５４は、例えば、ＩＲ反射光を受光可能なフォトダイオードである。フォトダイオード４５４の一例としては、ＩｎＧａＡｓ ＡＰＤが挙げられる。フォトダイオード４５４は、透光窓４５２を介して受光器４５０に取り込まれたＩＲ反射光を受光し、受光したＩＲ反射光の光量に応じた電気信号を信号処理回路３４（図８参照）に出力する。

上記各実施形態では、本開示の技術に係る「光」の一例としてレーザ光を挙げて説明したが、本開示の技術はこれに限定されず、レーザ光に代えて、スーパールミネッセント光を用いてもよく、測距可能な指向性を有する光を用いて測距が行われるようにすればよい。

上記各実施形態では、測距撮像装置１４がスマートデバイス１０に内蔵されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２１に示すように、一般的なスマートデバイス５００、すなわち、測距撮像装置１４が内蔵されていないスマートデバイス５００に対して測距撮像装置１４が外付けされていてもよい。

また、上記各実施形態では、ＵＩ系デバイス４４がスマートデバイス１０に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部がスマートデバイス１０に対して外付けされていてもよい。また、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ５２に接続されることによって使用されるようにしてもよい。

また、図１に示す例では、スマートデバイス１０を例示したが、本開示の技術はこれに限定されない。すなわち、測距撮像装置１４が内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記のスマートデバイス１０と同様の作用及び効果が得られる。

また、上記各実施形態では、ディスプレイ４６を例示したが、本開示の技術はこれに限定されない。例えば、スマートデバイス１０に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記実施形態では、認識部９４がスマートデバイス１０に搭載されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、認識部９４を有する外部装置（例えば、他のスマートデバイス、パーソナル・コンピュータ及び／又はサーバ等）がスマートデバイス１０に対して接続されていてもよい。この場合、外部装置からスマートデバイス１０に対して提供される画像認識結果は、スマートデバイス１０のＣＰＵ１５Ａによって取得されるようにすればよい。また、クラウド・コンピューティング（図示省略）に認識部９４の機能を担わせ、クラウド・コンピューティングからスマートデバイス１０に対して画像認識結果が提供されるようにしてもよい。この場合、クラウド・コンピューティングからスマートデバイス１０に対して提供される画像認識結果は、スマートデバイス１０のＣＰＵ１５Ａによって取得されるようにすればよい。

また、上記各実施形態では、ストレージ１５Ｂに撮像処理プログラム７０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２２に示すように、撮像処理プログラム７０が記憶媒体９００に記憶されていてもよい。記憶媒体９００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

記憶媒体９００に記憶されている撮像処理プログラム７０は、コントローラ１５にインストールされる。ＣＰＵ１５Ａは、撮像処理プログラム７０に従って撮像処理を実行する。

また、通信網（図示省略）を介してコントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像処理プログラム７０を記憶させておき、上述のスマートデバイス１０の要求に応じて撮像処理プログラム７０がダウンロードされ、コントローラ１５にインストールされるようにしてもよい。

なお、コントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ１５Ｂに撮像処理プログラム７０の全てを記憶させておく必要はなく、撮像処理プログラム７０の一部を記憶させておいてもよい。

図２２に示す例では、スマートデバイス１０にコントローラ１５が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ１５がスマートデバイス１０の外部に設けられるようにしてもよい。

図２２に示す例では、ＣＰＵ１５Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ１５Ａに代えてＧＰＵを適用してもよい。

図２２に示す例では、コントローラ１５が例示されているが、本開示の技術はこれに限定されず、コントローラ１５に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１５に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記各実施形態で説明した撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像処理を実行する。

撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、撮像処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記）
プロセッサと、
上記プロセッサに接続又は内蔵されたメモリと、を含み、
上記プロセッサは、
撮像部によって撮像領域が撮像されることで得られた撮像画像に基づいて認識部が上記撮像領域に含まれる特定被写体を認識する認識動作と、測距部が上記撮像領域に対して光を照射し、上記撮像領域に対する上記光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行うこと、及び、
上記測距動作毎に、上記撮像領域に対する上記光の照射エネルギーを変更することを含む処理を実行する
処理装置。

Claims (22)

1. プロセッサと、
   前記プロセッサに接続又は内蔵されたメモリと、を備え、
   前記プロセッサは、
   撮像装置によって撮像領域が撮像されることで得られた撮像画像に基づいて認識プロセッサが前記撮像領域に含まれる特定被写体を認識する認識動作と、測距装置が前記撮像領域に対して光を照射し、前記撮像領域に対する前記光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行い、
   前記測距動作毎に、前記撮像領域に対する前記光の照射エネルギーを変更し、
   前記認識動作と前記測距動作とが並行して行われる回毎に、前記認識動作による認識結果と前記測距動作による測距結果とを統合する
   処理装置。
2. 前記プロセッサは、前記認識動作と前記測距動作とが並行して行われる回である実行回を、前記認識結果と前記測距結果とを統合することにより得られる格付け値を用いて格付する
   請求項１に記載の処理装置。
3. 前記格付け値は、前記認識結果が良好な度合いを示す第１重みを前記認識結果に対して付与して得た値と前記測距結果が良好な度合いを示す第２重みを前記測距結果に対して付与して得た値とを統合することにより得られる値である
   請求項２に記載の処理装置。
4. 前記プロセッサは、
   前記格付け値に従って前記実行回を選択し、
   選択した前記実行回で得られた前記撮像画像、前記認識結果、及び／又は前記測距結果を用いた第１処理を実行する
   請求項２又は請求項３に記載の処理装置。
5. 前記プロセッサは、
   複数の前記実行回のうち、前記格付け値が最も高い前記実行回を選択する
   請求項４に記載の処理装置。
6. 前記第１処理は、撮像処理、表示処理、及び／又は格納処理を含み、
   前記撮像処理は、前記認識結果及び／又は前記測距結果を用いて撮像を行う処理であり、
   前記表示処理は、前記撮像画像、前記認識結果、及び／又は前記測距結果を表示装置に表示する処理であり、
   前記格納処理は、前記撮像画像、前記認識結果、及び／又は前記測距結果を格納領域に格納する処理である
   請求項４又は請求項５に記載の処理装置。
7. 前記撮像処理は、合焦処理を含み、
   前記合焦処理は、前記認識結果及び／又は前記測距結果を用いて合焦を行う処理である
   請求項６に記載の処理装置。
8. 前記プロセッサは、前記認識動作によって得られる認識結果と前記測距動作によって得られる測距結果とを前記複数回のうちの特定の回に合わせて特定の出力先に出力する請求項１から請求項７の何れか一項に記載の処理装置。
9. 前記特定の出力先は、前記認識結果及び前記測距結果のうちの少なくとも一方を表示可能なディスプレイである請求項８に記載の処理装置。
10. 前記ディスプレイは、前記特定被写体を示す特定被写体画像と、前記認識結果として前記特定被写体画像を取り囲む画像とを表示する請求項９に記載の処理装置。
11. 前記撮像装置は、光軸に沿って移動可能なレンズを有し、
    前記プロセッサは、前記光軸上の位置であって、前記測距動作によって得られる測距結果に応じて定められた位置に前記レンズを前記光軸に沿って移動させる請求項１から請求項１０の何れか一項に記載の処理装置。
12. 前記位置は、合焦位置である請求項１１に記載の処理装置。
13. 前記撮像装置は、光軸に沿って移動可能なレンズを有し、
    前記測距装置は、前記認識動作に先立って、前記撮像領域に対して合焦制御用光を照射し、前記撮像領域に対する前記合焦制御用光による合焦制御用反射光を受光することで合焦制御用測距を行い、
    前記プロセッサは、前記合焦制御用測距によって得られる測距結果に応じて定められた合焦位置に前記レンズを前記光軸に沿って移動させる請求項１から請求項１０の何れか一項に記載の処理装置。
14. 前記プロセッサは、前記複数回の前記認識動作によって得られた複数の認識結果を用いた特定処理を行う請求項１から請求項１３の何れか一項に記載の処理装置。
15. 前記特定処理は、前記認識結果が外部に出力される処理である
    請求項１４に記載の処理装置。
16. 前記特定処理は、前記認識結果と、前記撮像画像とが、特定のフォーマット形式のファイルとして作成される処理である
    請求項１４に記載の処理装置。
17. 前記特定被写体は、顔である請求項１から請求項１６の何れか一項に記載の処理装置。
18. 前記顔は、特定の表情の顔である請求項１７に記載の処理装置。
19. 前記特定被写体は、閾値未満の反射率を有する物体である請求項１から請求項１６の何れか一項に記載の処理装置。
20. 請求項１から請求項１９の何れか一項に記載の処理装置と、
    前記認識プロセッサ及び前記測距装置のうちの少なくとも一方と、
    を含む電子機器。
21. 撮像装置によって撮像領域が撮像されることで得られた撮像画像に基づいて認識プロセッサが前記撮像領域に含まれる特定被写体を認識する認識動作と、測距装置が前記撮像領域に対して光を照射し、前記撮像領域に対する前記光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行うこと、
    前記測距動作毎に、前記撮像領域に対する前記光の照射エネルギーを変更すること、及び、
    前記認識動作と前記測距動作とが並行して行われる回毎に、前記認識動作による認識結果と前記測距動作による測距結果とを統合することを含む
    処理方法。
22. コンピュータに、
    撮像装置によって撮像領域が撮像されることで得られた撮像画像に基づいて認識プロセッサが前記撮像領域に含まれる特定被写体を認識する認識動作と、測距装置が前記撮像領域に対して光を照射し、前記撮像領域に対する前記光による反射光を受光することで測距を行う測距動作とを複数回並行して行わせる制御を行うこと、
    前記測距動作毎に、前記撮像領域に対する前記光の照射エネルギーを変更すること、及び、
    前記認識動作と前記測距動作とが並行して行われる回毎に、前記認識動作による認識結果と前記測距動作による測距結果とを統合することを含む処理を実行させるためのプログラム。