JP7348300B2 - 処理装置、電子機器、処理方法、及びプログラム - Google Patents

Description

本開示の技術は、処理装置、電子機器、処理方法、及びプログラムに関する。

特許第６３２１１４５号には、測距装置が開示されている。特許第６３２１１４５号に記載の測距装置は、被写体を示す被写体像を結像する結像光学系により結像された被写体像を撮影する撮影部と、結像光学系の光軸方向に沿って、指向性のある光である指向性光を射出する射出部であって、指向性光の射出強度が調整可能であり、合焦状態特定情報と、被写体輝度又は露出状態特定情報と、の少なくとも一方に基づいて射出強度を調整して指向性光を射出する射出部と、指向性光の被写体からの反射光を受光する受光部と、射出部により指向性光が射出されたタイミング及び受光部により反射光が受光されたタイミングに基づいて被写体までの距離を導出する導出部と、撮影部による撮影に先立って、結像光学系の被写体への焦点調整、及び露出調整の少なくとも一方を実行する実行部と、実行部に対して焦点調整及び露出調整の少なくとも一方の実行を開始させる撮影準備指示の第１押圧操作と撮影部による本露光を開始させる撮影指示の第２押圧操作との２段階の押圧操作を受け付ける受付部と、受付部によって第１押圧操作が受け付けられた場合に、実行部により焦点調整及び露出調整の少なくとも一方が実行される制御を行い、焦点調整及び露出調整の少なくとも一方が実行されたことを条件に射出部、受光部、及び導出部による測距を開始させる制御を行い、測距が完了した後に、第１押圧操作が維持された状態で、情報を提示する提示部に対して、測距の結果に関する情報を提示させてから、受付部に対する押圧操作が解除されることなく第１押圧操作から引き続き第２押圧操作が受付部によって受け付けられた場合に、撮影部による本露光が行われる制御を行う制御部と、を含む。

特開２００６－１７１１２０号公報には、撮影装置が開示されている。特開２００６－１７１１２０号公報に記載の撮影装置は、撮影操作に先立って被写体コントラストを検知してピント調整を行う撮影装置であり、被写体コントラスト検出用に被写体に向けて相対的に波長帯域の広い光を照射する第１の補助光発光体と、被写体コントラスト検出用に被写体に向けて相対的に波長帯域の狭い光を照射する第２の補助光発光体と、第１の補助光発光体と第２の補助光発光体を切り替える切替手段と、を備えたことを特徴とする。

国際公開第２０１８／１４２９９３号には、発光制御装置が開示されている。国際公開第２０１８／１４２９９３号に記載の発光制御装置は、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）補助光の光量を設定する光量設定部と、光量設定部による設定に従って、ＡＦ補助光の発光を制御する発光制御部と、を備えている。

本開示の技術に係る一つの実施形態は、測距用に照射される光の照射エネルギーが撮像領域内の反射率とは無関係に決定される場合に比べ、撮像領域画像に対して測距用の反射光が与える影響を低減することができる処理装置、電子機器、処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像領域を撮像する撮像部による撮像動作と、測距部が撮像領域に対して光を照射し、撮像領域に対する光による反射光を受光することで測距を行う測距動作とを行わせる制御を行う制御部と、撮像領域内の反射率を特定可能な反射率情報を取得する取得部と、撮像動作と測距動作とが行われている状態で、取得部によって取得された反射率情報に応じて光の照射エネルギーを変更する変更部と、を含む処理装置である。

本開示の技術に係る第２の態様は、反射率情報が、撮像部によって撮像領域が撮像されることで得られた撮像領域画像に基づく情報である、第１の態様に係る処理装置である。

本開示の技術に係る第３の態様は、撮像領域画像に基づく情報が、認識部によって撮像領域画像に対する画像認識が行われることで得られた画像認識結果である、第２の態様に係る処理装置である。

本開示の技術に係る第４の態様は、取得部が、画像と被写体認識結果との対応関係が機械学習されることによって得られた学習結果に基づいて画像認識結果を取得する、第３の態様に係る処理装置である。

本開示の技術に係る第５の態様は、取得部によって取得された画像認識結果が、撮像領域画像内に基準反射率以上の物体を示す画像が含まれていることを示す画像認識結果の場合に、変更部が、照射エネルギーを第１基準照射エネルギーよりも弱くする、第３の態様又は第４の態様に係る処理装置である。

本開示の技術に係る第６の態様は、物体が、光沢性を有する物体として予め定められた物体である、第５の態様に係る処理装置である。

本開示の技術に係る第７の態様は、予め定められた物体が、鏡状の物体である、第６の態様に係る処理装置である。

本開示の技術に係る第８の態様は、変更部が、撮像シーンを指示する撮像シーン指示情報を受付可能な受付部によって受け付けられた撮像シーン指示情報と、取得部によって取得された反射率情報とに応じて光の照射エネルギーを変更する、第１の態様から第７の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第９の態様は、変更部が、受付部によって受け付けられた撮像シーン指示情報により指示された撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、照射エネルギーを第２基準照射エネルギーよりも弱くする、第８の態様に係る処理装置である。

本開示の技術に係る第１０の態様は、変更部が、撮像領域画像に基づいて撮像シーンを特定可能な特定部によって特定された撮像シーンと、取得部によって取得された反射率情報とに応じて光の照射エネルギーを変更する、第１の態様から第７の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第１１の態様は、変更部が、特定部によって特定された撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、照射エネルギーを第３基準照射エネルギーよりも弱くする、第１０の態様に係る処理装置である。

本開示の技術に係る第１２の態様は、制御部が、光源から光として補助光を発生させ、かつ、撮像領域に対する補助光による補助反射光を受光素子に受光させる制御を行い、反射率情報が、受光素子によって補助反射光が受光された受光結果に基づく情報である、第１の態様から第１１の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第１３の態様は、受光結果に基づく情報は、受光素子によって受光された補助反射光の単位時間あたりの受光量に基づく情報である、第１２の態様に係る処理装置である。

本開示の技術に係る第１４の態様は、変更部が、取得部によって取得された反射率情報により特定される反射率が閾値以上の場合に、照射エネルギーを第４基準照射エネルギーよりも弱くする、第１２の態様又は第１３の態様に係る処理装置である。

本開示の技術に係る第１５の態様は、測距部が、ＴＯＦカメラを有する、第１の態様から第１４の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第１６の態様は、制御部が、ＴＯＦカメラによって生成された距離画像を表示部に対して表示させる、第１５の態様に係る処理装置である。

本開示の技術に係る第１７の態様は、ＴＯＦカメラが、複数の光電変換画素を有し、測距が、複数の光電変換画素のうちの指定された領域内に含まれる少なくとも１つの光電変換画素のみによって受光された反射光を用いて行われる、第１５の態様又は第１６の態様に係る処理装置である。

本開示の技術に係る第１８の態様は、少なくとも１つの光電変換画素が、撮像領域画像が表示されている状態の画面内から指定された画像領域の位置に対応する位置の光電変換画素である、第１７の態様に係る処理装置である。

本開示の技術に係る第１９の態様は、変更部が、撮像動作中に行われる本露光のタイミングに合わせて照射エネルギーを変更する、第１の態様から第１８の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第２０の態様は、撮像動作が、撮像部がライブビュー画像用に撮像領域を撮像するライブビュー画像用撮像動作を含む、第１の態様から第１９の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第２１の態様は、測距動作が、撮像部による合焦用の測距動作である、第１の態様から第２０の態様の何れか１つの態様に係る処理装置である。

本開示の技術に係る第２２の態様は、撮像部が、合焦用の測距動作によって測距が行われることで得られた測距結果に基づいて撮像領域に対する合焦を行う、第２１の態様に係る処理装置である。

本開示の技術に係る第２３の態様は、光が、指向性光である、第１の態様から第２２の態様の係る処理装置である。

本開示の技術に係る第２４の態様は、第１の態様から第２３の態様の何れか１つの態様に係る処理装置と、撮像部と、測距部と、を含む電子機器である。

本開示の技術に係る第２５の態様は、撮像領域を撮像する撮像部による撮像動作と、測距部が撮像領域に対して光を照射し、撮像領域に対する光による反射光を受光することで測距を行う測距動作とを行わせる制御を行うこと、撮像領域内の反射率を特定可能な反射率情報を取得すること、及び撮像動作と測距動作とが行われている状態で、取得した反射率情報に応じて光の照射エネルギーを変更することを含む処理方法である。

本開示の技術に係る第２６の態様は、コンピュータに、撮像領域を撮像する撮像部による撮像動作と、測距部が撮像領域に対して光を照射し、撮像領域に対する光による反射光を受光することで測距を行う測距動作とを行わせる制御を行うこと、撮像領域内の反射率を特定可能な反射率情報を取得すること、及び撮像動作と測距動作とが行われている状態で、取得した反射率情報に応じて光の照射エネルギーを変更することを含む処理を実行させるためのプログラム。

実施形態に係るスマートデバイスの使用態様の一例を示す概略斜視図である。 実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 実施形態に係るスマートデバイスに含まれる光電変換素子の構造の一例を示す概略斜視図である。 図２に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図である。 実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域が撮像され、ディスプレイに可視光画像が表示されている態様の一例を示す概念図である。 実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域に対してレーザ光を照射している態様の一例を示す概念図である。 実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域を測距対象として測距を行い、測距結果が距離画像としてディスプレイに表示されている態様の一例を示す概念図である。 実施形態に係るスマートデバイスに含まれる測距撮像装置によって撮像領域を測距対象として測距を行い、測距結果が反映された距離重畳画像がディスプレイに表示されている態様の一例を示す概念図である。 実施形態に係るスマートデバイスの電気系ハードウェアの構成の一例を示すブロック図である。 実施形態に係るスマートデバイスに含まれるストレージの記憶内容の一例を示す概念図である。 実施形態に係るスマートデバイスに含まれるＣＰＵによって実行される測距撮像処理の内訳の一例を示す概念図である。 実施形態に係るスマートデバイスに含まれるＣＰＵによって測距撮像処理が行われる場合のＣＰＵの機能の一例を示す機能ブロック図である。 実施形態に係るスマートデバイスに含まれるディスプレイに表示された表示モード選択画面の一例を示す概略画面図である。 実施形態に係るスマートデバイスに含まれるディスプレイに表示された測距範囲指定案内画面の一例を示す概略画面図である。 実施形態に係るスマートデバイスに含まれるディスプレイにライブビュー画像として表示された可視光画像と指定画像領域との一例を示す概略画面図である。 スマートデバイスに含まれる光電変換素子の測距用区分領域から測距用指定区分領域への絞り方の一例の説明に供する概念図である。 実施形態に係る並行処理の流れの一例を示すフローチャートである。 実施形態に係る撮像処理の流れの一例を示すフローチャートである。 実施形態に係る測距処理の流れの一例を示すフローチャートである。 実施形態に係る変更処理の流れの一例を示すフローチャートである。 実施形態に係る表示制御処理の流れの一例を示すフローチャートである。 図２１Ａに示すフローチャートの続きである。 実施形態に係るスマートデバイスに含まれるＣＰＵによって測距撮像処理が行われる場合のＣＰＵの機能の第１変形例を示す機能ブロック図である。 実施形態に係るスマートデバイスに含まれるディスプレイに表示された撮像シーン選択画面の一例を示す概略画面図である。 実施形態に係る変更処理の流れの第１変形例を示すフローチャートである。 実施形態に係るスマートデバイスに含まれるＣＰＵによって測距撮像処理が行われる場合のＣＰＵの機能の第２変形例を示す機能ブロック図である。 実施形態に係る変更処理の流れの第２変形例を示すフローチャートである。 実施形態に係るスマートデバイスの電気系ハードウェアの構成の第１変形例を示すブロック図である。 実施形態に係るスマートデバイスに含まれるＣＰＵによって測距撮像処理が行われる場合のＣＰＵの機能の第３変形例を示す機能ブロック図である。 実施形態に係る変更処理の流れの第３変形例を示すフローチャートである。 実施形態に係るスマートデバイスに含まれるＣＰＵによって測距撮像処理が行われる場合のＣＰＵの機能の第４変形例を示す機能ブロック図である。 実施形態に係る変更処理の流れの第４変形例を示すフローチャートである。 実施形態に係る変更処理の流れの第５変形例を示すフローチャートである。 実施形態に係るスマートデバイスに含まれる測距撮像装置によって照射される測距光の強度を変更するタイミングの一例を示す概念図である。 実施形態に係るスマートデバイスの外観構成の第１変形例を示す概略斜視図である。 実施形態に係るスマートデバイスの外観構成の第２変形例を示す概略斜視図である。 実施形態に係る測距撮像装置とスマートデバイスとを組み合わせた外観構成の一例を示す概略斜視図である。 実施形態に係る測距撮像処理プログラムがスマートデバイスにインストールされる態様の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＬＴＥとは、“Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ”の略称を指す。５Ｇとは、“５ｔｈ Ｇｅｎｅｒａｔｉｏｎ”の略称を指す。ＬＤとは、“Ｌａｓｅｒ Ｄｉｏｄｅ”の略称を指す。ＩＲとは、“Ｉｎｆｒａｒｅｄ”の略称を指す。ＡＰＤとは、“Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ”の略称を指す。ＴＯＦとは、“Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ”の略称を指す。ｆｐｓとは、“ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ”の略称を指す。ＬＥＤとは、“Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ”の略称を指す。ＲＯＩとは、“Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。

本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの水平を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。本明細書の説明において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの垂直を指す。本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの同一を指す。

一例として図１に示すように、スマートデバイス１０は、画角θ１で規定された撮像領域を撮像する撮像動作（以下、単に「撮像動作」とも称する）と、撮像領域に対してレーザ光を照射し、撮像領域に対するレーザ光による反射光を受光することで測距を行う測距動作（以下、単に「測距動作」とも称する）とを行う。レーザ光は、本開示の技術に係る「指向性光」の一例である。

本実施形態において、「測距」とは、スマートデバイス１０から撮像領域内の測距対象までの距離を測定する処理を指す。また、ここで、「測距対象」とは、レーザ光を反射する物体を指し、図１に示す例では、撮像領域内の測距対象として、人物及び樹木が示されている。なお、スマートデバイス１０としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。

一例として図２に示すように、スマートデバイス１０は、筐体１２を備えている。筐体１２には、測距撮像装置１４が収容されている。測距撮像装置１４は、光照射器１６及び受光器１８を備えている。光照射器１６は、ＬＤ２４を備えており、受光器１８は、光電変換素子２６を備えている。スマートデバイス１０において、撮像動作及び測距動作は、測距撮像装置１４によって行われる。なお、測距撮像装置１４は、本開示の技術に係る「撮像部（撮像装置）」及び「測距部（測距装置）」の一例である。

スマートデバイス１０の側面には、指示キー１３が配置されている。指示キー１３は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、及び選択内容の消去の指示等を指す。

スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス１０の背面視左上部）には、透光窓２０及び２２が設けられている。透光窓２０及び２２は、透光性を有する光学素子（例えば、レンズ）であり、水平方向に沿って既定の間隔（例えば、数ミリの間隔）で配置されており、背面１２Ａから露出している。光照射器１６は、ＬＤ２４から出射されたレーザ光を、透光窓２０を介して測距対象に照射する。本実施形態では、赤外波長域のレーザ光が採用されている。しかし、レーザ光の波長域は、これに限らず、他の波長域のレーザ光であってもよい。

受光器１８は、透光窓２２を介してＩＲ反射光を取り込む。ＩＲ反射光とは、光照射器１６によって測距対象に照射されたレーザ光による反射光を指す。また、受光器１８は、透光窓２２を介して可視反射光を取り込む。可視反射光とは、撮像領域に対して照射された可視光（例えば、太陽光に含まれる可視光）による反射光を指す。なお、以下では、説明の便宜上、ＩＲ反射光と可視反射光とを区別して説明する必要がない場合、単に「反射光」と称する。

受光器１８は、光電変換素子２６を備えており、光電変換素子２６は、透光窓２２を介して受光器１８に取り込まれた反射光を受光し、受光した反射光の光量に応じた電気信号を出力する。

一例として図３に示すように、光電変換素子２６は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子２６に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑色）波長域に対応するＧフィルタ、Ｒ（赤色）波長域に対応するＲフィルタ、Ｂ（青色）波長域に対応するＢフィルタ、及びＩＲ（赤外）波長域に対応するＩＲフィルタを含む。なお、本実施形態において、Ｇフィルタ、Ｒフィルタ、及びＢフィルタは、赤外光をカットする赤外光カットフィルタとしての機能も有する。また、以下では、説明の便宜上、Ｇフィルタ、Ｒフィルタ、及びＢフィルタを区別して説明する必要がない場合、「可視光フィルタ」とも称する。

光電変換素子２６は、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素を有する。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素であり、ＩＲ画素は、ＩＲフィルタが配置されたフォトダイオードに対応する画素である。Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素は、行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。本実施形態において、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列は、Ｘ－Ｔｒａｎｓ（登録商標）配列のうち、一部のＧ画素をＩＲ画素に置き換えられることで得られた配列である。ＩＲ画素は、行方向及び列方向に沿って特定の周期性で配置されている。

なお、ここでは、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列として、Ｘ－Ｔｒａｎｓ配列を基礎とした配列が例示しているが、本開示の技術はこれに限定されず、Ｒ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列は、ベイヤ配列又はハニカム（登録商標）配列などの他の配列を基礎とした配列であってもよい。

また、ここでは、Ｒ画素、Ｇ画素、及びＢ画素の配列として一般的に知られている配列のうち、一部のＧ画素がＩＲ画素に置き換えられることで得られた配列がＲ画素、Ｇ画素、Ｂ画素、及びＩＲ画素の配列として例示されているが、本開示の技術はこれに限定されない。例えば、Ｒ画素、Ｇ画素、及びＢ画素（以下、これらを「可視光画素」とも称する）の各々に対応する各カラーフィルタを、赤外光も透過させるカラーフィルタとし、１つのカラーフィルタにつき、可視光画素用のフォトダイオードとＩＲ画素用のフォトダイオート（例えば、ＩｎＧａＡｓ ＡＰＤ）による一対のフォトダイオードが配置されるようにしてもよい。

本実施形態において、光電変換素子２６は、２つの領域に区分される。すなわち、光電変換素子２６は、可視光画像用区分領域２６Ｎ１と測距用区分領域２６Ｎ２とを有する。可視光画像用区分領域２６Ｎ１は、複数の可視光画素による可視光画素群であり、可視光画像の生成に用いられる。測距用区分領域２６Ｎ２は、複数のＩＲ画素によるＩＲ画素群であり、測距に用いられる。可視光画像用区分領域２６Ｎ１は、可視反射光を受光し、受光量に応じた電気信号を出力する。測距用区分領域２６Ｎ２は、ＩＲ反射光を受光し、受光量に応じた電気信号を出力する。

一例として図４に示すように、筐体１２の前面１２Ｂには、タッチパネル・ディスプレイ５９が設けられている。タッチパネル・ディスプレイ５９は、ディスプレイ４６及びタッチパネル４８を備えている。ディスプレイ４６の一例としては、有機ＥＬディスプレイが挙げられる。ディスプレイ４６は、有機ＥＬディスプレイではなく、液晶ディスプレイ又は無機ＥＬディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ４６は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。また、タッチパネル４８は、本開示の技術に係る「受付部（受付デバイス（アクセプタ））」の一例である。

ディスプレイ４６は、画像（例えば、ライブビュー画像及び再生画像）及び文字情報等を表示する。タッチパネル４８は、透過型のタッチパネルであり、ディスプレイ４６の表示領域の表面に重ねられている。タッチパネル４８は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、ここでは、タッチパネル・ディスプレイ５９の一例として、タッチパネル４８がディスプレイ４６の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ５９として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。

一例として図５に示すように、スマートデバイス１０では、撮像を開始する指示がタッチパネル４８によって受け付けられると、受光器１８によって撮像領域が撮像される。すなわち、受光器１８は、可視反射光を受光し、受光した可視反射光に応じた画像として、撮像領域を示す可視光画像を生成する。可視光画像は、本開示の技術に係る「撮像領域画像」の一例である。

可視光画像は、タッチパネル４８によって受け付けられた指示に応じて、ライブビュー画像又は静止画像として、ディスプレイ４６に表示される。図５に示す例では、撮像領域が画角θ１によって規定されている。画角θ１は、タッチパネル４８によって受け付けられた指示に従って変更される。

一例として図６に示すように、スマートデバイス１０では、測距を開始する指示（以下、「測距開始指示」とも称する）がタッチパネル４８によって受け付けられると、光照射器１６によってレーザ光が照射される。レーザ光が照射される角度（以下、「照射角度」とも称する）は、θ２であり、照射角度θ２は、タッチパネル４８によって受け付けられた指示に従って変更される。なお、図６に示す例では、可視光画像がライブビュー画像としてディスプレイ４６に表示されている状態でタッチパネル４８によって受け付けられた測距開始指示に応じて測距が開始される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、可視光画像がディスプレイ４６に表示されていない状態でタッチパネル４８によって測距開始指示が受け付けられた場合に測距が開始されるようにしてもよい。

スマートデバイス１０では、光照射器１６によってレーザ光が照射されてから、受光器１８の測距用区分領域２６Ｎ２（図３参照）によってＩＲ反射光が受光されるまでに要する時間と、光速とに基づいて、スマートデバイス１０から測距対象までの距離が測定される。例えば、測距対象までの距離を“Ｌ”とし、光速を“ｃ”とし、光照射器１６によってレーザ光が照射されてから測距用区分領域２６Ｎ２よってＩＲ反射光が受光されるまでに要する時間を“ｔ”とすると、距離Ｌは、“Ｌ＝ｃ×ｔ×０．５”の式に従って算出される。

一例として図７に示すように、スマートデバイス１０では、測距用区分領域２６Ｎ２に含まれる複数のＩＲ画素の各々によってＩＲ反射光が受光されることで、ＩＲ画素毎に測距が行われる。そして、ＩＲ画素毎の測距結果が距離画像としてディスプレイ４６に表示される。ここで、距離画像とは、ＩＲ画素毎に測定された測距対象までの距離を色別及び／又は濃淡で表現した画像を指す。

スマートデバイス１０では、タッチパネル４８によって受け付けられた指示に従って、測距結果が距離画像又は距離重畳画像でディスプレイ４６に表示される。図８に示す例では、ディスプレイ４６に距離重畳画像が表示されている距離重畳画像は、可視光画像（例えば、ライブビュー画像）に対して、測距結果を示す数値（図８に示す例では、１．６ｍ、１．８ｍ、及び５．３ｍ）を重畳させることで得られる画像である。例えば、スマートデバイス１０から撮像領域内のうちの代表的な複数の箇所（図８に示す例では、３箇所）の各々までの距離が可視光画像に表示された状態でディスプレイ４６に表示される。代表的な複数の箇所の一例としては、撮像領域内の特定の被写体（例えば、画面中央領域に含まれる被写体、及び／又は、人間等）のうち、互いのコントラストの差が既定値以上の複数の箇所が挙げられる。

一例として図９に示すように、スマートデバイス１０は、光照射器１６及び受光器１８の他に、コントローラ１５、入出力インタフェース４０、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４を備えている。なお、コントローラ１５は、本開示の技術に係る「処理装置」及び「コンピュータ」の一例である。

コントローラ１５は、ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃを備えている。ＣＰＵ１５Ａは、本開示の技術に係る「プロセッサ」、「認識プロセッサ」及び「特定プロセッサ」の一例であり、メモリ１５Ｃは、本開示の技術に係る「メモリ」の一例である。ＣＰＵ１５Ａ、ストレージ１５Ｂ、及びメモリ１５Ｃは、バス５０を介して接続されており、バス５０は、入出力インタフェース４０に接続されている。なお、図９に示す例では、図示の都合上、バス５０として１本のバスが図示されているが、複数本のバスであってもよい。バス５０は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ストレージ１５Ｂは、各種パラメータ及び各種プログラムを記憶している。ストレージ１５Ｂは、不揮発性の記憶装置である。ここでは、ストレージ１５Ｂの一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ１５Ｂとしては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。また、メモリ１５Ｃは、各種情報を一時的に記憶し、ワークメモリとして用いられる。メモリ１５Ｃの一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

ストレージ１５Ｂには、各種プログラムが記憶されている。ＣＰＵ１５Ａは、ストレージ１５Ｂから必要なプログラムを読み出し、読み出したプログラムをメモリ１５Ｃ上で実行する。ＣＰＵ１５Ａは、メモリ１５Ｃ上で実行するプログラムに従ってスマートデバイス１０の全体を制御する。

入出力インタフェース４０には、複数のデバイスが接続されており、入出力インタフェース４０は、複数のデバイス間での各種情報の授受を司る。図９に示す例では、入出力インタフェース４０に接続されている複数のデバイスとして、コントローラ１５、光照射器１６、受光器１８、画像メモリ４２、ＵＩ系デバイス４４、外部Ｉ／Ｆ５２、及び通信Ｉ／Ｆ５４が示されている。

外部Ｉ／Ｆ５２は、スマートデバイス１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５２の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接または間接的に接続可能である。

通信Ｉ／Ｆ５４は、ＬＴＥ、５Ｇ、無線ＬＡＮ、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を有しており、外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。例えば、通信Ｉ／Ｆ５４は、基地局（図示省略）を介してネットワーク５６（例えば、インターネット）に通信可能に接続されており、ネットワーク５６上の外部装置とＣＰＵ１５Ａとの間での各種情報の授受を司る。

ＵＩ系デバイス４４は、ディスプレイ４６を備えており、ＣＰＵ１５Ａは、ディスプレイ４６に対して各種情報を表示させる。また、ＵＩ系デバイス４４は、受付デバイス４７を備えている。受付デバイス４７は、タッチパネル４８及びハードキー部５３を備えている。ハードキー部５３は、指示キー１３（図２参照）を含む少なくとも１つのハードキーである。ＣＰＵ１５Ａは、タッチパネル４８によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部５３がＵＩ系デバイス４４に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部５３は、外部Ｉ／Ｆ５２に接続されていてもよい。

光照射器１６は、透光窓２０、ビームエクスパンダ２１、コリメートレンズ２３、ＬＤ２４、及びＬＤドライバ２５を備えており、光軸Ｌ１に沿って、撮像領域側（物体側）からＬＤ２４にかけて、透光窓２０、ビームエクスパンダ２１、及びコリメートレンズ２３が順に配置されている。ＬＤドライバ２５は、ＬＤ２４及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従ってＬＤ２４を駆動させてＬＤ２４からレーザ光を出射させる。

ＬＤ２４から出射されたレーザ光は、コリメートレンズ２３によって平行光に変換されてからビームエクスパンダ２１によって光径が拡げられ、透光窓２０から測距対象に向けて照射される。

受光器１８は、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、絞り３０Ｃ、光電変換素子２６、光電変換素子ドライバ３２、及び信号処理回路３４を備えている。受光器１８では、光軸Ｌ２に沿って、撮像領域側（物体側）から光電変換素子２６にかけて、透光窓２２、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃが順に配置されている。光電変換素子ドライバ３２は、光電変換素子２６及び入出力インタフェース４０に接続されており、ＣＰＵ１５Ａの指示に従って光電変換素子２６を駆動させる。例えば、光電変換素子ドライバ３２は、ＣＰＵ１５Ａの制御下で、光電変換素子２６によって行われる撮像のタイミングを規定する撮像タイミング信号を光電変換素子２６に供給する。光電変換素子２６は、光電変換素子ドライバ３２から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。

受光器１８は、合焦制御機構３１を備えている。合焦制御機構３１は、フォーカスレンズ３０Ｂ、移動機構６０、モータ６２、及びモータドライバ６４を備えている。フォーカスレンズ３０Ｂは、移動機構６０によって光軸Ｌ２に沿ってスライド可能に支持されている。モータ６２は、移動機構６０及びモータドライバ６４に接続されている。モータドライバ６４は、入出力インタフェース４０に接続されており、ＣＰＵ１５Ａからの指示に従ってモータ６２を駆動させる。移動機構６０は、モータ６２の駆動軸（図示省略）に接続されており、モータ６２から動力を受けることで、フォーカスレンズ３０Ｂを光軸Ｌ２に沿って物体側と像側とに選択的に移動させる。すなわち、ＣＰＵ１５Ａは、モータドライバ６４を介してモータ６２の駆動を制御することで合焦位置を調整する。ここで、「合焦位置」とは、ピントが合っている状態（例えば、可視光画像のコントラストを最大値にした状態、又は、既定の被写体深度を実現した状態）でのフォーカスレンズ３０Ｂの光軸Ｌ２上での位置を指す。以下では、説明の便宜上、フォーカスレンズ３０Ｂを合焦位置に合わせる制御を「合焦制御」とも称する。

絞り３０Ｃは、開口が変化しない固定絞りである。固定絞りの場合、露出調節は光電変換素子２６の電子シャッタで行われる。絞り３０Ｃは、固定絞りでなく、可変絞りであってもよい。なお、受光器１８に含まれる対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃはあくまでも一例であり、レンズの構成及び／又は絞り３０Ｃの位置が変わっても本開示の技術は成立する。

受光器１８には、透光窓２２から反射光が入射される。透光窓２２に入射された反射光は、対物レンズ３０Ａ、フォーカスレンズ３０Ｂ、及び絞り３０Ｃを介して光電変換素子２６に結像される。

光電変換素子２６は、信号処理回路３４に接続されており、可視光画素及びＩＲ画素の各画素について、画素値を示す画素データを信号処理回路３４に出力する。信号処理回路３４は、光電変換素子２６から入力された画素データに対してＡ／Ｄ変換を行うことで画素データをデジタル化し、デジタル化した画素データに対して各種の信号処理を施す。

信号処理回路３４は、可視光画素データ処理回路３４Ａ及び距離画像生成回路３４Ｂを備えている。可視光画素データ処理回路３４Ａは、可視光画素についての画素データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理を施すことで可視光画像を生成する。そして、可視光画素データ処理回路３４Ａは、可視光画像を画像メモリ４２に格納する。なお、画像メモリ４２には、１フレーム分の可視光画像が上書き保存されることで、画像メモリ４２内の可視光画像が更新される。

測距撮像装置１４は、ＴＯＦカメラ１９を備えている。ＴＯＦカメラ１９は、光照射器１６、測距用区分領域２６Ｎ２、及び距離画像生成回路３４Ｂを備えている。距離画像生成回路３４Ｂは、ＬＤ２４からレーザ光が出射されたタイミング（以下、「出射タイミング」とも称する）を示す出射タイミング信号をＣＰＵ１５Ａから取得する。距離画像生成回路３４Ｂは、出射タイミング信号により示される出射タイミングと、各ＩＲ画素によってＩＲ反射光が受光されたタイミング（以下、「受光タイミング」とも称する）とに基づいて、各ＩＲ画素について、スマートデバイス１０から測距対象までの距離を測定する。そして、距離画像生成回路３４Ｂは、ＩＲ画素毎の測定結果に基づいて距離画像を生成し、生成した距離画像を画像メモリ４２に格納する。なお、画像メモリ４２には、１フレーム分の距離画像が上書き保存されることで、画像メモリ４２内の距離画像が更新される。

一例として図１０に示すように、ストレージ１５Ｂには、撮像処理プログラム７０、測距処理プログラム７２、並行処理プログラム７４、変更処理プログラム７６、表示制御処理プログラム７８、画像認識用辞書８０、及び照射エネルギーテーブル８２が記憶されている。なお、以下では、説明の便宜上、撮像処理プログラム７０、測距処理プログラム７２、並行処理プログラム７４、変更処理プログラム７６、及び表示制御処理プログラム７８を区別して説明する必要がない場合、「測距撮像処理プログラム」と称する。

ところで、従来技術によれば、ＩＲ反射光は、ＩＲ画素によって受光され、出射タイミングと受光タイミングとに基づいて、スマートデバイス１０から測距対象までの距離が測定される。ＩＲ反射光は、可視光フィルタによって完全にカットされるのが理想であるが、ＩＲ反射光の強度によっては、可視光フィルタで完全にカットすることが困難である。この場合、ＩＲ反射光が、可視光画素に到達することで、可視光画像にノイズとして現れ、可視光画像の画質に影響を及ぼしてしまう虞がある。

ＩＲ反射光が可視光画像にノイズとして現れないようにする方法としては、被写体との距離が既定距離（例えば、０．５ｍ）以下の場合、撮像動作が行われる期間（例えば、光電変換素子２６によって露光が行われる期間）に測距動作を停止させる、という方法が考えられる。

しかし、測距結果を合焦制御に用いる場合において、撮像動作が行われる期間に、常に測距動作を停止させると、測距動作を停止している間は合焦制御に測距結果を反映させることができないため、常に測距動作を行う場合に比べ、合焦制御の精度の低下が懸念される。特に、動き続ける被写体を測距対象とする場合に、現状に合わない測距結果に従って合焦制御が行われてしまう虞がある。また、撮像シーン次第では、被写体との距離が既定距離であっても、被写体の反射率によっては、ＩＲ反射光が可視光画像にノイズとして現れない場合も考えられるが、このような場合であっても、被写体との距離が既定距離以下であれば、測距動作が停止してしまう。

そこで、スマートデバイス１０では、一例として図１１に示すように、ＣＰＵ１５Ａが、ストレージ１５Ｂから測距撮像処理プログラムを読み出し、読み出した測距撮像処理プログラムに従って測距撮像処理を実行する。測距撮像処理は、後述の撮像処理（図１８参照）、後述の測距処理（図１９参照）、後述の並行処理（図１７参照）、後述の変更処理（図２０参照）、及び後述の表示制御処理（図２１Ａ及び図２１Ｂ参照）を含む処理である。

ＣＰＵ１５Ａは、ストレージ１５Ｂから撮像処理プログラム７０を読み出し、読み出した撮像処理プログラム７０に従って撮像処理（図１８参照）を実行する。また、ＣＰＵ１５Ａは、ストレージ１５Ｂから測距処理プログラム７２を読み出し、読み出した測距処理プログラム７２に従って測距処理（図１９参照）を実行する。また、ＣＰＵ１５Ａは、ストレージ１５Ｂから並行処理プログラム７４を読み出し、読み出した並行処理プログラム７４に従って並行処理（図１７参照）を実行する。また、ＣＰＵ１５Ａは、ストレージ１５Ｂから変更処理プログラム７６を読み出し、読み出した変更処理プログラム７６に従って変更処理（図２０参照）を実行する。更に、ＣＰＵ１５Ａは、ストレージ１５Ｂから表示制御処理プログラム７８を読み出し、読み出した表示制御処理プログラム７８に従って表示制御処理（図２１Ａ及び図２１Ｂ参照）を実行する。

一例として図１２に示すように、測距撮像処理は、ＣＰＵ１５Ａが制御部９０、認識部９２、取得部９４、判定部９６、及び変更部９８として動作することによって実現される。

制御部９０は、並行処理を実行する。すなわち、制御部９０は、測距撮像装置１４に対して、撮像動作と測距動作とを並行して行わせる制御を行う。なお、ここでは、撮像動作と測距動作とを並行して行わせる形態例を挙げているが、これはあくまでも一例に過ぎず、撮像動作と測距動作とを並行して行わせなくても本開示の技術は成立する。例えば、撮像動作が行われる期間と測距動作が行われる期間との一部が重複していても本開示の技術は成立する。

また、制御部９０は、画像メモリ４２から可視光画像及び距離画像を取得し、取得した可視光画像及び距離画像に基づく画像をディスプレイ４６に対して表示させる。具体的には、ディスプレイ４６には、制御部９０の制御下で、可視光画像、距離画像、及び距離重畳画像が切替可能に表示される。

認識部９２は、画像メモリ４２から可視光画像を取得し、取得した可視光画像に対して画像認識を行う。認識部９２は、ストレージ１５Ｂから画像認識用辞書８０を取得し、取得した画像認識用辞書８０を参照して可視光画像に含まれる画像を認識する。画像認識用辞書８０は、複数種類の高反射率物体画像と、複数種類の高反射率物体画像の各々を特定可能な識別子（以下、単に「識別子」とも称する）とが対応付けられた情報である。高反射率物体画像とは、基準反射率以上の反射率を有する物体（以下、「高反射率物体」とも称する）を示す画像を指す。基準反射率としては、例えば、物体に照射されたレーザ光によるＩＲ反射光が可視光フィルタを透過して可視光画素に到達することで可視光画像にノイズとして現れる反射率として官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された反射率が挙げられる。基準反射率以上の物体としては、光沢性を有する物体として予め定められた物体、及び白色の物体として予め定められた物体等が挙げられる。光沢性を有する物体として予め定められた物体とは、例えば、ミラー板及び光沢球体等を指す。また、白色の物体として予め定められた物体とは、例えば、白衣、白色の風船、及び白髪等を指す。なお、ミラー板は、本開示の技術に係る「鏡状の物体」の一例である。

ここでは、画像認識用辞書８０に含まれる情報として複数種類の高反射率物体画像が例示されているが、本開示の技術はこれに限定されず、複数種類の高反射率物体画像の各々の特徴量（例えば、空間周波数及び／又は輝度等）であってもよい。また、画像認識用辞書８０は、画像と被写体認識結果との対応関係が機械学習されることによって得られた学習結果に基づく情報である。なお、ここでは、機械学習されることによって得られた学習結果に基づく情報が画像認識用辞書８０として用いられる形態例を挙げているが、この形態例はあくまでも一例に過ぎず、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された情報が画像認識用辞書８０として用いられるようにしてもよい。

取得部９４は、撮像領域内の反射率を特定可能な反射率情報を取得する。ここでは、反射率情報として画像認識結果が取得部９４によって取得される。画像認識結果とは、可視光画像に対して認識部９２によって画像認識が行われることで得られた結果を指す。具体的には、認識部９２によって高反射率物体画像が認識された場合、画像認識結果は、認識された高反射率物体画像を特定可能な識別子を含み、認識部９２によって高反射率物体画像が認識されなかった場合、画像認識結果は、高反射率物体画像が認識されなかったことを示す情報を含む。なお、ここで、「画像認識結果」は、本開示の技術に係る「反射率情報」及び「撮像領域画像に基づく情報」の一例である。

判定部９６は、取得部９４によって取得された画像認識結果を参照して、可視光画像内に高反射率物体画像が含まれているか否かを判定する。可視光画像内に高反射率物体画像が含まれていると判定部９６によって判定された場合、変更部９８は、測距撮像装置１４によって撮像動作と測距動作とが行われている状態で、取得部９４によって取得された画像認識結果に応じて、レーザ光の照射エネルギー（以下、単に「照射エネルギー」とも称する）を変更する。

具体的には、変更部９８は、ストレージ１５Ｂから照射エネルギーテーブル８２を取得し、取得した照射エネルギーテーブル８２に従って、ＬＤドライバ２５を介してＬＤ２４から出射されるレーザ光の強度を変更することで、照射エネルギーを変更する。つまり、制御部９０によって並行処理が実行されることによって撮像動作と測距動作とが並行して行われている状態下で、ＬＤドライバ２５は、変更部９８によって変更された強度のレーザ光をＬＤ２４から出射させる。

照射エネルギーテーブル８２には、識別子と強度情報とが対応付けられている。強度情報とは、ＬＤ２４に対して出射させるレーザ光の強度を示す情報を指す。強度情報により示されるレーザ光の強度は、基準強度よりも弱い強度である。ここで、基準強度は、本開示の技術に係る「第１～第４基準照射エネルギー」の一例である。

基準強度とは、例えば、ＬＤ２４に対して出射させるレーザ光の強度としてデフォルト値として設定されている強度を指す。デフォルト値として設定されている強度とは、例えば、基準被写体（例えば、一般的な人物の顔として予め定められた人物の顔）に照射されたレーザ光によるＩＲ反射光がＩＲ画素によって測距可能な光量で受光されるレーザ光の強度として官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された強度を指す。

強度情報は、識別子により特定される高反射率物体画像により示される高反射率物体が有する反射率が高いほどレーザ光の強度が弱くなるように定められている。図１２に示す例では、照射エネルギーテーブル８２において、識別子により特定される高反射率物体画像として、ミラー板、光沢球体、及び白衣が示されている。ミラー板に対しては、強度Ｘ_１１を示す強度情報が対応付けられている。光沢球体に対しては、強度Ｘ_１２を示す強度情報が対応付けられている。白衣に対しては、強度Ｘ_１３を示す強度情報が対応付けられている。強度Ｘ_１１、強度Ｘ_１２、及び強度Ｘ_１３間では、“強度Ｘ_１１＜強度Ｘ_１２＜強度Ｘ_１３”という大小関係が成立している。

制御部９０の制御下で、ディスプレイ４６に表示される可視光画像、距離画像、及び距離重畳画像を切り替える場合、一例として図１３に示すように、制御部９０は、タッチパネル４８によって受け付けられた指示に従って、ディスプレイ４６に対して表示モード選択画面１００を表示させる。表示モード選択画面１００は、可視光画像表示モード、距離画像表示モード、及び距離重畳画像表示モードの何れかをユーザ等に対して選択させる場合にユーザ等によって用いられる画面である。可視光画像表示モードは、制御部９０がディスプレイ４６に対して可視光画像を表示させる動作モードである。距離画像表示モードは、制御部９０がディスプレイ４６に対して距離画像を表示させる動作モードである。距離重畳画像表示モードは、制御部９０がディスプレイ４６に対して距離重畳画像を表示させる動作モードである。

表示モード選択画面１００には、ソフトキー１００Ａ、１００Ｂ、及び１００Ｃが表示されている。ソフトキー１００Ａは、ユーザ等が可視光画像表示モードを選択する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１００Ｂは、ユーザ等が距離画像表示モードを選択する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１００Ｃは、ユーザ等が距離重畳画像表示モードを選択する場合にタッチパネル４８を介してユーザ等によってオンされる。なお、以下では、説明の便宜上、可視光画像表示モード、距離画像表示モード、及び距離重畳画像表示モードを区別せずに説明する場合、「表示モード」と称する。

表示モード選択画面１００に対する操作によって表示モードが選択されると、一例として図１４に示すように、制御部９０は、ディスプレイ４６に対して測距範囲指定案内画面１０２を表示させる。測距範囲指定案内画面１０２は、ユーザ等に対して測距範囲の指定を案内する画面である。測距範囲指定案内画面１０２には、測距範囲を指定するか否かをユーザに対して問うメッセージ（以下、「案内メッセージ」とも称する）が表示されている。図１４に示す例では、案内メッセージの一例として、「測距範囲を指定しますか？」というメッセージが示されている。また、測距範囲指定案内画面１０２には、ソフトキー１０２Ａ及び１０２Ｂが表示されている。ソフトキー１０２Ａは、ユーザ等が測距範囲を指定する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１０２Ｂは、ユーザ等が測距範囲を指定しない場合、すなわち、撮像領域の全体を測距範囲とする場合にタッチパネル４８を介してユーザ等によってオンされる。

測距範囲指定案内画面１０２がディスプレイ４６に表示されている状態で、タッチパネル４８を介してソフトキー１０２Ａがユーザ等によってオンされると、一例として図１５に示すように、制御部９０は、ディスプレイ４６に対して、可視光画像をライブビュー画像として表示させる。ディスプレイ４６にライブビュー画像が表示されている状態で、タッチパネル４８を介してユーザ等によって画像領域（図１５に示す例では、可視光画像上の破線で囲まれた矩形領域）が指定される。ユーザ等によって指定された画像領域（以下、「指定画像領域」とも称する）に対応する実空間領域は、測距撮像装置１４による測距対象として指定される。

この場合、一例として図１６に示すように、タッチパネル４８から、可視光画像上での指定画像領域の位置を特定可能な領域位置特定情報（例えば、座標）が制御部９０に出力される。制御部９０は、測距用区分領域２６Ｎ２のうちの測距用指定区分領域２６Ｎ２ａの位置を特定可能な区分領域位置情報（例えば、画素アドレス）を光電変換素子ドライバ３２に出力する。ここで、測距用指定区分領域２６Ｎ２ａとは、測距用区分領域２６Ｎ２のうち、タッチパネル４８から入力された領域位置特定情報により特定される指定画像領域の位置に対応する位置の区分領域を指す。

光電変換素子ドライバ３２は、測距動作において、測距用区分領域２６Ｎ２のうちの測距用指定区分領域２６Ｎ２ａのみを駆動させることで、測距撮像装置１４に対して、測距用指定区分領域２６Ｎ２ａのみによって受光されたＩＲ反射光を用いて測距を行わせる。つまり、測距は、ＴＯＦカメラ１９（図９参照）に含まれる複数のＩＲ画素のうちの指定された領域内に含まれる少なくとも１つのＩＲ画素のみによって受光されたＩＲ反射光を用いて行われる。

次に、スマートデバイス１０の本開示の技術に係る部分の作用について図１７～図２１Ｂを参照しながら説明する。

先ず、ＣＰＵ１５Ａによって実行される並行処理について図１７を参照しながら説明する。

図１７に示す並行処理では、先ず、ステップＳＴ１０で、制御部９０は、並行処理を開始する条件（以下、「並行処理開始条件」とも称する）を満足したか否かを判定する。並行処理開始条件の一例としては、タッチパネル４８に対して、並行処理を開始する指示が受け付けられた、との条件が挙げられる。ステップＳＴ１０において、並行処理開始条件を満足してない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、並行処理開始条件を満足した場合は、判定が肯定されて、並行処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、制御部９０は、撮像処理及び測距処理を開始することで、測距撮像装置１４に対して撮像動作及び測距動作を開始させ、その後、並行処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、制御部９０は、並行処理を終了させる条件（以下、「並行処理終了条件」とも称する）を満足したか否かを判定する。並行処理終了条件の一例としては、タッチパネル４８に対して、並行処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップＳＴ１４において、並行処理終了条件を満足していない場合は、判定が否定されて、ステップＳＴ１４の判定が再び行われる。ステップＳＴ１４において、並行処理終了条件を満足した場合は、判定が肯定されて、並行処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、制御部９０は、撮像処理及び測距処理を終了させることで、測距撮像装置１４に対して撮像動作及び測距動作を終了させ、その後、並行処理が終了する。

次に、ＣＰＵ１５Ａによって実行される撮像処理について図１８を参照しながら説明する。

図１８に示す撮像処理では、まず、ステップＳＴ２０で、制御部９０は、測距撮像装置１４に対して撮像を行わせるタイミング（以下、「撮像タイミング」とも称する）が到来したか否かを判定する。撮像タイミングの一例としては、フレームレートを規定する周期によって定められたタイミングが挙げられる。例えば、フレームレートが１２０ｆｐｓであれば、フレームレートを規定する周期は、１／１２０秒である。ステップＳＴ２０において、撮像タイミングが到来していない場合は、判定が否定されて、撮像処理はステップＳＴ２８へ移行する。ステップＳＴ２０において、撮像タイミングが到来した場合は、判定が肯定されて、撮像処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、制御部９０は、光電変換素子ドライバ３２に対して撮像タイミング信号を出力させることで、光電変換素子２６をリセットし、光電変換素子２６に対して露光を行わせ、その後、撮像処理はステップＳＴ２４へ移行する。

ステップＳＴ２４で、制御部９０は、可視光画素データ処理回路３４Ａに対して各種の信号処理を行わせる。すなわち、可視光画素データ処理回路３４Ａは、光電変換素子２６に含まれる可視光画素についての画素データに対して各種の信号処理を施すことで可視光画像を生成する。

ステップＳＴ２６で、制御部９０は、可視光画素データ処理回路３４Ａに対して可視光画像を画像メモリ４２に格納させ、その後、撮像処理はステップＳＴ２８へ移行する。

ステップＳＴ２８で、制御部９０は、撮像処理を終了させる条件（以下、「撮像処理終了条件」とも称する）を満足したか否かを判定する。撮像処理終了条件の一例としては、図１７に示すステップＳＴ１６の処理が実行された、との条件が挙げられる。ステップＳＴ２８において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ２０へ移行する。ステップＳＴ２８において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。

次に、ＣＰＵ１５Ａによって実行される測距処理について図１９を参照しながら説明する。

図１９に示す測距処理では、先ず、ステップＳＴ４０で、制御部９０は、測距撮像装置１４に対して測距を行わせるタイミング（以下、「測距タイミング」とも称する）が到来したか否かを判定する。測距タイミングは、例えば、撮像タイミングよりも短い周期で到来するタイミングである。ステップＳＴ４０において、測距タイミングが到来していない場合は、判定が否定されて、測距処理はステップＳＴ５６へ移行する。ステップＳＴ４０において、測距タイミングが到来した場合は、判定が肯定されて、測距処理はステップＳＴ４２へ移行する。

ステップＳＴ４２で、制御部９０は、光照射器１６に対してレーザ光を照射させる。すなわち、制御部９０は、ＬＤドライバ２５を制御することで、ＬＤ２４に対してレーザ光を出射させ、その後、測距処理はステップＳＴ４４へ移行する。

ステップＳＴ４４で、制御部９０は、測距用指定区分領域２６Ｎ２ａによってＩＲ反射光が受光されたか否かを判定する。ステップＳＴ４４において、測距用指定区分領域２６Ｎ２ａによってＩＲ反射光が受光されていない場合は、判定が否定されて、ステップＳＴ４４の判定が再び行われる。ステップＳＴ４４において、測距用指定区分領域２６Ｎ２ａによってＩＲ反射光が受光された場合は、判定が肯定されて、測距処理はステップＳＴ４６へ移行する。

ステップＳＴ４６で、制御部９０は、距離画像生成回路３４Ｂに対して測距結果に基づいて距離画像を生成させ、その後、測距処理はステップＳＴ４８へ移行する。

ステップＳＴ４８で、制御部９０は、ステップＳＴ４６で生成された距離画像を、距離画像生成回路３４Ｂに対して画像メモリ４２に格納させ、その後、測距処理はステップＳＴ５０へ移行する。

ところで、測距撮像装置１４によって行われる測距動作は、合焦用の測距動作であり、測距撮像装置１４は、合焦用の測距動作によって測距が行われることで得られた測距結果に基づいて撮像領域に対する合焦を行う。そこで、測距処理では、ステップＳＴ５０～ステップＳＴ５４の処理が制御部９０によって実行される。

ステップＳＴ５０で、制御部９０は、画像メモリ４２から距離画像を取得し、取得した距離画像に基づいて、スマートデバイス１０から撮像領域内の特定領域までの距離を導出し、その後、測距処理はステップＳＴ５２へ移行する。ここで、特定領域とは、例えば、ピントを合わせる物体側の領域として、ユーザ等によってタッチパネル４８を介して指定された領域を指す。なお、特定領域は、これに限定されず、例えば、いわゆる顔検出機能を働かせることで特定された人物の顔であってもよいし、代表的な複数の箇所（図８参照）のうちの１つの箇所であってもよい。

ステップＳＴ５２で、制御部９０は、ステップＳＴ５０で導出された距離に基づいて合焦位置を導出し、その後、測距処理はステップＳＴ５４へ移行する。合焦位置は、例えば、距離と合焦位置とが対応付けられた合焦位置導出テーブル（図示省略）、又は、距離を独立変数とし、合焦位置を従属変数とする合焦位置導出演算式（図示省略）から制御部９０によって導出される。

ステップＳＴ５４で、制御部９０は、合焦制御機構３１を作動させることで、ステップＳＴ５２で導出した合焦位置にフォーカスレンズ３０Ｂを移動させ、その後、測距処理はステップＳＴ５６へ移行する。

ステップＳＴ５６で、制御部９０は、測距処理を終了させる条件（以下、「測距処理終了条件」とも称する）を満足したか否かを判定する。測距処理終了条件の一例としては、図１７に示すステップＳＴ１６の処理が実行された、との条件が挙げられる。ステップＳＴ５６において、測距処理終了条件を満足していない場合は、判定が否定されて、測距処理はステップＳＴ４０へ移行する。ステップＳＴ５６において、測距処理終了条件を満足した場合は、判定が肯定されて、測距処理が終了する。

次に、制御部９０によって並行処理が実行されている状態で、ＣＰＵ１５Ａによって実行される変更処理について図２０を参照しながら説明する。

図２０に示す変更処理では、先ず、ステップＳＴ７０で、認識部９２は、画像メモリ４２内の可視光画像が更新されたか否かを判定する。ステップＳＴ７０において、画像メモリ４２内の可視光画像が更新されていない場合は、判定が否定されて、変更処理はステップＳＴ８２へ移行する。ステップＳＴ７０において、画像メモリ４２内の可視光画像が更新された場合は、判定が肯定されて、変更処理はステップＳＴ７１へ移行する。

ステップＳＴ７１で、認識部９２は、画像メモリ４２から可視光画像を取得し、その後、変更処理はステップＳＴ７２へ移行する。

ステップＳＴ７２で、認識部９２は、ステップＳＴ７０で取得した可視光画像に対して画像認識用辞書８０を参照して画像認識を実行し、その後、変更処理はステップＳＴ７４へ移行する。

ステップＳＴ７４で、取得部９４は、ステップＳＴ７２で認識部９２によって画像認識が実行されることで得られた画像認識結果を取得し、その後、変更処理はステップＳＴ７６へ移行する。

ステップＳＴ７６で、判定部９６は、ステップＳＴ７４で取得された画像認識結果に基づいて、ステップＳＴ７０で取得された可視光画像内に高反射率物体画像が含まれているか否かを判定する。ステップＳＴ７６において、ステップＳＴ７０で取得された可視光画像内に高反射率物体画像が含まれていない場合は、判定が否定されて、変更処理はステップＳＴ８２へ移行する。ステップＳＴ７６において、ステップＳＴ７０で取得された可視光画像内に高反射率物体画像が含まれている場合は、判定が肯定されて、変更処理はステップＳＴ７８へ移行する。

ステップＳＴ７８で、変更部９８は、照射エネルギーテーブル８２から、ステップＳＴ７４で取得された画像認識結果に含まれる識別子に対応する強度情報を取得し、その後、変更処理はステップＳＴ８０へ移行する。

ステップＳＴ８０で、変更部９８は、ＬＤドライバ２５を介してＬＤ２４から出射されるレーザ光の強度を、ステップＳＴ７８で取得した強度情報により示される強度に変更し、その後、変更処理はステップＳＴ８２へ移行する。

ステップＳＴ８２で、制御部９０は、変更処理を終了させる条件（以下、「変更処理終了条件」とも称する）を満足したか否かを判定する。変更処理終了条件の一例としては、図１７に示すステップＳＴ１６の処理が実行された、との条件が挙げられる。ステップＳＴ８２において、変更処理終了条件を満足していない場合は、判定が否定されて、変更処理はステップＳＴ７０へ移行する。ステップＳＴ８２において、変更処理終了条件を満足した場合は、判定が肯定されて、変更処理が終了する。

次に、ＣＰＵ１５Ａによって実行される表示制御処理について図２１Ａ及び図２１Ｂを参照しながら説明する。

図２１Ａに示す表示制御処理では、先ず、ステップＳＴ１００で、制御部９０は、可視光画像表示モードが設定されているか否かを判定する。ステップＳＴ１００において、可視光画像表示モードが設定されている場合は、判定が肯定されて、表示制御処理はステップＳＴ１０２へ移行する。ステップＳＴ１００において、可視光画像表示モードが設定されていない場合は、判定が否定されて、表示制御処理はステップＳＴ１０６へ移行する。

ステップＳＴ１０２で、制御部９０は、画像メモリ４２から最新の可視光画像を取得し、その後、表示制御処理はステップＳＴ１０４へ移行する。

ステップＳＴ１０４で、制御部９０は、ディスプレイ４６に対して、ステップＳＴ１０２で取得した最新の可視光画像を表示させ、その後、表示制御処理はステップＳＴ１２２へ移行する。

なお、測距撮像装置１４によって、撮像動作として、ライブビュー画像用に撮像領域を撮像するライブビュー画像用撮像動作が行われることによって得られたライブビュー画像は、ステップＳＴ１００～ステップＳＴ１０４の処理が繰り返し実行されることによって、ディスプレイ４６に表示される。

ステップＳＴ１０６で、制御部９０は、距離画像表示モードが設定されているか否かを判定する。ステップＳＴ１０６において、距離画像表示モードが設定されている場合は、判定が肯定されて、表示制御処理はステップＳＴ１０８へ移行する。ステップＳＴ１０６において、距離画像表示モードが設定されていない場合は、判定が否定されて、表示制御処理は、図２１Ｂに示すステップＳＴ１１２へ移行する。

ステップＳＴ１０８で、制御部９０は、画像メモリ４２から最新の距離画像を取得し、その後、表示制御処理はステップＳＴ１１０へ移行する。

ステップＳＴ１１０で、制御部９０は、ディスプレイ４６に対して、ステップＳＴ１０８で取得した最新の距離画像を表示させ、その後、表示制御処理はステップＳＴ１２２へ移行する。

図２１Ｂに示すステップＳＴ１１２で、制御部９０は、画像メモリ４２から最新の距離画像を取得し、その後、表示制御処理はステップＳＴ１１４へ移行する。

ステップＳＴ１１４で、制御部９０は、ステップＳＴ１１２で取得した最新の距離画像に基づいて、スマートデバイス１０から代表的な複数の箇所（図８参照）までの距離を導出し、その後、表示制御処理はステップＳＴ１１６へ移行する。

ステップＳＴ１１６で、制御部９０は、画像メモリ４２から最新の可視光画像を取得し、その後、表示制御処理はステップＳＴ１１８へ移行する。

ステップＳＴ１１８で、制御部９０は、ステップＳＴ１１６で取得した最新の可視光画像に対して、ステップＳＴ１１４で導出した距離を重畳させることで距離重畳画像を生成し、その後、表示制御処理はステップＳＴ１２０へ移行する。なお、ステップＳＴ１１６で取得した最新の可視光画像に対して、ステップＳＴ１１４で導出した距離を重畳させる位置は、代表的な複数の箇所に対応する位置である。

ステップＳＴ１２０で、制御部９０は、ディスプレイ４６に対して、ステップＳＴ１１８で生成した距離重畳画像を表示させ、その後、表示制御処理は、図２１Ａに示すステップＳＴ１２２へ移行する。

ステップＳＴ１２２で、制御部９０は、表示制御処理を終了させる条件（以下、「表示制御処理終了条件」とも称する）を満足したか否かを判定する。表示制御処理終了条件の一例としては、表示制御処理を終了させる指示がタッチパネル４８によって受け付けられた、との条件が挙げられる。ステップＳＴ１２２において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップＳＴ１００へ移行する。ステップＳＴ１２２において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御処理が終了する。

以上説明したように、スマートデバイス１０では、測距撮像装置１４に対して撮像動作と測距動作とを行わせる制御が制御部９０によって行われる。また、撮像領域内の反射率を特定可能な反射率情報（図１２に示す例では「画像認識結果」）が取得部９４によって取得される。そして、撮像動作と測距動作とが行われている状態で、取得部９４によって取得された反射率情報に応じてレーザ光の強度が変更部９８によって変更される。従って、本構成によれば、レーザ光の強度が撮像領域内の反射率とは無関係に決定される場合に比べ、可視光画像に対してレーザ光が与える影響を低減することができる。

また、スマートデバイス１０では、可視光画像に基づく情報（図１２に示す例では「画像認識結果」）に応じてレーザ光の強度が変更部９８によって変更される。従って、本構成によれば、撮像領域との距離のみ又はシャッタスピードのみに依拠してレーザ光の強度を変更する場合に比べ、可視光画像に対してＩＲ反射光が与える影響を高精度に低減することができる。

また、スマートデバイス１０では、画像認識結果に応じてレーザ光の強度が変更部９８によって変更される。従って、本構成によれば、撮像領域との距離のみ又はシャッタスピードのみに依拠してレーザ光の強度を変更する場合に比べ、可視光画像に対してＩＲ反射光が与える影響を高精度に低減することができる。

また、スマートデバイス１０では、認識部９２によって画像認識用辞書８０が参照されて可視光画像に対して画像認識が行われることによって得られた画像認識結果が取得部９４によって取得される。画像認識用辞書８０は、画像と被写体認識結果との対応関係が機械学習されることによって得られた学習結果に基づく情報である。従って、本構成によれば、撮像領域をユーザ等が視認した結果のみから可視光画像に対してＩＲ反射光が影響を与えるか否かを判定する場合に比べ、可視光画像に対してＩＲ反射光が与える影響を高精度に低減することができる。

また、スマートデバイス１０では、取得部９４によって取得された画像認識結果が、高反射率物体画像が含まれていることを示す画像認識結果の場合に、レーザ光の強度が変更部９８によって基準強度よりも弱められる。従って、本構成によれば、撮像領域内に高反射率物体が含まれているか否かに関わらずレーザ光の強度が常に基準強度以上の場合に比べ、高反射率物体からのＩＲ反射光が可視光画像に対して与える影響を低減することができる。

また、スマートデバイス１０では、取得部９４によって取得された画像認識結果が、光沢性を有する物体が含まれていることを示す画像認識結果の場合に、レーザ光の強度が変更部９８によって基準強度よりも弱められる。従って、本構成によれば、撮像領域内に光沢性を有する物体が含まれているか否かに関わらずレーザ光の強度が常に基準強度以上の場合に比べ、高反射率物体からのＩＲ反射光が可視光画像に対して与える影響を低減することができる。

また、スマートデバイス１０では、取得部９４によって取得された画像認識結果が、鏡状の物体（例えば、ミラー板）が含まれていることを示す画像認識結果の場合に、レーザ光の強度が変更部９８によって基準強度よりも弱められる。従って、本構成によれば、撮像領域内に鏡状の物体が含まれているか否かに関わらずレーザ光の強度が常に基準強度以上の場合に比べ、高反射率物体からのＩＲ反射光が可視光画像に対して与える影響を低減することができる。

また、スマートデバイス１０では、測距撮像装置１４がＴＯＦカメラ１９を有している。従って、本構成によれば、測距結果を距離画像として出力することができる。

また、スマートデバイス１０では、ディスプレイ４６に距離画像が表示される。従って、本構成によれば、ユーザ等に対して距離画像を視覚的に認識させることができる。

また、スマートデバイス１０では、測距用指定区分領域２６Ｎ２ａ（図１６参照）のみによって受光されたＩＲ反射光を用いて測距が行われる。従って、本構成によれば、測距用区分領域２６Ｎ２に含まれる全てのＩＲ画素によって受光されたＩＲ反射光を用いて測距が行われる場合に比べ、測距に要する処理の負荷を軽減することができる。

また、スマートデバイス１０では、ライブビュー画像が表示されている状態の画面内から指定された画像領域（図１５に示す例では「指定画像領域」）の位置に対応する位置のＩＲ画素のみによって受光されたＩＲ反射光を用いて測距が行われる。従って、本構成によれば、測距用区分領域２６Ｎ２に含まれる全てのＩＲ画素のうち、ユーザが意図するＩＲ画素のみによって受光されたＩＲ反射光を用いて測距を行うことができる。

また、スマートデバイス１０では、測距撮像装置１４によって、撮像動作として、ライブビュー画像用に撮像領域を撮像するライブビュー画像用撮像動作が行われる。従って、本構成によれば、レーザ光の強度が撮像領域内の反射率とは無関係に決定される場合に比べ、ライブビュー画像に対してレーザ光が与える影響を低減することができる。

また、スマートデバイス１０では、測距撮像装置１４によって、測距動作として、合焦用の測距動作が行われる。すなわち、測距結果が合焦制御に用いられる。従って、本構成によれば、測距結果を合焦制御に用いない場合に比べ、測距対象に対してピントを高精度に合わせることができる。

また、スマートデバイス１０では、指向性を有する光である指向性光としてレーザ光を用いて測距が行われる。従って、本構成によれば、指向性光を用いないで測距が行われる場合に比べ、遠距離に存在する測距対象までの距離を高精度に測定することができる。

なお、上記実施形態では、変更部９８が照射エネルギーテーブル８２から、画像認識結果に含まれる識別子に対応する強度情報を導出し、導出した強度情報に従ってレーザ光の強度を変更する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２２に示すように、変更部９８は、照射エネルギーテーブル１８２から、画像認識結果に含まれる識別子、及び撮像シーンに対応する強度情報を導出し、導出した強度情報に従ってレーザ光の強度を変更するようにしてもよい。

図２２に示す例において、照射エネルギーテーブル１８２は、識別子毎に、撮像シーンと強度情報とが対応付けられた情報である。図２２に示す例では、撮像シーンの一例として、夜景及び夕焼け等が挙げられている。照射エネルギーテーブル１８２に含まれる複数の強度情報のうち、上記実施形態で説明した基準反射率以上の撮像シーン反射率を有する特定の撮像シーンに対応する強度情報により示される強度は、上記実施形態で説明した基準強度よりも弱い強度である。撮像シーン反射率とは、撮像シーンに対して照射されたレーザ光の反射率として予め定められた反射率を指す。撮像シーン反射率は、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された反射率である。

タッチパネル４８は、撮像シーンを指示する撮像シーン指示情報を受け付ける。変更部９８は、タッチパネル４８によって受け付けられた撮像シーン指示情報により指示された撮像シーンと、画像認識結果に含まれる識別子とに対応する強度情報を照射エネルギーテーブル１８２から導出する。そして、変更部９８は、照射エネルギーテーブル１８２から導出した強度情報に応じてレーザ光の強度を変更する。

タッチパネル４８によって撮像シーン指示情報が受け付けられる場合、一例として図２３に示すように、ディスプレイ４６には、制御部９０の制御下で、撮像シーン選択画面１０４が表示される。撮像シーン選択画面１０４は、複数の撮像シーンのうちの何れかをユーザ等に対して選択させる場合にユーザ等によって用いられる画面である。撮像シーン選択画面１０４には、撮像シーンの選択をユーザ等に促すメッセージ（図２３に示す例では、「撮像シーンを選んで下さい。」というメッセージ）が表示されている。また、撮像シーン選択画面１０４には、ソフトキー１０４Ａ、１０４Ｂ、１０４Ｃ、及び１０４Ｄ等の複数のソフトキー（以下、「撮像シーン選択画面１０４内のソフトキー」とも称する）が表示されている。ソフトキー１０４Ａは、ユーザ等が夜景のシーンを撮像シーンとして選択する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１０４Ｂは、ユーザ等が夕焼けのシーンを撮像シーンとして選択する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１０４Ｃは、ユーザ等が風景のシーンを撮像シーンとして選択する場合にタッチパネル４８を介してユーザ等によってオンされる。ソフトキー１０４Ｄは、ユーザ等がポートレートのシーンを撮像シーンとして選択する場合にタッチパネル４８を介してユーザ等によってオンされる。このように、撮像シーン選択画面１０４内のソフトキーがユーザ等によってオンされることで、撮像シーン指示情報がタッチパネル４８によって受け付けられる。

このように構成されたスマートデバイス１０では、一例として図２４に示す変更処理がＣＰＵ１５Ａによって実行される。図２４に示す変更処理は、図２０に示す変更処理に比べ、ステップＳＴ７８の処理に代えてステップＳＴ１７８の処理を有する点、及びステップＳＴ７６の処理とステップＳＴ１７８の処理との間にステップＳＴ７７の処理を有する点が異なる。

ステップＳＴ７７で、変更部９８は、タッチパネル４８によって受け付けられた撮像シーン指示情報を取得し、その後、変更処理はステップＳＴ１７８へ移行する。

ステップＳＴ１７８で、変更部９８は、照射エネルギーテーブル１８２から、ステップＳＴ７４で取得された画像認識結果に含まれる識別子と、ステップＳＴ７７で取得した撮像シーン指示情報とに対応する強度情報を取得し、その後、変更処理はステップＳＴ８０へ移行する。

このように、図２２～図２４に示す例では、タッチパネル４８によって受け付けられた撮像シーン指示情報と、画像認識結果に含まれる識別子とに応じてレーザ光の強度が変更部９８によって変更される。従って、本構成によれば、レーザ光の強度が撮像シーンとは無関係に決定される場合に比べ、可視光画像に対してＩＲ反射光が与える影響を低減することができる。

また、図２２～図２４に示す例では、タッチパネル４８によって受け付けられた撮像シーン指示情報により指示された撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、レーザ光の強度は、変更部９８によって基準強度よりも弱められる。従って、本構成によれば、指定された撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンであるにも関わらずレーザ光の強度が常に基準強度以上の場合に比べ、特定の撮像シーンでのＩＲ反射光が可視光画像に対して与える影響を低減することができる。

図２２～図２４に示す例では、タッチパネル４８によって受け付けられた撮像シーン指示情報に応じた強度情報が変更部９８によって取得される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、認識部９２による可視光画像に対する画像認識によって撮像シーンが特定されるようにしてもよい。

この場合、一例として図２５に示すように、認識部９２は、画像メモリ４２から可視光画像を取得し、取得した可視光画像に対して画像認識を行うことで、可視光画像により示される撮像領域の撮像シーンを特定する。具体的には、認識部９２は、画像認識用辞書８０を参照して撮像シーンを特定する。画像認識用辞書８０は、撮像シーンを示す撮像シーン画像と、撮像シーン画像により示される撮像シーンを特定可能なシーン特定情報とが対応付けられた情報を含んでいる。認識部９２は、画像メモリ４２から取得した可視光画像に対して、画像認識用辞書８０を参照して画像認識を行う。すなわち、認識部９２は、画像認識用辞書８０から、可視光画像に対応する撮像シーン画像を特定し、特定した撮像シーン画像に対応するシーン特定情報を画像認識用辞書８０から取得する。

変更部９８は、照射エネルギーテーブル１８２から、認識部９２によって取得されたシーン特定情報により特定される撮像シーンと、画像認識結果に含まれる識別子とに対応する強度情報を導出する。そして、変更部９８は、レーザ光の強度を、照射エネルギーテーブル１８２から導出した強度情報により示される強度に変更する。なお、図２５に示す例において、認識部９２は、本開示の技術に係る「特定部」の一例である。

このように構成されたスマートデバイス１０では、一例として図２６に示す変更処理がＣＰＵ１５Ａによって実行される。図２６に示す変更処理は、図２４に示す変更処理に比べ、ステップＳＴ７７の処理を有しない点、ステップＳＴ７４の処理とステップＳＴ７６の処理との間にステップＳＴ２７５の処理を有する点、及びステップＳＴ１７８の処理に代えてステップＳＴ２７８の処理を有する点が異なる。

ステップＳＴ２７５で、認識部９２は、画像認識用辞書８０から、可視光画像に対応する撮像シーン画像を特定し、特定した撮像シーン画像に対応するシーン特定情報を画像認識用辞書８０から取得する。

ステップＳＴ２７８で、変更部９８は、照射エネルギーテーブル１８２から、ステップＳＴ７４で取得された画像認識結果に含まれる識別子と、ステップＳＴ２７５で取得されたシーン特定情報により特定される撮像シーンとに対応する強度情報を取得し、その後、変更処理はステップＳＴ８０へ移行する。

このように、図２５及び図２６に示す例では、認識部９２によって特定された撮像シーンと、画像認識結果に含まれる識別子とに応じてレーザ光の強度が変更部９８によって変更される。従って、本構成によれば、レーザ光の強度が撮像シーンとは無関係に決定される場合に比べ、可視光画像に対してＩＲ反射光が与える影響を低減することができる。

また、図２２～図２４に示す例と同様に、図２５及び図２６に示す例でも、認識部９２によって取得されたシーン特定情報により特定された撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、レーザ光の強度は、変更部９８によって基準強度よりも弱められる。従って、本構成によれば、認識部９２によって特定された撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンであるにも関わらずレーザ光の強度が常に基準強度以上の場合に比べ、特定の撮像シーンでのＩＲ反射光が可視光画像に対して与える影響を低減することができる。

また、上記実施形態では、測距対象に対してレーザ光が光照射器１６によって照射される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像用の補助光（例えば、いわゆる赤目防止対策として用いられる可視光）が測距対象に対して照射され、測距対象によって反射された補助光の反射光（以下、「補助反射光」とも称する）が受光器１８によって受光されることで測距が行われるようにしてもよい。

この場合、一例として図２７に示すように、スマートデバイス２００が用いられる。スマートデバイス２００は、上記実施形態で説明したスマートデバイス１０に比べ、測距撮像装置１４に代えて測距撮像装置２１４を有する点、及び受光器１８に代えて受光器２１８を有する点が異なる。測距撮像装置２１４は、測距撮像装置１４に比べ、補助光照射器２１３を有する点が異なる。

補助光照射器２１３は、ＬＥＤ２０２及びＬＥＤドライバ２０４を備えている。ＬＥＤドライバ２０４は、ＬＥＤ２０２及び入出力インタフェース４０に接続されている。ＬＥＤドライバ２０４は、ＣＰＵ１５Ａ（例えば、制御部９０）からの指示に従ってＬＥＤ２０２を制御する。ＬＥＤドライバ２０４は、ＣＰＵ１５Ａの制御下で、ＬＥＤ２０２に対して補助光を発生させることで、撮像領域に向けて補助光を照射させる。なお、ＬＥＤ２０２は、本開示の技術に係る「光源」の一例である。

受光器２１８は、受光器１８に比べ、光電変換素子２６に代えて光電変換素子２２６を有する点が異なる。光電変換素子２２６は、測距用指定区分領域２６Ｎ２ａ（図１６参照）に代えて測距用指定区分領域２６Ｎ２ｂを有する点が異なる。測距用指定区分領域２６Ｎ２ｂは、測距用指定区分領域２６Ｎ２ａに比べ、ＩＲ画素に代えてＧ画素が適用されている点が異なる。測距用指定区分領域２６Ｎ２ｂは、制御部９０の制御下で、補助反射光を受光する。なお、測距用指定区分領域２６Ｎ２ｂは、本開示の技術に係る「受光素子」の一例である。

一例として図２８に示すように、ＣＰＵ１５Ａは、測距撮像処理プログラムに従って制御部９０、取得部９４、及び変更部９８として動作することで測距撮像処理を実現する。信号処理回路３４は、Ａ／Ｄ変換器３４Ｃを備えている。Ａ／Ｄ変換器３４Ｃは、測距用指定区分領域２６Ｎ２ｂに接続されており、測距用指定区分領域２６Ｎ２ｂによって受光された補助反射光の受光量をデジタル化する。

取得部９４は、Ａ／Ｄ変換器３４Ｃによってデジタル化された受光量を取得し、測距用指定区分領域２６Ｎ２ｂによって補助反射光が単位時間あたりに受光された受光量（以下、「単位時間受光量」とも称する）を算出することで取得する。

ストレージ１５Ｂには、照射エネルギーテーブル２８２が記憶されている。照射エネルギーテーブル２８２は、照射エネルギーテーブル８２に比べ、識別子に代えて単位時間受光量が適用されている点が異なる。

変更部９８は、照射エネルギーテーブル２８２から、取得部９４によって取得された単位時間受光量に対応する強度情報を取得する。そして、変更部９８は、ＬＥＤドライバ２０４を介してＬＥＤ２０２から照射される補助光の強度を、照射エネルギーテーブル２８２から取得した強度情報により示される強度に変更する。

このように構成されたスマートデバイス２００では、一例として図２９に示す変更処理がＣＰＵ１５Ａによって実行される。

図２９に示す変更処理では、先ず、ステップＳＴ２００で、制御部９０は、ＬＥＤ２０２に対して補助光を照射させる条件（以下、「補助光照射条件」とも称する）を満足したか否かを判定する。補助光照射条件の一例としては、例えば、赤目防止対策として補助光を照射するタイミングが到来した、との条件が挙げられる。ステップＳＴ２００において、補助光照射条件を満足していない場合は、判定が否定されて、変更処理はステップＳＴ２１０へ移行する。ステップＳＴ２００において、補助光照射条件を満足した場合は、判定が肯定されて、変更処理はステップＳＴ２０２へ移行する。

ステップＳＴ２０２で、制御部９０は、ＬＥＤ２０２に対して補助光を照射させ、その後、変更処理はステップＳＴ２０４へ移行する。

ステップＳＴ２０４で、取得部９４は、測距用指定区分領域２６Ｎ２ｂによって補助反射光が単位時間あたりに受光された受光量（以下、「単位時間受光量」とも称する）を算出することで取得し、その後、変更処理はステップＳＴ２０６へ移行する。

なお、ここでは、単位時間受光量を例示しているが、本開示の技術はこれに限定されず、例えば、単位時間受光量に代えて、単位時間受光量が微調整されることで得られた微調整済み情報（例えば、単位時間受光量に対して微調整用の係数が乗じられることによって得られた微調整済み情報）を適用してもよい。ここで、「微調整済み情報」とは、本開示の技術に係る「単位時間当たりの受光量に基づく情報」の一例である。

ステップＳＴ２０６で、変更部９８は、照射エネルギーテーブル２８２から強度情報を取得し、その後、変更処理はステップＳＴ２０８へ移行する。本ステップＳＴ２０６では、照射エネルギーテーブル２８２から、ステップＳＴ２０４で算出された単位時間受光量に対応する強度情報が変更部９８によって取得される。

ステップＳＴ２０８で、変更部９８は、ＬＥＤドライバ２０４を介してＬＥＤ２０２から照射される補助光の強度を、ステップＳＴ２０６で取得した強度情報により示される強度に変更し、その後、変更処理はステップＳＴ２１０へ移行する。

ステップＳＴ２１０で、制御部９０は、上述した変更処理終了条件を満足したか否かを判定する。ステップＳＴ２１０において、変更処理終了条件を満足していない場合は、判定が否定されて、変更処理はステップＳＴ２００へ移行する。ステップＳＴ２１０において、変更処理終了条件を満足した場合は、判定が肯定されて、変更処理が終了する。

このように、図２７～図２９に示す例では、ＬＥＤ２０２から測距対象に対して補助光が照射され、測距用指定区分領域２６Ｎ２ｂによって補助反射光が受光される。補助反射光が受光された受光結果に基づく情報は、取得部９４によって取得される。そして、取得部９４によって取得された受光結果に基づく情報に従って変更部９８によって補助光の強度が変更される。従って、本構成によれば、補助反射光が受光された受光結果に基づく情報とは無関係に補助光の強度が決定される場合に比べ、可視光画像に対して補助反射光が与える影響を低減することができる。

また、図２７～図２９に示す例では、単位時間受光量が取得部９４によって取得される。そして、取得部９４によって取得された単位時間受光量に従って変更部９８によって補助光の強度が変更される。従って、本構成によれば、単位時間受光量とは無関係に補助光の強度が決定される場合に比べ、可視光画像に対して補助反射光が与える影響を低減することができる。

また、図２７～図２９に示す例では、照射エネルギーテーブル２８２から導出された強度情報に従って補助光の強度が変更部９８によって変更される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、取得部９４は、単位時間受光量から、撮像領域内の反射率（以下、単に「反射率」とも称する）を換算することで強度情報を取得するようにしてもよい。単位時間受光量から反射率を換算する場合に用いられる換算式としては、例えば、単位時間受光量を独立変数とし、撮像領域内の反射率を従属変数とした換算式が挙げられる。図３０に示す例において、ストレージ１５Ｂには、照射エネルギーテーブル３８２が記憶されている。照射エネルギーテーブル３８２は、図２８に示す照射エネルギーテーブル２８２に比べ、単位時間受光量に代えて反射率が適用されている点が異なる。変更部９８は、照射エネルギーテーブル３８２から、取得部９４によって取得された反射率に対応する強度情報を取得する。そして、変更部９８は、照射エネルギーテーブル３８２から取得した強度情報により示される強度に変更する。

このように構成されたスマートデバイス２００では、一例として図３１に示す変更処理がＣＰＵ１５Ａによって実行される。図３１に示す変更処理は、図２９に示す変更処理に比べ、ステップＳＴ２０６の処理に代えて、ステップＳＴ３００の処理及びステップＳＴ３０２の処理を有する点が異なる。

図３１に示す変更処理では、ステップＳＴ３００で、取得部９４は、ステップＳＴ２０４で取得した単位時間受光量に基づいて反射率を算出する。具体的には、取得部９４は、単位時間受光量を、換算式を用いて反射率に換算する。

次のステップＳＴ３０２で、変更部９８は、照射エネルギーテーブル３８２から、ステップＳＴ３００で取得された反射率に対応する強度情報を取得する。

このように、図３０及び図３１に示す例では、取得部９４によって撮像領域内の反射率が取得され、変更部９８によって、補助光の強度が撮像領域内の反射率に応じた強度に変更される。従って、本構成によれば、撮像領域内の反射率とは無関係に補助光の強度が決定される場合に比べ、可視光画像に対して補助反射光が与える影響を低減することができる。

また、図３０及び図３１に示す例では、照射エネルギーテーブル３８２から変更部９８によって取得された強度情報に従って補助光の強度が変更部９８によって変更される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、変更部９８は、照射エネルギーテーブル３８２を用いずに、取得部９４によって取得された反射率が閾値以上の場合に、補助光の強度を基準強度よりも弱めるようにしてもよい。ここで、閾値は、例えば、補助反射光が可視光画像にノイズとして現れる強度の補助光が撮像領域内に照射された場合の補助反射光の受光量として、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された受光量に相当する値である。

このように構成されたスマートデバイス２００では、一例として図３２に示す変更処理がＣＰＵ１５Ａによって実行される。図３２に示す変更処理は、図３１に示す変更処理に比べ、ステップＳＴ３０２の処理及びステップＳＴ２０８の処理に代えて、ステップＳＴ４００の処理及びステップＳＴ４０２の処理を有する点が異なる。

図３２に示す変更処理では、ステップＳＴ４００で、変更部９８は、ステップＳＴ３００で算出された反射率が閾値以上であるか否かを判定する。ステップＳＴ４００において、ステップＳＴ３００で算出された反射率が閾値未満の場合は、判定が否定されて、変更処理はステップＳＴ２１０へ移行する。ステップＳＴ４００において、ステップＳＴ３００で算出された反射率が閾値以上の場合は、判定が肯定されて、変更処理はステップＳＴ４０２へ移行する。

ステップＳＴ４０２で、変更部９８は、補助光の強度を、基準強度よりも弱め、その後、変更処理はステップＳＴ２１０へ移行する。

このように、単位時間受光量から換算された反射率が閾値以上の場合に、補助光の強度は、変更部９８によって基準強度よりも弱められる。従って、本構成によれば、単位時間受光量から換算された反射率が閾値以上であるか否かに関わらず補助光の強度が常に基準強度以上の場合に比べ、補助反射光が可視光画像に対して与える影響を低減することができる。

また、図２７～図３２に示す例では、ＬＥＤ２０２によって照射される補助光を例示したが、本開示の技術はこれに限定されず、図２７～図３２に示す例において、補助光をレーザ光に置き換えたとしても本開示の技術は成立する。なお、以下では、説明の便宜上、補助光とレーザ光とを区別して説明する必要がない場合、「測距光」と称し、補助反射光とＩＲ反射光とを区別して説明する必要がない場合、「反射光」と称する。

また、上記実施形態では、本露光が行われるタイミングであるか否かに関わらず測距光の強度が変更部９８によって変更される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像動作中に行われる本露光のタイミングに合わせて測距光の強度が変更部９８によって変更されるようにしてもよい。本露光のタイミングとは、例えば、静止画像用の撮像において露光が行われるタイミングを指す。

この場合、一例として図３３に示すように、ディスプレイ４６には、制御部９０の制御下で、ライブビュー画像及びソフトキー１０６Ａが表示される。ソフトキー１０６Ａは、ユーザ等が静止画像用の撮像の開始を指示する場合にユーザ等によってオンされる。測距撮像装置１４によってライブビュー画像用の撮像が行われる状態で、ソフトキー１０６Ａがユーザ等によってオンされると、本露光のタイミングに合わせて測距光の強度が変更部９８によって変更される。これにより、本露光とは無関係なタイミングで測距光の強度が変更される場合に比べ、本露光時に撮像領域に対して適切な強度で測距光を照射することができる。

また、上記実施形態では、受光器１８が搭載されたスマートデバイス１０を例示したが、本開示の技術はこれに限定されず、例えば、図３４に示すように、受光器１８及び３５０が搭載されたスマートデバイス３００であっても本開示の技術は成立する。一例として図３４に示すように、スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス１０の背面視左上部）には、透光窓２２に隣接して透光窓３５２が設けられている。透光窓３５２は、透光窓２０及び２２と同様に、透光性を有する光学素子（例えば、レンズ）であり、透光窓２０、２２及び３５２は、水平方向に沿って既定の間隔で配置されている。透光窓３５２も、透光窓２０及び２２と同様に、背面１２Ａから露出している。

受光器３５０は、光電変換素子３５４を備えている。光電変換素子３５４は、ＩＲ反射光の受光用に特化した光電変換素子であり、マトリクス状に配置された複数のＩＲ画素を有している。複数のＩＲ画素の一例としては、“４８９６×３２６５”画素分のＩＲ画素用のフォトダイオート（例えば、ＩｎＧａＡｓ ＡＰＤ）が挙げられる。光電変換素子３５４は、透光窓３５２を介して受光器３５０に取り込まれたＩＲ反射光を受光し、受光したＩＲ反射光の光量に応じた電気信号を信号処理回路３４（図９参照）に出力する。

また、図３４に示す例では、受光器１８及び３５０が搭載されたスマートデバイス３００を示したが、本開示の技術はこれに限定されず、例えば、図３５に示すように、受光器１８及び４５０が搭載されたスマートデバイス４００であっても本開示の技術は成立する。一例として図３５に示すように、スマートデバイス１０を縦置きの状態にした場合の筐体１２の背面１２Ａの左上部（縦置きの状態のスマートデバイス１０の背面視左上部）には、透光窓２０に隣接して透光窓４５２が設けられている。透光窓４５２は、透光窓２０及び２２と同様に、透光性を有する光学素子（例えば、レンズ）であり、透光窓４５２、２０及び２２は、水平方向に沿って既定の間隔で配置されている。透光窓４５２も、透光窓２０及び２２と同様に、背面１２Ａから露出している。

受光器４５０は、単一のフォトダイオード４５４を備えている。フォトダイオード４５４は、例えば、ＩＲ反射光を受光可能なフォトダイオードである。フォトダイオード４５４の一例としては、ＩｎＧａＡｓ ＡＰＤが挙げられる。フォトダイオード４５４は、透光窓４５２を介して受光器４５０に取り込まれたＩＲ反射光を受光し、受光したＩＲ反射光の光量に応じた電気信号を信号処理回路３４（図９参照）に出力する。

また、上記実施形態では、距離画像生成回路３４Ｂによって距離画像が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されず、測距撮像装置１４によって、測距動作として、距離画像が生成されずに、スマートデバイス１０から測距対象までの距離を測定する動作が行われるようにしてもよい。

また、上記実施形態では、測距光の強度が変更される形態例を挙げて説明したが、本開示の技術はこれに限定されず、測距光の強度に代えて、又は、測距光の強度と共に、測距光の発光時間及び／又は単位時間あたりの測距光の発光回数が変更されることによって測距光の照射エネルギーが変更されるようにしてもよい。

また、上記実施形態では、測距用区分領域２６Ｎ２が測距用指定区分領域２６Ｎ２ａに変更されることによって、ユーザ等が指定した測距対象（いわゆるＲＯＩ）に絞って測距が行われるようにしたが、測距対象を絞る方法は、これに限定されない。例えば、ユーザ等によって指定された測距対象にレーザ光が照射されるように、受付デバイス４７によって受け付けられた指示に従って制御部９０によってレーザ光のビーム径及び／又は向きを変更させる制御が行われるようにしてもよい。

また、上記実施形態では、本開示の技術に係る「指向性光」の一例としてレーザ光を挙げて説明したが、本開示の技術はこれに限定されず、レーザ光に代えて、スーパールミネッセント光を用いてもよく、測距可能な指向性を有する光を用いて測距が行われるようにすればよい。

また、上記実施形態では、測距撮像装置１４がスマートデバイス１０に内蔵されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３６に示すように、一般的なスマートデバイス５００、すなわち、測距撮像装置１４が内蔵されていないスマートデバイス５００に対して測距撮像装置１４が外付けされていてもよい。

また、上記実施形態では、ＵＩ系デバイス４４がスマートデバイス１０に組み込まれている形態例を挙げて説明したが、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部がスマートデバイス１０に対して外付けされていてもよい。また、ＵＩ系デバイス４４に含まれる複数の構成要素のうちの少なくとも一部が別体として外部Ｉ／Ｆ５２に接続されることによって使用されるようにしてもよい。

また、図１に示す例では、スマートデバイス１０を例示したが、本開示の技術はこれに限定されない。すなわち、測距撮像装置１４が内蔵された各種の電子機器（例えば、レンズ交換式カメラ、レンズ固定式カメラ、パーソナル・コンピュータ、及び／又はウェアラブル端末装置等）に対しても本開示の技術は適用可能であり、これらの電子機器であっても、上記のスマートデバイス１０と同様の作用及び効果が得られる。

また、上記実施形態では、ディスプレイ４６を例示したが、本開示の技術はこれに限定されない。例えば、スマートデバイス１０に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記実施形態では、認識部９２がスマートデバイス１０に搭載されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、認識部９２を有する外部装置（例えば、他のスマートデバイス、パーソナル・コンピュータ及び／又はサーバ等）がスマートデバイス１０に対して接続されていてもよい。この場合、外部装置からスマートデバイス１０に対して提供される画像認識結果は、スマートデバイス１０の取得部９４によって取得されるようにすればよい。また、クラウド・コンピューティング（図示省略）に認識部９２の機能を担わせ、クラウド・コンピューティングからスマートデバイス１０に対して画像認識結果が提供されるようにしてもよい。この場合、クラウド・コンピューティングからスマートデバイス１０に対して提供される画像認識結果は、スマートデバイス１０の取得部９４によって取得されるようにすればよい。

また、上記実施形態では、ストレージ１５Ｂに測距撮像処理プログラムが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３７に示すように、測距撮像処理プログラムが記憶媒体９００に記憶されていてもよい。記憶媒体９００の一例としては、非一時的記憶媒体であるＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。

記憶媒体９００に記憶されている測距撮像処理プログラムは、コントローラ１５にインストールされる。ＣＰＵ１５Ａは、測距撮像処理プログラムに従って測距撮像処理を実行する。

また、通信網（図示省略）を介してコントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部に測距撮像処理プログラムを記憶させておき、上述のスマートデバイス１０の要求に応じて測距撮像処理プログラムがダウンロードされ、コントローラ１５にインストールされるようにしてもよい。

なお、コントローラ１５に接続される他のコンピュータ又はサーバ装置等の記憶部、又はストレージ１５Ｂに測距撮像処理プログラムの全てを記憶させておく必要はなく、測距撮像処理プログラムの一部を記憶させておいてもよい。

図３７に示す例では、スマートデバイス１０にコントローラ１５が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コントローラ１５がスマートデバイス１０の外部に設けられるようにしてもよい。

図３７に示す例では、ＣＰＵ１５Ａは、単数のＣＰＵであるが、複数のＣＰＵであってもよい。また、ＣＰＵ１５Ａに代えてＧＰＵを適用してもよい。

図３７に示す例では、コントローラ１５が例示されているが、本開示の技術はこれに限定されず、コントローラ１５に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コントローラ１５に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記実施形態で説明した測距撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、測距撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで測距撮像処理を実行する。

測距撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、測距撮像処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、測距撮像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、測距撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、測距撮像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の測距撮像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記）
プロセッサと、
上記プロセッサに接続又は内蔵されたメモリと、を含み、
上記プロセッサは、
撮像領域を撮像する撮像部による撮像動作と、測距部が上記撮像領域に対して光を照射し、上記撮像領域に対する上記光による反射光を受光することで測距を行う測距動作とを行わせる制御を行うこと、
上記撮像領域内の反射率を特定可能な反射率情報を取得すること、及び、
上記撮像動作と上記測距動作とが行われている状態で、取得した上記反射率情報に応じて上記光の照射エネルギーを変更することを含む処理を実行する
処理装置。

Claims (24)

1. 第１プロセッサと、
   前記第１プロセッサに接続又は内蔵されたメモリと、を備え、
   前記第１プロセッサは、
   撮像領域を撮像する撮像装置による撮像動作と、測距装置が前記撮像領域に対して光を照射し、前記撮像領域に対する前記光による反射光を受光することで測距を行う測距動作とを行わせる制御を行い、
   前記撮像領域内の反射率を特定可能な反射率情報を取得し、
   前記撮像動作と前記測距動作とが行われている状態で、撮像シーンを指示する撮像シーン指示情報を受付可能な受付デバイスによって受け付けられた前記撮像シーン指示情報と、取得した前記反射率情報とに応じて前記光の照射エネルギーを変更し、
   前記受付デバイスによって受け付けられた前記撮像シーン指示情報により指示された前記撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、前記照射エネルギーを第１基準照射エネルギーよりも弱くする
   処理装置。
2. 前記反射率情報は、前記撮像装置によって前記撮像領域が撮像されることで得られた撮像領域画像に基づく情報である請求項１に記載の処理装置。
3. 前記撮像領域画像に基づく情報は、第２プロセッサによって前記撮像領域画像に対する画像認識が行われることで得られた画像認識結果である請求項２に記載の処理装置。
4. 前記第１プロセッサは、画像と被写体認識結果との対応関係が機械学習されることによって得られた学習結果に基づいて前記画像認識結果を取得する請求項３に記載の処理装置。
5. 前記第２プロセッサは、基準反射率以上の反射率を有する物体の画像と、前記物体の画像を特定可能な識別子とが対応付けられた辞書データに基づき前記画像認識を行う
   請求項３に記載の処理装置。
6. 前記第１プロセッサによって取得された前記画像認識結果が、前記撮像領域画像内に基準反射率以上の物体を示す画像が含まれていることを示す画像認識結果の場合に、前記第１プロセッサは、前記照射エネルギーを第２基準照射エネルギーよりも弱くする請求項３から請求項５の何れか一項に記載の処理装置。
7. 前記物体は、光沢性を有する物体として予め定められた物体である請求項６に記載の処理装置。
8. 前記物体は、白色の物体として予め定められた物体である請求項６に記載の処理装置。
9. 前記予め定められた物体は、鏡状の物体である請求項７に記載の処理装置。
10. 前記第１プロセッサは、光源から前記光として補助光を発生させ、かつ、前記撮像領域に対する前記補助光による補助反射光を受光素子に受光させる制御を行い、
    前記反射率情報は、前記受光素子によって前記補助反射光が受光された受光結果に基づく情報である請求項１から請求項９の何れか一項に記載の処理装置。
11. 前記受光結果に基づく情報は、前記受光素子によって受光された前記補助反射光の単位時間あたりの受光量に基づく情報である請求項１０に記載の処理装置。
12. 前記第１プロセッサは、取得した前記反射率情報により特定される前記反射率が閾値以上の場合に、前記照射エネルギーを第３基準照射エネルギーよりも弱くする請求項１０又は請求項１１に記載の処理装置。
13. 前記測距装置は、ＴＯＦカメラを有する請求項１から請求項１２の何れか一項に記載の処理装置。
14. 前記第１プロセッサは、前記ＴＯＦカメラによって生成された距離画像をディスプレイに対して表示させる請求項１３に記載の処理装置。
15. 前記ＴＯＦカメラは、複数の光電変換画素を有し、
    前記測距は、前記複数の光電変換画素のうちの指定された領域内に含まれる少なくとも１つの光電変換画素のみによって受光された前記反射光を用いて行われる請求項１３又は請求項１４に記載の処理装置。
16. 前記少なくとも１つの光電変換画素は、前記撮像装置によって前記撮像領域が撮像されることで得られた撮像領域画像が表示されている状態の画面内から指定された画像領域の位置に対応する位置の光電変換画素である請求項１５に記載の処理装置。
17. 前記第１プロセッサは、前記撮像動作中に行われる本露光のタイミングに合わせて前記照射エネルギーを変更する請求項１から請求項１６の何れか一項に記載の処理装置。
18. 前記撮像動作は、前記撮像装置がライブビュー画像用に前記撮像領域を撮像するライブビュー画像用撮像動作を含む請求項１から請求項１７の何れか一項に記載の処理装置。
19. 前記測距動作は、前記撮像装置による合焦用の測距動作である請求項１から請求項１８の何れか一項に記載の処理装置。
20. 前記撮像装置は、前記合焦用の測距動作によって前記測距が行われることで得られた測距結果に基づいて前記撮像領域に対する合焦を行う請求項１９に記載の処理装置。
21. 前記光は、指向性光である請求項１から請求項２０の何れか一項に記載の処理装置。
22. 請求項１から請求項２１の何れか一項に記載の処理装置と、
    前記撮像装置と、
    前記測距装置と、
    を含む電子機器。
23. 撮像領域を撮像する撮像装置による撮像動作と、測距装置が前記撮像領域に対して光を照射し、前記撮像領域に対する前記光による反射光を受光することで測距を行う測距動作とを行わせる制御を行うこと、
    前記撮像領域内の反射率を特定可能な反射率情報を取得すること、
    前記撮像動作と前記測距動作とが行われている状態で、撮像シーンを指示する撮像シーン指示情報を受付可能な受付デバイスによって受け付けられた前記撮像シーン指示情報と、取得した前記反射率情報とに応じて前記光の照射エネルギーを変更すること、及び、
    前記受付デバイスによって受け付けられた前記撮像シーン指示情報により指示された前記撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、前記照射エネルギーを第１基準照射エネルギーよりも弱くすることを含む
    処理方法。
24. コンピュータに処理を実行させるためのプログラムであって、
    前記処理は、
    撮像領域を撮像する撮像装置による撮像動作と、測距装置が前記撮像領域に対して光を照射し、前記撮像領域に対する前記光による反射光を受光することで測距を行う測距動作とを行わせる制御を行うこと、
    前記撮像領域内の反射率を特定可能な反射率情報を取得すること、
    前記撮像動作と前記測距動作とが行われている状態で、撮像シーンを指示する撮像シーン指示情報を受付可能な受付デバイスによって受け付けられた前記撮像シーン指示情報と、取得した前記反射率情報とに応じて前記光の照射エネルギーを変更すること、及び、
    前記受付デバイスによって受け付けられた前記撮像シーン指示情報により指示された前記撮像シーンが基準反射率以上の撮像シーン反射率を有する特定の撮像シーンの場合に、前記照射エネルギーを第１基準照射エネルギーよりも弱くすることを含む
    プログラム。