JP6270854B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

本技術分野の背景技術として、特許文献１がある。特許文献１には、「カメラ（撮像部）と表示装置を備えたカメラ付情報端末において、撮影時に、表示装置に白１００％の信号に基づく表示をさせることにより補助光として点灯させる」旨記載されている。

特開２００５−２８６４４０号公報

上記特許文献１に記載の情報処理装置においては、暗い環境においても良好な撮影を行えるようにしたものである。しかし、撮影前の撮影映像の確認時については、何ら考慮されていない。情報処理装置にて撮影する際は、撮像部で撮影している映像が表示部に表示され、ユーザーは表示部に表示されている映像情報を確認し、所望の映像が撮影できるように、情報処理装置の位置を調整している。上記特許文献１に記載の情報処理装置においては、暗い環境下で撮影する時は、表示部が補助光として作用し、良好な映像を撮影することができる。しかし、撮影前の確認時は、表示部には暗い映像が表示されるため、あまりにも暗い環境下においては、表示される映像が暗すぎて確認できない可能性があった。

本発明は、上記課題を解決し、より使い勝手のよい情報処理装置、情報処理方法並びにこれを実現するプログラムを提供するものである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）情報処理装置であって、撮像部と、表示部と、照度センサと、を備え、前記撮像部と前記表示部とは、前記情報処理装置の第一の面側に配置されており、前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の少なくとも一部を補助光として用いるモードを備えることを特徴とする情報処理装置である。
（２）（１）記載の情報処理装置であって、前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の第一の領域には前記撮像部により取り込んだ映像情報を表示し、前記表示部の第二の領域には前記映像情報とは異なる映像情報を前記第一の領域よりも高い輝度で表示することを特徴とする情報処理装置である。
（３）撮像部と、表示部と、照度センサと、を備えた情報処理装置を用いた情報処理方法であって、前記照度センサにより照度を検出するステップと、前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の少なくとも一部を補助光として用いるモードに設定するステップと、を有することを特徴とする情報処理方法である。
（４）撮像部と、表示部と、照度センサと、を備えた情報処理装置に、前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の少なくとも一部を補助光として用いるモードに設定するステップを実行させるためのプログラムである。

本発明によれば、上記課題を解決し、より使い勝手のよい情報処理装置、情報処理方法並びにこれを実現するプログラムを提供することができる。

情報処理装置の内部構成例を示すブロック図である。 情報処理装置の外観図である ユーザーが自分自身を撮影している様子を示す図である。 第２撮像部における映像取り込みのモード選択の動作を示すフローチャートである。 通常モードにおける映像取り込み処理の動作を示すフローチャートである。 通常モード時における表示部の表示例を示した図である。 暗所モードにおける映像取り込み処理の動作を示すフローチャートである。 暗所モードにおける表示部の表示例を示した図である。 暗所モードにおいて、照度センサにて検出した値と、第１の領域の補助光表示の輝度の関係例を示した図である。 暗所モードにおいて、照度センサにて検出した値と、第１の領域の補助光表示の輝度の別の関係例を示した図である。 暗所モードにおける表示部の別の表示例を示した図である。 暗所モードにおける表示部の別の表示例を示した図である。 第２の領域からの距離と第１の領域の輝度の関係を示した図である。 実施例２における暗所モード時の映像取り込み処理の動作を示すフローチャートである。 実施例３における暗所モード時の映像取り込み処理の動作を示すフローチャートである。 処理を開始してからの時間と第１の領域の輝度の関係を示した図である。 実施例４における暗所モード時の映像取り込み処理の動作を示すフローチャートである。 実施例５における暗所モード時の映像取り込み処理の動作を示すフローチャートである。 光量増加処理特性の一例を示した図である。 表示部の状態を示す図である。 光量増加処理特性の別の例を示した図である。

以下、実施例を図面を用いて説明する。

図１は、実施例１における情報処理装置１００の内部構成例を示すブロック図である。
ここでは、スマートフォンの場合を例にして説明する。情報処理装置１００は、基地局通信部１０１、ＣＰＵ１０２、メモリ１０３、ストレージ１０４、ＧＰＳ（Global Positioning System）受信部１０５、地磁気センサ１０６、加速度センサ１０７、ジャイロセンサ１０８、照度センサ１０９、入出力Ｉ／Ｆ１１０、無線通信部１１１、マイク１１２、音声処理部１１３、スピーカ１１４、操作入力部１１５、表示部１１６、タッチパネル１１７、画像処理部１１８、第１撮像部１１９、第２撮像部１２０、操作ボタン１２１を適宜用いて構成され、それぞれはバス１５０を介して相互に接続されている。

基地局通信部１０１は、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）やＧＳＭ（登録商標）（Global System for Mobile communications）などの基地局（図示せず）と遠距離の無線通信を行う通信インターフェイスである。

ＣＰＵ１０２は、メモリ１０３に記憶したプログラムを実行することによって、各構成部を制御し、各種の処理を行っている。

メモリ１０３は、例えばフラッシュメモリなどであり、プログラム、データなどを記憶している。メモリ１０３に記憶されるプログラムは、基地局通信部１０１が基地局と無線通信を行い、図示しない外部サーバーなどからダウンロードすることにより、随時更新・追加することが可能である。また、情報処理装置１００は例えばメモリーカードなどのストレージ１０４を取り付け可能であり、ストレージ１０４にもデータなどを保存することができる。

ＧＰＳ受信部１０５は、上空にあるＧＰＳ衛星からの信号を受信するものである。これにより、情報処理装置１００の現在の位置情報を検出することができる。

地磁気センサ１０６は情報処理装置１００の向いている方向を検出するセンサである。

加速度センサ１０７は情報処理装置１００の加速度を検出するセンサであり、ジャイロセンサ１０８は、情報処理装置１００の角速度を検出するセンサである。これらにより、情報処理装置１００の傾き、動きを詳細に検出することができる。

照度センサ１０９は、明るさを検出するセンサであり、これにより情報処理装置１００の周囲の明るさを知ることができる。

入出力Ｉ／Ｆ１１０は、例えばＵＳＢ（Universal Serial Bus）などであり、外部機器（図示せず）とデータの送受信を行うインターフェイスである。

無線通信部１１１は、IEEE802.11a/b/nなどの無線ＬＡＮによる無線通信を行う通信インターフェイスである。

マイク１１２は、外部の音声を入力するものであり、スピーカ１１４は、外部に対して音声を出力するものである。入出力される音声は、音声処理部１１３にて音声処理される。

タッチパネル１１７は、操作入力部１１５、表示部１１６を適宜用いて構成される。表示部１１６は液晶パネルなどであり、映像や画像を表示するものであり、その表示面にはタッチパッドのような操作入力部１１５を有する。

操作入力部１１５は、例えば静電容量式などのタッチパッドであり、指やタッチペンなどによる接触操作（以降、タッチという）を操作入力として検出するものである。例えば、表示部１１６にコマンド（機能）のメニュー等を表示し、使用者が所望のコマンドをタッチして選択することで、そのタッチ位置を検出し、そのタッチ位置に表示されているコマンドを受け付けるものである。操作入力部１１５にて受け付けたタッチあるいはタッチ動作はＣＰＵ１０２に入力され処理される。

第１撮像部１１９、第２撮像部１２０は、例えばカメラなどである。表示部１１６に表示される映像や、第１撮像部１１９や第２撮像部１２０から入力された映像は、画像処理部１１８にて処理される。なお、本実施例では、情報処理装置１００の背面側に配置されたものを第１撮像部１１９、正面側（表示面側）に配置されたものを第２撮像部１２０とする。

操作ボタン１２１は、プッシュボタンスイッチなどであり、操作ボタン１２１が押されたことを検出すると、ＣＰＵ１０２に入力され、その操作ボタン１２１に対応した動作を実行する。情報処理装置１００が第１撮像部１１９又は第２撮像部１２０にて撮影するモードの場合は、操作ボタン１２１がシャッターボタンとして機能することが可能となっている。

図２は、実施例１における情報処理装置１００の外観図である。図２（ａ）は正面側から見た図、図２（ｂ）は背面側から見た図である。
図２に示すように、情報処理装置１００の正面側に、照度センサ１０９、マイク１１２、スピーカ１１４、タッチパネル１１７、第２撮像部１２０が配置されている。また、情報処理装置１００の背面側には、第１撮像部１１９が配置され、情報処理装置１００の側面に操作ボタン１２１が配置されている。第１撮像部１１９は、情報処理装置１００の背面側の映像を撮影するものであり、第２撮像部１２０は正面側の映像を撮影するものである。撮影する場合は、第１撮像部１１９あるいは第２撮像部１２０により取り込まれる映像情報を表示部１１６に表示されるようになっており、表示部１１６をファインダーとして使用することができる。以降、取り込まれた映像情報をそのまま表示することをスルー表示という。

図３は、ユーザーが自分自身を撮影している様子を示した図である。ユーザーが自分自身（例えば顔）を撮影する場合は、図３（ａ）に示すように、自分の顔の前に情報処理装置１００を配置する。このとき、表示部１１６、第２撮像部１２０が配置された面（正面）側をユーザーの方に向けて配置する。これは、ファインダーとして機能する表示部１１６をユーザー自身が見るためである。したがって、撮影は第２撮像部１２０にて行うことになる。上記したように、撮影時は図３（ｂ）に示すように第２撮像部１２０に取り込まれている映像情報が表示部１１６にスルー表示される。ユーザーは、表示部１１６にて、第２撮像部１２０にて撮影される構図を確認することができる。しかし、暗い環境下において撮影する場合、表示部１１６にスルー表示される映像が暗い映像となり、構図を確認しにくい場合がある。よって、本実施例における情報処理装置１００においては、これに対応すべく、暗所モードを設けている。暗所モードの詳細については、後述する。

図４は、第２撮像部１２０における映像取り込みのモード選択の動作を示すフローチャートである。本処理は、ユーザーがタッチパネル１１７にてメニュー操作等を行い、第２撮像部１２０により撮影する処理（映像取り込み処理）を選択した時に、本処理を開始する。

本処理が開始されると、照度センサ１０９を起動させ、情報処理装置１００の周囲環境の照度を検出する（Ｓ４０１）。照度センサ１０９による検出値が所定値以上の場合（Ｓ４０２−Ｙｅｓ）、すなわち、周囲の明るさが所定以上の場合は、通常モードによる映像取り込み処理を行う（Ｓ４０３）。また、上記照度センサ１０９による検出値が所定値以下の場合（Ｓ４０２−Ｎｏ）、すなわち周囲の明るさが所定以下の場合は、暗所モードによる映像取り込み処理を行う（Ｓ４０４）。それぞれのモードにおける映像取り込み処理について、以下詳細に説明する。なお、ここでは、第２撮像部１２０により撮影する処理を選択した時に照度センサ１０９を起動する場合を例に示すが、既に照度センサが起動している状態で第２撮像部１２０により撮影する処理を選択した時にはＳ４０２から開始すればよい。

図５は、通常モードにおける映像取り込み処理（図４−Ｓ４０３）の動作を示すフローチャートである。
第２撮像部１２０を起動させ（Ｓ５０１）、第２撮像部１２０による映像情報の取り込みを行う（Ｓ５０２）。第２撮像部１２０にて取り込んだ映像情報を表示部１１６にスルー表示させる（Ｓ５０３）。これにより、表示部１１６がファインダーとして機能し、ユーザーは、第２撮像部１２０で撮影する構図を確認することができる。図６は、通常モード時における表示部１１６の表示例を示した図である。図６に示すように、表示部１１６全体に第２撮像部１２０にて取り込んでいる映像情報をスルー表示している。ユーザーは、表示部１１６を確認し、所望の構図になるように情報処理装置１００の位置を調整し、シャッターボタンとして機能する操作ボタン１２１を押す。情報処理装置１００は、操作ボタン１２１が押されたことを検出すると（Ｓ５０４−Ｙｅｓ）、第２撮像部にて映像情報を取り込み（Ｓ５０５）、画像処理部１１８にて所定の処理を行った後に、映像情報を例えばストレージ１０４に記録し（Ｓ５０６）、処理を終了する。

操作ボタン１２１が押されたことを検出するステップＳ５０４にて、検出できなかった場合は（Ｓ５０４−Ｎｏ）、映像情報を取り込むステップ（Ｓ５０２）と、取り込んだ映像情報を表示するステップ（Ｓ５０３）を繰り返す。すなわち、操作ボタン１２１が押されるまで、第２得撮像部１２０にて取り込んでいる映像情報が表示部１１６にスルー表示される。

図７は、暗所モードにおける映像取り込み処理（図４−Ｓ４０４）の動作を示すフローチャートである。
第２撮像部１２０を起動させ（Ｓ７０１）、表示部１１６の第１の領域１６１を略同一色（例えば白色など）で表示する補助光表示とする（Ｓ７０２）。補助光表示の詳細については、後述する。次に、第２撮像部１２０にて映像情報の取り込みを行い（Ｓ７０３）、第２撮像部１２０にて取り込んだ映像情報を表示部１１６の第２の領域１６２にスルー表示させる（Ｓ７０４）。

ここで、上記第１の領域１６１と第２の領域１６２について説明する。図８は、暗所モードにおける表示部１１６の表示例を示した図である。図８に示すように、表示部１１６を複数の領域（ここでは２つ）に分割している。第１の領域１６１の補助光表示は、上記したように、領域全体を略同一色で表示するものであり、補助光として機能する。補助光表示は、例えば表示部１１６が液晶パネルのようにＲ、Ｇ、Ｂの３色の画素で構成されるデバイスの場合は、Ｒ、Ｇ、Ｂの各画素のそれぞれが所定の階調の映像信号となるようにする。例えば白色を表示する場合は、Ｒ、Ｇ、Ｂのそれぞれの階調がほぼ同一とする。また、第２の領域１６２には、第２撮像部１２０にて取り込んでいる映像情報をスルー表示することで、ファインダーとして機能する。なお、ここでは補助光表示する第１の領域を表示部の上方としスルー表示する第２の領域を表示部の下方とする例を示すが、これに限られず、例えば第２の領域を囲むように第１の領域を設けてもよく、また、第２の領域の上下又は左右に第１の領域を設けるようにしても構わない。また、スルー画像からの被写体認識結果に応じてより被写体が鮮明に撮影出来るように適宜補助光表示するエリアを調整するようにしてもよい。

次に、補助光表示の輝度について説明する。図９は、暗所モードにおいて、照度センサ１０９にて検出した値と、第１の領域１６１の補助光表示の輝度の関係例を示した図である。照度センサ１０９の値が所定値（ここではＥ_０）以下の場合は、暗所モードとなり、第１の領域１６１を輝度Ｌ_０にて補助光表示とする。輝度Ｌ_０の値は、表示部１１６の表示可能な輝度の最大値である。例えば表示部１１６がＲ、Ｇ、Ｂの３色の画素で構成される液晶などのデバイスの場合は、Ｒ、Ｇ、Ｂの各画素の階調を最大とした状態である。情報処理装置１００は、表示部１１６の輝度を調整設定する機能を有している。表示部１１６の輝度設定を最大で使用すると明るすぎるため、通常使用時は、輝度をある程度抑えた設定値（ここでは、Ｌ_Ｓ）としている場合が多い。第１の領域１６１を、輝度を抑えた設定値Ｌ_Ｓにて補助光表示を行った場合、被写体を照らす光量が不足し、鮮明な映像情報を取り込むことができない場合がある。これにより、表示部１１６の輝度を抑えた設定の場合においても、被写体を明るく照らすことができ、第２撮像部１２０にて鮮明に撮影することができる。なお、照度センサ１０９の値が所定値Ｅ_０以上の場合は、通常モードとなるため、第１の領域１６１の輝度はＥ_０以下のみとなる。

ユーザーは、第２の領域１６２にスルー表示される映像情報を確認し、所望の構図になるように情報処理装置１００の位置を調整し、シャッターボタンとして機能する操作ボタン１２１を押す。情報処理装置１００は、操作ボタン１２１が押されたことを検出すると（Ｓ７０５−Ｙｅｓ）、第２撮像部にて映像情報を取り込み（Ｓ７０６）、画像処理部１１８にて所定の処理を行った後に、映像情報を例えばストレージ１０４に記録し（Ｓ７０７）、処理を終了する。

操作ボタン１２１が押されたことを検出するステップＳ７０５にて、検出できなかった場合は（Ｓ７０５−Ｎｏ）、映像情報を取り込むステップ（Ｓ７０３）と、取り込んだ映像情報を第１の領域１６１に表示するステップ（Ｓ７０４）を繰り返す。すなわち、操作ボタン１２１が押されるまで、第２得撮像部１２０にて取り込んでいる映像情報が表示部１１６にスルー表示される。

以上により、暗い環境下においては、第１の領域１６１の補助光表示が照明として機能し、被写体を明るく照らすので、第２撮像部１２０にて取り込んでいる映像情報の構図を確認することができる。

また、上記においては、第１の領域１６１の輝度を一定とした例を示したが、これに限定されるものではない。例えば、図１０（ａ）に示すように、第１の領域１６１の輝度の設定値を複数個（ここでは、Ｌ_０、Ｌ_１、Ｌ_２の３個）持つようにし、輝度センサ１０９の値に応じて段階的に変化させるようにしてもよい。また、図１０（ｂ）に示すように、輝度センサ１０９の値に応じて、第１の領域１６１の輝度の値をＬ_３からＬ_０に変化させるようにしてもよい。このように、輝度センサ１０９の値に応じて第１の領域１６１の輝度を変化さることで、第１の領域１６１を補助光表示とすることによる電力消費量の増加を抑えることができる。さらには、第１の領域１６１の輝度を下げることにより、ユーザーへの眩しさを低減することができる。また、照度センサ１０９に応じた輝度制御のほか、スルー画像からの被写体認識結果に応じて輝度を制御するようにしてもよい。

なお、上記実施の形態においては、第１の領域１６１の輝度Ｌ_０の値を、表示部１１６の輝度の最大値としているが、これに限定されるものではない。第２撮像部１２０にて撮影するのに必要な光量が得られれば良い。

図１１は、暗所モードにおける表示部１１６の別の表示例を示した図である。上記実施例においては、第１の領域１６１と第２の領域１６２の面積を略等しくした例を説明したが、図１１に示すように、第１の領域１６１と第２の領域の面積を異ならせてもよい。図１１に示すように、第１の領域１６１の面積を第２の領域１６２よりも大きくすることにより、第１の領域１６１の光量を大きくすることができ、より明るい映像情報を取り込むことができる。

また、図１１に示すように、表示部１１６にボタン１２２を表示させ、シャッターボタンとしてもよい。このときは、ユーザーが、ボタン１２２をタッチすると、タッチした時の映像情報がストレージ１０４に記録される。

図１２は、暗所モードにおける表示部１１６の別の表示例を示した図である。図１３は、第２の領域１６２からの距離と第１の領域１６１の輝度の関係を示した図である。上記実施の形態においては、第１の領域１６１内を同一輝度として例を説明したが、これに限定されるものではない。図１２、図１３に示すように、第１の領域１６１において、第２の領域１６２から離れた側の輝度Ｌ_０に対して、第２の領域に近い側の輝度Ｌ_６を小さくし、表示部１１６の長辺方向に輝度の傾斜を持たせてもよい。第２の領域１６２に表示される映像情報は、暗い環境下で取り込まれた映像であるため、輝度の低い映像である。図に示すように、第１の領域１６１と第２の領域１６２は隣接している。第２の領域１６２に近い方を暗くするよう輝度傾斜を持たせると、第１の領域１６１と第２の領域１６２の境界部分の輝度差が小さくなるため、第２の領域１６２にスルー表示される映像情報が視認し易くなる。

以上により、暗い環境下においても、第２撮像部１２０にて明るい映像情報を撮影することができる。さらには、表示部１１６に第２撮像部１２０にて取り込んだ映像情報を表示する際も、第１の領域１６１が被写体を照らす照明として機能するため、容易に構図の確認を行うことができる。
尚、本実施例で示した各変形例は適宜組み合わせて実施するようにしてもよく、後述する他の実施例と組み合わせても構わない。

実施例２における情報処理装置１００について説明する。
情報処理装置１００の内部構成、外観などは、上記実施例１と同等であるため、これを援用するものとして適宜説明は省略する。また、第２撮像部１２０における映像取り込みのモード選択の動作、通常モード時における映像取り込み処理についても実施例１と同等であるため、これを援用するものとして適宜説明は省略する。

図１４は、実施例２における暗所モード時の映像取り込み処理の動作を示すフローチャートである。第２撮像部１２０を起動させ（Ｓ１２０１）、表示部１１６の第１の領域１６１を補助光表示とする（Ｓ１２０２）。次に、第２撮像部１２０にて映像情報の取り込みを行い（Ｓ１２０３）、第２撮像部１２０にて取り込んだ映像情報を表示部１１６の第２の領域１６２にスルー表示させる（Ｓ１２０４）。ユーザーは、第２の領域１６２を確認し、所望の構図になるように情報処理装置１００の位置を調整し、シャッターボタンとして機能する操作ボタン１２１を押す。情報処理装置１００は、操作ボタン１２１が押されたことを検出すると（Ｓ１２０５−Ｙｅｓ）、表示部１１６全体を補助光表示とする（Ｓ１２０６）。第２撮像部にて映像情報を取り込み（Ｓ１２０７）、画像処理部１１８にて所定の処理を行った後に、映像情報をストレージ１０４に記録し（Ｓ１２０８）、処理を終了する。操作ボタン１２１が押されたことを検出できなかった場合は（Ｓ１２０５−Ｎｏ）、映像情報を取り込むステップ（Ｓ１２０３）と、取り込んだ映像情報を第１の領域１６１に表示するステップ（Ｓ１２０４）を繰り返す。すなわち、操作ボタン１２１が押されるまで、第２得撮像部１２０にて取り込んでいる映像情報が表示部１１６にスルー表示される。

本実施例２が上記実施例１の動作と異なるのは、シャッターボタンとして機能する操作ボタン１２１が押されたことを検出すると（Ｓ１２０５−Ｙｅｓ）、表示部１１６全体を補助光表示とし（Ｓ１２０６）、第２撮像部１２０にて映像情報を取り込んでいる（Ｓ１２０７）点である。ストレージ１０４に記録する映像情報を取り込む際は、構図の確認の必要がないため、表示部１１６全体を補助光表示としても問題ない。補助光表示の面積を大きくすることにより、映像情報を取り込む際（Ｓ１２０７）、被写体を照らす光量を大きくすることができるため、より鮮明な映像情報を記録することができる。

以上により、暗い環境下においては、第１の領域１６１の補助光表示が照明として機能し、被写体を明るく照らすので、第２撮像部１２０にて取り込んでいる映像情報の構図を確認することができる。また、ストレージ１０４に記録する映像情報を取り込む際は、表示部１１６全体を補助光表示とすることで、より鮮明な映像情報を記録することができる。

実施例３における情報処理装置１００について説明する。
情報処理装置１００の内部構成、外観などは、上記実施例１と同等であるため、これを援用するものとして、適宜説明は省略する。また、第２撮像部１２０における映像取り込みのモード選択の動作、通常モード時における映像取り込み処理についても実施例１、実施例２と同等であるため、これを援用するものとして、適宜説明は省略する。

図１５は、実施例３における暗所モード時の映像取り込み処理の動作を示すフローチャートである。第２撮像部１２０を起動させ（Ｓ１３０１）、表示部１１６の第１の領域１６１を第１の輝度Ｌ_４にて補助光表示とする（Ｓ１３０２）。次に、第２撮像部１２０にて映像情報の取り込みを行い（Ｓ１３０３）、第２撮像部１２０にて取り込んだ映像情報を表示部１１６の第２の領域１６２にスルー表示させる（Ｓ１３０４）。ユーザーは、第２の領域１６２を確認し、所望の構図になるように情報処理装置１００の位置を調整し、シャッターボタンとして機能する操作ボタン１２１を押す。情報処理装置１００は、操作ボタン１２１が押されたことを検出すると（Ｓ１３０５−Ｙｅｓ）、表示部１１６の第１の領域１６１を第２の輝度Ｌ_５にて補助光表示とする（Ｓ１３０６）。第２撮像部にて映像情報を取り込み（Ｓ１３０７）、画像処理部１１８にて所定の処理を行った後に、映像情報をストレージ１０４に記録し（Ｓ１３０８）、処理を終了する。操作ボタン１２１が押されたことを検出できなかった場合は（Ｓ１３０５−Ｎｏ）、映像情報を取り込むステップ（Ｓ１３０３）と、取り込んだ映像情報を第１の領域１６１に表示するステップ（Ｓ１３０４）を繰り返す。すなわち、操作ボタン１２１が押されるまで、第２得撮像部１２０にて取り込んでいる映像情報が表示部１１６にスルー表示される。

次に、上記第１の輝度Ｌ_４と第２の輝度Ｌ_５について説明する。図１６は、本処理を開始してからの時間と第１の領域１６１の輝度の関係を示した図である。時間Ｔ_１は、第１の領域１６１を第１の輝度Ｌ_４にて補助光表示とするステップ（Ｓ１３０２）が行われた時間である。時間Ｔ_２は、第１の領域１６１を第２の輝度Ｌ_５にて補助光表示とするステップ（Ｓ１３０６）が行われた時間である。時間Ｔ_３は、本処理を終了した時間である。

図に示すように、第２の輝度Ｌ_５は、上記実施例１の輝度Ｌ_０に相当し、表示部１１６の輝度の最大値である。第１の輝度Ｌ_４は、第２の輝度Ｌ_５に対して小さい値に設定されている。第１の領域１６１の輝度は第１の輝度Ｌ_４である時間Ｔ_１〜Ｔ_２の間は、ユーザーが第２の領域１６２にスルー表示された映像情報にて、第２撮像部１２０にて取り込まれている映像情報の構図を確認する処理を行っている時である。このときは、構図を確認するだけなので、多少暗い映像情報でも特に問題はない。

また、ストレージ１０４に記録する映像情報を取り込むステップ（Ｓ１３０７）のときは、第１の領域１６１の輝度は、第２の輝度Ｌ_５である。よって、ストレージ１０４に記録する映像情報を取り込む時は、第１の領域１６１の輝度は高いため、被写体を明るく照らすことができ、実施例１と同様に鮮明な映像情報を記録することができる。

以上により、暗い環境下においては、第１の領域１６１の補助光表示が照明として機能し、被写体を明るく照らすので、第２撮像部１２０にて取り込んでいる映像情報の構図を確認することができる。また、構図の確認中は、第１の領域１６１の輝度を下げることにより、ユーザーへの眩しさを低減することができ、輝度Ｌ_５で光らせる時間を小さくすることで、第１の領域１６１を補助光表示とすることによる電力消費量の増加を抑えることができる。

実施例４における情報処理装置１００について説明する。
情報処理装置１００の内部構成、外観などは、上記実施例１と同等であるため、これを援用するものとして、適宜説明は省略する。また、第２撮像部１２０における映像取り込みのモード選択の動作、通常モード時における映像取り込み処理についても実施例１乃至実施例３と同等であるため、これを援用するものとして、適宜説明は省略する。

図１７は、実施例４における暗所モード時の映像取り込み処理の動作を示すフローチャートである。第２撮像部１２０を起動させ（Ｓ１５０１）、表示部１１６の第１の領域１６１を第１の輝度Ｌ_４にて補助光表示とする（Ｓ１５０２）。次に、第２撮像部１２０にて映像情報の取り込みを行い（Ｓ１５０３）、第２撮像部１２０にて取り込んだ映像情報を表示部１１６の第２の領域１６２にスルー表示させる（Ｓ１５０４）。ユーザーは、第２の領域１６２を確認し、所望の構図になるように情報処理装置１００の位置を調整し、シャッターボタンとして機能する操作ボタン１２１を押す。情報処理装置１００は、操作ボタン１２１が押されたことを検出すると（Ｓ１５０５−Ｙｅｓ）、表示部１１６全体を第２の輝度Ｌ_５にて補助光表示とする（Ｓ１５０６）。第２撮像部にて映像情報を取り込み（Ｓ１５０７）、画像処理部１１８にて所定の処理を行った後に、映像情報をストレージ１０４に記録し（Ｓ１５０８）、処理を終了する。操作ボタン１２１が押されたことを検出できなかった場合は（Ｓ１５０５−Ｎｏ）、映像情報を取り込むステップ（Ｓ１５０３）と、取り込んだ映像情報を第１の領域１６１に表示するステップ（Ｓ１５０４）を繰り返す。すなわち、操作ボタン１２１が押されるまで、第２得撮像部１２０にて取り込んでいる映像情報が表示部１１６にスルー表示される。

上記実施例３の動作と異なるのは、シャッターボタンである操作ボタン１２１が押されたことを検出すると（Ｓ１５０５−Ｙｅｓ）、表示部１１６全体を補助光表示とし（Ｓ１５０６）、第２撮像部１２０にて映像情報を取り込んでいる（Ｓ１５０７）点である。ストレージ１０４に記録する映像情報を取り込む際は、構図の確認の必要がないため、表示部１１６全体を補助光表示としても問題ない。補助光表示の面積を大きくすることにより、映像情報を取り込む際（Ｓ１５０７）、被写体を照らす光量を大きくすることができるため、より鮮明な映像情報を記録することができる。

以上により、暗い環境下においては、第１の領域１６１の補助光表示が照明として機能し、被写体を明るく照らすので、第２撮像部１２０にて取り込んでいる映像情報の構図を確認することができる。また、構図の確認中は、第１の領域１６１の輝度を下げることにより、ユーザーへの眩しさを低減することができ、輝度Ｌ_５で光らせる時間を小さくすることで、第１の領域１６１を補助光表示とすることによる電力消費量の増加を抑えることができる。さらには、ストレージ１０４に記録する映像情報を取り込む際は、表示部１１６全体を補助光表示とすることで、被写体を照らす照明の光量を大きくすることができるので、より鮮明な映像情報を記録することができる。

実施例５における情報処理装置１００について説明する。
情報処理装置１００の内部構成、外観などは、上記実施例１と同等であるため、これを援用するものとして、適宜説明は省略する。また、第２撮像部１２０における映像取り込みのモード選択の動作、通常モード時における映像取り込み処理についても実施例１乃至実施例４と同等であるため、これを援用するものとして、適宜説明は省略する。

図１８は、実施例５における暗所モード時の映像取り込み処理の動作を示すフローチャートである。第２撮像部１２０を起動させ（Ｓ１８０１）、第２撮像部１２０にて映像情報の取り込みを行う（Ｓ１８０２）。次に、画像処理部１１８により取り込んだ映像情報の光量増加処理を行い（Ｓ１８０３）、表示部１１６に表示する（Ｓ１８０４）。光量増加処理とは、表示部１１６より出射する総光量を増加させる処理である。

図１９は、光量増加処理特性の一例を示した図である。光量増加処理を行わない入力信号＝出力信号の特性（一点鎖線２００）に対して、光量増加処理を行った特性（実線２０１）は、低域から高域までＧｏ_２大きくなるようシフトさせる。本処理により、表示部１１６に表示される映像情報は、各画素の輝度が大きくなった状態で表示されるため、出射する光量が増加し、被写体を照らす照明として機能する。

図２０は、上記表示するステップ（Ｓ１８０４）における表示部１１６の状態を示す図である。図に示すように、第２撮像部１２０より取り込んだ映像情報に対して光量増加処理を行い、表示部１１６全体に表示させている。表示部１１６の領域内にて画素ごとに輝度、色が異なるため、被写体を照らす照明としてはムラになるが、ここでは、構図（被写体の位置）を確認するだけなので、特に影響はない。

ユーザーは、表示部１１６を確認し、所望の構図になるように情報処理装置１００の位置を調整し、シャッターボタンである操作ボタン１２１を押す。情報処理装置１００は、操作ボタン１２１が押されたことを検出すると（Ｓ１８０５−Ｙｅｓ）、表示部１１６を補助光表示とし（Ｓ１８０６）、第２撮像部にて映像情報を取り込む（Ｓ１８０７）。取り込んだ映像情報を画像処理部１１８にて所定の処理を行った後に、ストレージ１０４に記録し（Ｓ１８０８）、処理を終了する。このように、ストレージ１０４に記録する映像情報を取り込む際、表示部１１６全体を補助光表示としているため、均一な照明で被写体を照らすことができ、鮮明な映像情報を記録することができる。

上記シャッターボタンである操作ボタン１２１が押されたことを検出するステップ（Ｓ１８０５）にて、検出できなかった場合は（Ｓ１８０５−Ｎｏ）、映像情報を取り込むステップ（Ｓ１８０２）に戻る。すなわち、操作ボタン１２１が押されるまで、第２得撮像部１２０にて取り込んだ映像情報の光量増加処理を行い、表示部１１６に表示する処理を繰り返す。

図２１は、光量増加処理特性の別の例を示した図である。上記光量増加処理においては、低域から高域に対して一律Ｇｏ_２だけ大きくなるようシフトさせていたが、本光量増加処理においては、高域に行くに従って、シフト量を減少するようにしている。上記光量増加処理に比べて、光量増加量は減るが、表現できる階調を多くとることができるため、視認しやすい利点がある。また、照度センサ１０９による検出値に応じて、光量増加処理のシフト量を変化させてもよい。

本実施例の動作が、上記実施例１乃至実施例４の動作と異なるのは、表示部１１６に光量増加処理した映像情報を表示している点である。これにより、表示部１１６が被写体を照らす照明として機能するため、容易に構図の確認をすることができる。また、操作ボタン１２１が押されたことを検出すると、表示部１１６全体を補助光表示とし、第２撮像部１２０にて映像情報を取り込んでいる。これにより、表示部１１６全体を補助光表示として均一な照明で被写体を照らした状態で映像情報を取り込んでいるため、鮮明な映像情報を記録することができる。

上記実施例１乃至実施例５においては、第２撮像部１２０にて取り込んだ映像情報をストレージ１０４に記録するモードに適用した例を説明したが、これに限定されるものではない。表示部１１６が搭載されている面側に配置された撮像部（ここでは、第２撮像部１２０）にて撮影するモードであれば適用できる。例えば、顔認証にてキーロック機能を解除するときの顔を撮影するモードにも適用することができる。

また、補助光表示時の輝度や、光量増加処理のシフト量を徐々に大きくしていき、第２撮像部１２０にて取り込んだ映像情報が所定の明るさを得られた時点で、ストレージ１０４に記録したり、顔認証を行ってもよい。

また、上記実施例においては、スマートフォンを例に説明したが、これに限定されるものではなく、例えばタブレット、ノートパソコン、デスクトップパソコンなどに用いてもよい。

また、各実施例において、暗所モードにおける動作フローを複数示したが、情報処理装置における暗所モードでの動作はこのうちいずれか一つに限定されるものではなく、各動作フローに対応した複数の暗所モードを備え、予めユーザがいずれかの暗所モードを設定出来るようにしても構わない。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、各実施例で示した構成を組み合わせても用いても構わない。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、フラッシュメモリなどのメモリ、または、メモリーカードなどのストレージに置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 情報処理装置
１０９ 照度センサ
１１６ 表示部
１１９ 第１撮像部
１２０ 第２撮像部
１６１ 第１の領域
１６２ 第２の領域

Claims (8)

1. 情報処理装置であって、
   撮像部と、表示部と、照度センサと、を備え、
   前記撮像部と前記表示部とは、前記情報処理装置の第一の面側に配置されており、
   前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の少なくとも一部を補助光として用いるモードを備えており、
   前記撮像部により取り込んだ映像情報から得られた被写体認識結果に応じて、前記表示部における前記補助光を表示するエリアを調整し、
   前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、
   前記表示部の第一の領域には前記撮像部により取り込んだ映像情報を表示し、
   前記表示部の第二の領域には前記映像情報とは異なる映像情報を前記第一の領域よりも高い輝度で表示し、
   前記表示部の第二の領域のうち、前記第一の領域に近い領域の輝度が、前記第一の領域より遠い領域の輝度よりも低いことを特徴とする情報処理装置。
2. 請求項１記載の情報処理装置であって、
   前記表示部の第二の領域内は略同一の輝度であることを特徴とする情報処理装置。
3. 請求項１または２記載の情報処理装置であって、
   前記表示部の第二の領域の輝度は、前記照度センサの検出値に応じて変化することを特徴とする情報処理装置。
4. 請求項１乃至３のいずれかに記載の情報処理装置であって、
   前記表示部の第二の領域は前記第一の領域の上下又は左右にあることを特徴とする情報処理装置。
5. 請求項１記載の情報処理装置であって、
   前記表示部は、
   前記撮像部により取り込まれた映像情報に対して光量増加処理を施した映像情報をスルー表示し、
   前記スルー表示した状態で、前記撮像部により取り込まれた映像情報を記録するようにユーザからの指示を受け付けた場合には、補助光表示として前記映像情報よりも高い輝度の表示に切り替わることを特徴とする情報処理装置。
6. 撮像部と、表示部と、照度センサと、を備えた情報処理装置を用いた情報処理方法であって、
   前記照度センサにより照度を検出するステップと、
   前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の少なくとも一部を補助光として用いるモードに設定するステップと、
   前記モードが設定されると、前記表示部の第一の領域には前記撮像部により取り込んだ映像情報を表示し、前記表示部の第二の領域には前記映像情報とは異なる映像情報を前記第一の領域よりも高い輝度で表示するステップと、
   を有し、
   前記補助光として用いるモードに設定するステップは、前記撮像部により取り込んだ映像情報から得られた被写体認識結果に応じて、前記表示部における前記補助光を表示するエリアを調整し、
   前記表示部の第二の領域のうち、前記第一の領域に近い領域の輝度が、前記第一の領域より遠い領域の輝度よりも低いことを特徴とする情報処理方法。
7. 請求項６記載の情報処理方法であって、
   前記モードが設定されると、前記表示部は、前記撮像部により取り込まれた映像情報に対して光量増加処理を施した映像情報をスルー表示し、前記スルー表示した状態で、前記撮像部により取り込まれた映像情報を記録するようにユーザからの指示を受け付けた場合には、補助光表示として前記映像情報よりも高い輝度の表示に切り替わるステップを有することを特徴とする情報処理方法。
8. 撮像部と、表示部と、照度センサと、を備えた情報処理装置に実行させるプログラムであって、
   前記プログラムは、前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、前記表示部の少なくとも一部を補助光として用いるモードに設定するステップを有し、
   前記補助光として用いるモードに設定するステップにおいて、前記撮像部により取り込んだ映像情報から得られた被写体認識結果に応じて、前記表示部における前記補助光を表示するエリアを調整し、
   前記照度センサの検出値が所定値以下で前記撮像部により撮像する場合に、
   前記表示部の第一の領域には前記撮像部により取り込んだ映像情報を表示し、
   前記表示部の第二の領域には前記映像情報とは異なる映像情報を前記第一の領域よりも高い輝度で表示し、
   前記表示部の第二の領域のうち、前記第一の領域に近い領域の輝度が、前記第一の領域より遠い領域の輝度よりも低い、プログラム。

Images