JP4781440B2 - 画像撮影装置、画像撮影装置の制御方法及び制御プログラム - Google Patents

画像撮影装置、画像撮影装置の制御方法及び制御プログラム Download PDF

Info

Publication number
JP4781440B2
JP4781440B2 JP2009025434A JP2009025434A JP4781440B2 JP 4781440 B2 JP4781440 B2 JP 4781440B2 JP 2009025434 A JP2009025434 A JP 2009025434A JP 2009025434 A JP2009025434 A JP 2009025434A JP 4781440 B2 JP4781440 B2 JP 4781440B2
Authority
JP
Japan
Prior art keywords
photographer
camera
display surface
transmissive
main camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009025434A
Other languages
English (en)
Other versions
JP2010183378A (ja
Inventor
昌寛 古谷
隆司 山本
賢二 大森
Original Assignee
ソニー エリクソン モバイル コミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エリクソン モバイル コミュニケーションズ, エービー filed Critical ソニー エリクソン モバイル コミュニケーションズ, エービー
Priority to JP2009025434A priority Critical patent/JP4781440B2/ja
Priority to EP10250134A priority patent/EP2216678A1/en
Priority to US12/695,224 priority patent/US8537217B2/en
Priority to CN2010101072070A priority patent/CN101854472B/zh
Publication of JP2010183378A publication Critical patent/JP2010183378A/ja
Application granted granted Critical
Publication of JP4781440B2 publication Critical patent/JP4781440B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Description

本発明は、撮像デバイスと表示デバイスを有する画像撮影装置と、その画像撮影装置の制御方法及び制御プログラムに関する。
特開2006−121344号の公開特許公報(特許文献1)には、可動ミラーを撮影光路から退避させ、フォーカルプレーンシャッタを開放状態にして被写体像を連続的に撮像し、その画像をモニタ画面に表示する電子ビューファインダ機能を有するデジタル一眼レフカメラが開示されている。また、この特許文献1に記載のデジタル一眼レフカメラでは、撮影者がファインダ接眼部を覗いておらず、かつ、撮影者によってフォーカス調節用操作部材が手動操作された場合に、上記電子ビューファインダ機能を作動させるようになされている。これにより、当該特許文献1記載のデジタル一眼レフカメラによれば、操作が容易でかつ消費電力の増加を少なくすることが可能となる。
特開2006−121344号公報(図1)
ところで、一般的なバックライト付きの液晶表示デバイスを備えたデジタルカメラや、携帯電話端末に搭載されているカメラ機能では、撮像デバイスからの出力画像データを取り込み、その画像データを表示デバイス用のメモリに展開して表示するようになされている。すなわち、これら従来のデジタルカメラやカメラ機能付き携帯電話端末は、表示デバイスがいわゆる電子ビューファインダとして使用されているため、例えば撮影アングルを決めている時のように実際に撮影が行われていないドラフト状態であったとしても、頻繁にデータの読み書き処理と映像表示処理が発生している。したがって、それらデジタルカメラや携帯電話端末では、上記ドラフト状態でも多くの電力が消費され、バッテリを消耗してしまうという問題がある。
また、それら従来のデジタルカメラや携帯電話端末では、撮像デバイスによる撮像から表示デバイス用メモリの画像データ更新がなされるまでに或る程度の時間がかかる。このため例えば、動く被写体を撮影しているような場合や、撮影者自身が動いている(つまりカメラ自体が移動している)場合には、表示デバイスの画面上の映像(電子ビューファインダ上の映像)が現実世界の実体に対して遅れて表示されてしまうという問題がある。特に、低照度環境下で撮影が行われているような場合、撮像デバイスの露光時間が長くなり、出力フレームレートが遅くなるため、表示デバイス上の表示映像は、いわゆるコマ落ちした動画のようになり、被写体像の動きがぎこちなく違和感のあるものとなり易い。また一般に、撮影者は、表示デバイス上の映像を見ながらシャッターを切るタイミングを決めているため、上述のように表示映像にコマ落ち等が発生しているような場合には、適切なタイミングでシャッターを切ることが難しくなり、その結果として、シャッターチャンスを逃してしまうことも有り得る。
なお、これらのことは、光学ファインダを介して現実世界の実体を直接確認できる従来のフィルムカメラでは起こり難かった問題であり、近年のデジタルカメラや携帯電話端末のカメラ機能に特有の問題となっている。もちろん、デジタルカメラや携帯電話端末に光学ファインダを設け、撮影者が現実世界の実体を直接確認できるようにすれば、上述したような問題は発生し難くなる。しかしながら、特に、筐体体積容量に制限のある携帯電話端末の場合、光学ファインダのようなデバイスを新たに設けることは望ましくない。
また例えば、撮像デバイスの撮像感度を上げたり、カメラ光学系の集光能力を上げるようにすれば、上述した出力フレームレートの低下を或る程度抑えることができることになる。しかしながら、高感度の撮像デバイスや集光能力の高いカメラ光学系を設けることは、コストアップ、サイズアップに直結し、望ましくない。また、表示デバイス上の表示映像に生ずる違和感を少なくすることは、例えば、高い画像処理能力を有するCPUを用いたり、高速な読み書きに対応したメモリを用いることでも或る程度は実現可能である。しかしながら、高性能なCPUや高速読み書き対応のメモリを搭載することはコストアップを招き、また消費電力も大きくなってしまう。
その他、多くのデジタルカメラや一部のカメラ機能付き携帯電話端末には、撮影画角を変更可能とするズーム機能が設けられており、撮影者は、表示デバイス上の表示映像を見ながらズーム操作を行うことで所望の画角による写真撮影を行っている。そして、ズーム操作は、筐体上に設けられたズームアップ/ズームダウンボタン、若しくは、シーソー式のズームスイッチなどを用いて行われている。しかしながら、それらボタンやスイッチの取り付け位置、それらボタン操作やスイッチ操作に対するズームアップ/ズームダウン方向の割り当ては、メーカや機種によって異なっており、撮影者から見て判り難いという問題がある。このため、撮影者は、例えばズームアップをさせるつもりでズームダウンさせてしまうなどのような誤った操作をしてしまうことがある。
本発明は、このような実情に鑑みて提案されたものであり、写真撮影モード時の電力消費を抑え、また、コストアップやサイズアップを伴わずに、撮影者が現実世界の実体を直接確認しつつ撮影でき、さらに、撮影者が誤操作なく撮影画角を確実に決めることを可能にする画像撮影装置、画像撮影装置の制御方法及び制御プログラムを提供することを目的とする。
本発明の画像撮影装置は、筐体背面側に配されるメインカメラと筐体正面側に配されるサブカメラとからなり、メインカメラは撮影画角を変更するためのズーム機能を備えたカメラ部と、筐体正面側と筐体背面側の両方向から互いに向こう側を透過視可能で且つその大きさを変更可能な透過エリアを形成可能となされた表示面を有しメインカメラとサブカメラの撮影画像の何れかから撮影者の顔画像が検出されている時に当該撮影者の顔画像を撮影しているカメラ側の表示面上に当該撮影者から見て正対した撮影補助情報が表示される透過型表示部と、撮影者の視点から表示部の表示面までの距離を検出する距離検出部と、カメラ部と透過型表示部を制御する制御部とを有する。そして、制御部は、メインカメラにより写真撮影を行うための写真撮影モード時に、透過型表示部の表示面を透過視可能な状態に制御するとともに、サブカメラにて撮影している撮影者の顔認識画像に基づいて当該撮影者が透過型表示部の表示面の透過エリアに正対しているか判定し、撮影者が表示面の透過エリアに正対していないと判定した場合にはその撮影者に対して表示面の透過エリアへ正対すべきことを通知し、撮影者が表示面の透過エリアに正対した時に、当該表示面の略々全面となされた透過エリアの対角画角と距離検出部が検出した距離とにより、撮影者の視点から表示面の略々全面となされた透過エリアを通した視野角を算出し、その算出した視野角がメインカメラのズーム機能による最大撮影画角以内である時には、撮影画角が視野角と一致するようにメインカメラのズーム機能を制御し、算出した視野角がメインカメラのズーム機能による最大撮影画角を超える時には、算出される視野角が最大撮影画角と一致するように透過型表示部の表示面で透過視可能な状態となる透過エリアの大きさを制御する。これにより、本発明は上述した課題を解決する。
すなわち、本発明によれば、写真撮影モード起動時には、メインカメラとサブカメラの撮影画像の何れかから撮影者の顔画像が検出されている時に当該撮影者の顔画像を撮影しているカメラ側の表示面上に当該撮影者から見て正対した撮影補助情報が表示され、メインカメラにより写真撮影を行うための写真撮影モード時には、サブカメラにて撮影している撮影者の顔認識画像に基づいて当該撮影者が透過型表示部の表示面の透過エリアに正対しているか判定し、撮影者が表示面の透過エリアに正対していないと判定した場合にはその撮影者に対して表示面の透過エリアへ正対することを通知し、撮影者が表示面の透過エリアに正対した時に、透過型表示部の表示面の略々全面を透過エリアにし、光学ファインダとして用いることにより、透過型表示部に撮影画像を表示させるための電力を削減する。また、写真撮影モード時には、距離検出部が検出した距離に応じてメインカメラのズーム機能による撮影画角を決定すること、つまり、撮影者が透過エリアを通して見ている時の視野角(ファインダ画角)に合わせて、メインカメラのズーム機能による撮影画角を決定している。また、算出した視野角がメインカメラのズーム機能による最大撮影画角を超える時には、算出される視野角が最大撮影画角と一致するように透過エリアの大きさを制御する。これにより、視野角(ファインダ画角)と撮影画角とを合わせることが可能となる。
本発明においては、写真撮影モード時に、透過型表示部の表示面を透過視可能な状態にし、光学ファインダとして用いることにより、写真撮影モード時の電力消費を抑えつつ、コストアップやサイズアップを伴わずに、撮影者が現実世界の実体を直接確認しながら撮影できるようになる。また、本発明においては、距離検出部が検出した距離に応じてカメラ部のズーム機能による撮影画角を決定しているため、撮影者は、撮影者の視点から表示部の表示面までの距離を変えるという直感的な操作により、誤操作なく撮影画角を確実に決めることができるようになる。
本発明実施形態の携帯電話端末の概略的な外観構成例を示す図である。 撮影者が腕を曲げて携帯電話端末を目に近づけて、光学ファインダである透過型液晶表示デバイスを通して現実世界を見ている時に、光学ファインダを通して見える視野角(ファインダ画角)の説明に用いる図である。 撮影者が腕を延ばして携帯電話端末を遠ざけ、光学ファインダである透過型液晶表示デバイスを通して現実世界を見ている時に、光学ファインダを通して見える視野角(ファインダ画角)の説明に用いる図である。 図2の例において、撮影者が視認できる現実世界の範囲の説明に用いる図である。 図3の例において、撮影者が視認できる現実世界の範囲の説明に用いる図である。 撮影者の視点から透過型液晶表示デバイスまでの距離と、その光透過型液晶表示デバイスの対角サイズと、光学ファインダの対角画角との関係説明に用いる図である。 メインカメラデバイスにより得られる撮影画像のアスペクト比に合わせて、透過型液晶表示デバイスの表示面のアスペクト比を制御した様子を示す図である。 メインカメラデバイスの最大画角とファインダ画角を合わせた時の透過型液晶表示デバイスの透過エリアの説明に用いる図である。 メインカメラデバイスによる撮影時にフォーカスが合わなかった場合の表示例を示す図である。 メインカメラデバイスによる撮影時にフォーカスが合った場合の表示例を示す図である。 本発明実施形態の携帯電話端末の内部の概略構成を示すブロック図である。 本実施形態の携帯電話端末が写真撮影モードになされた場合の処理の流れを示すフローチャートである。 本実施形態の携帯電話端末が写真撮影モードになされた場合において、自動ズームモードと手動ズームモードの切り替えがなされる場合の処理を含むフローチャートである。 本実施形態の携帯電話端末が写真撮影モードになっている場合において、実際に写真撮影が行われる場合の処理のうち、特に合焦成功/合焦失敗時の処理の流れを示すフローチャートである。
以下、図面を参照しながら、本発明の一実施形態について説明する。
なお、本発明が適用される一例として、本実施形態では、カメラ機能付き携帯電話端末を例に挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。
[携帯電話端末の概略的外観構成]
図1には、本実施形態の携帯電話端末1の概略的な外観構成例を示す。図1の(A)は本実施形態の携帯電話端末1の概略正面図を、図1の(B)は概略側面図を、図1の(C)〜(F)はそれぞれ(A)の正面図に対する概略側面図を示している。なお、図1において参照符号が付された各デバイスは、携帯電話端末1が備えている全デバイスのうちの一部である。図1では図示を省略しているが、本実施形態の携帯電話端末1は、通常の高機能携帯電話端末が備えている他の各種デバイスも当然のことながら備えている。
この図1に示す本実施形態の携帯電話端末1において、図中(A)に示す筐体正面側には、テンキー,発話・終話キー,十字キー,クリアキー,メールキー等のキーボタンからなるキーデバイス部7と、受話用スピーカ(レシーバ)4と、送話用マイクロホン3と、サブカメラデバイス(インカメラ)のレンズ6と、後述する距離センサ5と、後述する液晶表示デバイス2等が配されている。
また本実施形態の携帯電話端末1において、図1の(B)に示す筐体背面側にはメインカメラデバイスのレンズ8が設けられ、図1の(F)に示す筐体側面側にはインターフェースコネクタ9が、図1の(C)に示す筐体側面側にはシャッターボタン10が設けられている。
なお、キーデバイス部7、受話用スピーカ(レシーバ)4、送話用マイクロホン3、インターフェースコネクタ9等については、一般の携帯電話端末に搭載されているものと同じであるため、ここではそれらの説明については省略する。
ここで、本実施形態の携帯電話端末1において、上記メインカメラデバイスは、写真撮影を行う際に主に使用されるカメラデバイスである。当該メインカメラデバイスによる写真撮影は、例えば上記シャッターボタン10の押下、或いは、キーデバイス部7の何れかの所定のキーがシャッターボタンとして割り当てられている時には当該所定キーの押下に応じて行われる。
上記サブカメラデバイスは、例えば、いわゆるテレビ電話による通話時に通話者自身を撮影したり、いわゆる自分撮りを行う際等に主に用いられるカメラデバイスである。当該サブカメラデバイスによる撮影は、例えばキーデバイス部7の何れかの所定のキーがシャッターボタンとして割り当てられている時には当該所定キーの押下に応じて行われる。なお、シャッターボタン10の押下に応じてサブカメラデバイスによる撮影が行われてもよい。また、サブカメラデバイスは、自分撮り以外の通常の写真撮影にも当然のことながら使用可能である。なお、本実施形態の携帯電話端末1の場合、テレビ電話による通話時や自分撮りのための撮影は、メインカメラデバイスでも行うことができる。
本実施形態の携帯電話端末1に搭載されている液晶表示デバイス2は、表示面上に画像や文字・記号等を表示する機能の他に、筐体正面側と筐体背面側の両方向から互いに向こう側を透過視できる状態に表示面を制御可能となされている。具体的に説明すると、本実施形態の携帯電話端末1に搭載されている液晶表示デバイス2は、多数の液晶分子が二枚の透明板材により挟み込まれた構造を有し、それら二枚の透明板材の一方が図1の(A)の筐体正面側に、また、他方が図1の(B)の筐体背面側に、それぞれ外部から見えるように配されている。そして、当該液晶表示デバイス2は、光を散乱させる方向に液晶分子軸の配向を制御することにより画像や文字・記号等を表示可能となされ、一方、図1の(A)の筐体正面側と図1の(B)の筐体背面側の両方へ光が透過する方向に液晶分子軸の配向を制御することにより上記筐体正面側と筐体背面側の両方向から互いに向こう側を透過視可能となされる。
詳細な説明については後述するが、本実施形態の場合、上述した透過型液晶表示デバイス2は、写真撮影モード時の例えば撮影アングル決定時のように実際に撮影が行われていないドラフト状態などにおいて、表示面の所定エリア(一例として略々全面)が、上記筐体正面側と筐体背面側の両方向から互いに向こう側を透過視可能な状態となされる。
すなわち、本実施形態の携帯電話端末1においては、写真撮影モード時に上記透過型液晶表示デバイス2の表示面の略々全面が透過視可能な透過エリアとなされることにより、撮影者は、いわゆる光学ファインダのように、当該透過エリアを通して現実世界の実体を視認可能となる。
このように、本実施形態の携帯電話端末1においては、写真撮影モード時に、透過型液晶表示デバイス2を光学ファインダのように使用することができるため、従来のデジタルカメラや従来のカメラ機能付き携帯電話端末のように、液晶表示デバイスを電子ビューファインダとして使用し、その表示デバイスの画面上にカメラ撮像映像を表示する必要がなくなる。すなわち、従来のデジタルカメラ等では、例えばドラフト状態等においてもカメラデバイスからの撮像画像データを表示デバイス用メモリに展開して表示する等の処理が必要であり、そのため多くの電力が消費されていたが、本実施形態の携帯電話端末1の場合は、それら画像データのメモリ展開や表示等の処理が不要である。したがって、本実施形態の携帯電話端末1によれば、電力消費を大幅に減らすことができ、バッテリの消耗を抑えることができる。
また、本実施形態に携帯電話端末1においては、上述のようにカメラデバイスからの撮像画像データを表示デバイス用メモリに展開して表示する等の処理を行う必要がないため、従来のデジタルカメラ等のように、電子ビューファインダ上の映像が現実世界の実体に対して遅れて表示されてしまうという問題そのものが発生しない。したがって、本実施形態の携帯電話端末1によれば、例えば低照度環境での撮影であるか否かを問わず、撮影者は、実体である被写体の実際の動き等を見逃すことなく、適切なタイミングでシャッターを切ることができるようになり、シャッターチャンスを的確に捉えた写真を撮影できるようになる。また、本実施形態の携帯電話端末1によれば、従来のデジタルカメラ等のように、例えば高感度の撮像デバイスや集光能力の高いカメラ光学系を設けたり、また高性能なCPUやメモリを搭載して、電子ビューファインダ上の映像遅延に対処すること自体が不要であるため、コストアップやサイズアップとは無縁となる。
さらに、本実施形態の携帯電話端末1においては、例えば通話時やメール読み書き等の際には通常の表示デバイスとして使用される透過型液晶表示デバイスを、写真撮影モード時には光学ファインダとして使用可能であるため、別途新たに光学ファインダを設ける必要がなく、コストアップやサイズアップを抑えることができる。
なお、上記写真撮影モード時の透過型液晶表示デバイス2の表示面には、上記光学ファインダとしての機能を妨げない範囲で、例えばシャッタースピードや露出値、撮影コマ数、解像度、ズームのテレ・ワイド指標など、各種の撮影補助情報を表示することも可能となされている。但し、メインカメラデバイスを用いて通常の写真撮影が行われている場合において、撮影者が図1の(A)側から上記透過型液晶表示デバイス2を通して現実世界の実体を視ているような時、上記撮影補助情報は、図1の(A)側から見て正対する文字や記号となされて透過型液晶表示デバイス2の表示面に映される。同様に、サブカメラデバイスを用いて例えばテレビ電話の通話時や自分撮りの撮影が行われている場合において、撮影者が図1の(A)側を見ているような時、上記撮影補助情報は、図1の(A)側から見て正対する文字や記号となされて透過型液晶表示デバイス2の表示面に映される。一方で、例えばサブカメラデバイスを用いて通常の写真撮影が行われている場合において、撮影者が図1の(B)側から上記透過型液晶表示デバイス2を通して現実世界の実体を視ている時、上記撮影補助情報は図1の(B)側から見て正対する文字や記号となされて透過型液晶表示デバイス2の表示面に映される。同様に、メインカメラデバイスを用いて例えばテレビ電話の通話時や自分撮りの撮影が行われている場合のように、撮影者が図1の(B)側を見ているような時、上記撮影補助情報は、図1の(B)側から見て正対する文字や記号となされて透過型液晶表示デバイス2の表示面に映される。また、上述のような撮影補助情報の文字等の表示を、撮影者が見ている方向に合わせて切り替える処理は、例えばキーデバイス部7を通じた撮影者からの指示入力に応じて、若しくは、何れかのカメラデバイスにより撮影された顔検出結果などに応じて自動的に行うことができる。なお、上記顔検出結果に応じた自動表示切替制御としては、例えば、メイン・サブの何れか一方のカメラデバイスの撮像画像から撮影者の顔が検出された時に、当該撮影者の顔が検出された側のカメラデバイスのレンズ搭載面と同じ表示面側に、上記正対する文字等の撮影補助情報を表示するような制御を挙げることができる。その他、本実施形態において、これら撮影補助情報は、頻繁に更新する必要がなく、情報内容に変更があった場合にのみ更新すれば良いため、それら情報を透過型液晶表示デバイス2に表示するための電力消費は非常に少ない。
本実施形態の携帯電話端末1に搭載されている距離センサ5は、例えば超音波センサや光位置センサ(PSD:Position Sensitive Detector)からなる。なお、超音波センサは、超音波を発射し、その超音波が物体に反射してきた反射波の到達時間を計測することにより、当該物体までの距離を検出する。また、光位置センサは、光を出射し、その光が物体に反射してきた反射光の入射角度を計測することにより、当該物体までの距離を検出する。当該距離センサ5の用途の詳細については後述する。
[ズームアップ・ダウン時の画角変更]
本実施形態の携帯電話端末1のメインカメラデバイスは、撮影画角を変更可能とするズーム機能を備えている。当該ズーム機能は、いわゆる光学式、電子式の何れか若しくはそれらの組み合わせにより実現されている。なお、光学式のズーム機能による撮影画角の変更は、撮影光学系を構成する複数のレンズのうち、一部のレンズを光軸方向へ移動させることにより実現される。当該光学式のズーム機能を有する場合、メインカメラデバイスは、それら一部のレンズを光軸方向へ移動させるためのアクチュエータを備えている。そして、本実施形態の携帯電話端末1は、当該アクチュエータを電気的に駆動させることにより、上記一部のレンズを光軸方向に移動させて、所望の撮影画角を得るようになっている。一方、電子式のズーム機能による撮影画角の変更は、撮像デバイスの撮像面のうち、光軸部分を中心とした使用面積を変更することにより実現される。
ところで、前述したように、透過型液晶表示デバイス2を光学ファインダとして使用した場合、例えば図2〜図5に示すように、撮影者70の視点(目71の位置)からファインダまでの距離(透過型液晶表示デバイス2の表示面までの距離)によって、当該撮影者が視認できる現実世界の範囲は大きく変化することになる。
すなわち、例えば図2に示すように撮影者70が腕72を曲げて携帯電話端末1を目71に近づけ、光学ファインダである透過型液晶表示デバイス2を通して現実世界を見た場合、当該透過型液晶表示デバイス2を介して撮影者70が視認できる範囲、つまり撮影者70の視点から光学ファインダを通して見える視野角(ファインダ画角)は広くなる。一方、例えば図3に示すように、撮影者70が腕72を延ばして携帯電話端末1を目71から遠ざけ、光学ファインダである透過型液晶表示デバイス2を通して現実世界を見た場合、当該透過型液晶表示デバイス2を介して撮影者70が視認できる範囲(ファインダ画角)は狭くなる。これら図2と図3に示した例の場合、光学ファインダである透過型液晶表示デバイス2の透過エリアから見える現実世界の大きさは、一例として図4,図5に示すようなものとなる。つまり、図2の例の場合、撮影者70が視認できる現実世界の範囲は図4に示すように広くなり、一方、図3の例の場合、撮影者70が視認できる現実世界の範囲は図5に示すように狭くなる。なお、図4,図5の例では、撮影者70が視認できる現実世界の範囲がそれぞれ異なることを、当該現実世界内の或る被写体80の大きさを変えることで表しているが、もちろん被写体80の大きさそのものが変化するわけではない。これら図4,図5の例では、透過型液晶表示デバイス2を通して見える範囲に対して、同じ被写体80の大きさを相対的に変えることにより、図2と図3の例で撮影者70が視認できる現実世界の範囲(ファインダ画角)の違いを表現している。
ここで、上述のように透過型液晶表示デバイス2を光学ファインダとして使用した場合において、図6に示す撮影者70の視点(目71の位置)から光学ファインダまでの距離(透過型液晶表示デバイス2の表示面までの距離)Lと、その透過型液晶表示デバイス2の対角サイズDと、光学ファインダの対角画角θとの関係は、次式により表すことができる。
θ=2・tan^-1(D/2L)
この式において、透過型液晶表示デバイス2の対角サイズDは既知の値であり、したがって、視点と表示部までの距離Lが判れば、光学ファインダの対角画角θを算出することができることになる。
さらに、メインカメラデバイスによる撮影時において、光学ファインダの対角画角θが判れば、撮影者70がどの程度の撮影画角による撮影を行おうとしているのかが判ることになる。そして、当該光学ファインダの対角画角θに合わせるように、本実施形態の携帯電話端末1のズーム機能における撮影画角を制御すれば、撮影者70が光学ファインダを介して見ている現実世界の範囲の撮影が可能となる。
本実施形態の携帯電話端末1では、撮影者70から光学ファインダまでの距離Lを、例えば距離センサ5により求めている。
なお、距離Lは、例えばサブカメラデバイスにより撮影者70の顔を認識し、例えば両目の位置関係などから顔の大きさを求め、当該顔の大きさを基に推定するなどの方法により求めることもできる。この場合、例えば、顔の大きさを表す複数の値と複数の距離Lを表す値との対応関係を予め用意しておき、上記サブカメラデバイスにより撮影された顔画像から顔の大きさを求め、当該顔の大きさから距離Lを推定する。但し、顔の大きさは、例えば性別,人種,年齢(大人と子供)などにより変わるが、近年の顔認識技術では、顔画像から性別,人種、年齢層まで認識可能となされており、したがって、それら性別,人種,年齢層毎に顔の大きさと距離Lとの対応関係を予め用意しておけば、顔認識技術で得られた性別,人種,年齢層に応じた距離Lを求めることができる。
また、サブカメラデバイスにより撮影者70の顔認識を行った場合、当該撮影者70が光学ファインダを通じて被写体等を見ながら撮影しているのか、或いは、光学ファインダを見ずに撮影しようとしているのかを判別することも可能になる。すなわち、顔認識により、撮影者70の顔がサブカメラデバイス側(つまりファインダ側)に正対しているか否かを判定し、正対している時には光学ファインダを撮影者70が見ていると判断し、一方、正対していない時には光学ファインダを見ていないと判断することができる。なお、光学ファインダを見ない撮影例としては、例えば撮影者70の目より高い位置や逆に低い位置の被写体を撮影(いわゆるノーファインダ撮影)しようとしている場合などを挙げることができる。
そして、本実施形態の携帯電話端末1においては、撮影者70が光学ファインダを見ながら撮影しようとしていることが判った場合には、透過型液晶表示デバイス2を透過状態にして光学ファインダとして機能させるとともに、撮影者70から光学ファインダまでの距離Lに応じてズーム機能を制御する。
一方、撮影者70が光学ファインダを見ないで撮影しようとしている場合、ファインダ越しに見える現実世界の範囲と、メインカメラデバイスにより撮影されている現実世界の範囲は異なる。このため、本実施形態の携帯電話端末1では、撮影者70が光学ファインダを見ないで撮影しようとしていることが判った場合には、透過型液晶表示デバイス2の表示面上にメインカメラデバイスにより撮像されている映像を表示し、ズームについては例えばキーデバイス部7に割り当てられた任意のキー操作に応じてズーム動作を行う一般的なカメラの撮影インターフェースに切り替える。
すなわち、本実施形態の携帯電話端末1では、透過型液晶表示デバイス2を透過状態にするとともに撮影者70から光学ファインダまでの距離Lに応じてズーム機能を自動制御する自動ズームモードと、透過型液晶表示デバイス2にメインカメラデバイスの映像を表示するとともにキー操作によるズーム動作を行う手動ズームモードとを、撮影者70の顔認識結果に応じて自動的に切り替え可能となされている。もちろん、本実施形態の携帯電話端末1において、上記自動ズームモードと手動ズームモードは、撮影者70が例えばメニュー選択などにより任意に選択することも可能となされている。
なお、例えば本実施形態の携帯電話端末1が自動ズームモードになされている場合において、上記顔認識により、撮影者70が光学ファインダ側に正対していないことが判った場合、操作者70に対して光学ファインダに正対するように注意を促す通知を行うようにしてもよい。当該通知は、通知音によるものや、透過型液晶表示デバイス2上への表示、バイブレータの振動などにより行うことができる。
[透過型液晶表示デバイスの透過エリア制御]
上述の説明では、メインカメラデバイスにより得られる撮影画像のアスペクト比と、透過型液晶表示デバイス2の表示面のアスペクト比が略々同じである場合を例に挙げて説明したが、それら両アスペクト比が異なるような場合には、例えば図7に示すように、撮影画像のアスペクト比に合わせるように、透過型液晶表示デバイス2の透過エリアのアスペクト比を制御する。
図7の例では、メインカメラデバイスによる撮影画像のアスペクト比が16:9であり、透過型液晶表示デバイスの表示面のアスペクト比が4:3である場合を例に挙げている。この例の場合、本実施形態の携帯電話端末1は、図7に示すように、透過型液晶表示デバイス2の表示面のうち透過状態となされる透過エリアのアスペクト比を、撮影画像のアスペクト比である16:9に合わせる。すなわち、図7に示すように、透過型液晶表示デバイス2の表示面の一部(図7の例では上下部分)を不透明状態2aとして、アスペクト比を合わせるようにする。
また、本実施形態のように、透過型液晶表示デバイスを光学ファインダとして用いた場合、例えば撮影者70の視点がファインダに著しく近接した時には、メインカメラデバイスの携帯電話端末1のズーム機能による最大画角θcamよりもファインダ画角θ(ファインダ越しに見える現実世界の範囲)の方が大きくなってしまう場合が生じる。
このため、本実施形態の携帯電話端末1は、前述のように撮影者70から光学ファインダまでの距離Lの計測の結果、上記最大画角θcamとファインダ画角θの関係が、
θcam<θ
となる場合には、図8に示すように、上記最大画角θcamにファインダ画角θが合うように、透過型液晶表示デバイス2の透過エリアの大きさを変更する。すなわち、図8の例では、透過型液晶表示デバイス2の表示面の一部(図8の例では中央部を除く周囲部分)を不透明状態2bとしてファインダ画角θを最大画角θcamに合わせる。これにより、例えば撮影者70の視点がファインダに著しく近接した場合であっても、上記最大画角θcam以上の現実世界が光学ファインダ越しに見えてしまうことはなくなる。
また、本実施形態のように、透過型液晶表示デバイス2を光学ファインダとして用いた場合には、例えばメインカメラデバイスによるフォーカス状態がどのようになっているのか、つまりフォーカスが合っているのかいないのかを確認することができない。
このため、本実施形態の携帯電話端末1では、メインカメラデバイスによる撮影時にフォーカスが外れた場合(合焦失敗)には、例えば図9に示すように、透過型液晶表示デバイス2の全面2cの透明度つまり光学ファインダ全体の透明度を下げて、フォーカスが合わなかったことを撮影者70に通知する。また、本実施形態の携帯電話端末1では、メインカメラデバイスによる撮影時にフォーカスが合った場合(合焦成功)には、例えば図10に示すように、透過型液晶表示デバイス2の表示面のうち合焦ポイントに対応した部分に例えば緑枠2d等の画像を表示して、フォーカスが合ったこと、及び、そのフォーカスが合った箇所はどの部分であるのかを、撮影者70に通知する。
なお、上述のように撮影者70の腕72の曲げ伸ばし動作による距離Lの変化に応じてズーム処理を行う方式は、本実施形態の携帯電話端末1のような透過型液晶表示デバイス2を持たない一般的な表示デバイスを備えた携帯電話端末やデジタルカメラでも実施することが可能である。但し、それら一般的な表示デバイスを備えた携帯電話端末やデジタルカメラでは、本実施形態のような省電力化の効果や映像遅延への対処等の効果を期待することはできない。
[携帯電話端末の概略構成]
図11には、上述したことを実現可能な本実施形態の携帯電話端末1の内部の概略構成を示す。
図11において、透過型LCD(Liquid Crystal Display)22は、本実施形態の前述した透過型液晶表示デバイス2である。LCDC23は、上記透過型LCD22の動作及び表示等を制御する液晶ディスプレイコントローラである。
LED(発光ダイオード)24は、例えば着信ランプやキーパット55の照明ランプなど、本実施形態の携帯電話端末に備えられている各種照明光源である。LEDドライバ25は、それら複数のLED24を駆動および制御する。
加速度センサ26は、本実施形態の携帯電話端末に例えば物理的な振動が加えられた時に、その振動の加速度の大きさ及び向きを検出する。この加速度センサ26の検出信号はCPU20へ送られる。
ジャイロセンサ27は、本実施形態の携帯電話端末に例えば物理的な振動が加えられた時に、その振動による回転方向の角速度と回転角度を検出する。このジャイロセンサ27の検出信号はCPU20へ送られる。
照度センサ28は、本実施形態の携帯電話端末の周囲環境の明るさを検出する。この照度センサ28の検出信号はCPU20へ送られる。
レシーバ29(図1のレシーバ4)は、本実施形態の携帯電話端末にて音声通話等が行われている時に、受話音声を出力するためのスピーカである。
マイクロホン30(図1のマイクロホン3)は、本実施形態の携帯電話端末にて音声通話等が行われている時に、送話音声を入力するための音声入力デバイスである。
外部インターフェース(I/F)31は、各種外部コネクタと接続するための外部接続部からなる。なお、上記外部コネクタにはいわゆるUSB2.0(Universal Serial Bus 2.0)規格のコネクタが含まれており、このため本実施形態の携帯電話端末はUSB2.0コントローラ2も備えている。
USIMカードスロット33は、加入者情報(契約者情報)等が記憶されたいわゆるUSIM(Universal Subscriber Identity Module)カードが装填されるICカードスロットである。
赤外線通信モジュール34は、赤外線を用いて情報通信を行うための通信デバイスである。
振動モータ35は、本実施形態の携帯電話端末に振動を発生させるためのいわゆるバイブレータである。
バッテリ36は、本実施形態の携帯電話端末の各部で使用する電力用の電源である。
周辺IC+電源IC37は、上記USIMカードスロット33、赤外線通信モジュール34、振動モータ35、バッテリ36、外部インターフェース31と接続されており、それら各部の制御や信号処理の他、バッテリ36の電源の供給制御などを行う。
メインカメラ40は、前述のメインカメラデバイスであり、カメラレンズ等の撮影光学系や撮像素子(撮像デバイス)等からなる。フラッシュ(フラッシュライト)42は、上記メインカメラ40による撮影時の撮影補助光を発光するための光源ランプである。フラッシュライトコントローラ41は、メインカメラ40による撮影に連動して、フラッシュ42の発光を制御する。
サブカメラ43は、前述のサブカメラデバイスであり、上記メインカメラ40とは別に設けられたカメラ部であり、一例として、いわゆる自分撮り時にユーザ自身を撮影したり、テレビ電話による通話の際にユーザ自身を撮影する際などに用いられる。
距離センサ44は、前述の距離センサ5であり、超音波センサや光位置センサからなる。
RF回路45は、本実施形態の携帯電話端末が携帯電話網の基地局と通信する際の無線通信用回路である。アンテナ46は、本実施形態の携帯電話端末が基地局と無線通信を行う際の無線通信アンテナである。
非接触通信カードコントローラ47は、非接触通信ICカードとの間でいわゆる電磁誘導方式により信号通信を行うための各種制御及び信号処理を行う。非接触通信カードアンテナ48は、上記電磁誘導方式による非接触通信のためのアンテナである。
ブルートゥース(Bluetooth:登録商標)コントローラ49は、いわゆるブルートゥース方式により無線通信を行うための各種制御及び信号処理を行う。ブルートゥースアンテナ50は、上記ブルートゥース方式の無線通信のためのアンテナである。
デジタルTVチューナ51は、いわゆるデジタルテレビジョン放送用のチューナである。デジタルTVアンテナ52は、当該デジタルテレビジョン放送電波を受信するためのアンテナである。
メモリカードスロット54は、例えばいわゆるSD(Secure Digital)カード等の外部メモリカードが着脱されるスロットである。メモリカードコントローラ53は、メモリカードスロット54に装填されたメモリカードに対するデータの書き込み/読み出し等の制御及び信号処理を行う。
キー・ボタン55は、前述のキーデバイス部7であり、本実施形態の携帯電話端末に搭載されたテンキーや十字キー、シャッターボタン等の各種キー及び各種ボタンと、それら各キーやボタンがユーザにより操作された時のキー・ボタン出力信号を生成する。本実施形態の場合、当該キー・ボタン55に属するボタンの一つとして、専用のシャッターボタンが用意されている。
内部メモリ56は、例えばDDR SDRAM(Double Data Rate SDRAM)57と、NAND型フラッシュメモリ(NAND-type flash memory)58とを有してなる。上記NAND型フラッシュメモリ58には、OS(Operating System)のプログラムやCPU20が各部を制御するための制御プログラム、本発明にかかる写真撮影時の制御プログラム、カメラアプリケーションソフトウェアを含む各種のアプリケーションプログラム、圧縮符号化された楽曲・動画像・静止画データコンテンツの他、各種の設定値、フォントデータ、各辞書データ、機種名情報や端末識別情報などが記憶される。DDR SDRAM57は、CPU20が各種のデータ処理や演算を行う際の作業領域として、随時データを記憶する。
音声音声チップ59は、例えば音楽再生などの信号処理を行うためのIC回路である。当該音声チップ59には、図示しないアンプを介して、ステレオ音声出力用の右スピーカ60と左スピーカ61が接続されている。
CPU(中央処理ユニット)20は、通信制御、音声処理及びその制御、画像処理及びその制御、カメラ撮影制御、その他各種信号処理や各部の制御等を行う。また、CPU20は、内部メモリ56に蓄積されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理等を行う。特に本実施形態の場合、CPU20は、本発明にかかる写真撮影用の制御プログラムを実行することにより、前述したような透過型液晶表示デバイス2の表示制御、撮影者70から光学ファインダまでの距離Lの算出、その距離Lに応じたズーム制御などを行う。
その他、図11には図示を省略しているが、本実施形態の携帯電話端末は、一般的な携帯電話端末に設けられる各構成要素についても当然ながら備えている。
[写真撮影時の処理フロー]
図12には本実施形態の携帯電話端末1が写真撮影モードになされた場合の処理の流れを示す。なお、この図12のフローチャートの処理は、CPU20が本発明にかかる写真撮影用制御モードを実行することにより実現される。
図12において、写真撮影モードが起動すると、CPU20は、ステップS1の処理として、LCDC23を通じて透過型LCD22を透過状態にさせ、光学ファインダとして機能させる。
次に、CPU20は、ステップS2へ処理を進め、例えば前述したような顔認識等により、撮影者がファインダに正対しているか否か判定する。当該ステップS2において、撮影者がファインダに正対していないと判定した場合には、CPU20は、ステップS4の処理として、前述のように音や表示、振動等を通じて、撮影者に対してファインダに正対するように通知した後、ステップS2へ処理を戻す。一方、撮影者がファインダに正対していると判定した場合、CPU20は、ステップS3へ処理を進める。
ステップS3の処理に進むと、CPU20は、例えば距離センサ44からの出力や顔認証の結果により、撮影者の視点からファインダまでの距離を求める。
次に、CPU20は、ステップS5の処理として、視点からファインダまでの距離に応じて、メインカメラ40のズームを制御する。
またこの時、CPU20は、ステップS6の処理として、その時点でのファインダ画角は前記最大画角以内であるか判定する。このステップS6において、ファインダ画角が最大画角内であると判定した場合、CPU20は、ステップS8へ処理を進める。一方、ファインダ画角が最大画角を超えると判定した場合、CPU20は、ステップS7へ処理を進め、ファインダ画角が最大画角以内になるように透過型LCD22の透過エリアの大きさを制御した後、ステップS8へ処理を進める。
ステップS8の処理に進むと、CPU20は、例えばキー・ボタン55を通じて撮影者から写真撮影モード終了の指示がなされたか判定し、未だ写真撮影モード終了指示が入力されていない時にはステップS2へ処理を戻し、写真撮影モード終了指示が入力された時には当該図12のフローチャートの処理を終了する。
[自動ズームモードと手動ズームモードの処理フロー]
上述した図12のフローチャートは、写真撮影モードにおいて、自動ズームモードになされている場合の処理の流れを示したが、自動ズームモードと手動ズームモードの切り替えがなされる場合には、図13のフローチャートに示すように、例えばステップS1の前段にモード切り替え選択の工程(ステップS20)が入る。なお、この図13において、図12と同じステップには同一の参照符号を付して、それらの説明は省略する。
図13において、写真撮影モードが起動した場合、CPU20は、ステップS20の処理として、ズームモードを自動ズームモードか手動ズームモードの何れにするか判定する。このステップS20での判定は、前述のように顔認証により撮影者がファインダに正対しているか否か、或いは、メニュー選択により何れのモードが設定されたかにより行われる。例えば、メニュー選択等により、顔認証の結果に応じてズームモードを自動選択する設定がなされている場合において、CPU20は、顔認証により撮影者がファインダに正対していると判定した時には自動ズームモードに切り替えてステップS1へ処理を進め、一方、顔認証により撮影者がファインダに正対していないと判定した時には手動ズームモードに切り替えてステップS21へ処理を進める。また例えば、CPU20は、メニュー選択により予め自動ズームモードの設定がなされている場合にはステップS1へ処理を進め、一方、メニュー選択により予め手動ズームモードの設定がなされている場合にはステップS21へ処理を進める。
ステップS21の処理に進んだ場合、CPU20は、透過型LCD22にメインカメラ40からの映像を表示する。またこの時、CPU20は、キー操作を通じて撮影者からズーム指示が入力された場合、そのズーム指示に応じてメインカメラ40のズーム動作を制御する。その後、CPU20は、ステップS20へ処理を戻す。
またこの図13のフローチャートの場合、CPU20は、ステップS8において撮影者から未だ写真撮影モードの終了指示が入力されていないと判定した時には、ステップS20へ処理を戻す。
[撮影時の処理フロー]
図14には、本実施形態の携帯電話端末が写真撮影モードである場合において、シャッターボタンがオンされて撮影が実行された際の処理の流れを示す。なお、図14のフローチャートには、撮影実行時の一連の処理のうち、特に、合焦成功(フォーカスが合った場合)時の合焦表示と、合焦失敗(フォーカスが外れた場合)時の合焦失敗表示に関連する部分の処理の流れのみを示している。したがって、この図14のフローチャートでは、例えば撮影データの保存等のように、写真撮影時の他の一般的な処理の流れについては省略している。
図14において、写真撮影が可能な状態の時、CPU20は、ステップS10の処理として、シャッターボタン10がオンされたか否か監視している。そして、CPU20は、シャッターボタン10がオンされると、ステップS11へ処理を進める。
ステップS11の処理に進むと、CPU20は、メインカメラ40による撮影実行時にフォーカスが合ったか否か判定する。そして、当該ステップS11において合焦成功と判定した場合、CPU20は、ステップS12の処理として、例えば前述の図10のように合焦成功表示を行う。一方、ステップS11において合焦失敗と判定した場合、CPU20は、ステップS13の処理として、例えば前述の図9のように合焦失敗表示を行う。
これらステップS12,ステップS13の処理後、CPU20は、次の撮影処理実行のための処理へ戻る。
[まとめ]
以上説明したように、本実施形態のカメラ機能付き携帯電話端末においては、透過型液晶表示デバイス2を光学ファインダとして使用するため、写真撮影モード時の電力消費を抑えることができ、また、コストアップやサイズアップを伴わずに、撮影者が現実世界の実体を直接確認しつつ撮影できる。また、本実施形態のカメラ機能付き携帯電話端末によれば、撮影者から光学ファインダまでの距離に応じてズーム動作を自動制御することにより、撮影者が誤操作なく撮影画角を確実に決めることが可能となる。
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。例えば、上述の実施形態では、携帯電話端末を例に挙げたが、透過型液晶表示デバイスを備えているのであればデジタルカメラやその他の端末にも適用可能である。
1 携帯電話端末、2 透過型液晶表示デバイス、3 送話用マイクロホン、4 受話用スピーカ(レシーバ)、5 距離センサ、6 サブカメラ、7 キーデバイス部、8 メインカメラ、9 インターフェースコネクタ、10 シャッターボタン、20 CPU、22 透過型LCD、23 LCDC、24 LED、25 LEDドライバ、26 加速度センサ、27 ジャイロセンサ、28 照度センサ、29 レシーバ、30 マイクロホン、31 外部インターフェース、32 USB2.0コントローラ、33 USIMカードスロット、34 赤外線通信モジュール、35 振動モータ、36 バッテリ、37 周辺IC+電源IC、40 メインカメラ、41 フラッシュライトコントローラ、42 フラッシュ、44 サブカメラ、45 RF回路、46 アンテナ、47 非接触通信カードコントローラ、48 非接触通信カードアンテナ、49 ブルートゥースコントローラ、50 ブルートゥースアンテナ、51 デジタルTVチューナ、52 デジタルTVアンテナ、53 メモリカードコントローラ、54 メモリカードスロット、55 キー・ボタン、56 内部メモリ、57 DDR SDRAM、58 NAND型フラッシュメモリ、59 音声チップ、60 右スピーカ、61 左スピーカ

Claims (9)

  1. 筐体背面側に配されるメインカメラと筐体正面側に配されるサブカメラとからなり、上記メインカメラは撮影画角を変更するためのズーム機能を備えたカメラ部と、
    筐体正面側と筐体背面側の両方向から互いに向こう側を透過視可能で且つその大きさを変更可能な透過エリアを形成可能となされた表示面を有し、上記メインカメラとサブカメラの撮影画像の何れかから撮影者の顔画像が検出されている時に当該撮影者の顔画像を撮影しているカメラ側の表示面上に当該撮影者から見て正対した撮影補助情報が表示される透過型表示部と、
    撮影者の視点から上記透過型表示部の表示面までの距離を検出する距離検出部と、
    上記カメラ部と上記透過型表示部を制御する制御部とを有し、
    上記カメラ部のメインカメラにより写真撮影を行うための写真撮影モード時に、上記制御部は、
    上記表示面の略々全面を上記透過視可能な上記透過エリアとするように上記透過型表示部を制御するとともに、上記サブカメラにて撮影している撮影者の顔認識画像に基づいて当該撮影者が上記透過型表示部の表示面の透過エリアに正対しているか判定し、上記撮影者が上記表示面の透過エリアに正対していないと判定した場合にはその撮影者に対して上記表示面の透過エリアへ正対すべきことを通知し、上記撮影者が上記表示面の透過エリアに正対した時に、当該表示面の略々全面となされた上記透過エリアの対角画角と、上記距離検出部が検出した上記距離とにより、上記撮影者の視点から上記表示面の略々全面となされた透過エリアを通した視野角を算出し、
    上記算出した視野角が上記メインカメラのズーム機能による最大撮影画角以内である時には、上記撮影画角が上記視野角と一致するように上記メインカメラのズーム機能を制御し、
    上記算出した視野角が上記メインカメラのズーム機能による最大撮影画角を超える時には、上記算出される視野角が上記最大撮影画角と一致するように上記透過型表示部の表示面で上記透過視可能な状態となる透過エリアの大きさを制御する
    画像撮影装置。
  2. 上記制御部は、上記カメラ部により撮影される画像のアスペクト比と、上記透過エリアのアスペクト比が一致するように、上記透過型表示部の上記透過エリアの大きさを制御する請求項1記載の画像撮影装置。
  3. 上記カメラ部による画像撮影時にフォーカスが合焦しなかった時、上記制御部は、上記透過エリアの透過度を下げるよう制御する請求項1記載の画像撮影装置。
  4. 上記カメラ部による画像撮影時にフォーカスが合焦した時、上記制御部は、上記透過エリア内に所定の合焦画像を表示させる請求項1記載の画像撮影装置。
  5. 上記距離検出部は、所定の放射波が物体に反射した反射波の到達時間若しくは入射角度を計測することにより、上記距離を検出する請求項1記載の画像撮影装置。
  6. 上記距離検出部は、撮影者の顔を撮影した顔画像を認識し、当該認識した顔画像の大きさから上記距離を算出する請求項1記載の画像撮影装置。
  7. 上記透過型表示部は、
    多数の液晶分子が二枚の透明板材により挟み込まれた構造を有し、
    それら二枚の透明板材の一方が筐体正面側に、他方が筐体背面側に、それぞれ外部から見えるように配され、
    光を散乱させる方向と、筐体正面側と筐体背面側の両方へ光が透過する方向とに、上記液晶分子軸の配向を制御可能な透過型の液晶表示デバイスからなる請求項1記載の画像撮影装置。
  8. 筐体背面側に配されるメインカメラと筐体正面側に配されるサブカメラとからなり上記メインカメラが撮影画角を変更するためのズーム機能を備えたカメラ部により写真撮影を行う写真撮影モードを制御部が起動するステップと、
    上記写真撮影モードが起動した時、制御部が、筐体正面側と筐体背面側の両方向から互いに向こう側を透過視可能で且つその大きさを変更可能な透過エリアを形成可能となされた表示面を有する透過型表示部に対し、上記メインカメラとサブカメラの何れか撮影者の顔画像を撮影しているカメラ側の表示面上に当該撮影者から見て正対した撮影補助情報を表示させ、当該写真撮影モードにおいてメインカメラによる写真撮影が行われる場合には、上記サブカメラにて撮影している撮影者の顔認識画像に基づいて当該撮影者が透過型表示部の表示面の透過エリアに正対しているか判定し、上記撮影者が上記表示面の透過エリアに正対していないと判定した時にはその撮影者に対して上記表示面の透過エリアへ正対すべきことを通知し、撮影者が上記表示面の透過エリアに正対した時に、上記透過型表示部を制御し、上記表示面の略々全面を上記透過視可能な上記透過エリアとするステップと、
    上記メインカメラによる写真撮影が行われるとき、距離検出部が、撮影者の視点から上記透過型表示部の表示面までの距離を検出するステップと、
    上記メインカメラによる写真撮影が行われるとき、制御部が、上記表示面の略々全面となされた上記透過エリアの対角画角と、上記距離検出部が検出した上記距離とにより、上記撮影者の視点から上記表示面の略々全面となされた透過エリアを通した視野角を算出するステップと、
    上記算出した視野角が上記メインカメラのズーム機能による最大撮影画角以内である時には、制御部が、上記撮影画角が上記視野角と一致するように上記メインカメラのズーム機能を制御するステップと、
    上記算出した視野角が上記メインカメラのズーム機能による最大撮影画角を超える時には、制御部が、上記算出される視野角が上記最大撮影画角と一致するように上記透過型表示部の表示面で上記透過視可能な状態となる透過エリアの大きさを制御するステップと
    を有する画像撮影装置の制御方法。
  9. 筐体背面側に配されるメインカメラと筐体正面側に配されるサブカメラとからなり上記メインカメラが撮影画角を変更するためのズーム機能を備えたカメラ部により写真撮影を行う写真撮影モードを起動する処理と、
    上記写真撮影モードが起動した時、筐体正面側と筐体背面側の両方向から互いに向こう側を透過視可能で且つその大きさを変更可能な透過エリアを形成可能となされた表示面を有する透過型表示部に対し、上記メインカメラとサブカメラの何れか撮影者の顔画像を撮影しているカメラ側の表示面上に当該撮影者から見て正対した撮影補助情報を表示させ、当該写真撮影モードにおいてメインカメラによる写真撮影が行われる場合には、上記サブカメラにて撮影している撮影者の顔認識画像に基づいて当該撮影者が透過型表示部の表示面に正対しているか判定し、上記撮影者が上記表示面に正対していないと判定した時にはその撮影者に対して上記表示面へ正対すべきことを通知し、撮影者が上記表示面に正対した時に、上記透過型表示部を制御して、上記表示面の略々全面を上記透過視可能な上記透過エリアにする処理と、
    上記メインカメラによる写真撮影が行われるとき、距離検出部により撮影者の視点から上記透過型表示部の表示面までの距離を検出させる処理と、
    上記メインカメラによる写真撮影が行われるとき、上記表示の略々全面となされた上記透過エリアの対角画角と、上記距離検出部が検出した上記距離とにより、上記撮影者の視点から上記表示面の略々全面となされた透過エリアを通した視野角を算出する処理と、
    上記算出した視野角が上記メインカメラのズーム機能による最大撮影画角以内である時には、上記撮影画角が上記視野角と一致するように上記メインカメラのズーム機能を制御する処理と、
    上記算出した視野角が上記メインカメラのズーム機能による最大撮影画角を超える時には、上記算出される視野角が上記最大撮影画角と一致するように上記透過型表示部の表示面で透過視可能な状態となる透過エリアの大きさを制御する処理とを、
    画像撮影装置に実行させる制御プログラム。
JP2009025434A 2009-02-05 2009-02-05 画像撮影装置、画像撮影装置の制御方法及び制御プログラム Expired - Fee Related JP4781440B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009025434A JP4781440B2 (ja) 2009-02-05 2009-02-05 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
EP10250134A EP2216678A1 (en) 2009-02-05 2010-01-27 Image photoraphing apparatus, method of controliing image photoraphing apparatus and control program
US12/695,224 US8537217B2 (en) 2009-02-05 2010-01-28 Image photographing apparatus, method of controlling image photographing apparatus and control program
CN2010101072070A CN101854472B (zh) 2009-02-05 2010-01-29 图像拍照设备、控制图像拍照设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009025434A JP4781440B2 (ja) 2009-02-05 2009-02-05 画像撮影装置、画像撮影装置の制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2010183378A JP2010183378A (ja) 2010-08-19
JP4781440B2 true JP4781440B2 (ja) 2011-09-28

Family

ID=42154715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009025434A Expired - Fee Related JP4781440B2 (ja) 2009-02-05 2009-02-05 画像撮影装置、画像撮影装置の制御方法及び制御プログラム

Country Status (4)

Country Link
US (1) US8537217B2 (ja)
EP (1) EP2216678A1 (ja)
JP (1) JP4781440B2 (ja)
CN (1) CN101854472B (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873746B2 (en) * 2007-07-27 2011-01-18 Lagavulin Limited User interface for a portable, image-processing transmitter
JP2011254416A (ja) * 2010-06-04 2011-12-15 Seiko Epson Corp 撮影装置
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
CN102724454A (zh) * 2011-03-29 2012-10-10 宏碁股份有限公司 于画面中动态配置服务信息的系统及方法
US8698941B2 (en) * 2011-05-09 2014-04-15 Intellectual Ventures Fund 83 Llc Imaging apparatus with switchable beam deflector array
US8698940B2 (en) * 2011-05-09 2014-04-15 Intellectual Ventures Fund 83 Llc Switchable imaging apparatus for viewing and capture
US8446514B2 (en) * 2011-05-09 2013-05-21 Intellectual Ventures Fund 83 Llc Capturing images using a switchable imaging apparatus
JP2013008193A (ja) * 2011-06-24 2013-01-10 Nikon Corp 撮像装置および撮像装置の制御プログラム
JP2013017146A (ja) 2011-07-06 2013-01-24 Sony Corp 表示制御装置、表示制御方法およびプログラム
JP5830987B2 (ja) 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
EP2798440A4 (en) * 2011-12-27 2015-12-09 Intel Corp FULL 3D INTERACTION ON MOBILE DEVICES
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US9726887B2 (en) 2012-02-15 2017-08-08 Microsoft Technology Licensing, Llc Imaging structure color conversion
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
JP6134478B2 (ja) 2012-03-28 2017-05-24 ソニー株式会社 情報処理装置、表示制御方法、プログラムおよび記憶媒体
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
CN103369212B (zh) * 2012-03-28 2018-06-05 联想(北京)有限公司 一种图像采集方法及设备
US10191515B2 (en) * 2012-03-28 2019-01-29 Microsoft Technology Licensing, Llc Mobile device light guide display
US9717981B2 (en) 2012-04-05 2017-08-01 Microsoft Technology Licensing, Llc Augmented reality and physical games
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
JP5805013B2 (ja) * 2012-06-13 2015-11-04 株式会社Nttドコモ 撮像画像表示装置、撮像画像表示方法、プログラム
JP6006024B2 (ja) * 2012-07-02 2016-10-12 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US9609097B2 (en) 2012-10-17 2017-03-28 Sony Corporation Mobile terminal comprising a display rotable about a casing
US10192358B2 (en) 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
US20140184854A1 (en) * 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
JP6052399B2 (ja) * 2013-04-26 2016-12-27 富士通株式会社 画像処理プログラム、画像処理方法及び情報端末
CN103327256A (zh) * 2013-07-05 2013-09-25 上海斐讯数据通信技术有限公司 调整移动终端摄像头取景界面显示图像的系统及方法
WO2015077978A1 (en) * 2013-11-29 2015-06-04 Intel Corporation Controlling a camera with face detection
US9304235B2 (en) 2014-07-30 2016-04-05 Microsoft Technology Licensing, Llc Microfabrication
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
CN104135626A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 自动调节辅助照明设备的装置及方法
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
CN105739877B (zh) * 2016-01-22 2019-06-18 苏州连赢智能科技有限公司 基于距离感应器的缩放方法及系统
JP2016181004A (ja) * 2016-06-24 2016-10-13 ソニー株式会社 情報処理装置、表示制御方法、プログラムおよび記憶媒体
CN106899800B (zh) * 2016-06-28 2020-02-14 阿里巴巴集团控股有限公司 相机对焦的方法、装置及移动终端设备
JP6878974B2 (ja) * 2017-03-16 2021-06-02 株式会社リコー 撮像装置、撮像システム
WO2018235313A1 (ja) * 2017-06-23 2018-12-27 富士フイルム株式会社 撮像装置及び文字表示方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541965B2 (ja) * 1987-03-09 1996-10-09 オリンパス光学工業株式会社 オ−トズ−ム付カメラ
US5398095A (en) * 1990-04-09 1995-03-14 Minolta Camera Kabushiki Kaisha Automatic zooming device
US5252950A (en) * 1991-12-20 1993-10-12 Apple Computer, Inc. Display with rangefinder
US5448014A (en) * 1993-01-27 1995-09-05 Trw Inc. Mass simultaneous sealing and electrical connection of electronic devices
JPH07221590A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 電子部品とその製造方法
US6310422B1 (en) * 1998-03-12 2001-10-30 Matsushita Electric Industrial Co., Ltd. Surface acoustic wave filter
US6229404B1 (en) * 1998-08-31 2001-05-08 Kyocera Corporation Crystal oscillator
JP2001094390A (ja) * 1999-09-20 2001-04-06 Toshiba Corp 弾性表面波デバイスおよびその製造方法
WO2001045004A1 (en) * 1999-12-17 2001-06-21 Promo Vu Interactive promotional information communicating system
KR100506534B1 (ko) * 2000-01-31 2005-08-05 긴세키 가부시키가이샤 압전진동자를 사용한 발진회로용 용기, 그 제조방법 및발진기
US7016704B2 (en) * 2001-04-02 2006-03-21 Move Mobile Systems, Inc. Coordinating images displayed on devices with two or more displays
KR100387239B1 (ko) * 2001-04-26 2003-06-12 삼성전자주식회사 Mems 릴레이 및 그 제조방법
JP4322508B2 (ja) * 2003-01-15 2009-09-02 新光電気工業株式会社 半導体装置の製造方法
US7170155B2 (en) * 2003-06-25 2007-01-30 Intel Corporation MEMS RF switch module including a vertical via
US7266869B2 (en) * 2003-07-30 2007-09-11 Kyocera Corporation Method for manufacturing a piezoelectric oscillator
JP2005110162A (ja) * 2003-10-02 2005-04-21 Olympus Corp カメラ
JP5093968B2 (ja) 2003-10-15 2012-12-12 オリンパス株式会社 カメラ
JP2005241814A (ja) * 2004-02-25 2005-09-08 Fuji Photo Film Co Ltd カメラ付き携帯装置
JP3875240B2 (ja) * 2004-03-31 2007-01-31 株式会社東芝 電子部品の製造方法
JP4468784B2 (ja) 2004-10-20 2010-05-26 オリンパス株式会社 デジタル一眼レフカメラ
JP4674471B2 (ja) * 2005-01-18 2011-04-20 株式会社ニコン デジタルカメラ
US7684694B2 (en) * 2005-05-10 2010-03-23 Fromm Wayne G Apparatus for supporting a camera and method for using the apparatus
US7609955B2 (en) * 2005-11-22 2009-10-27 Panasonic Corporation Image taking device, portable terminal device, image taking method, and program
JP4607822B2 (ja) * 2006-06-01 2011-01-05 富士フイルム株式会社 デジタルカメラ
US20080049020A1 (en) * 2006-08-22 2008-02-28 Carl Phillip Gusler Display Optimization For Viewer Position
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
JP2008113310A (ja) * 2006-10-31 2008-05-15 Fujifilm Corp 撮像装置、撮像方法、画像管理装置、画像管理方法、及びプログラム
JP5004816B2 (ja) * 2007-02-08 2012-08-22 キヤノン株式会社 撮像装置および制御方法

Also Published As

Publication number Publication date
JP2010183378A (ja) 2010-08-19
US20100194880A1 (en) 2010-08-05
CN101854472B (zh) 2012-08-08
CN101854472A (zh) 2010-10-06
EP2216678A1 (en) 2010-08-11
US8537217B2 (en) 2013-09-17

Similar Documents

Publication Publication Date Title
JP4781440B2 (ja) 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
CN108419016B (zh) 拍摄方法、装置及终端
JP4675411B2 (ja) カメラ機能付き携帯電話端末及びその制御方法
EP1731954A1 (en) Eye image capturing device and portable terminal
US8947552B2 (en) Method and device with camera for capturing an image based on detection of the image
KR20100008936A (ko) 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US20140368695A1 (en) Control device and storage medium
CN111837174A (zh) 头戴式显示器、头戴式显示器协作系统及其方法
CN113596316B (zh) 拍照方法及电子设备
CN106664361B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
KR20210098292A (ko) 카메라를 포함하는 전자 장치 및 그 동작 방법
JP2008032828A (ja) 撮像装置、及びカメラ付き携帯電話機
CN113301247A (zh) 一种语音输入设备、其控制方法以及存储介质
CN115802158A (zh) 切换摄像头的方法与电子设备
KR20210100020A (ko) 음성입력장치, 그 제어 방법 및 음성명령에 대응한 처리를 실행하는 기억 매체
KR20120126842A (ko) 카메라 모듈을 포함하는 휴대용 전자기기 및 그 영상 촬영 방법
KR100631643B1 (ko) 홍채 인식을 이용한 촬영 위치 표시 장치 및 방법
JP2014045404A (ja) 携帯端末
CN116530090A (zh) 使用多个相机拍摄照片的方法及其装置
CN112040095A (zh) 电子装置、电子装置的控制方法及存储介质
JP2007201823A (ja) 携帯電話
JP2004361659A (ja) 携帯端末
CN114531539B (zh) 拍摄方法及电子设备
JP6351394B2 (ja) 表示装置、通信システム、表示装置の制御方法及びプログラム
JP2023062381A (ja) 撮像装置及びその制御方法とプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees