JP5294889B2 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP5294889B2 JP5294889B2 JP2009002728A JP2009002728A JP5294889B2 JP 5294889 B2 JP5294889 B2 JP 5294889B2 JP 2009002728 A JP2009002728 A JP 2009002728A JP 2009002728 A JP2009002728 A JP 2009002728A JP 5294889 B2 JP5294889 B2 JP 5294889B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- image data
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
そして、第一撮像部で得た画像から顔を検出すると共に、その検出した顔の視線方向を検出する処理を行う。検出した視線方向が、表示部に表示されている画像を向いた方向にあるときは、第一撮像部で撮像して得た画像データを選択して出力する。また、検出した視線方向が表示部に表示されている画像を向いた方向にないときは、第二撮像部で撮像して得た画像データを選択して出力する。
かかる本発明の処理を例えばテレビ電話機能に適用することで、相手に伝送する画像の切り替えが、操作者の視線だけで簡単かつ迅速に行えるようになる。具体的には、撮影者が表示部の画面を注視していることで、第一撮像部による自らが写った画像が選択されて相手に伝送されるようになる。そして、撮影者が表示部の画面以外を注視するようになると、第一撮像部とは反対側を撮像する第二撮像部で、撮影者の手前側を撮像した画像が選択されて、相手に伝送されるようになる。
1.端末の形状の例:図2
2.端末の内部構成例:図3
3.視線検出処理状態の例:図4
4.2つのカメラの出力処理例:図1及び図5
5.表示画面の例:図6
6.使用例(一実施の形態及び変形例):図7
7.変形例
一実施の形態の例を図1〜6を参照して説明する。本実施の形態においては、携帯電話端末に適用した例である。本実施の形態においては、携帯電話端末の装置本体を構成する筐体に、2つの撮像部を内蔵させたものに適用してある。2つの撮像部は、それぞれ撮像する方向が相互に逆の方向としてあり、一方の撮像部をインカメラと称し、他方の撮像部をアウトカメラと称する。
図2(a)は、携帯電話端末100の装置本体を構成する筐体110の表面111側を示し、図2(b)は、筐体110の裏面側を示す。
図2(a)に示すように、筐体110の表面111には、後述する表示部107を構成する表示パネル107aや、複数の操作キーなどが配置してある。また、筐体110の表面111には、インカメラ203の撮像レンズ203aが配置してあり、インカメラ203が表面111と向き合った被写体を撮像する。
図2(b)に示すように、筐体110の裏面112には、アウトカメラ201の撮像レンズ201aが配置してあり、アウトカメラ201が裏面と向き合った被写体を撮像する。
図3は、本実施の形態の例である携帯電話100の内部構成例を示すブロック図である。
携帯電話端末100は、マイクロプロセッサ等よりなる制御部120を備え、制御部120は、制御信号が伝送される制御ライン150又はデータが伝送されるデータライン160を介して、携帯電話端末100内の各部と接続されている。そして、制御部120はこれらのラインを通して各部と通信を行い、各部の動作制御を行う。
また、例えばテレビ電話のアプリケーションが起動されている場合には、撮像制御部202から出力される画像データを、通信回路102に供給して、通話相手の端末側に伝送させると共に、表示部107に供給して表示させる。
制御部120でこの視線検出処理を行うと、その結果が撮像制御部202に送られ、撮像制御部202では、画像データの選択や、画像の合成状態の選択などが行われる。この選択処理などの詳細については後述する(図5のフローチャート)。
次に、図4を参照して、制御部120でインカメラ203で撮像して得た画像データから視線検出を行う処理の例について説明する。
視線検出を行う前提として、画像から顔を検出する構成としてあり、その顔が検出された場合に、顔の左右の眼の位置を、制御部120が画像認識処理で検出する。さらに、その画像認識処理で検出した眼の中の瞳(黒目)の位置に基づいて、視線検出を行う。
具体的には、例えば図4に示すように、眼の中心に瞳がある状態e10が画像認識で検出された場合、視線が中心方向であるとする。また図4に示すように、眼の左側に瞳がある状態e11が画像認識で検出された場合、視線が左方向であるとする。また図4に示すように、眼の右側に瞳がある状態e12が画像認識で検出された場合、視線が右方向であるとする。さらに図4に示すように、眼の上側に瞳がある状態e13が画像認識で検出された場合、視線が上方向であるとする。さらにまた図4に示すように、眼の下側に瞳がある状態e14が画像認識で検出された場合、視線が下方向であるとする。
また、眼の中心から外れた左右及び上の位置に瞳がある状態(図4の状態e11,e12,e13など)のときには、ユーザが端末以外を見ているとする。
さらに、眼の中心から外れた下の位置に瞳がある状態(図4の状態e14など)のときには、ユーザが端末100の表示パネル107aの下側に配置された操作キー(図2参照)を見ているとする。
具体的に視線方向と端末100との位置関係を図2(a)に示すと、例えば、瞳がほぼ中心の視線方向e1が検出された場合に、表示パネル107a側に向かう視線方向であると判断する。また、瞳がほぼ下側の視線方向e2が検出された場合に、端末100の下側の操作キーなどを見ている視線方向であると判断する。さらに、この視線方向e1,e2以外の視線方向e3である場合には、そのときの視線方向の向きの端末外を見ていると判断する。
これらの制御部120での視線方向の検出結果は、撮像制御部202に送られ、撮像制御部202では、画像データの選択や、画像の合成状態の選択などが行われる。
次に、図5のフローチャートを参照して、携帯電話端末100が備えるインカメラ203とアウトカメラ201での撮像時の処理例について説明する。この図5のフローチャートは、インカメラ203とアウトカメラ201の双方を使った撮像を行い、2つのカメラ201,203の切換えを、ユーザの視線により自動的に切換えるモードを設定した場合の処理例である。この図5のフローチャートの例は、テレビ電話で相手に画像データを音声データと共に伝送させる場合の例である。
この例では、例えば図1に示すように、携帯電話端末100のインカメラ203に向かってユーザ300がいる状態であり、アウトカメラ201で撮像する範囲内に、相手に伝送させたい画像が表示された比較的大型のスクリーン400がある状況とする。携帯電話端末100は、例えばスタンド500に載せて、直立した状態に載置させてある。
ステップS3で、視線方向が、携帯電話端末100の表示パネル107a側でないと判断した場合には、視線方向が端末100の下側であるか否か判断する(ステップS4)。ここで端末100の下側であると判断した場合には、携帯電話端末100の操作キーなどを見ていると判断して、ステップS9に移り、インカメラ203の出力画像を選択して、通信回路102に送り、相手の端末に送信させる。
図5のフローチャートでは、テレビ電話時に相手に伝送する画像データを、2つのカメラで撮像して得た2つの画像データの間で切換える処理としたが、伝送する画像として、2つのカメラで撮像して得た画像データを合成した画像データとしてもよい。
図6は、この場合の例を示した図である。
検出した視線方向が表示パネルなどの端末側にある場合には、図6(a)に示すように、インカメラ203で撮像されたインカメラ映像11をメイン画面として大きく表示させる。そして、アウトカメラ201で撮像されたアウトカメラ映像12をサブ画面として、左上などに小さく表示させる。
次に、本実施の形態の携帯電話端末の使用例を、変形例の場合の使用例も含めて図7に示す。
図7(a)に示した使用例1は、図1,図2などに示した、いわゆるストレート型の携帯電話端末100を使用した場合の例である。
この例では、携帯電話端末100を、テーブル600上のスタンド500に直立させて、ユーザ300がインカメラ203を向いて、アウトカメラ201がスクリーン400(又は相手に見せたい景色)を撮像している状態である。
この例では、携帯電話端末100′を、テーブル600上に開いた状態で置いて、ユーザ300がインカメラ203を向いて、アウトカメラ201がスクリーン400(又は相手に見せたい景色)を撮像している状態である。
この例では、携帯電話端末100″を、テーブル600上のスタンド500′に直立させて、ユーザ300がインカメラ203を向いて、アウトカメラ201がスクリーン400(又は相手に見せたい景色)を撮像している状態である。
なお、上述した実施の形態では、携帯電話端末に内蔵された2つのカメラの切換えを、テレビ電話時に行うようにしたが、その他の機能の実行時にも行うようにしてもよい。即ち、2つのカメラで撮像して得た画像データを端末内に記憶させるカメラとしての動作モード時にも、メモリ105に記憶させる画像データを、視線によりインカメラとアウトカメラのいずれか一方から選択するようにしてもよい。このカメラとして動作させる場合二適用する際には、携帯電話端末に内蔵されたカメラではなく、単体のカメラ装置に適用してもよい。
Claims (6)
- 装置本体の一方の面を向いた撮像レンズが配置された第一撮像部と、
前記第一撮像部の撮像レンズ配置面とは反対側の他方の面に撮像レンズが配置された第二撮像部と、
前記一方の面に配置され、前記第一及び第二撮像部で撮像して得た画像を表示する表示部と、
前記第一撮像部で撮像して得た画像から顔を検出すると共に、その検出した顔の視線方向を検出する視線方向検出部と、
前記視線方向検出部が検出した視線方向が、前記表示部に表示されている画像を向いた方向にあるときは、前記第一撮像部で撮像して得た画像データを選択して出力し、前記視線方向検出部が検出した視線方向が前記表示部に表示されている画像を向いた方向にないときは、前記第二撮像部で撮像して得た画像データを選択して出力する制御部と
を備えた撮像装置。 - 前記制御部は、前記第二撮像部で撮像して得た画像データを選択している状態で、前記視線方向検出部が検出した視線の方向に対応して、前記第二撮像部が撮像して出力する画像データによる撮像の範囲を可変設定する
請求項1記載の撮像装置。 - 前記制御部の制御により選択された画像データを外部に送信する通信部を備えた
請求項2記載の撮像装置。 - 前記制御部により選択された画像データによる画像と、前記制御部により選択されていない画像データによる画像とを合成した画像データとして、前記合成された画像データを前記通信部から送信し、
前記制御部での選択に基づいて、前記合成された画像データによる2つの画像の合成状態を切換える
請求項3記載の撮像装置。 - 前記制御部は、前記視線方向検出部で検出される視線方向が前記表示部の下方向である場合には、前記第一撮像部で撮像して得た画像データを選択して出力する
請求項1記載の撮像装置。 - 装置本体の表示部が配置された面と同じ一方の面に撮像レンズを配置して撮像を行う第一撮像処理と、
前記表示部が配置された面とは反対側の他方の面に撮像レンズを配置して撮像を行う第二撮像処理と、
前記第一撮像処理で得た画像から顔を検出すると共に、その検出した顔の視線方向を検出する視線方向検出処理と、
前記視線方向検出処理で検出した視線方向が、前記表示部に表示されている画像を向いた方向にあるときは、前記第一撮像処理で撮像して得た画像データを選択して出力し、前記視線方向検出処理で検出した視線方向が前記表示部に表示されている画像を向いた方向にないときは、前記第二撮像処理で撮像して得た画像データを選択して出力する画像選択処理とを行う
撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009002728A JP5294889B2 (ja) | 2009-01-08 | 2009-01-08 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009002728A JP5294889B2 (ja) | 2009-01-08 | 2009-01-08 | 撮像装置及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010161655A JP2010161655A (ja) | 2010-07-22 |
JP5294889B2 true JP5294889B2 (ja) | 2013-09-18 |
Family
ID=42578475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009002728A Expired - Fee Related JP5294889B2 (ja) | 2009-01-08 | 2009-01-08 | 撮像装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5294889B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5626039B2 (ja) * | 2011-03-09 | 2014-11-19 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
US9148586B2 (en) | 2012-02-10 | 2015-09-29 | Sony Corporation | Terminal apparatus for combining images from two different cameras based on detected sound |
JP6229720B2 (ja) * | 2013-08-22 | 2017-11-15 | 富士通株式会社 | 端末装置、撮影部起動方法及び撮影部起動プログラム |
JP6409301B2 (ja) * | 2014-03-31 | 2018-10-24 | 株式会社ニコン | 電子機器 |
KR102241334B1 (ko) * | 2015-02-04 | 2021-04-19 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
JP2016208275A (ja) * | 2015-04-22 | 2016-12-08 | 日本電信電話株式会社 | 画像撮影装置およびその制御方法 |
JP6700693B2 (ja) * | 2015-09-09 | 2020-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2019004520A (ja) * | 2018-09-27 | 2019-01-10 | 株式会社ニコン | 電子機器及び電子機器システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285676A (ja) * | 2000-03-30 | 2001-10-12 | Minolta Co Ltd | 表示装置 |
JP2006319610A (ja) * | 2005-05-12 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2007235399A (ja) * | 2006-02-28 | 2007-09-13 | Matsushita Electric Ind Co Ltd | 自動撮影装置 |
JP4802058B2 (ja) * | 2006-07-26 | 2011-10-26 | 富士フイルム株式会社 | カメラ付き携帯電話機及びその撮像方法 |
-
2009
- 2009-01-08 JP JP2009002728A patent/JP5294889B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010161655A (ja) | 2010-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5294889B2 (ja) | 撮像装置及び撮像方法 | |
US7046287B2 (en) | Portable information terminal equipped with camera | |
KR101433157B1 (ko) | 휴대 단말기 및 그 이미지 전송 방법 | |
US20090148149A1 (en) | Camera device | |
KR100689384B1 (ko) | 카메라 기능을 가진 이동 통신 단말기 및 그 방법 | |
JP3154529U (ja) | テレビジョン受像機、携帯電話機、及び電子鏡 | |
JP2012065173A (ja) | 撮影機器 | |
JP2016009873A (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム | |
KR20040104777A (ko) | 듀얼 카메라 장착 단말기 | |
JP3804766B2 (ja) | 画像通信装置および携帯型電話機 | |
KR101137348B1 (ko) | 화상통화 기능을 갖는 이동통신 단말기 및 이를 이용한화상처리 방법 | |
JP2004233527A (ja) | 携帯端末 | |
JP2005323241A (ja) | 携帯電話機 | |
JP2009164755A (ja) | 撮像装置 | |
KR101393147B1 (ko) | 이동단말기 및 그 촬영방법 | |
US20050280731A1 (en) | Apparatus and method for displaying images in a portable terminal comprising a camera and two display units | |
JP2007201825A (ja) | 携帯電話 | |
JP2004304297A (ja) | 携帯情報端末 | |
JP3935812B2 (ja) | 2d(2次元)及び3d(3次元)表示機能を備える電子機器 | |
JP2010177898A (ja) | 携帯端末および携帯端末の制御方法 | |
JP5154020B2 (ja) | テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法 | |
JP2005101729A (ja) | ズーム機能付きデジタルカメラ | |
JP2013190791A (ja) | 携帯端末機のイメージ撮影装置及び方法 | |
KR100606067B1 (ko) | 카메라 기능을 가진 이동 통신 단말기 및 그 방법 | |
JP2012100135A (ja) | 携帯通信端末及びそのコンピュータソフトウェア |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130611 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |