JP4203863B2

JP4203863B2 - 電子カメラ

Info

Publication number: JP4203863B2
Application number: JP2007196482A
Authority: JP
Inventors: 充史三沢; 岳志三沢
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-07-27
Filing date: 2007-07-27
Publication date: 2009-01-07
Anticipated expiration: 2018-09-21
Also published as: JP2008017501A

Description

本発明は電子カメラに係り、特に撮像範囲内の撮影者の手の位置や形状に基づいて撮像動作や撮像した画像の画像処理を制御する電子カメラに関する。

近年、バーチャル・リアリティ（仮想現実感）を用いて種々の入力を行う装置や、バーチャル・リアリティの技術に関連してユーザの手や指の３次元位置や形状を測定する方法が知られている。例えば、特許文献１には、使用者の目にビュー装置を装着して仮想空間を作り、この仮想空間に電話機等の通信機器を立体視させると共に、使用者の指や手の位置を３次元的に検出することによって、仮想空間内で通信機器をあたかも現実に操作しているかのように扱えるようにしたものが開示されている。

また、特許文献２には、ユーザの手の形状や動きを認識し、この手の形状や動きによって機器の操作を行えるようにすることで、キーボードやマウス等の入力装置を不要にしたインタフェース装置が提案されている。

また、特許文献３及び特許文献４には、使用者の頭部又は顔面に保持して眼球に映像を投影する頭部又は顔面装着式の画像表示装置が開示されている。
特開平６−１７５７７８号公報特開平９−１８５４５６号公報特開平９−６５２４５号公報特開平９−１９７３３６号公報

ところで、従来、デジタルスチルカメラ等の電子カメラで撮影を行う場合、まず、撮影者がカメラを把持し、カメラを被写体に向けて構え、光学ファインダーや液晶ファインダ等で構図を確認する。そして、構図が決まるとレリーズスイッチを指で押して画像をメモリに記録させるというのが一般的な操作手順である。

しかしながら、このような一連の操作は煩雑な手間を要し、予め、カメラをもって撮影の準備をしていないとシャッターチャンスを逃す場合が少なくなかった。一方、シャッターチャンスを逃さないようにカメラを手でもっていつでも撮影を行えるように準備しておくと、手が自由でなく他の動作に支障をきたす場合があった。

そこで、撮影者の頭部等の体の一部にカメラを装着しておき、所望の時にそのままの状態で撮影を行うことができれば、カメラをもってカメラを被写体に向けて構えるといった煩わしい動作が不要となり、シャッターチャンスを逃すといった不具合が解消される。また、少なくとも撮影時以外では手も自由に使えて便利である。一方、このようにした場合には、カメラの各種操作部材を操作するのが困難で（例えば、カメラを頭部に装着した場合には操作部材が見えない。）、また、カメラを操作するためリモコン等を別個に用意するようにしたのでは撮影に備えてそのリモコンをもっていなければならない等の煩わしさがある。このため、シャッターレリーズ等のカメラ操作をカメラに触れることなく、また、リモコン等の操作部材を用いることなく、簡単に行えるようにする必要がある。また、特にこのようなカメラでは、ファインダーを使用することができないため、ズーミングやフレーミングの操作が適切に行えず撮影者が望む構図の画像を得ることができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、頭や肩等の体の一部に装着して使用する電子カメラにおいて、カメラに触れることなく、また、リモコン等の操作部材を使用することなくカメラの操作を行えるようにし、また、ズーミングやフレーミングの操作を適切且つ容易に行えるようした電子カメラを提供することを目的とする。

前記目的を達成するために請求項１に記載の発明は、撮影者の頭部又はその近傍に装着可能で、画像認識範囲と、画像認識範囲よりも内側の記録画像切り出し範囲の２つの領域の画像読み出しが可能な撮像手段と、前記撮像手段からの画像に基づいて、該撮像手段の画像認識範囲内にある撮影者の手の位置及び／又は形を認識する認識手段と、前記認識手段によって認識した手の位置及び／又は形に基づいて前記撮像手段による撮像動作及び／又は撮像した画像の画像処理を制御する制御手段と、前記撮像手段からの画像に基づいて、記録画像切り出し範囲の画像を記録する画像記録手段と、を備えたことを特徴としている。

請求項２に記載の発明は、撮影者の頭部又はその近傍に装着可能で、画像認識範囲と、画像認識範囲よりも内側の記録画像切り出し範囲の２つの領域の画像読み出しが可能な撮像手段と、前記撮像手段からの画像に基づいて、該撮像手段の画像認識範囲内にある撮影者の手の位置及び／又は形を認識する認識手段と、前記認識手段によって認識した手の位置及び／又は形に基づいて前記撮像手段による撮像動作及び／又は撮像した画像の画像処理を制御する制御手段と、前記撮像手段からの画像に基づいて、記録画像切り出し範囲の位置に基づいてその切り出し範囲を示す切り出し枠を画像表示素子に表示する表示手段と、を備えたことを特徴としている。

本発明によれば、頭部又はその近傍に撮像手段を装着し、その撮像手段による撮像動作及び／又は撮像した画像の画像処理の制御を、撮像手段の撮像範囲内に映る撮影者の手の位置や形に基づいて行うようにしたため、カメラの操作部材を操作することなく、カメラの操作を容易に行うことができ、シャッターチャンスを逃すといった不具合や、カメラをもって撮影しなければならないといった煩わしさを軽減することができる。

また、撮影範囲の手の位置によって構図を設定することができるため、撮影者は、ファインダを使用することなく被写体を直接見ながらズーミングやフレーミングの制御を的確且つ容易に行うことができるようになる。

以下添付図面に従って本発明に係る電子カメラの好ましい実施の形態について詳説する。

図１は本発明に係る電子カメラが適用された電子カメラシステムの斜視図であり、図２は、本電子カメラシステムを使用している様子を示した図である。これらの図に示すように、電子カメラシステム２は、眼鏡のように撮影者４の耳と鼻で保持される形状となっており、アイグラスディスプレイ１０の中央下部１０Ａが撮影者４の鼻に当接し、アイグラスディスプレイ１０の左右両端に固設された蔓１２、１２の先端の湾曲部１２Ａ、１２Ａが撮影者４の耳にかけられることで、本システム２が撮影者４の頭部に装着されるようになっている。本システム２を装着した際には、撮影者４の目に近接してアイグラスディスプレイ１０が配置され、このアイグラスディスプレイ１０によって撮影者４の視野全体が覆われる。

右耳にかけられる蔓１２の基端部、即ち、アイグラスディスプレイ１０の右端には上下左右にパン・チルト動作可能なカメラ部１４が設置され、左耳にかけられる蔓１２の基端部、即ち、アイグラスディスプレイ１０の左端には音声検知装置１６が設置される。音声検知装置１６からはアーム１８が撮影者４の口もとまで延設され、そのアーム１８の先端にマイクロホン２０が設置される。また、アイグラスディスプレイ１０の内面側（顔と対向する側）には撮影者４の視線方向を検知する視線方向検知装置２２が設置されている。

前記アイグラスディスプレイ１０は、上面１０Ｂ側に図示しない画像表示素子が設けられ、この画像表示素子に表示された画像がアイグラスディスプレイ１０内に配置された光学系を介して撮影者４の眼球に導かれるようになっている。また、このアイグラスディスプレイ１０は、外界からの光を透過させるため、撮影者４は、外界の被写体像を通常通り見ることができる。従って、撮影者４には、外界の被写体像と画像表示素子に表示された像とが重なって見えるようになっている。この画像表示素子には、カメラ部１４の撮影モード、残り撮影可能枚数、バッテリー残量等の各種情報や後述するように撮像範囲を示す枠等が表示される。

前記カメラ部１４は、電源がオンされるとＣＣＤ撮像素子によって被写体像を常時撮像し、シャッターレリーズの指示が加えられるとそのときの静止画像をメモリに記録する。このカメラ部１４は、前記視線方向検知装置２２によって撮影者４の視線方向を検知し、撮影者４の視線方向に合わせてモータ駆動によりパン・チルト動作するようになっている。従って、撮影者４が見ている方向の被写体像が常にカメラ部１４の撮影範囲に収められるようになっている。また、カメラ部１４は、撮影画像内に映された撮影者４の左右の指の位置を検知し、この左右の指の位置に基づいてフレーミングを行い、ＣＣＤ撮像素子の撮影画像に対してメモリに記録する記録画像の切り出し範囲を設定する。即ち、撮影者４は、図２に示すように実際観察している被写体像に対して両手５Ａ、５Ｂの指で記録画像の構図（枠）を決めるだけで、メモリに記録する記録画像のフレーミングを行うことができるようになっている。尚、このフレーミングの操作については後述する。

前記音声検知装置１６、前記マイクロホン２０によりユーザの発する言葉を取り込み、言葉の内容に応じてカメラ部１４に所定のコマンドを送る。例えば、「シャッター」という言葉を検知すると、これに連動してカメラ部１４にシャッターレリーズのコマンドを送る。これにより、カメラ部１４は、ＣＣＤ撮像素子によって取り込まれた全範囲の撮影画像から上述のようにフレーミングによって設定された切り出し範囲の画像を抽出し、この画像をメモリに記録する。

次に、上記電子カメラシステム２で撮影を行う際の撮影者４の操作について説明する。まず、撮影を行う際には図３に示すように撮影者４の手５の人指し指に座標検出用のリング３０を装着する。このリング３０には所定形状のマーク３２が描画されており、カメラ部１４が撮影画像からこのマーク３２の位置をパターン検出の処理によって検出することができるようになっている。即ち、撮影者４は、このリング３０を両手の人指し指に装着することで、両手の人指し指の位置をカメラ部１４が撮影画像から認識できるようにする。尚、必ずしもリング３０を人指し指に装着する必要はなく、他の指でもよい。

次に撮影時に撮影者４は、図２に示したように、実際に観測している被写体像に対してメモリに保存する記録画像の構図（枠）を両手の人指し指と親指とを使って決める。このとき、撮影者４の両手５Ａ（右手）、５Ｂ（左手）の指は、図４（Ａ）に示すようにカメラ部１４によって撮影される。尚、同図に示す外枠４０は、カメラ部１４のＣＣＤ撮像素子によって撮像される撮影範囲（画像認識範囲４０）を示している。カメラ部１４は、撮影者４の両手５Ａ、５Ｂの人指し指に装着された２つのリング３０の位置を撮影画像から検出し、これらの２つのリング３０の位置に基づいて、メモリに記録する記録画像の切り出し範囲を画像認識範囲４０に対して設定する。この記録画像の切り出し範囲は、図４（Ａ）の枠４２で示されており、この枠４２が示すようにリング３０、３０の位置を矩形枠の対角とするのではなく、人指し指の一般的な長さとリング３０を人指し指に装着する位置（予めリング３０を人指し指のどの位置に装着するかを約束しておく）とを考慮して、略左右の手５Ａ、５Ｂの人指し指と親指の付け根辺りが対角となるように設定される。また、カメラ部１４は、上述のように記録画像の切り出し範囲を設定すると、その切り出し範囲が実際にどの位置に設定されたかを撮影者が確認できるように、設定した切り出し範囲の位置に基づいてその切り出し範囲を示す切り出し枠（内枠）４２をアイグラスディスプレイ１０の画像表示素子の所定位置に表示させ、その切り出し枠４２を撮影者４が被写体像に重ねて見えるようにしている。尚、画像認識範囲を示す外枠４０も同様に画像表示素子に表示して撮影者４が把握できるようにしてもよい。

このように撮影者４が実際に観測している被写体像に対して自分の手で枠を作れば記録画像の切り出し範囲（切り出し枠４２）が設定されるが、撮影者４が手の位置を動かせばこれに連動してその切り出し範囲も移動する。例えば、撮影者４が図４（Ａ）に示す指の位置から左斜め下方向（図４（Ｂ）の矢印Ｓ方向）に両手５Ａ、５Ｂを動かすと、これに伴って図４（Ｂ）に示すように切り出し枠４２が左斜め下方向にシフトし、更にこの位置から右手５Ａのみ右斜め上方向（図４（Ｃ）の矢印Ｓ方向）に動かすと、これに伴って図４（Ｃ）に示すように切り出し枠４２の右上隅の位置が右斜め上方向にシフトし、切り出し範囲が拡大する。

また、図５に示すように、手をカメラ部１４の画像認識範囲４０の内側から外側に移動させると、光学ズームによりズームレンズがワイド側に移動し、画像認識範囲４０が同図画像認識範囲４０′のように拡大すると共に切り出し枠４２の設定範囲が拡大するようになっている。尚、画像認識範囲４０の内側の領域４１は光学ズームを行うための領域であり、この領域４１で上述とは逆に画像認識範囲４０の外側から内側に向かって手を動かすと光学ズームによりズームレンズがテレ側に移動するようになっている。

このようにして記録画像の切り出し範囲を決定した後、その切り出し範囲の画像をメモリに記録させる場合には、まず、撮影者４は、人指し指のリング３０を即座に隠し、又は、画像認識範囲４０の外に退避させて切り出し範囲を固定する。カメラ部１４は、リング３０位置が所定速度以上で移動した場合には切り出し範囲の設定を変更しないようにしているため、このようにして切り出し範囲を固定することができる。そして、撮影者４は切り出し範囲に手が入らないようにして、「シャッター」という言葉を発してカメラ部１４にシャッターレリーズを実行させる。これにより、カメラ部１４のメモリに切り出し範囲の画像が記録される。

次に上述の如く処理を行う電子カメラシステム２の処理ブロックの構成について説明する。図６は、その処理ブロックを示した図である。頭部装着カメラユニット２は、上述したようにアイグラスディスプレイ１０、カメラ部１４、音声検知装置１６、視線方向検知装置２２を備え、アイグラスディスプレイ１０は主として画像を表示する画像表示素子５２と画像表示素子５２を制御するＣＰＵ５０等から構成され、音声検知装置１６は主としてマイクロホン２０とマイクロホン２０によって取得した音声信号を処理するＣＰＵ５４とから構成される。また、カメラ部１４は主としてレンズ部６０、撮像部６２、画像処理部６４、画像切り出し部６６、メモリ６８、ＣＰＵ７０及びパン・チルトモータ７２等から構成される。

前記カメラ部１４のレンズ部６０は、フォーカスレンズやズームレンズを備え、これらのレンズはＣＰＵ７０からのコマンドによってモータ駆動されるようになっている。このレンズ部６０を通過した被写体光は撮像部６２のＣＣＤ撮像素子によって電気信号に変換され画像処理部６４に転送される。画像処理部６４は、ホワイトバランス調整やガンマ補正等の一般的な画像処理を行うほか、画像信号から上記リング３０のマーク３２の位置を検出するためのパターン検出処理を行う。ＣＰＵ７０は画像処理部６４から２つのリング３０の位置を取得し、ＣＣＤ撮像素子によって撮像される画像認識範囲の画像に対してメモリ６８に記録する記録画像の切り出し範囲を設定する。そして、この設定した切り出し範囲の位置をアイグラスディスプレイ１０のＣＰＵ５０に出力する。アイグラスディスプレイ１０のＣＰＵ５０は、カメラ部１４から入力された切り出し範囲の位置に基づいて、その切り出し範囲を示す切り出し枠（図４符号４２参照）を画像表示素子５２に表示させ、撮影者４が被写体像と重ねてその切り出し枠を見えるようにする。

尚、視線方向検知装置２２によって撮影者４の視線方向が検知されると、この視線方向に合わせてパン・チルトモータ７２がカメラ部１４をパン・チルト動作させ、撮影者４の視線方向とカメラ部１４の撮影方向とを一致させるようにしている。

一方、音声検知装置１６のＣＰＵ５４は、マイクロホン２０によって取り込まれた音声信号を解析し、撮影者４が発した言葉を認識する。例えば、撮影者が「シャッター」という音声を発すると、ＣＰＵ５４は、これを認識しカメラ部１４のＣＰＵ７０にシャッターレリーズのコマンドを送る。カメラ部１４のＣＰＵ７０は、音声検知装置１６のＣＰＵ５４からシャッターレリーズのコマンドが入力されると、画像切り出し部６６に上述のように設定した記録画像の切り出し範囲を指定する。画像切り出し部６６は、画像処理部６４から入力される画像認識範囲の画像信号からＣＰＵ７０に指定された切り出し範囲の画像信号を切り出し、この画像信号に電子ズームの処理を施して所定の大きさの画像信号に変換する。そして、この電子ズームの処理を施した画像信号をメモリ６８に記憶させる。

尚、音声検知装置１６は、上述のようにシャッターレリーズを指示する言葉だけでなく、ズームやフォーカス等の操作を指示するする言葉を認識し、指示に応じたコマンドをカメラのＣＰＵ７０に送信するようにしてもよい。この場合にはカメラ部１４のＣＰＵ７０は、音声検知装置１６から入力される指示に従って各種制御を行うことで、撮影者４の音声によるカメラ部１４の種々の操作を可能にすることができる。

以上のように、撮影者は実際に見ている被写体像に対して手で枠を作る動作を行うだけで記録したい画像の構図を設定することができるため、容易にズーミングやフレーミングといった操作を行うことができるようになる。また、カメラに触れることなくカメラ操作を行うことができるため、カメラの操作を簡単に行うことができる。

以上、上記実施の形態では、撮影者の手（指）の位置をリング３０によって検出するようにしたが、撮影者の手の位置を検出する方法はこれに限らない。リング３０を装着しなくても撮影画像から手の位置や形状を検知することは可能である。

また、上記実施の形態では、音声によってカメラ部１４の各種制御を行うようにしたが、これに代わって、又はこれと合わせて、手の位置や形によってカメラ部１４の各種制御（撮像動作や撮像した画像の画像処理の内容）を行えるようにしてもよい。例えば、撮影者が手を所定形状にしたこと或いは所定動作させたことを検知するとシャッターレリーズを実行するようにしてもよい。また、撮影者が手を上向きを指し示す形状にしたことを検知すると例えば操作ダイヤルをアップ方向に回動させる操作に相当させ、下向きを指し示す形状にしたことを検知すると操作ダイヤルをダウン方向に回動させる操作に相当させるようにして通常のカメラに設置されているような操作部材の操作を手の形状等で指定できるようにしてもよい。更に、アイグラスディスプレイ１０によって仮想空間に操作部材（操作スイッチや操作ダイヤル等）を表示し、撮影者がその操作部材を操作する動作をカメラ部１４の撮影画像から検知するようにし、これに基づいてカメラ部１４の各種制御を行うようにしてもよい。これにより撮影者はあたかも現実に存在する操作部材を操作してカメラ部１４の操作を行うことができるようになる。

また、上記電子カメラシステム２でメモリ６８に記録した記録画像をアイグラスディスプレイ１０を用いて再生できるようにしてもよい。例えば、アイグラスディスプレイ１０によって仮想空間にアルバム（バーチャルアルバム）を表示させ、このアルバムを撮影者がめくる動作を検知すると、そのアルバムのページに合わせてメモリ６８に記録した所定の記録画像をアイグラスディスプレイ１０によって仮想空間に表示させるようにしてもよい。

また、上記実施の形態では、撮影者が記録画像の切り出し枠４２（図４参照）を確認できるようにアイグラスディスプレイ１０によってその切り出し枠４２等を表示させるようにしたが、必ずしも切り出し枠４２を表示させる必要はなく、アイグラスディスプレイ１０のような画像表示手段も必ずしも必要ではない。

また、上記実施の形態では、撮影者が手で切り出し枠を指定するとその範囲の画像をカメラ部１４の撮影画像から切り出すようにしたが、撮影者が手で枠を指定すると、その方向にカメラ部１４がパン・チルト動作すると共に光学ズームにより指定された枠内の画像を拡大して撮影するようにしてもよい。

また、上記実施の形態では、カメラ部１４を眼鏡型のアイグラスディスプレイ１０に装着して撮影者の頭部に装着するようにしたが、これに限らず、撮影者の肩等他の部分に装着できるようにしてもよい。

また、上記実施の形態では、撮影画像の構図を手で位置で設定するようにしたが、音声によって行えるようにしてもよい。例えば、アイグラスディスプレイ１０にカメラ部１４の撮影範囲を表示し、撮影者がその撮影範囲の位置や大きさを音声で指定すれば、それに合わせてカメラ部が自動でパン・チルト動作、光学ズーム、電子ズーム、フレーミング等の制御を行うようにすることもできる。

図１は、本発明に係る電子カメラが適用された電子カメラシステムの斜視図である。図２は、電子カメラシステムを使用している様子を示した図である。図３は、座標検出用リングの一実施の形態を示した図である。図４は、フレーミングの操作の説明に用いた説明図である。図５は、フレーミングの操作の説明に用いた説明図である。図６は、電子カメラシステムの処理ブロックの構成を示した図である。

符号の説明

２…電子カメラシステム
１０…アイグラスディスプレイ
１４…カメラ部
１６…音声検知装置
２０…マイクロホン
２２…視線方向検知装置

Claims

撮影者の頭部又はその近傍に装着可能で、画像認識範囲と、画像認識範囲よりも内側の記録画像切り出し範囲の２つの領域の画像読み出しが可能な撮像手段と、
前記撮像手段からの画像に基づいて、該撮像手段の画像認識範囲内にある撮影者の手の位置及び／又は形を認識する認識手段と、
前記認識手段によって認識した手の位置及び／又は形に基づいて前記撮像手段による撮像動作及び／又は撮像した画像の画像処理を制御する制御手段と、
前記撮像手段からの画像に基づいて、記録画像切り出し範囲の画像を記録する画像記録手段と、
を備えたことを特徴とする電子カメラ。
撮影者の頭部又はその近傍に装着可能で、画像認識範囲と、画像認識範囲よりも内側の記録画像切り出し範囲の２つの領域の画像読み出しが可能な撮像手段と、
前記撮像手段からの画像に基づいて、該撮像手段の画像認識範囲内にある撮影者の手の位置及び／又は形を認識する認識手段と、
前記認識手段によって認識した手の位置及び／又は形に基づいて前記撮像手段による撮像動作及び／又は撮像した画像の画像処理を制御する制御手段と、
前記撮像手段からの画像に基づいて、記録画像切り出し範囲の位置に基づいてその切り出し範囲を示す切り出し枠を画像表示素子に表示する表示手段と、
を備えたことを特徴とする電子カメラ。
前記撮影者の視線方向を検知する視線方向検知手段と、前記撮像手段の撮影方向と前記視線方向検知手段によって検知された前記撮影者の視線方向とが一致するように前記撮像手段をパン・チルト動作させる駆動手段と、を備えたことを特徴とする請求項１、又は、２の電子カメラ。
前記撮影者が観測している被写体に所要の画像を重ねて見えるようにした眼鏡型の表示手段を備え、該表示手段によって前記撮像手段による撮像動作及び／又は撮像した画像の画像処理の内容を設定又は確認するための情報を表示することを特徴とする請求項１、又は、３の電子カメラ。
前記表示手段は、前記撮影者が観測している被写体に所要の画像を重ねて見えるようにした眼鏡型の表示手段であることを特徴とする請求項２の電子カメラ。
前記表示手段は、前記撮像手段による撮像動作及び／又は撮像した画像の画像処理の内容を設定又は確認するための情報を表示することを特徴とする請求項５の電子カメラ。
前記撮影者の音声を検知する音声検知手段を備え、前記制御手段は、前記音声検知手段によって検知した音声に基づいて前記撮像手段による撮像動作及び／又は撮像した画像の画像処理を制御することを特徴とする請求項１乃至６のうちのいずれか１に記載の電子カメラ。
撮影者が手を所定形状にしたこと或いは所定動作させたことが前記認識手段により検出されると、前記制御手段は、シャッターレリーズを実行することを特徴とする請求項１乃至７のうちのいずれか１に記載の電子カメラ。
撮像手段と、撮影者の手の位置及び／又は形を認識する認識手段と、前記認識手段によって認識した手の位置及び／又は形に基づいて前記撮像手段による撮像動作及び／又は撮像した画像の画像処理を制御する制御手段と、を備えた電子カメラにおいて、
撮影者が手を上向き又は下向きを指し示す形状にしたことが前記認識手段により検出されると、前記制御手段は、上又は下方向へのダイヤル回動操作に対応する制御を実行することを特徴とする電子カメラ。