JP4472324B2 - テレビ電話装置 - Google Patents

Description

この発明は、テレビ電話装置に関し、特にたとえば、撮影手段によって撮影した動画像を表示手段に表示したり通話相手のテレビ電話装置に送信したりする、テレビ電話装置に関する。

従来のこの種のテレビ電話装置として、テレビ電話機能を備えたカメラ付き携帯電話が知られている。図１４に示すように、このような従来のカメラ付き携帯電話機(以下、単に“携帯電話機”と表記する)１００では、表示手段としてのＬＣＤ(Liquid Crystal Display)３４の相手表示部３４ａに通話相手の顔画像(通話相手動画像)が表示され、自己表示部３４ｂに自己の携帯電話機１００の撮影手段としてのＣＣＤ(Charge Coupled Device)カメラ３８によってユーザ自身を撮影した顔画像(自己動画像)が表示される。したがって、通信相手および自分の顔画像を見ながら通話することができる。

図１４に示したような携帯電話機１００は、スピーカ２６を携帯電話機１００の横方向の中心に配置する必要があるため、ＣＣＤカメラ３８は携帯電話機１００の横方向の中心ＢＣから距離Ｌだけ偏心した位置に配置されている。

通常、携帯電話機１００のユーザは、上述したテレビ電話機能を用いて通話する場合に、携帯電話機１００のＬＣＤ３４が自分の正面に位置するように配置する。すると、ＣＣＤカメラ３８が距離Ｌだけ偏心しているので、通話相手の携帯電話機のＬＣＤに表示される自己の顔画像は、画面の中心から距離Ｌに応じた距離だけ偏心したものとなってしまう。また、自己の携帯電話機１００の自己表示部３４ｂに表示される自己の顔画像も同様に、自己表示部３４ｂの中心から距離Ｌに応じた距離だけ偏心してしまう。

また、ＬＣＤ３４とＣＣＤカメラ３８とは同一面の異なる位置に設けられているので、ＬＣＤ３４の中心とＣＣＤカメラ３８の中心とは携帯電話機１００の縦方向にもずれている。したがって、自己表示部３４ｂおよび通話相手の携帯電話機のＬＣＤに表示される顔画像は縦方向にも偏心してしまう。

このように、ＬＣＤ３４の中心とＣＣＤカメラ３８の中心とが互いにずれていることに起因して顔画像が画面の中心から偏心するので、ユーザは表示画像に違和感を覚える。そしてさらに、自己の顔画像が自己表示部３４ｂの中心になるように携帯電話機１００の位置を変えたり、携帯電話機１００の角度を変えるためには携帯電話機１００を持っている手の首をねじったりしなければならないので使い勝手が悪いという問題がある。

それゆえに、この発明の主たる目的は、使い勝手のよい、テレビ電話機を提供することである。

請求項１の発明は、カメラを有し、カメラの中心に対してずれた中心を有し、かつカメラで撮影した画像に基づいて自己画像を表示する表示器を備える、撮影装置であって、カメラの中心および表示器の中心におけるずれを考慮して、カメラで撮影した画像から部分画像を抽出するための画像抽出位置を決定する決定手段、画像抽出位置に従って、カメラで撮影した第１サイズの画像から第１サイズより小さい第２サイズの部分画像を抽出する抽出手段、および第２サイズの部分画像によって表示器に自己画像を表示させる表示手段を備える、撮影装置である。

請求項１の発明では、撮影装置はカメラの中心に対してずれた中心を有する表示器を備え、カメラが画像を撮影する。決定手段は、カメラの中心および表示器の中心におけるずれを考慮して、画像から部分画像を抽出するための画像抽出位置を決定する。抽出手段が決定手段によって決定された画像抽出位置に従って、第１サイズの画像から第１サイズより小さい第２サイズの部分画像を抽出する。そして、表示手段が部分画像によって自己画像を表示器に表示させる。したがって、請求項１の発明によれば、静止画像に含まれる任意の部分を抽出した部分画像(自己画像)を表示することができる。

請求項２の発明は、画像に含まれる顔領域の中心位置を特定する特定手段、および特定手段によって特定された顔領域の中心位置に基づいて決定手段によって決定された画像抽出位置を補正する第１補正手段をさらに備える、請求項１記載の撮影装置である。

請求項２の発明では、特定手段は、画像に含まれる顔領域の中心位置を特定する。第１補正手段は、特定手段によって特定された顔領域の中心位置に基づいて決定された画像抽出位置を補正する。したがって、たとえば、画像内における顔領域の範囲が画像の中心からずれている場合などに、顔領域が部分画像の中心に位置するように画像抽出位置を補正し、顔領域が部分画像の中心となる自己画像を表示することができる。

請求項３の発明は、特定手段は、画像に１つの顔領域が含まれるとき１つの顔領域の中心を特定する第１特定手段および画像に複数の顔領域が含まれるとき複数の顔領域からなる顔領域群の中心を特定する第２特定手段を含む、請求項２記載の撮影装置である。

請求項３の発明によれば、画像内に１つの顔領域が含まれるときには１つの顔領域が部分画像の中心に位置する自己画像が得られ、画像内に複数の顔領域が含まれるときには複数の顔領域からなる顔領域群の中心が部分画像の中心に位置する自己画像が得られる。

請求項４の発明は、特定手段は、肌の色を有する領域の中心を顔領域の中心位置として特定する色特定手段をさらに含む、請求項２または３記載の撮影装置である。

請求項４の発明では、画像内に含まれる肌の色を有する領域を顔領域であるとみなし、肌の色を有する領域の中心を顔領域の中心位置として特定する。

請求項５の発明は、特定手段は、顔を構成するパーツを有する領域の中心を顔領域の中心位置として特定するパーツ特定手段をさらに含む、請求項２または３記載の撮影装置である。

請求項５の発明では、たとえば、画像についてパターン認識を行うことなどによって画像内に顔領域を構成する目，鼻，口などのパーツが存在する領域の中心を顔領域の中心位置として特定する。

請求項６の発明は、方向の指示を受け付ける受付手段、および受付手段によって受け付けられた方向に基づいて決定手段によって決定された画像抽出位置を補正する第２補正手段をさらに備える、請求項１ないし５のいずれかに記載の撮影装置である。

請求項６の発明では、受付手段がユーザによる方向の指示を受け付け、第２補正手段が受付手段によって受け付けられた方向に基づいて画像抽出位置を補正する。つまり、受付手段が、たとえば、左方向の指示を受け付けると、画像から部分画像を抽出する画像抽出位置を左に所定の量だけ移動させる。したがって、画像におけるユーザの所望の部分を自己画像として表示することができる。

請求項７の発明は、決定手段によって決定された画像抽出位置は、デフォルトの画像抽出位置であり、デフォルトの画像抽出位置が補正されたとき補正された画像抽出位置をデフォルトの画像抽出位置として保存する保存手段をさらに備える、請求項２ないし６のいずれかに記載の撮影装置である。

請求項７の発明では、決定手段によって決定され画像抽出位置はデフォルトの画像抽出位置である。保存手段は、デフォルトの画像抽出位置が補正されたとき補正された画像抽出位置をデフォルトの画像抽出位置として保存する。したがって、補正された画像抽出位置を保存し、保存された画像抽出位置に基づいて画像からの部分画像の抽出を行うことができる。

この発明によれば、表示したり通話相手のテレビ電話機に送信したりする動画像における顔画像の画像中心からのずれを修正できるので使い勝手のよいテレビ電話機が得られる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの発明の一実施例であるテレビ電話機としてのカメラ付き携帯電話機(以下、単に、“携帯電話機”と表記する)１０はＣＣＤカメラ３８を備えている。ＣＣＤカメラ３８で撮影された被写体像つまり携帯電話機１０のユーザの顔画像は通話相手の携帯電話機に送信されるとともに、自己の携帯電話機１０のＬＣＤ３４の自己表示部３４ｂに表示される。また、通話相手の携帯電話機から送信された通話相手の顔画像は相手表示部３４ａに表示される。そして、マイク３０によって拾われたユーザの音声などが通話相手の携帯電話機に送信され、通話相手の携帯電話機から送信された通話相手の音声などがスピーカ２６から出力される。これによって、携帯電話機１０のユーザは、通話相手とテレビ電話形式でコミュニケーションをとることができる。また、この携帯電話機１０では、テレビ電話機能だけでなく、動画像を撮影する機能や静止画像を撮影する機能を備えている。画像には静止画像と動画像とを含むものとする。

携帯電話機１０は、具体的には、図２に示すように構成されている。図２に示すように、携帯電話機１０は、メインＣＰＵ１４を含んでいる。メインＣＰＵ１４には、サブＣＰＵ１６，メモリ１８，無線回路２０，キーパッド２２，音声ＩＣ２４を介したスピーカ２６および音声ＩＣ２８を介したマイク３０が接続される。また、サブＣＰＵ１６には、メモリ３２，ＬＣＤ３４およびＣＣＤカメラ３８が接続される。キーパッド２２には、図１に示したように、決定ボタン２２ｄｓ，決定ボタン２２ｄｓを取り巻くように配置された十字ボタン２２ｃｓ，通話終了ボタン２２ｅｃおよびモード切換ボタン２２ｍｃが設けられている。

この携帯電話機１０は、図１に示すように、ＬＣＤ３４の中心とＣＣＤカメラ３８の中心とが互いにずれている。そのため、特別の手段を講じなければ、図１４に示したように、ＬＣＤ３４の自己表示部３４ｂや通話相手の携帯電話機のＬＣＤに表示される携帯電話機１０のユーザの顔画像は画面の中心からずれてしまう。この問題は、静止画像を撮影する場合でも同じである。

この問題を解決するために、この実施例の携帯電話機１０は、出荷前の工場において動画像および静止画像の表示態様を調整することができる。表示態様の調整は、図３に示すように、ＣＣＤカメラ３８によって撮影される元画像(静止画像)ＯＰから元画像ＯＰよりもサイズの小さい部分画像(部分静止画像)ＳＰを抽出し、抽出した部分画像ＳＰを表示画像とすることによって行われる。部分画像ＳＰは、携帯電話機１０の正面中央部分が画像の中心となるように抽出される。これによって、ＣＣＤカメラ３８の偏心に起因する画像のずれが修正され、顔画像が画面の中心に配置される。

組み立てが完了した携帯電話機１０には、工場の生産ライン上で部分画像ＳＰの中心位置ひいては抽出位置(抽出範囲)を決める初期設定処理が行われる。部分画像ＳＰの中心位置は、図４および図５に示すような方法で決定される。まず、図４に示すように、携帯電話機１０の正面にＬＣＤ３４の中心とスクリーン中央ＳＳＣとが一致するようにセッティング用スクリーンＳＳを配置する。携帯電話機１０とセッティング用スクリーンＳＳとの距離は、携帯電話機１０の平均的なユーザが自分を撮影するために携帯電話機１０を構えた際にとられる携帯電話機１０とユーザとの距離に等しくする。そして、図５に示すように、元画像ＯＰに含まれるセッティング用スクリーンＳＳの中央ＳＳＣが部分画像ＳＰの中心ＳＰＣに位置するように部分画像ＳＰの抽出位置を決定する。部分画像ＳＰの抽出位置を示す情報(位置情報)を“画像抽出位置情報”と呼ぶ。

初期設定処理は、サブＣＰＵ１６によって図７のフロー図に示す手順で実行される。携帯電話機１０の生産者がキーパッド２２によって初期設定処理を開始する操作を行うと、メインＣＰＵ１４がこれを検知して初期設定処理を開始させる命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ１においてＣＣＤカメラ３８を起動させる。そして、ステップＳ３では、ＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を受け取り、メモリ３２に書き込む。ステップＳ５では、あらかじめメモリ３２に記録されているデフォルトの画像抽出位置情報に基づいてメモリ３２に記録された元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。その結果、部分画像ＳＰがＬＣＤ３４に表示される。

ステップＳ７では、メモリ３２に記録されている元画像ＯＰに含まれるセッティング用スクリーンＳＳの中央ＳＳＣの位置を画像認識処理によって特定する。そして、ステップＳ９では、特定したセッティング用スクリーンＳＳの中央ＳＳＣが部分画像ＳＰの中心になるように画像抽出位置情報を補正し、ステップＳ１１では補正された画像抽出位置情報をデフォルトの画像抽出位置情報としてメモリ３２に記録する。ステップＳ１３では、ステップＳ９で補正されてメモリ３２に記録された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。この部分画像ＳＰにおいては、部分画像ＳＰの中心にセッティング用スクリーンＳＳの中央ＳＳＣが位置している。

画像抽出位置情報の補正が終了すると、ステップＳ１５においてＣＣＤカメラ３８を停止し、ステップＳ１７において電源をオフにして初期設定処理を終了する。

このようにして工場からの出荷前に画像の表示態様を調整することにより、携帯電話機１０のユーザはＣＣＤカメラ３８の偏心に起因する画像の表示態様のずれを気にすることなく静止画像や動画像の撮影を行うことができる。

しかし、上述の実施例で説明した表示態様の調整は、平均的なユーザが携帯電話機１０を使用すると仮定して行った調整であるので、携帯電話機１０の購入後にも各ユーザが各自の利用状態に合わせた表示態様の調整ができることが望ましい。この実施例の携帯電話機１０では、ユーザが手動で部分画像ＳＰを元画像ＯＰから抽出する位置(画像抽出位置情報)を決定することができる。

手動で部分画像ＳＰの抽出位置の決定を行う手動調整処理は、サブＣＰＵ１６によって図８のフロー図に示す手順で実行される。ユーザがキーパッド２２によって手動調整処理を開始する操作を行うと、メインＣＰＵ１４がこれを検知し、手動調整処理を開始させる命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ２１においてＣＣＤカメラ３８を起動する。ステップＳ２３では、ＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ２５では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。その結果、部分画像ＳＰがＬＣＤ３４に表示される。

ユーザは、ステップＳ２５においてＬＣＤ３８に表示された部分画像ＳＰを見ながら、十字ボタン２２ｃｓを操作して上下左右のいずれかの方向を入力する。

十字ボタン２２ｃｓが操作されると、ステップＳ２７においてその操作および上下左右の入力方向が検出される。ステップＳ２９では、検出された十字ボタン２２ｃｓの操作に応じて画像抽出位置情報を補正する。そして、ステップＳ２３に戻り、再びＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。ステップＳ２５では、補正された画像抽出位置情報に基づいてメモリ３２に記録された元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。

ユーザは、補正された画像抽出位置情報に基づいてＬＣＤ３４に表示された部分画像ＳＰを確認しながら、さらに部分画像ＳＰの抽出位置(画像抽出位置情報)を調整する。部分画像ＳＰの抽出位置の調整が終了し、たとえば、自分の顔画像が部分画像ＳＰの中心に位置するようになったら決定ボタン２２ｄｓを押圧する。

すると、ステップＳ３１において決定ボタン２２ｄｓが操作されたことを検知し、ステップＳ３５において現在の画像抽出位置情報をデフォルトとしてメモリ３２に書き込む。そして、ステップＳ３７では、ＣＣＤカメラ３８を停止して手動調整処理を終了する。

このように、この実施例の携帯電話機１０では、ユーザが手動で元画像ＯＰからの部分画像ＳＰの抽出位置を手動で調整することができる。また、携帯電話機１０では、部分画像ＳＰの抽出位置の調整をソフトウェアによって行うようにしてもよい。この場合には、ユーザが抽出位置を調整する手間が省かれる。

ソフトウェアによる調整処理は、サブＣＰＵ１６によって図９のフロー図に示す手順で実行される。ユーザがキーパッド２２によってソフトウェアによる調整処理を開始する操作を行うと、メインＣＰＵ１４がこの操作を検知し、ソフトウェアによる調整処理を開始する命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ５１においてＣＣＤカメラ３８を起動する。ステップＳ５３ではＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。ステップＳ５５では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。

ステップＳ５７では、再びＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ５９では、メモリ３２に書き込まれた元画像ＯＰに対して画像処理を行い、元画像ＯＰに含まれている人物像の顔領域の中心位置を特定する。この顔領域の中心位置を特定する画像処理の詳細については後述するが、ステップＳ５９の処理において、元画像ＯＰ内で顔領域が特定されたときには識別フラグがオン状態に設定され、顔領域が特定されないときは識別フラグがオフ状態に設定される。つまり、この実施例における識別フラグは、元画像ＯＰ内で顔領域が特定されたか否かを後の処理において識別するために使用される。

ステップＳ６１では、識別フラグがオン状態であるか否か、つまり、元画像ＯＰ内で顔領域が特定されたか否かを判断する。ステップＳ６１においてＹＥＳと判断すると、ステップＳ６３において、ステップＳ５９において特定された顔領域の中心位置に基づいて画像抽出位置情報を補正する。つまり、顔領域の中心が部分画像ＳＰの中心となるようにする。そして、ステップＳ６５では、補正された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。

一方、ステップＳ６１においてＮＯと判断すると、ステップＳ６７では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。この結果、部分画像ＳＰがＬＣＤ３４に表示される。

ステップＳ６９では、ユーザによって決定ボタン２２ｄｓが操作されたかどうかを判断する。ステップＳ６９においてＮＯと判断すると、ステップＳ５７に戻って再びＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得する。その後は、上述したように、顔領域が画像の中心になるように部分画像ＳＰを元画像ＯＰから抽出し、抽出した部分画像ＳＰをＬＣＤ３８与える。この処理を、ステップＳ６９においてＹＥＳと判断するまで、つまり、ユーザによって決定ボタン２２ｄｓが操作されるまで繰り返す。

ステップＳ６９においてＹＥＳと判断すると、次に、ステップＳ７１において識別フラグがオン状態であるか否かを判断する。ステップＳ７１においてＹＥＳと判断する場合には画像抽出位置情報が補正されているので、ステップＳ７３において、補正された画像抽出位置情報をデフォルトとしてメモリ３２に書き込む。一方、ステップＳ７１においてＮＯと判断すると、ステップＳ７３をスキップしてステップＳ７５に進む。ステップＳ７５では、ＣＣＤカメラ３８を停止してソフトウェアによる調整処理を終了する。

ステップＳ５９における画像処理には、たとえば、２通りの方法が考えられる。１つ目の方法は、元画像ＯＰに含まれる肌色領域を特定し、特定した肌色領域を人物の顔と判断して顔の中心位置(肌色領域の中心位置)を決定する方法である。２つ目の方法は、元画像ＯＰに対して画像認識を行って元画像ＯＰに含まれる人物の目，鼻，口を特定し、特定した目，鼻，口の位置から人物の顔の中心位置を決定する方法である。

１つ目の方法は、図１０のフロー図に示す手順で実行される。まず、ステップＳ８１では、識別フラグをオフ状態に設定する。次に、ステップＳ８３において、元画像ＯＰを２値化処理することによって肌の色を有する領域（肌色領域）のみが白色となるような２値化のための閾値を決定する。ステップＳ８５では、決定された閾値に基づいて元画像ＯＰを２値化する。このとき２値化されるのは元画像ＯＰの複製である。そして、ステップＳ８７では２値化画像の白色領域(元画像ＯＰの肌色領域)の特定を試みる。

ステップＳ８９では、ステップＳ８７の処理によって元画像ＯＰ内に人の顔領域と認められる肌色領域が特定されたか否かを判断する。ステップＳ８９においてＮＯと判断すると、以降の処理をスキップして図９のルーチンに戻る。一方、ステップＳ８９においてＹＥＳと判断すると、ステップＳ９１において識別フラグをオン状態に設定する。

ステップＳ９３では、特定された肌色領域(顔領域)が１箇所であるか否かを判断する。ステップＳ９３においてＹＥＳと判断すると、ステップＳ９５で、特定された肌色領域の中心位置を顔領域の中心位置として特定する。一方、ステップＳ９３においてＮＯと判断すると、ステップＳ９７で、肌色領域群(複数の人物の顔)の中心位置を顔領域の中心として特定する。そして、図９のルーチンに戻る。

このようにして、人物の顔領域の中心もしくは顔領域群の中心を特定し、顔領域の中心もしくは顔領域群の中心が部分画像ＳＰの中心となるように画像抽出位置情報を補正する。なお、撮影する人物が１人なのかそれ以上なのかをユーザがキーパッド２２によってあらかじめ指定するようにしてもよい。

２つ目の方法は、図１１のフロー図に示す手順で実行される。まず、ステップＳ１０１において識別フラグをオフ状態に設定する。ステップＳ１０３では、元画像ＯＰに含まれる人間の目のパターン認識による特定を試み、ステップＳ１０５では同じく元画像ＯＰに含まれる鼻の特定を試みる。さらに、ステップＳ１０７では元画像ＯＰに含まれる口の特定を試みる。目，鼻および口のパターン認識方法には周知の技術が適用できる。ステップＳ１０９では、ステップＳ１０３，１０５および１０７においてそれぞれ特定された(特定されていない場合もある。)目，鼻および口に基づいて、元画像ＯＰに含まれる人物の顔の領域の特定を試みる。

ステップＳ１１１では、ステップＳ１０９の処理によって、元画像ＯＰ内に顔領域が特定されたか否かを判断する。ステップＳ１１１においてＮＯと判断すると、以降の処理をスキップして図９のルーチンに戻る。一方、ステップＳ１１１においてＹＥＳと判断すると、ステップＳ１１３において、識別フラグをオン状態に設定する。

そして、ステップＳ１１５では、ステップＳ１０９で特定された顔領域が１つであるか否かを判断する。ステップＳ１１５においてＹＥＳと判断すると、ステップＳ１１７において、ステップＳ１０９で特定された顔領域の中心位置を特定する。一方、ステップＳ１１５においてＮＯと判断すると、ステップＳ１１９において、ステップＳ１０９で特定された顔領域群(複数の人物の顔)の中心位置を特定する。そして、図９のルーチンに戻る。

このようにして、画像認識処理によって元画像ＯＰに含まれる人物の顔領域の中心位置もしくは顔領域群の中心位置を特定し、顔領域の中心もしくは顔領域群の中心が部分画像ＳＰの中心になるように画像抽出位置情報を補正する。この方法においても、撮影する人物が１人であるかそれ以上であるかをユーザがあらかじめ指定するようにしてもよい。

また、上述したように、この実施例の携帯電話機１０は、テレビ電話機能を備えている。そして、このテレビ電話機能の利用時にも元画像ＯＰから部分画像ＳＰを抽出する位置を調整することができる。このテレビ電話中における調整処理では、ソフトウェアによる調整モードと手動による調整モードとを切り換えることができる。ソフトウェアによる調整モードと手動による調整モードとの切り換えは、テレビ電話中の調整処理中にモード切換ボタン２２ｍｃを操作することによって行う。

テレビ電話中の調整処理は、サブＣＰＵ１６によって図１２および図１３に示す手順で実行される。テレビ電話機能の使用中には、図１に示したように、通話相手の顔画像がＬＣＤ３４の相手表示部３４ａに表示され、自分の顔画像が自己表示部３４ｂに表示される。しかし、図１２および図１３のフロー図には、自己の顔画像の自己表示部３４ｂへの表示および自己の顔画像の通信相手への送信についてのみ記述している。

ユーザがキーパッド２２によって通話相手の電話番号を入力し、かつ、テレビ電話中の調整処理を開始する操作を行うと、メインＣＰＵ１４がこれを検知し、テレビ電話中の調整処理を開始させる命令をサブＣＰＵ１６に与える。サブＣＰＵ１６は、ステップＳ１２１において、ＣＣＤカメラ３８を起動させる。ステップＳ１２３では、ＣＣＤカメラ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ１２５では、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。この結果、部分画像ＳＰがＬＣＤ３４に表示される。

ステップＳ１２７では、ソフトウェアによる調整モードと手動による調整モードとのどちらのモードが選択されているかを記憶するためのモードフラグをオン状態に設定する。なお、モードフラグのオン状態は、ソフトウェアによる調整モードが選択されていることを示す。したがって、テレビ電話中の調整処理の開始時には、ソフトウェアによる調整モードがまず設定される。

ステップＳ１２９では、ユーザによってモード切り換えの操作が行われたか否かを判断する。ステップＳ１２９においてＹＥＳと判断すると、ステップＳ１３１において、モードフラグの設定状態を反転させる。つまり、モードフラグがオン状態に設定されているときにはオフ状態に設定し、オフ状態に設定されているときにはオン状態に設定する。ステップＳ１２９においてＮＯと判断すると、ステップＳ１３１をスキップしてステップＳ１３３に進む。

ステップＳ１３３では、ＣＣＤ３８から１フレーム分の画像(元画像ＯＰ)を取得してメモリ３２に書き込む。そして、ステップＳ１３５では、モードフラグがオン状態に設定されているか否かを判断する。ステップＳ１３５においてＹＥＳと判断すると、ソフトウェアによる調整を行うために、図１３のステップＳ１４３に進む。一方、ステップＳ１３５においてＮＯと判断すると、手動による調整を行うために、図１２のステップＳ１３７に進む。

手動による調整モードの場合には、ステップＳ１３７において、ユーザによって十字ボタン２２ｃｓが操作されたか否かを判断する。ステップＳ１３７においてＮＯと判断すると、図１３のステップＳ１５１に進み、デフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。こうして、部分画像ＳＰをＬＣＤ３４に表示させる。そして、ステップＳ１５３では、ステップＳ１５１において元画像ＯＰから抽出された部分画像ＳＰを無線回路２０に与える。これによって、部分画像ＳＰが通話相手の携帯電話機に送信される。

一方、図１２のステップＳ１３７でＹＥＳと判断すると、ステップＳ１３９では、十字ボタン２２ｃｓによって入力された上下左右の方向を特定し、特定された方向に応じて画像抽出位置情報を補正する。そして、ステップＳ１４１では、識別フラグをオン状態に設定し、図１３のステップＳ１４９に進む。

ステップＳ１４９では、補正された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。そして、ステップＳ１５３では、ステップＳ１４９において元画像ＯＰから抽出された部分画像ＳＰを無線回路２０に与える。この結果、部分画像ＳＰが通話相手の携帯電話機に送信される。以上が手動による調整モードにおける処理である。

一方、図１２のステップＳ１３５においてＹＥＳと判断されてソフトウェアによる調整処理を行う場合には、図１３のステップＳ１４３に進む。ステップＳ１４３では、図１２のステップＳ１３３においてメモリ３２に書き込んだ元画像ＯＰ内の人物の顔領域の中心位置を特定する。このステップＳ１４３における顔領域の中心位置の特定処理は、図９のフロー図のステップＳ５９の詳細として説明した図１０もしくは図１１のフロー図に示した処理と同じである。したがって、重複する説明を省略する。

ステップＳ１４５では、識別フラグがオン状態であるか否か、つまり、ステップＳ１４３の処理において元画像ＯＰ内で人物の顔領域が特定されたか否かを判断する。なお、識別フラグは、図１３のステップＳ１４３の処理における顔領域の特定の有無の識別の役割と、図１２のステップＳ１３７におけるユーザによる十字ボタン２２ｃｓの操作の有無の識別の役割とを兼ねている。顔領域の特定が行われた場合と十字ボタン２２ｃｓの操作が行われた場合とのどちらの場合も、画像抽出位置情報が補正されるという点で共通している。そのため、識別フラグは後の処理において画像抽出位置情報の補正の有無の識別に利用される。

ステップＳ１４５においてＹＥＳと判断すると、ステップＳ１４７において、ステップＳ１４３の処理で特定された元画像ＯＰ内の顔領域の中心位置に基づいて画像抽出位置情報を補正する。そして、ステップＳ１４９では、補正された画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。

一方、ステップＳ１４５においてＮＯと判断すると、ステップＳ１５１において、メモリ３２に記録されているデフォルトの画像抽出位置情報に基づいて、メモリ３２に記録されている元画像ＯＰから部分画像ＳＰを抽出して読み出し、読み出した部分画像ＳＰをＬＣＤ３４に与える。これによって、部分画像ＳＰがＬＣＤ３４に表示される。

ステップＳ１５３では、ステップＳ１４９もしくはステップＳ１５１において元画像ＯＰから抽出された部分画像ＳＰを無線回路２０に与える。これによって、部分画像ＳＰが通話相手の携帯電話機に送信される。以上が、ソフトウェアによる調整モードにおける処理である。

モード切換ボタン２２ｍｃの操作に応じて、手動による調整モードにおける処理とソフトウェアによる調整モードにおける処理とのどちらかが、ステップＳ１５５において通話終了ボタン２２ｅｃが操作されたと判断されるまで繰り返される。

ステップＳ１５５では、ユーザによって通話終了ボタン２２ｅｃが操作されたか否かを判断する。ステップＳ１５５においてＮＯと判断すると、図１２のステップＳ１２９に戻り、ユーザによってモード切換ボタン２２ｍｃが操作されたか否かを判断する。そして、上述した処理を繰り返す。

一方、図１３のステップＳ１５５においてＹＥＳと判断すると、ステップＳ１５７において、識別フラグがオン状態であるか否か、つまり、画像抽出位置情報の補正が行われたか否かを判断する。ステップＳ１５５においてＹＥＳと判断すると、ステップＳ１５９において、補正された画像抽出位置情報をデフォルトとしてメモリ３２に記録する。一方、ステップＳ１５７においてＮＯと判断すると、ステップＳ１５９をスキップしてステップＳ１６１に進む。ステップＳ１６１では、ＣＣＤカメラ３８を停止してテレビ電話中の調整処理を終了する。

以上に説明したように、この実施例の携帯電話機１０によれば、ＣＣＤカメラ３８の偏心などに起因して生じる表示画像(動画像および静止画像)における人物像の画像中心位置からのずれを手動もしくはソフトウェアによる画像処理によって修正することができる。したがって、ユーザの好みのアングルの画像を撮影したり、人物像の画像中心位置からのずれを修正する手間が省けたりするので使い勝手のよい携帯電話機１０が得られる。

なお、撮影手段としてはＣＣＤの他にＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いてもよい。

また、この実施例では、ＬＣＤ３４およびＣＣＤカメラ３８を同一面の異なる位置に設けるようにしているが、ＬＣＤ３４およびＣＣＤカメラ３８の実装位置が必ずしも同一面になくても、本発明の効果に変わりはない。

さらに、実施例で記述したサブＣＰＵ１６の機能はメインＣＰＵ１４で代行することも可能であり、その場合も本発明の効果に変わりはない。

この発明の一実施例の全体構成を示す図解図である。 この発明が適用された携帯電話機の概略構成例を示すブロック図である。 表示画像における人物位置の調整の方法を示す図解図である。 携帯電話機の初期設定の方法を示す図解図である。 携帯電話機の初期設定の方法を示す図解図である。 表示画像における人物位置の調整の方法を示す図解図である。 図１の実施例において実行される処理の手順を示すフロー図である。 図１の実施例において実行される処理の手順を示すフロー図である。 図１の実施例において実行される処理の手順を示すフロー図である。 図９のフロー図における処理の詳細を示すフロー図である。 図９のフロー図における処理の詳細を示すフロー図である。 図１の実施例において実行される処理の手順を示すフロー図である。 図１２のフロー図に続くフロー図である。 従来の携帯電話機の例を示す図解図である。

符号の説明

１０ …カメラ付き携帯電話機
１４ …メインＣＰＵ
１６ …サブＣＰＵ
１８，３２ …メモリ
２２ …キーパッド
３４ …ＬＣＤ
３８ …ＣＣＤカメラ

Claims (7)

1. カメラを有し、前記カメラの中心に対してずれた中心を有し、かつ前記カメラで撮影した画像に基づいて自己画像を表示する表示器を備える、撮影装置であって、
   前記カメラの中心および前記表示器の中心におけるずれを考慮して、前記カメラで撮影した画像から部分画像を抽出するための画像抽出位置を決定する決定手段、
   前記画像抽出位置に従って、前記カメラで撮影した第１サイズの画像から前記第１サイズより小さい第２サイズの部分画像を抽出する抽出手段、および
   前記第２サイズの部分画像によって前記表示器に前記自己画像を表示させる表示手段を備える、撮影装置。
2. 前記画像に含まれる顔領域の中心位置を特定する特定手段、および
   前記特定手段によって特定された顔領域の中心位置に基づいて前記決定手段によって決定された画像抽出位置を補正する第１補正手段をさらに備える、請求項１記載の撮影装置。
3. 前記特定手段は、前記画像に１つの顔領域が含まれるとき前記１つの顔領域の中心を特定する第１特定手段および前記画像に複数の顔領域が含まれるとき前記複数の顔領域からなる顔領域群の中心を特定する第２特定手段を含む、請求項２記載の撮影装置。
4. 前記特定手段は、肌の色を有する領域の中心を顔領域の中心位置として特定する色特定手段をさらに含む、請求項２または３記載の撮影装置。
5. 前記特定手段は、顔を構成するパーツを有する領域の中心を顔領域の中心位置として特定するパーツ特定手段をさらに含む、請求項２または３記載の撮影装置。
6. 方向の指示を受け付ける受付手段、および
   前記受付手段によって受け付けられた方向に基づいて前記決定手段によって決定された画像抽出位置を補正する第２補正手段をさらに備える、請求項１ないし５のいずれかに記載の撮影装置。
7. 前記決定手段によって決定された画像抽出位置は、デフォルトの画像抽出位置であり、
   前記デフォルトの画像抽出位置が補正されたとき補正された画像抽出位置をデフォルトの画像抽出位置として保存する保存手段をさらに備える、請求項２ないし６のいずれかに記載の撮影装置。

Images