JPWO2007077614A1 - Tv電話機能の撮影画像処理切り替え装置 - Google Patents

Tv電話機能の撮影画像処理切り替え装置 Download PDF

Info

Publication number
JPWO2007077614A1
JPWO2007077614A1 JP2007552835A JP2007552835A JPWO2007077614A1 JP WO2007077614 A1 JPWO2007077614 A1 JP WO2007077614A1 JP 2007552835 A JP2007552835 A JP 2007552835A JP 2007552835 A JP2007552835 A JP 2007552835A JP WO2007077614 A1 JPWO2007077614 A1 JP WO2007077614A1
Authority
JP
Japan
Prior art keywords
mode
handheld
camera shake
image
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007552835A
Other languages
English (en)
Other versions
JP4448177B2 (ja
Inventor
隆 植木
隆 植木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2007077614A1 publication Critical patent/JPWO2007077614A1/ja
Application granted granted Critical
Publication of JP4448177B2 publication Critical patent/JP4448177B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333Mode signalling or mode changing; Handshaking therefor
    • H04N1/33376Mode signalling or mode changing; Handshaking therefor according to characteristics or state of one of the communicating parties, e.g. available memory capacity
    • H04N1/33384Mode signalling or mode changing; Handshaking therefor according to characteristics or state of one of the communicating parties, e.g. available memory capacity according to transient characteristics or state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33314Mode signalling or mode changing; Handshaking therefor of a particular mode of reading or reproducing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

携帯端末の状態に応じて最適な機能のみを提供することにより消費電力を低減するTV電話機能の撮影画像処理切り替え装置を提供するために、携帯端末が有するカメラで撮影した撮影画像から撮影対象を含む所定の範囲を切り出す画像切り出し手段11と、手持ち状態を検出する手持ち状態検出手段12と、手持ち状態検出手段12が検出する携帯端末の状態に応じて画像切り出し手段11の有効/無効を切り替える切り替え手段13と、を少なくとも備える。

Description

本発明は、TV電話機能付き携帯端末に関し、特には携帯端末が有するカメラで撮影した撮影画像の画像処理を制御する撮影画像処理切り替え装置に関する。
近年、携帯電話等の携帯端末には多くの機能が付加されてきている。その代表的な機能に、TV電話機能がある。
TV電話機能付き携帯端末は、利用者が携帯端末を手に持って、顔の近くで対面するようにして使用することを前提にTV電話機能(例えば、カメラ等の光学系)が設計されている。
この場合、近くの顔を適切な大きさで撮影するために、画角が例えば40度以上の標準又は広角な光学系を使用したカメラが使用されている。したがって、携帯端末と顔(撮影対象)との距離を離して撮影すると、撮影画面に映る人物に対する顔の割合が小さくなってしまう場合がほとんどである。
したがって、携帯端末を手に持って使用した場合には、画面内の人物の顔が適切な割合となるが、携帯端末を机上等に置いて通話した場合には、撮影画面に映る人物に対する顔の割合が小さくなってしまい、表情の判別が困難となってしまう。
また、携帯端末のTV電話機能では、手振れによる画面の揺れをキャンセルする処理や、人物位置認識又は顔位置認識の技術を利用して認識した画面内の顔の部分を切り出して拡大したものを相手端末に送信する処理、といった画像処理が行われている。一般に、画像処理を行うためには、高い処理能力が必要とされるので電力消費も大きくなってしまう。
特許文献1は、確実に人物検出を行うとともに、人物の移動があっても見やすい画面表示を行うことによって、人物画像の適切な表示を行うテレビ会議端末の画面表示制御装置について開示されている。
特許文献2は、十分な切り出し位置精度を確保しつつ、手ぶれ補正機能の高品位化を図った撮像装置について開示されている。
特許文献3は、手揺れ等が発生した場合の映像の振れを防止する機能と、撮影アングルの不適切をユーザに認識させるために表示を対象物の撮影映像に切り替える機能と、を備える携帯情報端末装置について開示されている。
特開平10−051755号公報 特開平11−266391号公報 特開2000−156849号公報
本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、携帯端末の状態に応じて最適な機能のみを提供することにより消費電力を低減するTV電話機能の撮影画像処理切り替え装置を提供する。
上記課題を解決するために、本発明に係る撮影画像処理切り替え装置は、TV電話機能付き携帯端末において、前記携帯端末が有するカメラによって得る撮影画像における撮影対象を認識し、該認識した撮影対象を含む所定の範囲を切り出して、前記TV電話機能による通信相手に送信する画像切り出し処理を行う画像切り出し手段と、前記TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出する手持ち状態検出手段と、前記携帯端末が手持ち状態の時には、前記画像切り出し手段による画像切り出し処理を停止し、前記携帯端末が手持ち状態にない時には、前記画像切り出し手段による画像切り出し処理を実行する、切り替え手段と、を備える。
本発明によると、切り替え手段は、手持ち検出手段によって検出した携帯端末の状態が、手持ち状態の時には、画像切り出し手段による画像切り出し処理を停止し、手持ち状態にない時には、画像切り出し手段による画像切り出し処理を行う。これにより、携帯端末に画像切り出し処理が必要な場合のみ、画像切り出し処理が行われる。なお、画像切り出し手段が認識する撮影対象とは、例えば、人物の顔である。
すなわち、携帯端末の状態に応じて最適な機能のみを提供することができる。また、携帯端末の状態に応じて不要な機能は停止するので、消費電力を低減することが可能となる。
以上のように、本発明によると、携帯端末の状態に応じて最適な機能のみを提供することにより消費電力を低減するTV電話機能の撮影画像処理切り替え装置を提供することができる。
本発明の原理を示す図である。 本発明の実施例に係る撮影画像切り替え装置を実現する携帯端末の主要部の構成を示す図である。 本発明の実施例に係る携帯端末の処理を示すフローチャートである。 本発明の実施例に係る携帯端末の状態と各状態における撮影画像を説明する図である。
以下、本発明の実施形態について図1〜図4に基づいて説明する。
図1は、本発明の原理を示す図である。
図1に示す撮影画像処理切り替え装置10は、TV電話機能付き携帯端末(以下「携帯端末」という)が有するカメラで撮影することによって得た撮影画像から人物の顔を含む所定の範囲を切り出して通信相手に送信する画像切り出し手段11と、携帯端末を使用者が手に持っている状態(以下「手持ち状態」という)を検出する手持ち状態検出手段12と、手持ち状態検出手段12が検出する携帯端末の状態に応じて画像切り出し手段11の有効/無効を切り替える切り替え手段13と、を少なくとも備えている。
切り替え手段13は、手持ち状態検出手段12が検出する携帯端末の状態が手持ち状態の場合に、画像切り出し手段11の画像切り出し処理を停止させる。また、切り替え手段13は、手持ち状態検出手段12が検出する携帯端末の状態が手持ち状態でない場合に、画像切り出し手段11に画像切り出し処理を実行させる。
図1に示す撮影画像処理切り替え装置10には、更に、携帯端末の手振れを検出して撮影画像を補正する手振れ防止手段14を備えている場合を示している。
そして、切り替え手段13は、手持ち状態検出手段12が検出する携帯端末の状態が手持ち状態の場合に、手振れ防止手段14に撮影画像の手振れ補正処理を実行させる。また、切り替え手段13は、手持ち状態検出手段12が検出する携帯端末の状態が手持ち状態でない場合に、手振れ防止手段14による撮影画像の手振れ補正処理を停止させる。
図2は、本発明の実施例に係る撮影画像切り替え装置10を実現する携帯端末20の主要部の構成を示している。
図2に示す携帯端末20は、被写体を撮影するカメラ(又はCCD(Charge Coupled Devices)等の撮像素子)21と、カメラ21を駆動するドライバ22と、携帯端末20の手振れを検出する加速度センサ23と、加速度センサ23を駆動するドライバ24と、カメラ21で生成した撮影画像から人物の顔を認識する顔認識処理部25と、顔認識処理部25で認識した人物の顔を含む所定の範囲を撮影画像から切り出す顔切り出し処理部26と、手振れ量に基づいて撮影画像の手振れを補正する手振れ防止処理部27と、携帯端末20の状態に応じて撮影画像に行う画像処理(顔切り出し処理/手振れ防止処理)を切り替える切り替え制御部28と、顔切り出し処理又は手振れ補正処理後の撮影画像を所定のプロトコルにエンコードするエンコーダ29と、エンコードされた撮影画像のデータ(以下「表示画像」とい)をデコーダによってデコードして携帯端末20に表示するとともに、データ通信部31を介して通信相手に表示画像及び音声データを送信するTV電話制御部30と、通信相手に表示画像及び音声データを送信するデータ通信部31と、を少なくとも備える。
なお、図示しないが、携帯端末20はCPU(Central Processing Unit)や不揮発性/揮発性のメモリ(例えば、RAMやEEPROM)を当然に備える。
そして、CPUがメモリに格納されたプログラムの命令を実行することによって、図2に示したドライバ22、24、顔認識処理部25、顔切り出し処理部26、手振れ防止処理部27、切り替え制御部28、エンコーダ29、TV電話制御部30等を実現する。
カメラ21が生成した撮影画像は、顔認識処理部25及び手振れ防止処理部27に入力される。顔認識処理部25に撮影画像が入力されると、顔認識処理部25が、撮影画像に記録されている画像から人物の顔を認識する。そして、顔切り出し処理部26が、認識した人物の顔を含む所定の範囲(例えば、バストショットが得られる範囲)を撮影画像から抽出する。
したがって、撮影画像の全体に対して人物の顔の割合が小さい場合であっても、顔認識処理部25及び切り出し処理部26が、撮影画像を例えばバストショット画像に変換するので、撮影された人物の表情をハッキリと認識できる。
一方、手振れ防止処理部27に撮影画像が入力されると、手振れ防止処理部27は、加速度センサ23のセンサ値から手振れ量を算出して撮影画像を補正する。したがって、補正された撮影画像は、携帯端末20の手振れによって生じた被写体の像のブレが除去される。
ここで、切り替え制御部28は、加速度センサ23で得る加速度から携帯端末20の状態(手持ち状態/手持ち状態にない状態)を検出(判別)する。そして、切り替え制御部28は、携帯端末20の状態に応じて、顔認識処理部25及び顔切り出し処理部26によって行われる画像切り出し処理と、手振れ防止処理部27によって行われる手振れ防止処理と、を排他的に切り替える制御を行う。
すなわち、携帯端末20が手持ち状態にない状態の場合には、手振れ防止処理部27による手振れ防止処理を停止させて、顔認識処理部25及び顔切り出し処理部26による画像切り出し処理を開始する。そして、画像切り出し処理を施した撮影画像をエンコーダ29に出力する。
また、携帯端末20が手持ち状態の場合には、顔認識処理部25及び顔切り出し処理部26による画像切り出し処理を停止して、手振れ防止処理部27による手振れ防止処理を開始する。そして、手振れ防止処理を施した撮影画像をエンコーダ29に出力する。
エンコーダ29では、入力された撮影画像を、必要に応じてMPEG−4(Moving Picture Experts Group phase 4)や、ITU−T(International Telecommunication Union Telecommunication Standardization Sector:国際電気通信連合電気通信標準化部門)に準じたデータに変換する。
TV電話制御部30は、エンコードされたデータをデータ通信部31を介して通信相手に送信する。また、必要に応じて、デコード33に出力し図示しない携帯端末の表示部に撮影画像を表示する。
以上に説明した構成において、図1に示した画像切り出し手段11は、顔認識処理部25及び顔切り出し処理部26によって実現され、手持ち状態検出手段12と切り替え手段13は、加速度センサ23、ドライバ24及び切り替え制御部28によって実現される。また、手振れ防止手段14は、加速度センサ23、ドライバ24及び手振れ防止処理部27によって実現される。
以上に説明した携帯端末20の詳細な処理について図3及び図4を用いて説明する。図3は、本発明の実施例に係る携帯端末20の処理を示すフローチャートである。
ステップS301において、切り替え制御部28は、加速度センサ23の加速度値から携帯端末20の状態(手持ち状態か否か)を判別する。例えば、あらかじめ所定の加速度値を閾値に設定しておき、加速度センサ23で検出する加速度が閾値以下の場合に携帯端末20は手持ち状態にあると判断し、閾値以上の場合に携帯端末20は手持ち状態にないと判断する。そして、切り替え制御部28は、処理をステップS302に移行する。
ステップS302において、切り替え制御部28は、ステップS301での検出結果が手持ち状態の場合には、処理をステップS303に移行し、ステップS301での検出結果が手持ち状態にない場合には、処理をステップS305に移行する。
なお、本実施例に係る切り替え制御部28は、携帯端末20の状態を判定する時に使用する判定処理モードと、撮影画像に対する画像処理を選択する場合に使用する画像処理モードと、を有する。
判定処理モードは、携帯端末20が手持ち状態であることを示す手持ちモードと、若干携帯端末20の振れを検出するが手持ち状態であることを示す準手持ちモードと、携帯端末20が固定されていることを示す固定モードの3つのモードからなる。
また、画像処理モードは、判定処理モードの各モードから、携帯端末20が手持ち状態であると判断されたことを示す手持ちモードと、携帯端末20が手持ち状態にない(固定されている)と判断されたことを示す固定モードの2つのモードからなる。
これら判定処理モードと画像処理モードは、携帯端末20が備えるメモリ等に記憶される。そして、必要に応じてCPUが参照し、又はモードの書き込みを行う。
ステップS303において、切り替え制御部28は、判定モードを手持ちモードに切り替える。そして、処理をステップS304に移行する。ステップS304において、切り替え制御部28は、画像処理モードを手持ちモードに切り替える。
一方、ステップS305において、現在の判定処理モードが手持ちモードである場合には、切り替え制御部28は、処理をステップS306に移行し、時刻を記録するとともに、判定処理モードを準手持ちモードに移行する。
また、ステップS305において、現在の判定処理モードが手持ちモードにない場合には、切り替え制御部28は、処理をステップS307に移行する。そして、現在の判定処理モードが固定モードである場合には、切り替え制御部28は、処理をステップS308に移行し、現在の判定モードを継続する(変更しない)。
ステップS309において、切り替え制御部28は、準手持ちモードが一定時間継続しているか否かをチェックする。そして、準手持ちモードの状態が一定時間経過していない場合には、処理をステップS310に移行し、現在の判定モードを継続する(変更しない)。
また、ステップS309において、準手持ちモードの状態が一定時間を経過した場合には、切り替え制御部28は、処理をステップS311に移行し、判定モードを固定モードに変更する。そして、ステップS312において、切り替え制御部28は、画像モードを固定モードに切り替える。
以上のステップS301〜S312の処理によって画像処理モードが決定すると、切り替え制御部28は、処理をステップS313に移行する。そして、ステップS301〜S312の処理で決定した画像処理モードのチェックを行う。以下、画像処理モードに応じた処理が行われる。
ステップS313において、切り替え制御部28は、画像処理モードをチェックする。そして、画像処理モードが手持ちモードの場合には、処理をステップS314に移行する。また、画像処理モードが固定モードの場合には、処理をステップS316に移行する。
ステップS314において、手振れ防止処理部27は、加速度センサ23からセンサ値(加速度値)を取得する。そして、そのセンサ値から手振れ量を算出する。なお、本実施例に係る手振れ量は、センサ値から撮像素子(例えば、カメラ21に備わるCCD)上の縦方向と横方向への移動距離を算出し、これらの移動距離を画素数に変換した値を使用している。
手振れ量の算出が終了すると、手振れ防止処理部27は、処理をステップS315に移行する。
ステップS315において、手振れ防止処理部27は、ステップS314で算出した手振れ量に基づいて撮影画像の補正を行う。本実施例では、例えば、撮影画像の中心より手振れ量分だけ縦方向又は横方向にずらした位置を中心とした所定の範囲を切り出して、新たな撮影画像(手振れ補正された撮影画像)を生成している。なお、必要に応じて、新たな撮影画像を拡大/縮小してもよい。
一方、ステップS316において、顔認識処理部25は、撮影画像に撮影されている人物の顔を認識し、顔の位置とサイズを算出する。本実施例に係る顔認識処理は、例えば、輝度の高い部分を抽出して人物の目の位置(顔の位置)を特定した後に、目の間隔から顔のサイズを特定してもよいし、撮影画像に対して輪郭強調の処理を施した後に、あらかじめ用意した複数の顔の形状(輪郭)とそれぞれ比較をして人物の顔を特定してもよい。
顔認識処理が終了すると、顔認識処理部25は、処理をステップS317に移行する。
ステップS317において、顔切り出し処理部26は、ステップS316で特定した顔の位置からバストショットとなる画像範囲を算定し、その画像を切り出して新たな撮影画像(人物の顔が切り出された撮影画像)を生成する。なお、必要に応じて、新たな撮影画像を拡大/縮小してもよい。
以上に説明した手振れ補正処理又は画像切り出し処理が施された撮影画像は、エンコード29を介してTV電話制御部30に送信される。そして、処理がステップS318に移行する。
ステップS318において、TV電話制御部30は、ステップS314〜S315による手振れ補正処理、又はステップS316〜S317による画像切り出し処理が施された撮影画像を自画像データとして、データ通信部31を介して通信相手に送信する。
図4は、本発明の実施例に係る携帯端末20の状態と各状態における撮影画像を説明する図である。
図4には、手持ちモード時の状況(a)、その時の撮影画像(b)及び手振れ補正処理後の撮影画像(c)と、固定モード時の状況(d)、その時の撮影画像(e)及び画像切り出し処理後の撮影画像(f)と、を示している。
手持ちモード時の状況(a)は、図3で示した画像処理モードが手持ちモードの場合の状況を示している。すなわち、使用者40(又は被写体40、以下必要に応じて使用者40又は被写体40という)が携帯端末20を手で持ち、携帯端末20と自分の顔とが一定の距離を保つようにしてTV電話機能による通信を行っている状況を示している。
撮影画像(b)は、画像処理モードが手持ちモード時に撮影された撮影画像(手振れ補正処理前の撮影画像)の例を示している。この撮影画像(b)は、使用者が携帯端末20を手で持っている状態(手持ち状態)であるので、撮影画像に手振れ42(被写体40の輪郭部に示された太線)が生じている。
この撮影画像(b)は、手振れ防止処理部27によって手振れ補正処理が施されて、撮影画像(c)が得られる。この撮影画像(c)は、手振れ補正処後の撮影画像であり、エンコード29、TV電話制御部30及びデータ通信部31を介して通信相手に送られた撮影画像を示している。この撮影画像(c)は、被写体40の輪郭部に生じていた手振れ42が除去されている。
固定モード時の状況(d)は、図3で示した画像処理モードが固定モードの場合の状況を示している。すなわち、携帯端末20は机の上などに固定されて、携帯端末20と自分の顔とが一定の距離を保つようにしてTV電話機能による通信を行っている状況を示している。この時、携帯端末20と被写体40との距離は、画像処理モードが手持ちモードの時より大きくなっている。
撮影画像(e)は、画像処理モードが固定モードの時に撮影された撮影画像(画像切り出し処理前の撮影画像)の例を示している。この撮影画像(e)は、画像処理モードが手持ちモードの時(手持ち状態)に比べて携帯端末20と被写体40との距離が大きくなっているため、撮影画像全体に対する被写体40の顔の割合が小さくなっている。
この撮影画像(e)は、顔認識処理部25及び顔切り出し処理部26によって画像切り出し処理が施されて、撮影画像(f)が得られる。この撮影画像(f)は、画像切り出し処理後の撮影画像であり、エンコード29、TV電話制御部30及びデータ通信部31を介して通信相手に送られた撮影画像を示している。この撮影画像(f)は、撮影画像(e)に写された被写体40のバストショットとなっている。
以上に説明したように、本実施例に係る撮影画像処理切替え装置10は、切り替え制御部28によって加速度センサ23のセンサ値から携帯端末20の状態を検出する。
そして、携帯端末20が手持ち状態の場合には、カメラ21で撮影した撮影画像に対して手振れ防止処理部27による手振れ補正処理を開始するとともに、顔認識処理部25及び顔切り出し処理部26による画像切り出し処理を停止する。
また、携帯端末20が手持ち状態にない場合には、カメラ21で撮影した撮影画像に対して顔認識処理部25及び顔切り出し処理部26による画像切り出し処理を開始するとともに、手振れ防止処理部27による手振れ補正処理を停止する。
このように、切り替え制御部28が携帯端末20の状態に応じて必要な機能のみを実行するように制御するので、消費電力を低減することが可能となる効果を奏する。
また、手振れ補正処理や画像切り出し処理といった携帯端末20にとって高負荷となる処理を、同時に実行する必要がなくなるので、従来より処理能力の低いCPUを用いても携帯端末20の状況に応じて最適なTV電話機能を提供することが可能となる。また、処理能力の低いCPUを使用することによって、より低いコストで携帯端末20の状況に応じて最適なTV電話機能を提供することが可能となる。
また、携帯端末20の各状態に必要な画像処理のみを行うことによって余裕が生じた処理能力を手振れ補正処理に割り当てることで、手持ち状態での撮影画像の画質改善も行うことができる。
なお、本実施例に係る携帯端末20については、TV電話機能付き携帯電話の例を示したが、TV電話機能を有する他の携帯端末についても同様の効果を得ることができるのは当然である。
以上の説明において、本実施例では手持ち状態検出手段12として加速度センサ23を使用しているが、これに限定する趣旨ではない。例えば、静電容量センサや通電センサ等を使用して携帯端末20の手持ち状態を検出してもよい。

Claims (10)

  1. TV電話機能付き携帯端末において、
    前記携帯端末が有するカメラによって得る撮影画像における撮影対象を認識し、該認識した撮影対象を含む所定の範囲を切り出して、前記TV電話機能による通信相手に送信する画像切り出し処理を行う画像切り出し手段と、
    前記TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出する手持ち状態検出手段と、
    前記携帯端末が手持ち状態の時には、前記画像切り出し手段による画像切り出し処理を停止し、前記携帯端末が手持ち状態にない時には、前記画像切り出し手段による画像切り出し処理を実行する、切り替え手段と、
    を備えるTV電話機能の撮影画像処理切り替え装置。
  2. 前記携帯端末の手振れによる手振れ量を検出し、該手振れ量に応じて前記撮影画像の手振れの補正を行う手振れ防止手段を、更に備え、
    前記切り替え手段は、前記携帯端末が手持ち状態の時には、前記手振れ防止手段による手振れの補正を実行し、該携帯端末が手持ち状態にない時には、前記手振れ防止手段による手振れの補正を停止する、
    ことを特徴とする請求項1に記載のTV電話機能の撮影画像処理切り替え装置。
  3. 前記切り替え手段は、手持ちモードと準手持ちモードと固定モードの3つのモードからなる判定モードを有し、
    固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときには手持ちモードに移行するとともに、前記画像切り出し手段による画像切り出し処理を停止し、
    手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したときには準手持ちモードに移行し、
    準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないことを検出したときには固定モードに移行するとともに、前記画像切り出し手段による画像切り出し処理を実行する、
    ことを特徴とする請求項1に記載のTV電話機能の撮影画像処理切り替え装置。
  4. 前記携帯端末の手振れによる手振れ量を検出し、該手振れ量に応じて前記撮影画像の手振れの補正を行う手振れ防止手段を、更に備え、
    前記切り替え手段は、手持ちモードと準手持ちモードと固定モードの3つのモードからなる判定モードを有し、
    固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときには手持ちモードに移行するとともに、前記手振れ防止手段による手振れの補正を実行し、
    手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したときには準手持ちモードに移行し、
    準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないことを検出したときには固定モードに移行するとともに、前記手振れ防止手段による手振れの補正を停止する、
    ことを特徴とする請求項1に記載のTV電話機能の撮影画像処理切り替え装置。
  5. 前記手持ち検出手段は、加速度センサ、静電容量センサ、通電センサのいずれか1つを使用する、
    ことを特徴とする請求項1に記載のTV電話機能の撮影画像処理切り替え装置。
  6. TV電話機能付き携帯端末において、
    前記TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出し、
    前記携帯端末が手持ち状態の時には、前記携帯端末が有するカメラによって得る撮影画像における撮影対象を認識し、該認識した撮影対象を含む所定の範囲を切り出して、前記TV電話機能による通信相手に送信する画像切り出し処理を停止し、
    前記携帯端末が手持ち状態にない時には、前記画像切り出し処理を実行する、
    ことを特徴とするTV電話機能の撮影画像処理切り替え方法。
  7. 前記携帯端末が手持ち状態の時には、前記携帯端末の手振れによる手振れ量を検出し、該手振れ量に応じて前記撮影画像の手振れの補正を行う手振れ防止処理を実行し、
    前記携帯端末が手持ち状態にない時には、前記手振れ防止処理による手振れの補正を停止する、
    ことを特徴とする請求項6に記載のTV電話機能の撮影画像処理切り替え方法。
  8. 手持ちモードと準手持ちモードと固定モードの3つのモードからなる判定モードを有し、
    固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときには手持ちモードに移行するとともに、前記画像切り出し処理による画像切り出し処理を停止し、
    手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したときには準手持ちモードに移行し、
    準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないことを検出したときには固定モードに移行するとともに、前記画像切り出し処理による画像切り出し処理を実行する、
    ことを特徴とする請求項6に記載のTV電話機能の撮影画像処理切り替え方法。
  9. 手持ちモードと準手持ちモードと固定モードの3つのモードからなる判定モードを有し、
    固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときには手持ちモードに移行するとともに、前記携帯端末の手振れによる手振れ量を検出し、該手振れ量に応じて前記撮影画像の手振れの補正を行う手振れ防止処理を実行し、
    手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したときには準手持ちモードに移行し、
    準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないことを検出したときには固定モードに移行するとともに、前記手振れ防止処理による手振れの補正を停止する、
    ことを特徴とする請求項6に記載のTV電話機能の撮影画像処理切り替え方法。
  10. TV電話機能付き携帯端末であって、
    該TV電話機能に必要な画像を撮影するカメラと、
    該カメラによって得る撮影画像における撮影対象を認識し、該認識した撮影対象を含む所定の範囲を切り出して、前記TV電話機能による通信相手に送信する画像切り出し処理を行う画像切り出し手段と、
    前記TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出する手持ち状態検出手段と、
    前記携帯端末が手持ち状態の時には、前記画像切り出し手段による画像切り出し処理を停止し、前記携帯端末が手持ち状態にない時には、前記画像切り出し手段による画像切り出し処理を実行する、切り替え手段と、
    を備える携帯端末。
JP2007552835A 2005-12-28 2005-12-28 Tv電話機能の撮影画像処理切り替え装置 Expired - Fee Related JP4448177B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/024127 WO2007077614A1 (ja) 2005-12-28 2005-12-28 Tv電話機能の撮影画像処理切り替え装置

Publications (2)

Publication Number Publication Date
JPWO2007077614A1 true JPWO2007077614A1 (ja) 2009-06-04
JP4448177B2 JP4448177B2 (ja) 2010-04-07

Family

ID=38227981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007552835A Expired - Fee Related JP4448177B2 (ja) 2005-12-28 2005-12-28 Tv電話機能の撮影画像処理切り替え装置

Country Status (5)

Country Link
US (1) US8063938B2 (ja)
JP (1) JP4448177B2 (ja)
KR (1) KR101006668B1 (ja)
CN (1) CN101346990B (ja)
WO (1) WO2007077614A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7986336B2 (en) * 2006-11-27 2011-07-26 Eastman Kodak Company Image capture apparatus with indicator
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5226074B2 (ja) * 2008-08-28 2013-07-03 京セラ株式会社 通信機器
JP2010154070A (ja) * 2008-12-24 2010-07-08 Olympus Imaging Corp カメラ
JP5436975B2 (ja) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
JP2012068713A (ja) 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8683054B1 (en) * 2011-08-23 2014-03-25 Amazon Technologies, Inc. Collaboration of device resources
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
EP2909699A1 (en) * 2012-10-22 2015-08-26 VID SCALE, Inc. User presence detection in mobile devices
EP2739044B1 (en) * 2012-11-29 2015-08-12 Alcatel Lucent A video conferencing server with camera shake detection
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US9292103B2 (en) * 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
CN104580874B (zh) * 2013-10-22 2019-12-13 中兴通讯股份有限公司 一种摄像设备及其实现拍照的方法
CN105282481B (zh) * 2014-07-18 2018-08-03 鸿富锦精密工业(深圳)有限公司 视频会议处理方法及系统
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
US10917571B2 (en) 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
CN111669499B (zh) * 2020-06-12 2021-11-19 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
JP7335463B1 (ja) 2023-01-31 2023-08-29 セーフィー株式会社 携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JPH10150597A (ja) 1996-11-18 1998-06-02 Sony Corp ビデオカメラ
JPH11266391A (ja) * 1998-03-17 1999-09-28 Canon Inc 撮像装置
JP2000156849A (ja) 1998-06-29 2000-06-06 Toshiba Corp 携帯情報端末装置
US20010052928A1 (en) * 2000-05-22 2001-12-20 Kazuyuki Imagawa Image communication terminal
JP2002051316A (ja) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd 画像通信端末
US6614994B2 (en) * 2000-08-02 2003-09-02 Nikon Corporation Shake detection device, optical device, camera system, and interchangeable lens
JP2004015367A (ja) * 2002-06-06 2004-01-15 Nikon Corp 電子カメラ

Also Published As

Publication number Publication date
US8063938B2 (en) 2011-11-22
KR20080081037A (ko) 2008-09-05
CN101346990B (zh) 2011-07-27
WO2007077614A1 (ja) 2007-07-12
US20090002478A1 (en) 2009-01-01
KR101006668B1 (ko) 2011-01-10
CN101346990A (zh) 2009-01-14
JP4448177B2 (ja) 2010-04-07

Similar Documents

Publication Publication Date Title
JP4448177B2 (ja) Tv電話機能の撮影画像処理切り替え装置
JP4575443B2 (ja) 顔画像の補正
CN106575027B (zh) 摄像装置及其被摄体跟踪方法
KR101477178B1 (ko) 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
KR100469727B1 (ko) 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법
CN112219393A (zh) 便携信息终端
JP2005117661A (ja) 携帯用端末機の自動ズーミング制御装置及び方法
US20100171874A1 (en) Apparatus and method for photographing image in portable terminal
CN106664361B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
KR100689419B1 (ko) 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법
JP2008277983A (ja) テレビジョン受像機
KR20100028315A (ko) 카메라 모듈을 구비한 이동통신 단말기에서의 촬영방법 및 촬영장치
JP4958805B2 (ja) 撮像装置及びその表示制御方法
KR20080106668A (ko) 휴대단말기의 영상 촬영 방법
KR101393147B1 (ko) 이동단말기 및 그 촬영방법
JP2014045404A (ja) 携帯端末
JP2005005791A (ja) 電子カメラ
US7663676B2 (en) Image composing apparatus and method of portable terminal
JP2013190791A (ja) 携帯端末機のイメージ撮影装置及び方法
JP2013081101A (ja) 画像処理装置、撮像装置およびプログラム
JP2006238033A (ja) 電子機器
US9762891B2 (en) Terminal device, image shooting system and image shooting method
US20230328375A1 (en) Imaging apparatus, focus control method, and focus control program
KR100697627B1 (ko) 움직임 감지를 이용한 촬영 방법 및 장치
JP2005260870A (ja) デジタルカメラ及びデジタルカメラ機能付き携帯電話機並びに顔画像自動回転方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4448177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees