JPWO2006030488A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JPWO2006030488A1
JPWO2006030488A1 JP2006534972A JP2006534972A JPWO2006030488A1 JP WO2006030488 A1 JPWO2006030488 A1 JP WO2006030488A1 JP 2006534972 A JP2006534972 A JP 2006534972A JP 2006534972 A JP2006534972 A JP 2006534972A JP WO2006030488 A1 JPWO2006030488 A1 JP WO2006030488A1
Authority
JP
Japan
Prior art keywords
image
optical system
resolution
pseudo
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006534972A
Other languages
English (en)
Other versions
JP4298752B2 (ja
Inventor
正志 西條
正志 西條
清志 宮崎
清志 宮崎
研一 春木
研一 春木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2006030488A1 publication Critical patent/JPWO2006030488A1/ja
Application granted granted Critical
Publication of JP4298752B2 publication Critical patent/JP4298752B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Abstract

AFカメラ等の画像処理に関し、合焦動作中に表示される画像の変化を鮮明化した画像処理装置、画像処理方法及び画像処理プログラムを提供する。光学系(4)を通して結像させた画像を出力する撮像素子(6)と、この撮像素子に、光学系を通して得られる画像を用いて光学系を合焦位置に制御するフォーカス制御部(26)と、このフォーカス制御部による光学系の合焦動作中に、撮像素子に得られる画像より解像度の変化量を拡大した擬似画像を形成する画像処理部(8)とを備えている。

Description

本発明は、オートフォーカスカメラ等の画像処理に関し、特に、フォーカス動作が画像により視認可能な画像処理装置、画像処理方法及び画像処理プログラムに関する。
携帯電話機や携帯情報端末機(PDA:Personal Digital Assistant)等に搭載されたカメラやディジタルカメラのオートフォーカス(AF)動作では、モータでレンズ移動機構を駆動することにより、レンズ位置を物理的に移動させて合焦位置を探し、最適な合焦位置にレンズを固定させている。このような合焦動作とともに、撮像素子に結像される画像をモニター画面に表示するので、ユーザーはモニター画面から合焦動作で変化する画像の様子を視認することができる。
このような合焦状態の画像表示に関し、下記の特許文献1に開示された合焦装置では、被写体のコントラスト情報から合焦状態を認識し、プロセス処理部のアパーチャ補償回路の周波数特性を変えることにより、合焦状態に応じた映像を形成している。
また、下記の特許文献2に開示された固体撮像装置では、固体撮像素子の出力を、焦点が合った状態とぼかした状態のそれぞれを読み出し、前者で輝度信号、後者で色信号を得ることで、モアレがなく、解像度の高い画像を得ている。
また、下記の特許文献3に開示されたカメラでは、撮影時の条件から被写界深度を求め、撮像デバイスから読み出した画像信号のうちその被写界深度でカバーできない非合焦領域の画像信号に対して、画像信号のエッジ部分のレベルを低減し、撮影時のボケ具合を電子ファインダ上で表示している。
特開平5−183796号公報 特開昭62−173876号公報 特開平3−260638号公報
ところで、携帯電話機やPDA等に搭載されたカメラでは、レンズが小さく、被写界深度の深いパンフォーカスカメラが用いられる。このようなカメラでは、AF動作時、レンズが合焦位置に移動しても、パンフォーカスであるため、モニター画面上の画像変化は少なく見えてしまう。画像の変化量が少ないと、合焦達成感がなく、ユーザーは物足りなさを感じてしまう。斯かる課題は、特許文献1、2、3に開示されたものではなく、特許文献1、2、3に開示された技術的な内容を参酌しても、解決し得るものでない。
そこで、本発明は、AFカメラ等の画像処理に関し、合焦動作中に表示される画像の変化を鮮明化することを目的とする。
斯かる目的を詳細に述べれば、焦点整合に至る表示画像に演出を施すことにより、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認できるようにすることにある。
上記目的を達成するため、本発明の画像処理装置は、光学系を通して結像させた画像を出力する撮像素子と、この撮像素子に、前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する画像処理部とを備えた構成である。
斯かる構成によれば、フォーカス制御による光学系の合焦動作中に光学系を通して結合された実画像が撮像素子から出力される。そこで、画像処理部では、この実画像を受け、その解像度の変化量を拡大させた擬似画像を形成する。この擬似画像を用いれば、合焦動作開始から合焦動作完了前に現れる擬似画像の解像度の変化量が大きく、その解像度の変化により、ユーザに合焦達成感を与えることができ、臨場感や醍醐味を感じさせることができる。
上記目的を達成するためには、本発明の画像処理装置において、前記撮像素子に得られる前記画像を記憶する記憶部を備えた構成としてもよい。斯かる構成とすれば、撮像素子に得られる実画像が記憶部に格納されることになる。
上記目的を達成するため、本発明の画像処理装置は、光学系を通して結像させた画像を出力する撮像素子と、この撮像素子に前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる画像処理部とを備えた構成としてもよい。
斯かる構成とすれば、合焦動作中に得られる実画像に対し、擬似画像の解像度は、一旦低い解像度となり、その低い値から段階的又は連続的に増加し、合焦位置で撮像素子に得られる画像に到達する。この結果、合焦動作中の画像変化が鮮明化され、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認することができる。
上記目的を達成するため、本発明の画像処理方法は、光学系を通して撮像素子に結像させた画像を出力する処理と、前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する処理とを含む構成である。斯かる構成によれば、合焦動作開始から合焦動作完了前に現れる擬似画像の解像度の変化量が大きいので、ユーザに合焦達成感を与えることができ、臨場感や醍醐味を感じさせることができる。
上記目的を達成するためには、本発明の画像処理方法において、前記撮像素子に得られる前記画像を記憶部に記憶させる処理を含む構成としてもよい。斯かる構成とすれば、撮像素子に得られる実画像が記憶部に格納される。
上記目的を達成するため、本発明の画像処理方法は、光学系を通して撮像素子に結像させた画像を出力する処理と、前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成する処理と、前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる処理とを含む構成としてもよい。
斯かる構成とすれば、合焦動作中に得られる実画像に対し、擬似画像の解像度は、一旦低い解像度となり、その低い値から段階的又は連続的に増加し、合焦位置で撮像素子に得られる画像に到達させている。この結果、合焦動作中の画像の変化が鮮明化され、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認させることができる。
上記目的を達成するため、本発明の画像処理プログラムは、光学系を通して撮像素子に結像する画像を取り込むステップと、前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度変化の大きい擬似画像を形成するステップとを含み、これらのステップをコンピュータに実行させる構成である。
斯かる構成によれば、合焦動作開始から合焦動作完了前に現れる擬似画像は、解像度の変化量が大きいので、ユーザに合焦達成感を与えることができ、臨場感や醍醐味を感じさせることができる。
上記目的を達成するためには、本発明の画像処理プログラムにおいて、前記撮像素子に得られる前記画像を記憶部に記憶させるステップを含む構成としてもよい。斯かる構成により、記憶部に実画像を格納することができる。
上記目的を達成するため、本発明の画像処理プログラムは、光学系を通して撮像素子に結像する画像を取り込むステップと、前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成するステップと、前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させるステップとを含み、これらのステップをコンピュータに実行させる構成としてもよい。
斯かる構成とすれば、擬似画像の解像度は、一旦低い解像度となり、その低い値から段階的又は連続的に増加し、合焦位置で撮像素子に得られる画像に到達させている。この結果、既述の通り、合焦動作中の画像変化が鮮明化され、合焦動作開始から合焦動作完了に至る画像の変化を明瞭に視認させることができる。
本発明によれば、次のような効果が得られる。
(1) 本発明の画像処理装置、画像処理方法又は画像処理プログラムによれば、光学系の合焦動作中に撮像素子に得られる実画像に対し、解像度の変化量を拡大した擬似画像が得られるので、画像変化が鮮明化されるとともに、合焦達成感が得られ、ユーザに撮影の醍醐味を与えることができる。
(2) 本発明の画像処理装置、画像処理方法又は画像処理プログラムにおいて、撮像素子に得られる画像より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて合焦位置で撮像素子に得られる画像に到達させるように構成すれば、合焦動作の開始から合焦完了に至る画像変化を明瞭化でき、合焦達成感を高めることができる。
そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施形態を参照することにより、一層明確になるであろう。
画像処理装置を示す図である。(第1の実施形態) AF動作時の光学系の実画像及び擬似画像のMTFを示す図である。(第1の実施形態) メモリ画像及び擬似画像の変化を示す図である。(第1の実施形態) 画像処理方法及び画像処理プログラムの一例である処理手順を示す図である。(第1の実施形態) 画像処理装置の構成を示す図である。(第2の実施形態) 擬似画像処理の処理手順を示すフローチャートである。(第2の実施形態) 擬似画像の処理の一例を示す図である。(第2の実施形態) 画像処理装置の構成を示す図である。(第3の実施形態) 擬似画像の処理方法及びその擬似画像を示す図である。(第4の実施形態) 擬似画像の処理方法及びその擬似画像を示す図である。(第4の実施形態) 画像処理ユニットを示す斜視図である。(第5の実施形態) 画像処理装置が搭載された携帯電話機の開いた状態を示す図である。(第6の実施形態) 画像処理装置が搭載された携帯電話機の閉じた状態の背面部を示す図である。(第6の実施形態) 画像処理装置が搭載されたPDAを示す正面図である。(第7の実施形態) 画像処理装置が搭載されたPDAを示す背面図である。(第7の実施形態) ディジタルカメラを示す正面図である。(第8の実施形態) ディジタルカメラを示す背面図である。(第8の実施形態)
符号の説明
2 画像処理装置
4 光学系
6 撮像素子
8 画像処理部
12 記憶部
14 画像表示部
46 擬似画像処理部
34 擬似画像
第1の実施形態
本発明の第1の実施形態について、図1を参照して説明する。図1は、第1の実施形態に係る画像処理装置を示すブロック図である。
AFカメラ等の画像処理装置2は、光学系4、撮像素子6、画像処理部8、ホストCPU(Central Processing Unit )(以下「CPU」という)10、メモリ12、画像表示部14等を備え、光学系4を通して撮像素子6に結像させた画像や後述の擬似画像等を画像表示部14に表示する構成である。
光学系4は、レンズ16等を備えて被写体18からの光をレンズ16を通じて収束させ、撮像素子6の撮像面に被写体18を表す画像を結像させる。光学系4に設置されたレンズ移動機構20は画像処理部8で得られたオートフォーカス(AF)制御出力により、レンズ16を合焦位置に移動させ、その位置に固定する。
撮像素子6は、CCD(Charge Coupled device )等で構成され、光学系4を通して結像させた画像を電気信号に変換して出力する。
画像処理部8には、A/D(Analog to Digital )変換部22、DSP(Digital Signal Processor)24等が備えられている。A/D変換部22は、撮像素子6から出力されるアナログ信号からなる画像信号をディジタル信号に変換する。DSP24は、画像処理LSI(Large Scale Integration )で構成され、画像処理プログラム等の各種プログラムを格納したROM(Read-Only Memory)等を備え、撮像素子6に結像した画像を用いて擬似画像処理等の各種の信号処理を行う。この信号処理には、例えば、
(1) 撮像素子6に結像された画像の取込み、その画像表示出力及び静止画保存出力
(2) 擬似画像の形成及び出力
(3) AF制御信号の形成及び出力
等の処理が含まれる。ここで、画像表示出力は、画像表示部14に対する表示出力であって、静止画保存出力はメモリ12に記録するための画像出力である。この場合、メモリ12は、画像記憶部を構成し、画像表示部14は画像モニターである。
また、擬似画像は、光学系4の合焦動作であるAF動作中に、撮像素子6に得られる画像より解像度の変化量を拡大した画像である。より詳細に述べれば、撮像素子6に得られる画像より低い解像度の擬似画像が形成され、この擬似画像の解像度を段階的又は連続的に増加させて光学系4の合焦位置で撮像素子6に得られる画像に到達させる一連の解像度の変化量を拡大させたものである。この擬似画像は、光学系4のAF動作中に、撮像素子6に得られる画像に基づいて形成され、画像表示部14に表示させる。このような擬似画像の形成及びその出力を行うことから、DSP24は擬似画像を形成するための画像処理部を構成している。
また、AF制御信号は、レンズ移動機構20の制御出力であり、光学系4を最適な合焦位置に移動させる出力である。そこで、レンズ移動機構20とDSP24とからフォーカス制御部26が構成されており、光学系4を通して撮像素子6に結像させた画像により、最適な合焦位置に光学系4を移動させるためのAF制御信号がレンズ移動機構20に対して出力される。
制御部としてのCPU10は、シャッターボタン28を例えば、半押し状態としたとき、オートフォーカス(AF)動作が開始されて合焦位置に光学系4が制御され、全押し状態に移行させたとき、合焦位置にある光学系4を通して撮像素子6に結像している画像がメモリ12に取り込まれる。そこで、CPU10からDSP24に対し、シャッターボタン28の半押し状態によりAF命令信号が発せられ、その全押し状態への移行により画像取込命令信号が発せられる。
また、CPU10にはスピーカ等からなる発音部30が接続され、シャッターボタン28を全押し状態に移行させたとき、シャッター操作を表すシャッター音が発音部30から発せられる。
斯かる構成において、シャッターボタン28を半押し状態にすると、この半押し状態がCPU10によって検出され、この検出に基づき、AF開始信号がDSP24に伝達される。このAF開始を受け、DSP24は撮影モードに移行し、光学系4を通して結像した画像が撮像素子6から出力される。この場合、被写体18を表す画像が撮像素子6を通して得られ、その出力信号はアナログ信号であるので、A/D変換部22でディジタル信号に変換されて画像データとしてDSP24に加えられる。DSP24では、その画像データからコントラストデータが得られ、このコントラストデータによりAF制御信号がDSP24からレンズ移動機構20に加えられる。光学系4を通じて得られる画像の解像度が低い場合、その解像度によりコントラストが決定されるので、AF制御信号によりレンズ移動機構20はレンズ16を最適な合焦位置に向けて移動させ、合焦位置でレンズ16を固定する。矢印a、bは、レンズ移動機構20によるレンズ16の移動方向を示している。
DSP24では光学系4のAF動作により撮像素子6に得られる画像とは別に擬似画像が形成される。この擬似画像は、光学系4のAF動作中に、撮像素子6に得られる画像(実画像)より解像度の変化量を拡大した画像である。具体的には、撮像素子6に得られる画像(実画像)より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて光学系4の合焦位置で撮像素子6に得られる画像(実画像)に到達させる処理を行う。
そして、これら実画像及び擬似画像については、AF動作前には、撮像素子6に結像させた画像を画像表示部14に表示し、AF動作の開始とともに、擬似画像を画像表示部14に表示する。また、撮像素子6に得られる画像はメモリ12に格納される。
このように、AF動作中に、画像表示部14に擬似画像が表示され、AF動作に対応して解像度を大きく変化させると、AF動作の成り行きを画像変化として鮮明化でき、ユーザはその合焦中の画像変化を明瞭に視認することができる。
次に、撮像素子6に得られる画像及び擬似画像について、図2を参照して説明する。図2は、横軸に経過時間t、縦軸に画像解像度(MTF:Modulation Transfer Function、変調伝達関数)を取り、AF動作中の実画像及び擬似画像の解像度変化を示した図である。
図2において、Prは光学系4を通して撮像素子6に結像されてメモリ12に取り込まれる画像(実画像:メモリ画像)の解像度の推移、PmはDSP24で形成された擬似画像の解像度の推移である。
シャッターボタン28を半押し状態に移行した時点ts(合焦開始時点)からAF動作が開始され、時点tn(合焦完了時点)で光学系4が合焦位置に固定される。合焦開始時点tsから合焦完了時点tnまでの区間がフォーカス期間tfである。この期間tfにおいて、実画像の解像度PrはAF動作とともに緩やかに増加し、合焦完了時点tnの直前で解像度が僅かに低下した後、最高解像度に到達している。このように合焦完了前に解像度の僅かな低下は、最高解像度を探査するための光学系4の前後動に起因する。
これに対し、DSP24では、撮像素子6からの画像を受け、その画像の解像度を低下させた擬似画像が形成されており、この擬似画像の解像度Pmは、撮像素子6の画像が光学系4のAF動作で緩やかに増加するのに対し、大幅に低下させ、最低解像度から直線的に緩やかに増加させ、合焦位置で得られる最高解像度に到達させている。このため、AF動作における実画像の解像度変化はΔPrであるのに対し、擬似画像の解像度変化はΔPm(>ΔPr)と大きく、この変化と画質として現れる。
このような実画像及び擬似画像の解像度変化について、図3を参照して説明する。図3のA、B、C、D、Eは、図2の時間軸上の時点t1 、t2 、t3 、t4 、t5 について、メモリ画像(実画像)と画像表示部14上の擬似画像を示している。
時点t1 では、合焦開始前であるため、メモリ画像32と画像表示部14に現れる画像34とは同一画像(A1 、A2 )となる。即ち、合焦開始前には擬似画像が形成されていないため、画像表示部14には撮像素子6に結像した実画像が表示され、これはメモリ画像32であるから、画像に相違はない。
時点t2 では、AF動作中であり、メモリ画像32の解像度が合焦開始時点tsより高くなっている(B1 )。これに対し、AF動作に入ると擬似画像36が形成されて画像表示部14に表示されるが、時点t2 では、擬似画像36の解像度が最も低くなっており、文字Aを認識することができない程度の劣化画像である(B2 )。
時点t3 は、AF動作の中間点であり、メモリ画像32の解像度は合焦完了時点tnの解像度に近い値となっている(C1 )。このため、メモリ画像32の文字Aは文字として十分に認識することができる。これに対し、AF動作の中間点での擬似画像36は、最低の解像度よりは改善されているものの、解像度変化ΔPmの2分の1程度の低い値であるから、依然として文字Aを認識することができない程度の劣化画像である(C2 )。
時点t4 は、AF動作の終了間近い点であり、メモリ画像32の解像度は合焦完了時点tnの解像度に近い値となっている(D1 )。このため、メモリ画像32の文字Aは文字として確実に認識することができる。これに対し、擬似画像36では合焦途上を示す画像状態であり、時点t3 の解像度よりは改善されているものの、解像度変化ΔPmの3分の2程度の低い値であるから、文字Aとしての判読は可能であるものの、劣化画像であることに違いはない(D2 )。
そして、時点t5 は、合焦完了時点tnであり、メモリ画像32の解像度は最高値である。これに対し、擬似画像36も最高解像度であり、合焦時に撮像素子6の撮像面に結像した画像と同一である(E1 、E2 )。
このように、メモリ画像32の解像度の推移からすると、大幅な変化はなく、図3のA〜Eの画像変化から合焦達成感を得ることは困難であろう。これに対し、画像表示部14に表示された擬似画像36では、合焦開始前に画像34が現れた直後、合焦開始とともに劣化画像である擬似画像36が現れ、その解像度が時点t3 、t4 に移行するに従って段階的に増加し、合焦時点t5 では当初の画像34より遙に高い解像度に到達させており、これらの画質変化から合焦達成感が得られる。
次に、実画像及び擬似画像の画像処理方法及び画像処理プログラムについて、図4を参照して説明する。図4は、画像処理の処理手順を示すフローチャートである。
画像処理装置2を起動すると、光学系4を通して撮像素子6に結像した画像がA/D変換部22を通してDSP24から画像表示部14に出力され、画像表示部14には光学系4を通して得られる実画像が表示される(ステップS1)。この実画像の表示はAF動作の開始まで持続する。AF動作が開始されると(ステップS2)、シャッターボタン28が半押しか否かが判定され(ステップS3)、シャッターボタン28が半押し状態に移行、即ち、AF動作の開始と同時に擬似画像36の形成モードに移行する(ステップS4)。擬似画像36の処理は例えば、撮像素子6に得られた画像に解像度(MTF)を劣化させるための係数を掛け、AF動作開始時には最も低い解像度とし、AF時間の経過とともに係数を変更して解像度を上昇させることにより、実画像に近づける。これにより、既述した図3に示した擬似画像36がDSP24を通じて画像表示部14に出力され、表示される(ステップS5)。この処理はAF動作時間が経過するまで継続し(ステップS6)、AF動作時間が経過すると、擬似画像36の表示が終了し、ステップS1に復帰し、光学系4を通して撮像素子6に結像した実画像が表示される。
このようにAF動作中に解像度が大きく変化する擬似画像36が画像表示部14に表示されると、ユーザはAF動作の合焦状態を視認でき、十分な合焦達成感を感得することができる。
第2の実施形態
本発明の第2の実施形態について、図5を参照して説明する。図5は、第2の実施形態に係る画像処理装置を示すブロック図である。図5において、図1と同一部分には同一符号を付してある。
この実施形態は、第1の実施形態に係る画像処理装置2のDSP24の構成を具体的に示したものである。
このDSP24にはA/D変換部22を通してディジタル化された画像が入力され、その画像はセンサーインターフェイス(IF)38、イメージプロセス部40及びファンクションコントロール部42を経てコントラスト検出部44、擬似画像処理部46に加えられるとともに、ディジタルインターフェイス(IF)48を通してメモリ12に加えられる。センサーIF38はA/D変換部22からの画像信号を受ける入力部であり、イメージプロセス部40の画像信号のバッファを構成している。また、ファンクションコントロール部42はバスで構成されている。
コントラスト検出部44では画像のコントラストが検出され、この検出信号がオートフォーカス部50に加えられている。オートフォーカス部50はその検出信号のレベルからAF制御信号を形成し、レンズ移動機構20に出力する。このような信号処理を経て、撮像素子6に結像した画像を制御情報として、光学系4が合焦位置に制御される。このAF動作中に撮像素子6に結像した画像は、連続的にDSP24に取り込まれ、既述のようにメモリ12及び擬似画像処理部46に取り込まれる。
そして、擬似画像処理部46では、AF動作中の画像の解像度変化に応じた擬似画像が形成され、この擬似画像がディジタルIF52を通して画像表示部14に出力されて表示される。この場合、擬似画像は、AF動作中に画像表示部14に実画像に代えて表示されるものであり、擬似画像処理部46は、AF動作前及びAF動作終了後、実画像を画像表示部14に表示させる。即ち、AF動作以外のモードでは、擬似画像処理部46は実画像を伝送し、画像表示部14に実画像を表示させる構成である。
また、この実施形態のDSP24では、記録媒体であるROM(Read-Only Memory)54、RAM(Random-Access Memory)56が設置されており、ROM54には画像処理プログラム等の各種のプログラムが格納され、また、RAM56にはCPU10からの制御データ等が格納される。この場合、CPU10はCPUインターフェイス(IF)58を介してファンクションコントロール部42に接続されている。また、このDSP24にはズーム処理部60、リサイザー処理部62、ローテーター処理部64及びシャープナー処理部66等が設置され、ファンクションコントロール部42に接続されている。ズーム処理部60は取り込まれた画像の拡大及び縮小処理を行い、リサイザー処理部62では画像のサイズ変更処理を行い、例えば、100万画素で取り込んだ画像を10万画素に変更する等の処理を担当する。ローテーター処理部64は画像を回転させる処理を行い、また、シャープナー処理部66は画像の輪郭強調等の処理を行う。
次に、擬似画像処理部46の画像処理について、図6を参照して説明する。図6は、擬似画像表示等の処理手順を示すフローチャートである。
DSP24にはA/D変換部22を通してディジタル化された画像が入力され、その画像は擬似画像処理部46に加えられるとともにメモリ12に取り込まれる。この状態において、t=0の時点(ステップS11)で、AF動作がスタートすると(ステップS12)、シャッターボタン28(図1)が半押しか否かが判定され(ステップS13)、シャッターボタン28(図1)が半押し状態で維持されると、AF動作が開始される。このとき、擬似画像の形成処理モードに移行し、AF動作中、擬似画像が形成されて画像表示部14に表示され(ステップS14〜S18)、AF動作を終了すると、画像表示部14に実画像が表示される(ステップS19)。
この擬似画像の形成処理では例えば、画素配置に対して画素数の平均化処理が実行される。ここで、tを経過時間、Nを平均化する画素数、TをAF動作時間(=固定値)、Mを画面に合わせるための係数(=固定値)とすると、画素数Nを、
N= int{(T−t)×M}+1 ・・・(1)
とし、この演算式(1)を用いて画素数Nを算出する(ステップS14)。
AF動作中にこの画素数Nにより、(N×N)画素の平均化を行い(ステップS15)、この平均化により得られる擬似画像を出力させ、画像表示部14に表示する(ステップS16)。
この擬似画像の解像度は式(1)により、時間tの経過とともに推移し、時間tをインクリメントし(ステップS16)、AF動作時間の終了まで擬似画像の処理を継続させ(ステップS13〜A18)、T=tに到達したとき(ステップS18)、式(1)は、
N= int(0×M)+1=1 ・・・(2)
となり、擬似画像は自動的に実画像に移行し、この実画像が擬似画像に変わって画像表示部14に表示される(ステップS19)。
この画像処理の画素数と解像度変化の関係について、図7を参照して説明する。図7は、画素配置及び擬似画像の変化を示す図である。
画像表示部14には画素配置68として無数の画素70がマトリクス状に配置されている。そこで、式(1)から画素数Nを求めると、画素配置68には図7に示すように、画素70の整数倍の画素数(N×N)からなるモザイク72が形成されることになる。式(1)から明らかなように、画素数Nは時間tの経過とともに小さくなるから、この画素数N×Nで決定されるモザイク72の大きさも時間tの経過とともに小さくなり、モザイク72で形成されていた擬似画像は実画像に近づくことになる。即ち、AF動作時間の終了とともに、擬似画像から実画像に変移することになる。
第3の実施形態
本発明の第3の実施形態について、図8を参照して説明する。図8は、第3の実施形態に係る画像処理装置を示すブロック図である。図8において、図1と同一部分には同一符号を付してある。
第1の実施形態に係る画像処理装置2ではDSP24で擬似画像の形成処理が実行され、第2の実施形態に係る画像処理装置2ではDSP24に擬似画像処理部46を設置した構成を示したが、この実施形態では、図8に示すように、DSP24の外部に擬似画像処理部46が設置され、この擬似画像処理部46をDSP24と画像表示部14との間に介在させる構成としている。このように、擬似画像処理部46がDSP24の外部に設置されても、撮像素子6に結像された画像をDSP24を介して擬似画像処理部46に加えることにより、既述した擬似画像を表示することができる。この場合、擬似画像処理部46は、擬似画像を処理するプログラムを格納するROMやCPUを内蔵するように構成してもよい。
第4の実施形態
本発明の第4の実施形態について、図9及び図10を参照して説明する。図9及び図10は、擬似画像の処理方法及びその擬似画像を示している。
第1ないし第3の実施形態では、擬似画像について、解像度(MTF)変化を中心に説明したが、擬似画像36として例えば、図9のAに示すように、ぼかし(ガウス)画像74を形成してもよく、図9のBに示すように、ぼかし(移動)画像76を形成してもよく、図10のAに示すように、荒描き画像78を形成してもよく、図10のBに示すように、拡散画像80を形成してもよく、また、図10のCに示すように、風画像82を形成してもよい。
また、これらの画像処理について、DSP24が備えている画像調整機能を活用することにより、例えば、画像処理系統のゲイン(gain)変化、明暗輝度変化、画像の平均化又は画像圧縮、コントラスト又は輪郭強調、インターレース(間引き)等の画像処理技術を利用してもよい。ここで、コントラスト又は輪郭強調処理では、輪郭をぼかしから強調することにより画質変化を生じさせ、また、インターレース(間引き)処理では、画素の間引きによる画質変化を生じさせ、擬似画像とすることが可能である。
第5の実施形態
本発明の第5の実施形態について、図11を参照して説明する。図11は、画像処理ユニットの構成例を示している。
このカメラ機能部としての画像処理ユニット84は硬質合成樹脂等で構成された筐体部86を備えており、その前面部には光学系4が設置され、その内部にはレンズ移動機構20(図1)が設置されている。光学系4には既述の通りレンズ16が設置されており、筐体部86の内部には撮像素子6、A/D変換部22及びDSP24(図1)等が格納されている。DSP24は既述した擬似画像の処理機能を備えている。筐体部86の背面部には基板88が設置され、この基板88にはコネクタ部90が設けられている。また、基板88にはフレキシブル基板92が設置され、この先端部にもコネクタ部94が設けられている。これらコネクタ部90、94を通してCPU10、メモリ12、画像表示部14等と接続される。
このような画像処理ユニット84を用いれば、AF動作に応じた擬似画像出力をAF動作中に得ることができ、既述の通りの合焦達成感を満足させることができる。
第6の実施形態
本発明の第6の実施形態について、図12及び図13を参照して説明する。図12及び図13は、画像処理装置を搭載した携帯電話機の構成例を示し、図12は開いた状態の携帯電話機、図13は閉じた状態の携帯電話機を示している。
この携帯電話機96は第1及び第2の筐体部98、100を備え、これら筐体部98、100をヒンジ102を以て開閉可能である。筐体部98にはシャッターボタン28の他、カーソルキーやダイヤルボタン等からなる入力操作部104等が設置され、筐体部100には画像表示部14等が設置されている。また、筐体部100の背面部には、画像処理装置2が搭載され、画像処理装置2は既述の画像処理ユニット84を備えている。また、筐体部100には既述した画像処理部8が内蔵されている。
このような画像処理装置2を搭載した携帯電話機96では、シャッターボタン28の半押しによるAF動作中に既述の擬似画像が表示され、AF動作において十分な合焦達成感が得られる。
第7の実施形態
本発明の第7の実施形態について、図14及び図15を参照して説明する。図14及び図15は、画像処理装置を搭載したPDAの構成例を示し、図14は正面から見たPDA、図15は背面から見たPDAを示している。
このPDA108の筐体部110の前面部には画像表示部14とともに、シャッターボタン28の他、複数のキーからなる入力操作部112が設置され、また、筐体部110の背面部には筐体部110に内蔵された画像処理装置2の光学系4が露出している。筐体部110の内部には画像処理ユニット84が内蔵されるとともに、既述した画像処理部8が内蔵されている。
このような画像処理装置2を搭載したPDA108では、シャッターボタン28の半押しによるAF動作中に既述の擬似画像が表示され、AF動作において十分な合焦達成感が得られる。
第8の実施形態
本発明の第8の実施形態について、図16及び図17を参照して説明する。図16及び図17は、ディジタルカメラの構成例を示し、図16は正面から見たディジタルカメラ、図17は背面から見たディジタルカメラを示している。
ディジタルカメラ114の筐体部116には既述の画像処理装置2が搭載されているとともに、前面部には光学系4、上辺部にはシャッターボタン28等が搭載されている。また、この筐体部116の背面部にはファインダーである画像表示部14が設置されている。
このようなディジタルカメラ114では、シャッターボタン28の半押しによるAF動作中に既述の擬似画像が表示され、AF動作において十分な合焦達成感を得ることができる。
次に、以上説明した各実施形態について、特徴事項、利点及び変形例を列挙して説明する。
(1) 既述した画像処理装置では、AF動作において、DSP24及びソフトウェアにより故意にモニター画像をディジタル的に処理して解像度を変更し、AF動作の進行に合わせて画像のピントが段階的に合うように演出し、ピント変化により合焦達成感を高め、臨場感を演出している。
(2) 第1及び第2の実施形態では、AF動作スタート(ステップS2又はステップS12)と、シャッターボタンの半押しか否かの判断(ステップS3又はステップS13)とを独立したステップとして構成しているが、AF動作開始と、シャッターボタンの半押しの判断とを同一のステップで処理するように構成してもよい。
(3) 撮像素子6に得られる画像信号は画像表示部14と静止画保存用のメモリ12との2系統に出力しており、メモリ12には実画像を格納し、演出画像である擬似画像は記録画像に無関係である。即ち、AF動作時にシャッターボタン28を押した場合には、メモリ12のデータを撮影画像として保存するので、DSP24で故意にぼかした画像が保存されることはない。なお、擬似画像を別のメモリに格納することは可能である。
(4) AF動作中の擬似画像は、劣化度の高い画像から時間の経過とともに実画像に近付けるので、ユーザにピントが合ってきたように認識させることができる。また、AF動作終了時には、実画像を表示するので、擬似画像の痕跡は全くなく、ピントの合った実画像状態として認識できる。
(5) AF動作が進むと、段々とピントが合うように見え、ピント移動/変化の臨場感を演出することができ、ユーザの操作感を向上させることができる。
(6) 既述した画像処理装置2では、メモリ12を内蔵した構成としたが、携帯電話機、PDA、パーソナルコンピュータ等のメモリを備える機器に搭載される場合には、既設のメモリを代用する構成としてもよい。
以上述べたように、本発明の最も好ましい実施形態等について説明したが、本発明は、上記記載に限定されるものではなく、請求の範囲に記載され、又は発明を実施するための最良の形態に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
本発明の画像処理装置、画像処理方法及び画像処理プログラムは、AFカメラ等の画像処理に関し、合焦動作中の表示画像を擬似画像の解像度変化によって、合焦動作の推移を視覚的に鮮明化し、合焦達成感や撮影の醍醐味を与えることができ、有用である。

Claims (9)

  1. 光学系を通して結像させた画像を出力する撮像素子と、
    この撮像素子に、前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、
    このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する画像処理部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記撮像素子に得られる前記画像を記憶する記憶部を備えたことを特徴とする請求の範囲1記載の画像処理装置。
  3. 光学系を通して結像させた画像を出力する撮像素子と、
    この撮像素子に前記光学系を通して得られる前記画像を用いて前記光学系を合焦位置に制御するフォーカス制御部と、
    このフォーカス制御部による前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成し、この擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる画像処理部と、
    を備えたことを特徴とする画像処理装置。
  4. 光学系を通して撮像素子に結像させた画像を出力する処理と、
    前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、
    前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度の変化量を拡大した擬似画像を形成する処理と、
    を含むことを特徴とする画像処理方法。
  5. 前記撮像素子に得られる前記画像を記憶部に記憶させる処理を含むことを特徴とする請求の範囲4記載の画像処理方法。
  6. 光学系を通して撮像素子に結像させた画像を出力する処理と、
    前記撮像素子に前記光学系を通して得られる前記画像の解像度を制御情報に用いて前記光学系を合焦位置に制御する処理と、
    前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成する処理と、
    前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させる処理と、
    を含むことを特徴とする画像処理方法。
  7. 光学系を通して撮像素子に結像する画像を取り込むステップと、
    前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、
    前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より解像度変化の大きい擬似画像を形成するステップと、
    を含み、これらのステップをコンピュータに実行させることを特徴とする画像処理プログラム。
  8. 前記撮像素子に得られる前記画像を記憶部に記憶させるステップを含むことを特徴とする請求の範囲7記載の画像処理プログラム。
  9. 光学系を通して撮像素子に結像する画像を取り込むステップと、
    前記撮像素子に前記光学系を通して得られる前記画像の解像度情報を用いて前記光学系を合焦位置に制御する制御情報を形成するステップと、
    前記光学系の合焦動作中に、前記撮像素子に得られる前記画像より低い解像度の擬似画像を形成するステップと、
    前記擬似画像の解像度を段階的又は連続的に増加させて前記合焦位置で前記撮像素子に得られる画像に到達させるステップと、
    を含み、これらのステップをコンピュータに実行させることを特徴とする画像処理プログラム。
JP2006534972A 2004-09-14 2004-09-14 画像処理装置、画像処理方法及び画像処理プログラム Expired - Fee Related JP4298752B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/013365 WO2006030488A1 (ja) 2004-09-14 2004-09-14 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2006030488A1 true JPWO2006030488A1 (ja) 2008-05-08
JP4298752B2 JP4298752B2 (ja) 2009-07-22

Family

ID=36059755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006534972A Expired - Fee Related JP4298752B2 (ja) 2004-09-14 2004-09-14 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US7438230B2 (ja)
EP (1) EP1793587B8 (ja)
JP (1) JP4298752B2 (ja)
WO (1) WO2006030488A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100562406B1 (ko) * 2004-02-19 2006-03-17 삼성테크윈 주식회사 디지털 카메라의 초점 조절 방법
JP2010002847A (ja) * 2008-06-23 2010-01-07 Samsung Digital Imaging Co Ltd 撮像装置及び撮像方法
EP2574039B1 (en) 2010-05-21 2018-05-02 Panasonic Intellectual Property Corporation of America Image pickup device, image processing device, image processing method, and image processing program
JP2012023468A (ja) * 2010-07-12 2012-02-02 Ricoh Co Ltd 撮像装置
JP5299529B2 (ja) * 2011-03-29 2013-09-25 株式会社ニコン 撮像装置
CN104755981B (zh) 2012-11-14 2017-04-12 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62173876A (ja) 1986-01-28 1987-07-30 Toshiba Corp 固体撮像装置
US5383457A (en) * 1987-04-20 1995-01-24 National Fertility Institute Method and apparatus for processing images
JPH03260638A (ja) 1990-03-12 1991-11-20 Fuji Photo Optical Co Ltd 電子ファインダ付きカメラ
JP3469590B2 (ja) 1991-12-27 2003-11-25 オリンパス光学工業株式会社 合焦装置
JPH07143388A (ja) * 1993-09-20 1995-06-02 Sony Corp ビデオカメラ
US5760403A (en) * 1996-04-18 1998-06-02 Loral Fairchild Corp. High modulation transfer function CCD X-ray image sensor apparatus and method
US6388768B2 (en) * 1996-04-22 2002-05-14 Minolta Co., Ltd. Image forming apparatus which excels in reproducibility of colors, fine lines and gradations even in a copy made from a copied image
US6118474A (en) * 1996-05-10 2000-09-12 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus
US5884042A (en) * 1996-10-31 1999-03-16 Sensormatic Electronics Corporation Data identification in an intelligent video information management system
US6603514B1 (en) * 1999-01-26 2003-08-05 Mustek Systems, Inc. Focus controlling method and system by evaluating a resolution index
US7035449B2 (en) * 2001-11-16 2006-04-25 Taiwan Semiconductor Manufacturing Co., Ltd Method for applying a defect finder mark to a backend photomask making process
US7053953B2 (en) * 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
JP3530907B2 (ja) * 2002-01-31 2004-05-24 ミノルタ株式会社 デジタルカメラ
EP1478966B1 (en) * 2002-02-27 2007-11-14 CDM Optics, Incorporated Optimized image processing for wavefront coded imaging systems
US20030215791A1 (en) * 2002-05-20 2003-11-20 Applied Spectral Imaging Ltd. Method of and system for multiplexed analysis by spectral imaging
WO2004090581A2 (en) * 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems

Also Published As

Publication number Publication date
WO2006030488A1 (ja) 2006-03-23
EP1793587B1 (en) 2012-10-31
JP4298752B2 (ja) 2009-07-22
EP1793587B8 (en) 2012-12-26
US7438230B2 (en) 2008-10-21
US20070154197A1 (en) 2007-07-05
EP1793587A4 (en) 2010-10-20
EP1793587A1 (en) 2007-06-06

Similar Documents

Publication Publication Date Title
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4288612B2 (ja) 画像処理装置および方法、並びにプログラム
US9578260B2 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
KR101692401B1 (ko) 영상 처리 방법 및 장치
JP4214926B2 (ja) 電子スチルカメラ
KR101700357B1 (ko) 점프 영상 촬영 장치 및 방법
KR101643613B1 (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
US8462215B2 (en) Photographing control method and apparatus according to motion of digital photographing apparatus
JP2014168227A (ja) 画像処理装置、撮像装置、画像処理方法
KR101700366B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
KR20100039430A (ko) 화상 처리기, 화상 처리 방법, 디지털 카메라 및 촬영 장치
US7438230B2 (en) Image processing apparatus, image processing method, and image processing program
KR20110001655A (ko) 화각 미리 보기 기능을 갖는 디지털 영상 신호 처리 장치, 이의 제어 방법 및 상기 방법을 기록한 기록 매체
US9979899B2 (en) Image effect processing support apparatus, image effect processing support method, and medium for recording image effect processing support program
JP6706167B2 (ja) 撮像装置、画像合成方法、およびプログラム
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
KR101635102B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4507188B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
JP4720255B2 (ja) カメラ装置、撮影方法並びに撮影プログラム
KR101817658B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
KR101058036B1 (ko) 아웃포커스 촬영방법 및 이를 수행하는 디지털 이미지처리장치
JP2006234993A (ja) カメラ及びプログラム
KR101436838B1 (ko) 오토포커싱 정보 처리 방법 및 장치, 및 이를 이용한디지털 촬영 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Ref document number: 4298752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees