JP4477426B2 - 移動通信端末機の画像傾き自動補正装置及びその方法 - Google Patents

移動通信端末機の画像傾き自動補正装置及びその方法 Download PDF

Info

Publication number
JP4477426B2
JP4477426B2 JP2004171887A JP2004171887A JP4477426B2 JP 4477426 B2 JP4477426 B2 JP 4477426B2 JP 2004171887 A JP2004171887 A JP 2004171887A JP 2004171887 A JP2004171887 A JP 2004171887A JP 4477426 B2 JP4477426 B2 JP 4477426B2
Authority
JP
Japan
Prior art keywords
image
user
straight line
mobile communication
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004171887A
Other languages
English (en)
Other versions
JP2005004210A (ja
Inventor
チュン−ヒュク アン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2005004210A publication Critical patent/JP2005004210A/ja
Application granted granted Critical
Publication of JP4477426B2 publication Critical patent/JP4477426B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動通信端末機に係るもので、詳しくは、使用者の視線と移動通信端末機間の相対的な傾き(以下、‘画像傾き’という)を自動に補正する移動通信端末機の画像傾き自動補正装置及びその方法に関するものである。
最近、画像通話などを支援する次世代移動通信システムが導入されて、移動通信端末機に表示される画像の品質に対する使用者の関心が増加されている。このような使用者の関心に応じて、改善された表示部を備えた移動通信端末機が製造されることで、移動通信端末機により表示される画像の質を改善するための研究が行われているが、未だ画質が向上しただけで、使用者の基本的な不便を解消するには不十分であった。
使用者たちは、最新の移動通信端末機を利用して映画を見るか、又は自ら動映像を撮ることにより、端末機の画面を長時間見るようになった。このとき、使用者は、端末機を手に持って画面を見るが、使用者が端末機を傾けて持つか、又は首を曲げると、画像が傾くことで、画像を正しく鑑賞することが困難であった。従って、使用者は、正しく画像を見るために、端末機を継続して真っ直ぐ持つべきであるという不便があった。
既存の画像補正技術として、地磁気などの影響による傾きの自動補正方法があるが、これは、通常、電子銃によりビームを照射して表示部に画像を示す大きい家電に使用される技術であって、端末のように移動性のある機器に適用することは困難であった。なお、画像を使用者の視覚に合せて補正することは不可能であった。
又、現在常用されている回転型ホルダー携帯電話機には、端末機の折り曲げ部によって画像の上下を変換する技術が適用されたが、これは、単に画像の上下のみを変換するだけで、使用者と相対的でないため、表示部を真っ直ぐ見ることによる使用者の不便は依然として残っていた。
又、使用者の視線に画像を合せる技術として、使用者が画像傾きを直接調節する方法もあるが、この方法は、使用者が端末機を握った手を少し動くか、首を傾ける時毎に手動に調節すべきであるため、却って大きな不便を与えていた。
以上説明したように、従来の使用者と相対的に端末機の画像を制御する方法においては、手動に調節する方式のみで、端末機を自動に調節する方式は全くないため、端末機を利用して画像を見る使用者たちは、画像を正しく鑑賞するために、端末機を継続して自身の視線に合わせて真っすぐ持つべきであるという不都合な点があった。
本発明は、このような従来の課題に鑑みてなされたもので、使用者が移動通信端末機の画面を見るとき、表示部が傾くか、又は使用者の首が傾いた場合、これを端末機により自動に補正することで、表示される画像を使用者の視線に合せ得る移動通信端末機の画像傾き自動補正装置及びその方法を提供することを目的とする。
このような目的を達成するため、本発明に係る移動通信端末機の画像傾き自動補正装置は、使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に対する使用者画像情報を出力する画像入力部と、前記使用者画像情報の入力を受けて、前記使用者の視線と端末機間の角度に対する画像傾きを計算し、該画像傾きによる制御信号を出力するデータ処理部と、該データ処理部から出力される制御信号によって調節される傾きの画像を表示する表示部と、を含んで構成されることを特徴とする。
又、前記画像入力部は、移動通信端末機に内/外蔵されたカメラにより撮影された使用者画像の入力を受けるが、該入力された画像は、使用者の視線を検出するために確認される。このとき、前記画像入力部の一部であるカメラは、端末機で撮影のために使用される第1カメラに付加的に提供される第2カメラでもある。したがって、使用者が撮影のために端末機を使用するとき、使用者に見られる画像に対する画像傾きの補正も可能である。
又、前記使用者の視線は、顔、目、耳、眉毛、口及び鼻などの使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位を検出するために、SVM(support vector machine)アルゴリズムのような顔認識技術が使用される。
又、前記データ処理部は、画像入力部から使用者の視線と関連した情報を受けて、移動通信端末機に対する使用者の視線に該当する画像傾きを計算し、該計算された画像傾きを補正するための制御情報を生成して前記表示部に出力する。
又、前記画像傾きは、前記使用者の視線に該当する使用者画像情報上に任意の直線を設定し、該任意の直線と移動通信端末機の基準座標系とを比較することで計算される。このとき、前記基準座標系は、一つ以上の垂直線及び水平線を含んでいる。又、前記任意の直線は、前記使用者身体の特定部位上に設定されたもので、例えば、使用者の二つの目の間、二つの耳の間及び二つの眉毛の間を連結する直線であるか、又は使用者の口と鼻とを連結する直線である。
又、前記画像傾きを補正するために、端末機に表示される画像を調節するか否かを決定するには、一つ以上の臨界値が使用される。例えば、画像の補正が必要でない使用者と端末機間の相対的な角度の許容範囲を決定するために最大臨界値及び最低臨界値が使用され、前記画像傾きが前記許容範囲を越える場合のみに表示される画像が補正される。
又、前記データ処理部は、非揮発性メモリ及び揮発性メモリにより構成されるメモリ部と、中央制御部とから構成される。このとき、前記非揮発性メモリは、端末機内の全ての機能部の制御アルゴリズム及び画像傾き計算などのアルゴリズムを含み、前記揮発性メモリは、前記画像入力部から受けた使用者画像情報を格納して処理するのに使用される。又、前記中央制御部は、前記揮発性メモリに格納された情報を使用したアルゴリズムを行って前記画像傾きを計算し、該当の制御情報を生成する。
又、前記表示部は、前記データ処理部から制御情報を受けて、表示される画像を調節するために使用するが、該調節された画像は、前記画像傾きが補正されたもので、使用者が表示される画像を真っ直ぐ見るようにする。
且つ、本発明に係る移動通信端末機の画像傾き自動補正方法は、使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に関連した使用者画像情報を出力する過程と、移動通信端末機に対する前記使用者の視線に関連した画像傾きを計算する過程と、該計算された画像傾きに該当する制御情報を出力する過程と、前記画像傾きだけ表示される画像を補正する過程と、を行うことを特徴とする。
又、カメラにより撮影される画像としての前記入力される画像は、前記使用者の視線を検出するために確認され、該使用者の視線は、顔、目、耳、眉毛、口及び鼻のような使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位を検出するために、SVM(support vector machine)アルゴリズムのような顔認識技術が使用される。
又、前記画像傾きは、前記使用者の視線に該当する使用者画像情報上に任意の直線を設定し、該任意の直線と移動通信端末機の基準座標系とを比較することで計算される。このとき、前記基準座標系は、一つ以上の垂直線及び水平線を含んでいる。
又、前記任意の直線は、前記使用者身体の特定部位上に設定されたもので、例えば、使用者の二つの目の間、二つの耳の間及び二つの眉毛の間を連結する直線であるか、又は使用者の口と鼻とを連結する直線である。又、前記画像傾きは、基準座標系の一つ以上の直線と前記任意の直線間の相対的の傾きと、表示される画像を調節するのに使用される前記相対的な傾きの大きさとから構成される。
又、前記画像傾きを補正するために、端末機に表示される画像を調節するか否かを決定するには、一つ以上の臨界値が使用される。例えば、画像の補正が必要でない使用者と端末機間の相対的な角度の許容範囲を決定するために、最大臨界値及び最低臨界値が使用され、前記画像傾きが前記許容範囲を越える場合のみに表示される画像が補正される。
且つ、本発明に係る移動通信端末機の画像傾き自動正方法は、入力される使用者の画像から使用者の顔及び使用者の顔の特定部位を順次認識・検出し、前記使用者顔の特定部位と関連した使用者画像情報を生成する過程と、移動通信端末機に対する使用者の顔の特定部位と関連した画像傾きを計算する過程と、該計算された画像傾きに該当する制御情報を生成する過程と、最低臨界値及び最大臨界値に基づいて、前記画像傾きを補正して調節された画像を表示する過程と、を行うことを特徴とする。
又、カメラにより撮影される画像としての前記入力される画像は、前記使用者の顔を含んでいるか否かを決定し、使用者の顔を含んでいる場合、使用者の顔の特定部位を認識するために確認される。このとき、前記使用者の顔の特定部位は、顔、目、耳、眉毛、口及び鼻などであって、前記使用者の顔の特定部位を検出するために、SVM(support vector machine)アルゴリズムのような顔認識技術が使用される。
又、前記画像傾きは、前記使用者の顔の特定部位に該当する使用者画像情報上に任意の直線を設定し、該任意の直線と移動通信端末機の基準座標系とを比較することで計算される。このとき、前記基準座標系は、一つ以上の垂直線及び水平線を含んでいる。
又、前記任意の直線は、前記使用者の顔の特定部位に該当する使用者画像情報上に設定されたもので、例えば、使用者の二つの目の間、二つの耳の間及び二つの眉毛の間を連結する直線であるか、又は使用者の口と鼻とを連結する直線である。又、前記画像傾きは、基準座標系の一つ以上の直線と前記任意の直線間の相対的な傾きと、表示される画像を調節するのに使用される前記相対的な傾きの大きさと、から構成される。
又、前記画像傾きを補正するために、端末機に表示される画像を調節するか否かを決定するには、前記臨界値が使用される。一実施形態として、最大臨界値及び最低臨界値は、画像の補正が必要でない使用者と端末機間の相対的な角度の許容範囲を制限し、前記画像傾きが前記許容範囲を越える場合のみに表示される画像が補正される。
本発明に係る移動通信端末機の画像傾き自動補正装置及びその方法は、使用者と端末機(或いは画面)との傾き差だけ傾きを補正した画像を表示することで、常に使用者が画面を真っ直ぐ見なくても、自身の目と平行に見ることができるという効果がある。
また、画像だけでなく、テキストやイメージなどを見るときにも適用され、使用者が端末機の傾き程度を気にすることなく、画面が自動に使用者の視線に合わせられるので、画面情報を認識することが容易であるという効果がある。
以下、本発明の実施の形態に対し、図面に基づいて説明する。
図1は本発明に係る移動通信端末機の画像傾き自動補正装置及びその方法による移動通信端末機の画像補正状況を示した説明図である。
図1の上方の図は、使用者2が画像3を見る途中で移動通信端末機1を横に傾けた場合を示しているが、カメラ4が使用者の顔部を認識して使用者の視線5と基準線とを比較し、それら二つの直線の傾き差だけ端末機1で自動に補正する。該補正結果を下方の図に示しているが、使用者2が顔を真っすぐ上げた状態で、端末機1が右側に15°程度傾いたので、端末機1がこれをカメラ4に入力される使用者の画像により認識し、前記画像3を左側に前記傾いた角度だけ傾けて使用者の視線5に真っすぐ合せる。
図2は本発明に係る移動通信端末機の画像傾き自動補正装置を示したブロック図である。
図2に示したように、本発明に係る移動通信端末機の画像傾き自動補正装置は、使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に対する使用者画像情報を出力する画像入力部10と、前記使用者画像情報の入力を受けて前記使用者の視線と端末機間の角度に対する画像傾きを計算し、該画像傾きによる制御信号を出力するデータ処理部20と、該データ処理部20から出力される制御信号によって調節される傾きの画像を表示する表示部30と、を含んで構成されている。
又、前記画像入力部10は、移動通信端末機1に内/外蔵されたカメラ4により撮影された使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に該当する使用者画像情報をデータ処理部20に出力する。このとき、前記カメラ4は、デジタルカメラである。
又、前記データ処理部20は、前記画像入力部10から受けた使用者画像情報により前記使用者の視線と端末機間の角度に対する画像傾きを計算し、該画像傾きによって、前記表示部30により表示される画像に対する画像傾きを補正する制御信号のような制御情報を出力する。
又、前記表示部30は、使用者2のための画像3を表示するが、前記データ処理部20から出力される制御情報によって傾きを補正した画像3を表示する。
このとき、前記データ処理部20は、メモリ部40及び中央制御部50を含んで構成されるが、前記メモリ部40は、端末機1内の全ての機能部の制御アルゴリズム及び画像傾き計算などのアルゴリズムを有するEEPROM (electrically erasable programmable read−only memory)のような非揮発性メモリと、前記使用者画像情報が格納及び処理されるRAM(random access memory)のような揮発性メモリとから構成される。
又、前記中央制御部50は、画像入力部10から受けた使用者画像情報を処理し、前記メモリ部40のアルゴリズムを行って画像傾きを計算し、制御信号のような該当の制御情報を出力する。
又、前記使用者の視線5は、顔、目、耳、眉毛、口及び鼻などの使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位は、パターンマッチング方法中、SVM(Support Vector Machine)アルゴリズムのように既に公知された多様な顔認識技術の一つにより認識され、前記SVMアルゴリズムのような顔認識技術を利用すると、使用者の顔の各部位も認識される。
前記SVMアルゴリズムは、基本的に二つの範疇を有する客体を分類する方法であって、1979年、Vapnikにより発表されたが、最近、その性能が認められて脚光を浴びている方法であって、二つの範疇により構成された客体がある一つの次元の空間に位置し、ある一つのハイパープレーン(hyper−plane)により区分される場合、適切なハイパープレーンを探すことで誤分類を避けることができる。このとき、二つの範疇を区分するハイパープレーンは非常に多いが、これら中、最も適切なものを決定する方法が前記SVMアルゴリズムであって、現在研究される顔認識アルゴリズムの代表的なものである。
又、前記画像傾きは、移動通信端末機1の基準座標系と前記使用者画像情報に設定された任意の直線とを比較することで計算される。このとき、前記任意の直線は、前記使用者の視線、例えば、使用者の二つの目、二つの耳及び二つの眉毛などを連結する直線、または使用者の口と鼻とを連結する直線などを示している。又、前記基準座標系は、一つ以上の水平線及び垂直線を含んでいる。
従って、移動通信端末機1と使用者の視線5とが一致するか否かを判断することができるが、もし、移動通信端末機1と使用者の視線5とが傾いたと判断されると、その傾いた角度(画像傾き)が計算され、表示部30により表示される画像3は、前記画像傾きによって補正される。
又、前記表示部により表示される画像3の補正時期を判断するために、臨界値が使用される。例えば、前記画像傾きが最大臨界値より大きいか最低臨界値より小さい場合、前記画像傾きは許容範囲を越えるため、前記データ処理部20は、表示される画像3を補正する制御情報を出力する。然し、前記画像傾きが最大臨界値以下で最低臨界値以上である場合、前記画像傾きは許容範囲内にあるため、前記データ処理部20は、表示される画像3を補正するための制御情報を出力しない。
図3は本発明に係る移動通信端末機の画像傾き自動補正方法を示したフローチャートである。
図示されたように、本発明に係る移動通信端末機の画像傾き自動補正方法は、使用者画像の入力を受けて使用者の視線を検出し、該当する使用者画像情報を出力する過程(S1)と、該使用者画像情報の入力を受けて前記使用者の視線と移動通信端末機1間の画像傾きを計算する過程(S2)と、該計算された画像傾きによる制御情報を出力する過程(S3)と、該制御情報によって前記計算された画像傾きだけ表示される画像3を補正する過程(S4)と、を行う。
まず、端末機に内/外蔵されたカメラ4により撮影される画像として前記入力される画像を検査して前記使用者の視線を検出するが、該使用者の視線5は、顔、目、耳、眉毛、口及び鼻などの使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位の検出には、SVMアルゴリズムのような顔認識技術が使用される。
次いで、前記画像傾きは、前記使用者画像情報に設定された任意の直線と移動通信端末機1の基準座標系とを比較することで計算される。このとき、前記任意の直線は、使用者の二つの目、二つの耳及び二つの眉毛間を連結する直線、または使用者の口と鼻とを連結する直線などの使用者の視線を示し、前記基準座標系は、一つ以上の垂直線や水平線を含んでいる。
次いで、前記計算された画像傾きによって制御情報が生成されるが、該制御情報は、前記画像傾きと同じ角度だけ画像を回転すると共に、前記画像傾きによって表示される画像3を補正するために使用される。
次いで、前記表示部により表示される画像3の補正時期を判断するために、臨界値が使用される。例えば、前記画像傾きが最大臨界値より大きいか最低臨界値より小さい場合、前記画像傾きは許容範囲を越えるため、前記表示される画像3を補正するための制御情報が出力される。然し、前記画像傾きが最大臨界値以下で最低臨界値以上である場合、前記画像傾きは許容範囲内にあるため、前記表示される画像3を補正するための制御情報は出力されない。
図4は本発明に係る移動通信端末機の画像傾き自動補正方法の一実施形態を示したフローチャートである。
図示されたように、まず、移動通信端末機1に内/外蔵されたカメラ4により使用者の画像が入力される(S10)。次いで、前記画像に顔領域があるか否かを確認する(S20)。該確認結果、撮影された画像に顔領域がないと、最初の画像の撮影段階(S10)に復帰し、撮影された画像に顔領域があると、該顔領域に対する制御情報を生成する(S30)。その後、前記撮影された画像から使用者の視線と関連した使用者の顔の特定部位が存在するかを確認する(S40)。該確認結果、使用者の視線と関連した使用者の顔の特定部位が存在しないと、最初の画像の撮影段階(S10)に復帰し、前記撮影された画像に使用者の視線と関連した使用者の顔の特定部位が存在すると、撮影された画像から顔の特定部位に対する使用者画像情報を生成する(S50)。その後、前記使用者画像情報に任意の直線を設定する(例えば、画像上に任意の直線をひく)(S60)。このとき、前記使用者の視線5を示すために、使用者の二つの目、二つの眉毛及び二つの耳を連結する直線だけでなく、使用者の鼻柱を通る垂直線も使用される。
次いで、前記設定された直線と端末機1のメモリ部に格納された基準線との角度差を計算することで画像傾きを計算する(S70)。このとき、前記基準線は、端末機1の基準座標系に含まれ、該基準座標系は、一つ以上の垂直線及び水平線を含んでいる。
その後、表示される画像の補正が必要であるかを判断するために、前記画像傾きと既に設定された最大臨界値及び最低臨界値とを比較する(S80)。このとき、前記最大臨界値及び最低臨界値は、表示される画像3が傾いた場合、補正可能な許容範囲を示している。
次いで、前記画像傾きが最大臨界値より大きいか最低臨界値より小さいと、表示される画像3は、前記画像傾きと同じ角度だけ回転されて補正される(S90)。然し、前記画像傾きが最大臨界値以下で、最低臨界値以上であると、端末機1は、使用者の視線5と端末機1間の傾き差がほとんどないと判断して、表示される画像3を補正しない。
例えば、最大臨界値が5°、最低臨界値が−5°である場合、前記二つの目を連結する直線と端末機に格納された基準水平線とのなす角度である画像傾きが−15°であると、該−15°は最低臨界値の−5°より小さいので、端末機1と使用者の視線5とが傾いたと判断し、表示される画像3を+15°だけ傾けて補正する。 一方、前記二つの目を連結する直線と端末に格納された基準水平線とのなす角度である画像傾きが3°であると、該3°は、最大臨界値以下で最低臨界値以上であるため、端末機1に対する使用者の視線5がほぼ真っ直ぐであると判断して、表示される画像3の傾きを補正しない。
なお、本発明は、図面に示された実施形態に基づいて説明したが、これは例示的なものに過ぎなく、本技術分野の通常の知識を有する者であれば、これにより多様な変形及び均等な他の実施形態が可能であるという点を理解するはずである。従って、本発明の真の技術的保護範囲は、添付された特許請求の範囲の技術的思想により決定されるべきである。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明に係る移動通信端末機の画像傾き自動補正装置及びその方法による移動通信端末機の画像補正状況を示した説明図である。 本発明に係る移動通信端末機の画像傾き自動補正装置を示したブロック図である。 本発明に係る移動通信端末機の画像傾き自動補正方法を示したフローチャートである。 本発明に係る移動通信端末機の画像傾き自動補正方法の一実施形態を示したフローチャートである。
符号の説明
1:移動通信端末機
2:使用者
3:画像
4:カメラ
5:使用者の視線
10:画像入力部
20:データ処理部
30:表示部
40:メモリ部
50:中央制御部

Claims (29)

  1. 移動通信端末機のディスプレイの画像傾きを自動的に補正する装置であって、
    前記装置は、
    使用者の画像を受信し、(i)前記使用者の両目間の直線、または両眉毛間の直線、および(ii)前記使用者の口と鼻との間の直線のうちの少なくとも1つの直線を決定し、前記直線に対応する前記使用者の顔の一部を示す使用者画像情報を生成するように適合された画像入力部と、
    前記画像入力部から前記使用者画像情報を受信し、前記直線と前記移動通信端末機に格納された基準直線との間の画像傾きを計算し、前記画像傾きに対応する制御情報を生成し、前記画像傾きと、最低臨界値および最大臨界値とを比較することにより、視覚可能画像が調節されるか否かを決定するように適合されたデータ処理部と、
    前記画像傾きが前記最大臨界値より大きいか前記最低臨界値より小さい場合、前記制御情報に基づいて前記画像傾きの分だけ傾きが調節された視覚可能画像を表示するように適合された表示部と
    を備える、装置。
  2. 前記画像入力部は、
    前記移動通信端末機に内/外蔵されたカメラから前記使用者の画像を受信するように適合されている、請求項1に記載の装置。
  3. 前記カメラは、
    デジタルカメラである、請求項2に記載の装置。
  4. 前記データ処理部は、
    前記画像入力部からの使用者画像情報を格納するように適合された揮発性メモリと、前記移動通信端末機の全ての機能部を制御するためのアルゴリズムと前記画像傾きを計算するためのアルゴリズムとを有する非揮発性メモリとを有するメモリ部と、
    前記メモリ部に格納されたアルゴリズムを実行することにより、前記メモリ部に格納された使用者画像情報を使用して前記画像傾きを計算し、対応する制御情報を生成するように適合された中央制御部と
    をさらに含む、請求項1に記載の装置。
  5. 前記画像入力部は、
    顔認識技術を実行することにより、前記直線に対応する前記使用者の顔の一部を認識するようにさらに適合されている、請求項1に記載の装置。
  6. 前記顔認識技術は、
    SVM(support vector machine)アルゴリズムである、請求項5に記載の装置。
  7. 前記データ処理部は、
    前記移動通信端末機の基準座標系と前記直線とを比較するようにさらに適合されている、請求項1に記載の装置。
  8. 前記基準座標系は、
    水平線と垂直線とのうちの少なくとも1つを含む、請求項7に記載の装置。
  9. 前記直線は、
    水平な直線と垂直な直線とのうちの1つである、請求項7に記載の装置。
  10. 前記制御情報は、
    制御信号を含む、請求項1に記載の装置。
  11. 移動通信端末機のディスプレイの画像傾きを自動的に補正する方法であって、
    前記方法は、
    キャプチャされた使用者の画像から、(i)使用者の両目間の直線または両眉毛間の直線、および(ii)前記使用者の口と鼻との間の直線のうちの少なくとも1つの直線を決定し、前記直線に対応する前記使用者の顔の一部を示す使用者画像情報を生成するステップと、
    前記使用者画像情報を使用して、前記直線と前記移動通信端末機に格納された基準直線との間の画像傾きを計算するステップと、
    前記画像傾きに対応する制御情報を生成するステップと、
    前記制御情報に基づいて前記画像傾きの分だけ傾きが調節された視覚可能画像を表示するステップと
    を含み、
    前記画像傾きが最大臨界値より大きいか最低臨界値より小さい場合、表示される前記視覚可能画像は、前記制御情報に基づいて前記画像傾きの分だけ傾きが調節される、方法。
  12. 前記キャプチャされた使用者の画像は、
    前記移動通信端末機に内/外蔵されたカメラから受信される、請求項11に記載の方法。
  13. 前記直線を決定するステップは、前記キャプチャされた使用者の画像内の前記使用者の顔の一部を認識するステップをさらに含み、前記使用者の顔の一部は前記直線に対応する、請求項11に記載の方法。
  14. 前記使用者の顔の一部は、(i)前記使用者の目または眉毛、および(ii)前記使用者の口および鼻のうちの1つである、請求項13に記載の方法。
  15. 前記使用者の顔の一部を認識するステップは、
    顔認識技術を実行することを含む、請求項13に記載の方法。
  16. 前記顔認識技術は、
    SVM(support vector machine)アルゴリズムを含む、請求項15に記載の方法。
  17. 前記画像傾きを計算するステップは、
    前記直線と前記移動通信端末機の基準座標系とを比較することを含む、請求項15に記載の方法。
  18. 前記直線は、
    水平な直線と垂直な直線とのうちの1つである、請求項17に記載の方法。
  19. 前記基準座標系は、
    水平基準線と垂直基準線とのうちの少なくとも1つを含む、請求項17に記載の方法。
  20. 前記表示される視覚可能画像は、
    前記画像傾きと同じ角度だけ調節される、請求項11に記載の方法。
  21. 前記画像傾きが最大臨界値以下かつ最低臨界値以上である場合、表示される前記視覚可能画像が調節されない、請求項11に記載の方法。
  22. 移動通信端末機のディスプレイの画像傾きを自動的に補正する方法であって、
    前記方法は、
    前記移動通信端末機の使用者の画像をキャプチャするステップと、
    前記キャプチャされた画像が前記使用者の顔を含むか否かを決定するステップと、
    前記キャプチャされた画像において、(i)前記使用者の両目間の直線または両眉毛間の直線、および(ii)前記使用者の口と鼻との間の直線のうちの少なくとも1つの直線に関連する前記使用者の顔の一部を認識するステップと、
    前記直線に関連する前記使用者の顔の一部を示す使用者画像情報を生成するステップと、
    前記直線と前記移動通信端末機に格納された基準直線との間の画像傾きを計算するステップと、
    前記計算された画像傾きと、最大臨界値および最低臨界値とを比較するステップと、
    視覚可能画像を前記移動通信端末機のディスプレイに表示するステップであって、前記画像傾きが前記最大臨界値より大きいか前記最低臨界値より小さい場合、表示される画像は前記画像傾きの分だけ傾きが調節され、前記画像傾きが前記最大臨界値以下かつ前記最低臨界値以上である場合、表示される画像が調節されない、ステップと
    を含む、方法。
  23. 前記画像は、
    前記移動通信端末機に内/外蔵されたカメラによってキャプチャされる、請求項22に記載の方法。
  24. 前記直線は、
    水平な直線と垂直な直線とのうちの1つである、請求項22に記載の方法。
  25. 前記使用者の顔の一部を認識するステップは、
    顔認識技術を実行することを含む、請求項22に記載の方法。
  26. 前記顔認識技術は、
    SVM(support vector machine)アルゴリズムを含む、請求項25に記載の方法。
  27. 前記画像傾きを計算するステップは、
    前記直線と前記移動通信端末機の基準座標系とを比較することを含む、請求項22に記載の方法。
  28. 前記基準座標系は、
    水平基準線と垂直基準線とのうちの少なくとも1つを含む、請求項27に記載の方法。
  29. 前記表示される視覚可能画像は、
    前記画像傾きと同じ角度だけ調節される、請求項22に記載の方法。
JP2004171887A 2003-06-14 2004-06-09 移動通信端末機の画像傾き自動補正装置及びその方法 Expired - Fee Related JP4477426B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030038547A KR100556856B1 (ko) 2003-06-14 2003-06-14 이동통신 단말기에서 화면 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2005004210A JP2005004210A (ja) 2005-01-06
JP4477426B2 true JP4477426B2 (ja) 2010-06-09

Family

ID=33487925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004171887A Expired - Fee Related JP4477426B2 (ja) 2003-06-14 2004-06-09 移動通信端末機の画像傾き自動補正装置及びその方法

Country Status (5)

Country Link
US (1) US7692668B2 (ja)
EP (1) EP1501019A3 (ja)
JP (1) JP4477426B2 (ja)
KR (1) KR100556856B1 (ja)
CN (1) CN100433789C (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774479B1 (ko) * 2004-07-06 2007-11-08 엘지전자 주식회사 휴대단말기의 영상신호 기울기 보정장치 및 방법
KR100756129B1 (ko) * 2005-06-28 2007-09-05 주식회사 팬택앤큐리텔 디스플레이영역 변화에 따른 유동적 디스플레이 장치 및방법
KR100630154B1 (ko) * 2005-08-31 2006-10-02 삼성전자주식회사 지자기 센서를 이용하여 기울어짐 정도에 따라디스플레이를 제어하는 방법 및 그 이동 단말기
EP1768387B1 (en) 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
KR100818989B1 (ko) * 2005-09-22 2008-04-04 삼성전자주식회사 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작방법
WO2007069116A2 (en) * 2005-12-12 2007-06-21 Koninklijke Philips Electronics N.V. A device incorporating a display
SE530384C2 (sv) * 2006-02-17 2008-05-20 Totalfoersvarets Forskningsins Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost
US7724296B2 (en) * 2006-06-21 2010-05-25 Sony Ericsson Mobile Communications Ab Device and method for adjusting image orientation
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
KR100901862B1 (ko) * 2007-07-09 2009-06-09 (주)케이티에프테크놀로지스 단말기 자세 측정 방법 및 장치
EP2073092B1 (en) * 2007-11-30 2010-05-26 Telefonaktiebolaget L M Ericsson (publ) Portable electronic apparatus having more than one display area, and method of controlling a user interface thereof
KR101404751B1 (ko) * 2007-12-26 2014-06-12 엘지전자 주식회사 이동 단말기 및 그의 사용자 인터페이스 메뉴 제어 방법
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
WO2009147419A1 (en) * 2008-06-04 2009-12-10 Bae Systems Plc Vehicle system, ground vehicle and base unit
EP2131268A1 (en) * 2008-06-04 2009-12-09 BAE Systems PLC Vehicle System, Ground Vehicle and Base Unit
KR20100070060A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 촬상 장치, 촬상 방법 및 프로그램
CN102005200A (zh) * 2009-08-28 2011-04-06 英华达(上海)电子有限公司 用于调整显示方向的系统、装置和方法
US8463074B2 (en) * 2009-11-11 2013-06-11 General Dynamics Advanced Information Systems System and method for rotating images
CN101794193A (zh) * 2010-02-23 2010-08-04 华为终端有限公司 画面控制方法及电子设备
CN102770904B (zh) 2010-02-25 2015-04-08 富士通株式会社 移动终端及其动作间隔设定方法
JP5440334B2 (ja) * 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
KR101694820B1 (ko) * 2010-05-07 2017-01-23 삼성전자주식회사 사용자 위치 인식 방법 및 장치
US8593558B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
EP2656612A1 (en) * 2010-12-20 2013-10-30 Sony Ericsson Mobile Communications AB Determining device movement and orientation for three dimensional view
US9229527B2 (en) 2011-02-09 2016-01-05 Nec Corporation Image display device, image display method, and program
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
EP2500816B1 (en) * 2011-03-13 2018-05-16 LG Electronics Inc. Transparent display apparatus and method for operating the same
US9812074B2 (en) 2011-03-18 2017-11-07 Blackberry Limited System and method for foldable display
US9117384B2 (en) 2011-03-18 2015-08-25 Blackberry Limited System and method for bendable display
WO2012137327A1 (ja) * 2011-04-06 2012-10-11 船井電機株式会社 携帯情報表示端末
JP2012235348A (ja) * 2011-05-02 2012-11-29 Funai Electric Co Ltd 立体画像鑑賞システム
KR101818573B1 (ko) 2011-07-07 2018-01-15 삼성전자 주식회사 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
US8665236B2 (en) 2011-09-26 2014-03-04 Apple Inc. Electronic device with wrap around display
KR101371547B1 (ko) * 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
US9081798B1 (en) * 2012-03-26 2015-07-14 Amazon Technologies, Inc. Cloud-based photo management
CN103838255A (zh) * 2012-11-27 2014-06-04 英业达科技有限公司 显示装置的视线角度调整系统及其方法
CN104240679B (zh) * 2013-06-19 2017-05-24 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
US10228766B2 (en) 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
CN105844202A (zh) * 2015-01-12 2016-08-10 芋头科技(杭州)有限公司 一种影像识别系统及方法
US9940696B2 (en) * 2016-03-24 2018-04-10 GM Global Technology Operations LLC Dynamic image adjustment to enhance off- axis viewing in a display assembly
WO2017173583A1 (zh) * 2016-04-05 2017-10-12 华为技术有限公司 一种终端显示防抖方法及装置
JP7067353B2 (ja) * 2018-08-09 2022-05-16 トヨタ自動車株式会社 運転者情報判定装置
CN117373402B (zh) * 2023-12-08 2024-02-20 深圳市华远显示器件有限公司 一种控制液晶显示屏显示方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US6072443A (en) * 1996-03-29 2000-06-06 Texas Instruments Incorporated Adaptive ocular projection display
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
CN1217255C (zh) * 1999-12-28 2005-08-31 索尼株式会社 带显示功能的电子设备
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US20030093503A1 (en) * 2001-09-05 2003-05-15 Olympus Optical Co., Ltd. System for controling medical instruments
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP3822482B2 (ja) * 2001-10-31 2006-09-20 株式会社東芝 顔向き計算方法及びその装置
US7714880B2 (en) 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
JP3864776B2 (ja) 2001-12-14 2007-01-10 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
US6917368B2 (en) * 2003-03-04 2005-07-12 Clairvoyante, Inc. Sub-pixel rendering system and method for improved display viewing angles
JP3791848B2 (ja) * 2003-10-28 2006-06-28 松下電器産業株式会社 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム
JP2005266061A (ja) 2004-03-17 2005-09-29 Olympus Corp 再生装置
US20060001647A1 (en) * 2004-04-21 2006-01-05 David Carroll Hand-held display device and method of controlling displayed content
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
KR100643470B1 (ko) * 2005-09-29 2006-11-10 엘지전자 주식회사 휴대용 단말기의 그래픽 신호 표시장치 및 방법

Also Published As

Publication number Publication date
KR20040107890A (ko) 2004-12-23
US7692668B2 (en) 2010-04-06
US20040252913A1 (en) 2004-12-16
KR100556856B1 (ko) 2006-03-10
EP1501019A3 (en) 2007-04-04
JP2005004210A (ja) 2005-01-06
CN1574884A (zh) 2005-02-02
EP1501019A2 (en) 2005-01-26
CN100433789C (zh) 2008-11-12

Similar Documents

Publication Publication Date Title
JP4477426B2 (ja) 移動通信端末機の画像傾き自動補正装置及びその方法
CN110321773B (zh) 使用校准参数的用于三维(3d)注视预测的神经网络训练
CN109993115B (zh) 图像处理方法、装置及可穿戴设备
EP2795572B1 (en) Transformation of image data based on user position
JP3864776B2 (ja) 画像形成装置
EP3547216B1 (en) Deep learning for three dimensional (3d) gaze prediction
US10284817B2 (en) Device for and method of corneal imaging
US9288388B2 (en) Method and portable terminal for correcting gaze direction of user in image
US8494224B2 (en) Perspective improvement for image and video applications
WO2012120799A1 (ja) 表示装置及び表示方向切替方法
US10671890B2 (en) Training of a neural network for three dimensional (3D) gaze prediction
JP2007089183A (ja) イメージ補正機能を備えた画像撮影装置及びその動作方法
EP3014520B1 (en) Image processing apparatus, image processing method, and program
WO2018076172A1 (zh) 一种图像显示方法及终端
US20180053490A1 (en) Display device and method of displaying image on display device
KR20070001414A (ko) 사용자의 위치를 인식하여 시야각을 제어하는 방법 및 표시장치
CN106802714A (zh) 终端及其控制方法和装置
KR101782476B1 (ko) 사용자 시선 기반 디스플레이 출력 자동 회전 방법
CN113992955A (zh) 柔性显示设备控制方法、装置、设备及存储介质
CN116489500A (zh) 图像处理方法及其装置
CN113947541A (zh) 一种眼球矫正方法、装置、设备及存储介质
CN113031774A (zh) 提示方法及装置
JP2014056402A (ja) 端末装置
KR20070074294A (ko) 촬영한 이미지에서 얼굴 이미지의 기울기를 보정하는 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081120

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees