JP5357238B2 - 携帯端末機及びその動作制御方法 - Google Patents

携帯端末機及びその動作制御方法 Download PDF

Info

Publication number
JP5357238B2
JP5357238B2 JP2011257826A JP2011257826A JP5357238B2 JP 5357238 B2 JP5357238 B2 JP 5357238B2 JP 2011257826 A JP2011257826 A JP 2011257826A JP 2011257826 A JP2011257826 A JP 2011257826A JP 5357238 B2 JP5357238 B2 JP 5357238B2
Authority
JP
Japan
Prior art keywords
image
parallax
mobile terminal
converted
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011257826A
Other languages
English (en)
Other versions
JP2012114920A (ja
Inventor
ハヤン ジュン
スンミン シン
シンヘ リ
ジンスル リ
ドンゴク キム
テユン キム
スンヒュン ウー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2012114920A publication Critical patent/JP2012114920A/ja
Application granted granted Critical
Publication of JP5357238B2 publication Critical patent/JP5357238B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42Graphical user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Description

本発明は,携帯端末機及びその動作制御方法に関し,更に詳細には,3D立体映像を拡大したり縮小したりする場合,基準視差範囲を外れたオブジェクトの視差範囲を補正できる機能を提供する携帯端末機及びその動作制御方法に関する。
携帯端末機は,携帯が可能であり,かつ,音声及び映像の通信を行うことができる機能,情報を入出力することができる機能,及びデータを記憶することができる機能などを1つ以上備える携帯用機器である。このような携帯端末機は,その機能が多様化されるにつれて,写真又は動画の撮影,音楽ファイル又は動画ファイルの再生,ゲーム,放送の受信,無線インターネットなどのような複雑な機能を備えるようになり,総合的なマルチメディア機器の形態が実現されている。
このようなマルチメディア機器の形態で実現された携帯端末機は,複雑な機能を実現するために,ハードウェア又はソフトウェアの側面で新しい試みが様々に適用されている。一例として,ユーザが容易かつ便利に機能を検索したり,選択したりするためのユーザインタフェース環境がある。
一方,最近では,カメラによって撮影した複数個の画像を,画像処理過程を介して結合し,3D立体映像を生成する技術も利用されている。このような技術が携帯端末機に適用された場合,携帯端末機に備えられたカメラを用いて3D立体映像を生成したり,携帯端末機に備えられた表示部を介して3D立体映像を表示したりすることができる。
ところが,3D立体映像は基本的に,右眼画像と左眼画像との視差(左眼画像と右眼画像との相対位置の差異)を利用して表すため,3D立体映像にユーザの視差限界を外れるオブジェクトが存在する場合,そのオブジェクトは,二重に現れるようになり,すぐに目に疲労を感じさせ,めまいや頭痛などを誘発することがある。特に,3D立体映像を拡大したり縮小したりする場合,ユーザの視差限界を外れるオブジェクトが存在するようになる現象は,更に激しくなる可能性がある。
したがって,3D立体映像を拡大したり縮小したりする場合,基準視差範囲を外れるオブジェクトが存在すると,このようなオブジェクトを基準視差範囲内に移動させて補正することが必要である。
本発明は,上記のような従来技術の問題を解決するために提案されたものであって,その目的は,拡大又は縮小されるオブジェクトを含む3D立体映像に応じて基準視差範囲を外れたオブジェクトの視差範囲を補正できる携帯端末機及びその動作制御方法を提供することにある。
そこで,上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は,第1の画像及び第2の画像間の視差に基づいて生成される第1の3D立体映像を表示部に表示し,受信される画像の表示倍率を変更する入力に応じて第1の画像及び第2の画像の表示倍率を変更し,表示倍率変更された第1の画像及び第2の画像から選択された中心オブジェクトに対し,表示倍率が変更された第1の画像及び第2の画像で基準視差範囲を外れた他のオブジェクトを移動させ,移動されたオブジェクトが基準視差範囲内にあるように第1の補正された画像及び第2の補正された画像を生成し,表示倍率変更入力によって指定された第2の3D立体映像の一部を表示部に表示し,第2の3D立体映像が表示倍率変更された第1の画像及び第2の画像間の視差に基づいて生成されることを特徴とする。
また,上記の目的を達成するための本発明に係る携帯端末機は,第1の画像及び第2の画像間の視差に基づいて生成される第1の3D立体映像を表示するように構成された表示部と,受信される画像の表示倍率を変更する入力に応じて第1の画像及び第2の画像の表示倍率を変更し,表示倍率変更された第1の画像及び第2の画像から選択された中心オブジェクトに対し,表示倍率が変更された第1の画像及び第2の画像で基準視差範囲を外れた他のオブジェクトを移動させ,移動されたオブジェクトが基準視差範囲内にあるように第1の補正された画像及び第2の補正された画像を生成するように構成された制御部とを備え,前記制御部は,表示倍率変更入力によって指定された第2の3D立体映像の一部を表示部に表示し,第2の3D立体映像が表示倍率変更された第1の画像及び第2の画像間の視差に基づいて生成されることを特徴とする。
以上で説明したように,本発明によれば,3D立体映像を拡大したり縮小したりする場合,基準視差範囲を外れるオブジェクトが存在すると,このようなオブジェクトを基準視差範囲内に移動させ,基準視差範囲を外れるオブジェクトに対する視差を適正範囲に補正することができる。これによって,3D立体映像を拡大したり縮小したりする場合,基準視差範囲を外れたオブジェクトの存在のために発生することがある,めまいや頭痛などを防止することができる。
本発明の一実施形態に係る携帯端末機のブロック構成図である。 本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図である。 図2に示した携帯端末機の後面斜視図である。 3D立体映像を生成する過程を説明するために参照される図である。 3D立体映像を生成する過程を説明するために参照される図である。 3D立体映像を生成する過程を説明するために参照される図である。 3D立体映像で3次元オブジェクトの深度と疲労度との関係を説明するために参照される図である。 3D立体映像で3次元オブジェクトの深度と疲労度との関係を説明するために参照される図である。 3D立体映像を拡大する場合,3D効果が歪む現象を説明するために参照される図である。 3D立体映像を拡大する場合,3D効が歪む現象を説明するために参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に提供されるフローチャートである。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。 本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。
以降,図面を参照して本発明をより詳細に説明する。本明細書において説明される携帯端末機には,携帯電話機,スマートフォン,ノートブックコンピュータ,デジタル放送用端末機,PDA,携帯マルチメディアプレイヤ(PMP),ナビゲーション端末機,タブレットコンピュータ,電子書籍(e−book)端末機などが含まれる。また,以降の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は,単に本明細書の作成の容易性だけが考慮されて与えられるものであって,それ自体で特に重要な意味又は役割を与えるものではない。したがって,前記「モジュール」及び「部」は,互いに混用してもよい。
図1は,本発明の一実施形態に係る携帯端末機のブロック構成図である。図1を参照して本発明の一実施形態に係る携帯端末機を機能による構成要素の観点で説明すれば,次のとおりである。
図1に示すように,本携帯端末機100は,無線通信部110,オーディオ/ビデオ(A/V)入力部120,ユーザ入力部130,センシング部140,出力部150,メモリ160,インタフェース部170,制御部180,及び電力供給部190を備えることができる。このような構成要素は,実際の応用で実現されるときは,必要に応じて2つ以上の構成要素を1つの構成要素に統合してもよいし,1つの構成要素を2つ以上の構成要素に細分して構成してもよい。
無線通信部110は,放送受信モジュール111,移動体通信モジュール113,無線インターネットモジュール115,近距離通信モジュール117,及びGPSモジュール119などを備えることができる。
放送受信モジュール111は,放送チャネルを介して外部の放送管理サーバから放送信号及び放送関連情報のうち少なくとも1つを受信する。このとき,放送チャネルは,衛星チャネル,地上波チャネルなどを含むことができる。放送管理サーバは,放送信号及び放送関連情報のうち少なくとも1つを生成して送信するサーバを意味してもよいし,予め生成された放送信号及び放送関連情報のうち少なくとも1つが提供されて端末機に送信するサーバを意味してもよい。
放送関連情報は,放送チャネル,放送プログラム,又は放送サービス提供者に関連した情報を意味することができる。放送信号は,TV放送信号,ラジオ放送信号,データ放送信号を含むだけでなく,TV放送信号又はラジオ放送信号にデータ放送信号が結合した形態の放送信号を含んでもよい。放送関連情報は,移動体通信網を介して提供することもでき,この場合には,移動体通信モジュール113によって受信することができる。放送関連情報は,様々な形態で存在することができる。例えば,DMB方式の電子番組案内(EPG)又はDVB−H方式の電子サービス案内(ESG)などの形態で存在することができる。
放送受信モジュール111は,各種放送システムを利用して放送信号を受信するが,特に,DMB−T方式,DMB−S方式,MediaFLO(登録商標)方式,DVB−H方式,ISDB−T方式などのデジタル放送システムを利用してデジタル放送信号を受信することができる。また,放送受信モジュール111は,このようなデジタル放送システムだけでなく,放送信号を提供するすべての放送システムに適合するように構成することができる。放送受信モジュール111を介して受信された放送信号及び/又は放送関連情報はメモリ160に記憶することができる。
移動体通信モジュール113は,移動体通信網上で基地局,外部の端末,サーバのうち少なくとも1つと無線信号を送受信する。ここで,無線信号は,音声呼出信号,画像通信呼出信号,又は文字/マルチメディアメッセージ送受信による様々な形態のデータを含むことができる。
無線インターネットモジュール115は,無線インターネット接続のためのモジュールをいうものであり,無線インターネットモジュール115は,携帯端末機100に内蔵してもよいし,外付けされてもよい。無線インターネット技術としては,無線LAN(Wi−Fi),Wibro方式,Wimax方式,HSDPA方式などが利用することができる。
近距離通信モジュール117は,近距離通信のためのモジュールをいう。近距離通信技術として,Bluetooth(登録商標),RFID,赤外線通信(IrDA),UWB(Ultra Wideband),ZigBee(登録商標)などが利用することができる。
GPSモジュール119は,複数個のGPS人工衛星から位置情報を受信する。
A/V入力部120は,オーディオ信号又はビデオ信号の入力のためのものであり,これには,カメラ121とマイク123などを含んでもよい。カメラ121は,画像通信モード又は撮影モードにおいて,画像センサによって得られる静止画又は動画などの画像フレームを処理する。そして,処理された画像フレームは,表示部151に表示することができる。
カメラ121で処理された画像フレームはメモリ160に記憶してもよいし,無線通信部110を介して外部へ伝送してもよい。カメラ121は,端末機の構成態様によって2個以上を備えてもよい。
マイク123は,通話モード又は録音モード,音声認識モードなどにおいてマイクロホンによって外部の音響信号を受信し,電気的な音声データとして処理する。そして,処理された音声データは,通話モードである場合,移動体通信モジュール113を介して移動体通信基地局に送信可能な形態に変換されて出力することができる。マイク123は,外部の音響信号を受信する過程で発生する雑音(ノイズ)を除去するための様々な雑音除去アルゴリズムを使用することができる。
ユーザ入力部130は,ユーザが端末機の動作制御のために入力するキー入力データを発生させる。ユーザ入力部130は,ユーザの押下又は接触操作によって命令又は情報を受信できるキーパッド,ドームスイッチ,タッチパッド(静圧/静電)などで構成することができる。また,ユーザ入力部130は,キーを回転させるジョグホイール又はジョグ方式,ジョイスティックのように操作する方式,フィンガマウス,などで構成することができる。特に,タッチパッドが後述する表示部151と相互レイヤ構造をなす場合,これをタッチスクリーンと呼ぶことができる。
センシング部140は,携帯端末機100の開閉状態,携帯端末機100の位置,ユーザ接触有無などのように,携帯端末機100の状態を感知して携帯端末機100の動作を制御するためのセンシング信号を発生させる。例えば,携帯端末機100がスライド式である場合,スライド部の開閉有無をセンシングすることができる。また,電力供給部190の電力供給の有無,インタフェース部170の外部機器結合の有無などと関連したセンシング機能を提供することができる。
センシング部140は,感知センサ141,圧力センサ143,及びモーションセンサ145などを備えることができる。感知センサ141は,携帯端末機100に接近する物体又は携帯端末機100の近傍に存在する物体の有無などを機械的接触なしで検出することができる。感知センサ141は,交流磁界の変化又は静磁界の変化を利用したり,又は静電容量の変化率などを利用したりして近接物体を検出することができる。感知センサ141は,構成態様によって2個以上を備えてもよい。感知センサ141は,携帯端末機100に関連したユーザの位置を感知することができる。例えば,携帯端末機100の表示面に対するユーザの目の相対位置を測定することができる。特定実施形態において,ユーザ(例えば,ユーザの目)の感知された距離は,後でより詳細に説明されるように,3D立体映像を表示するとき,視差に対する最大しきい値を計算するのに利用することができる。
圧力センサ143は,携帯端末機100に圧力が加えられるか否かと,その圧力の大きさなどを検出することができる。圧力センサ143は,使用環境によって携帯端末機100で圧力の検出が必要な部位に設置することができる。圧力センサ143が表示部151に設置される場合,圧力センサ143から出力される信号に応じて,表示部151を介したタッチ入力と,タッチ入力より更に大きい圧力が加えられる圧力タッチ入力を識別することができる。また,圧力センサ143から出力される信号に応じて,圧力タッチ入力時に,表示部151に加えられる圧力の大きさも判定できる。
モーションセンサ145は,加速度センサ,ジャイロセンサなどを用いて携帯端末機100の位置や動きなどを感知する。モーションセンサ145に用いることのできる加速度センサは,いずれか一方向の加速度変化に対してこれを電気信号に変える素子であって,微小電気機械システム(MEMS)技術の発達と共に広く使用されている。加速度センサには,自動車のエアバッグシステムに内蔵して衝突を感知するのに使用する,大きい値の加速度を測定するものから,人の手の微細な動作を認識してゲームなどの入力手段として使用する,微細な値の加速度を測定するものまで様々な種類がある。加速度センサは普通,2軸又は3軸を1つのパッケージに実装して構成され,使用環境によっては,Z軸の1軸だけ必要な場合もある。したがって,ある理由でZ軸方向の代わりにX軸又はY軸方向の加速度センサを使わなければならない場合には,別のサブ基板を使用して加速度センサをメイン基板に立てて実装することもできる。
また,ジャイロセンサは,角速度を測定するセンサであって,基準方向に対して回転した方向を感知することができる。
出力部150は,オーディオ信号若しくはビデオ信号,又はアラーム信号の出力のためのものである。出力部150は,表示部151,音響出力モジュール153,アラーム部155,及び触覚モジュール157などを備えてもよい。
表示部151は,携帯端末機100で処理される情報を表示出力する。例えば,携帯端末機100が通話モードである場合,通話と関連したユーザインタフェース(UI)又はグラヒックユーザインタフェース(GUI)を表示する。そして,携帯端末機100が画像通信モード又は撮影モードである場合,撮影されたり受信されたりした映像を各々又は同時に表示することができる。
一方,前述したように,表示部151とタッチパッドとが相互レイヤ構造をなしてタッチスクリーンとして構成される場合,表示部151は,出力装置の他に,ユーザのタッチによる情報の入力が可能な入力装置としても使用することができる。
表示部151がタッチスクリーンとして構成される場合,タッチスクリーンパネル,タッチスクリーンパネル制御器などを備えることができる。この場合,タッチスクリーンパネルは,外部に取り付けられる透明なパネルであって,携帯端末機100の内部バスに接続することができる。タッチスクリーンパネルは,接触結果を監視し,タッチ入力がある場合,対応する信号をタッチスクリーンパネル制御器に送る。タッチスクリーンパネル制御器は,その信号を処理した後,対応するデータを制御部180に伝送し,制御部180がタッチ入力があったのか否かと,タッチスクリーンのどの領域がタッチされたかとが分かるようにする。
表示部151は,電子ペーパー(e−Paper)によって構成することもできる。電子ペーパーは,一種の反射型ディスプレイであって,既存の紙及びインキのように,高い解像度,広い視野角,明るい白色背景によって,優れた視覚特性を有する。電子ペーパーは,プラスチック,金属,紙など,いかなる基板上にも実現が可能であり,電源を遮断した後にも画像が維持され,バックライト電源が不要なため,携帯端末機100のバッテリ寿命を長く維持することができる。電子ペーパーとしては,正電荷が充電された半球形ツイストボール,電気泳動法,マイクロカプセルなどを利用することができる。
この他にも,表示部151は,液晶ディスプレイ,薄膜トランジスタ液晶ディスプレイ,有機発光ダイオード,フレキシブルディスプレイ,3次元ディスプレイのうち少なくとも1つを含むことができる。そして,携帯端末機100の実現形態によって表示部151が2個以上存在してもよい。例えば,携帯端末機100に外部表示部(図示せず)と内部表示部(図示せず)とを同時に備えてもよい。
音響出力モジュール153は,呼出信号受信,通話モード又は録音モード,音声認識モード,放送受信モードなどにおいて,無線通信部110から受信されたり,メモリ160に記憶されたりしたオーディオデータを出力する。また,音響出力モジュール153は,携帯端末機100で実行される機能,例えば,呼出信号受信音,メッセージ受信音などと関連した音響信号を出力する。このような音響出力モジュール153には,スピーカ,ブザーなどが含まれる。
アラーム部155は,携帯端末機100のイベント発生を報知するための信号を出力する。携帯端末機100で発生するイベントの例としては,呼出信号受信,メッセージ受信,キー信号入力などがある。アラーム部155は,オーディオ信号又はビデオ信号の他に,種々の形態でイベント発生を報知するための信号を出力する。例えば,振動形態で信号を出力することができる。アラーム部155は,呼出信号が受信されるか,メッセージが受信された場合,これを報知するために信号を出力することができる。また。アラーム部155は,キー信号が入力された場合,キー信号入力に対するフィードバックとして信号を出力することができる。このようなアラーム部155が出力する信号によって,ユーザはイベント発生を認知することができる。携帯端末機100でイベント発生報知のための信号は,表示部151や音響出力モジュール153を介しても出力することができる。
触覚モジュール(haptic module)157は,ユーザが感じることができる様々な触覚効果を発生させる。触覚モジュール157が発生させる触覚効果の代表的な例としては,振動効果がある。触覚モジュール157が触覚効果として振動を発生させる場合,触覚モジュール157が発生する振動の強さ,パターンなどは変換可能であり,種々の振動を合成して出力したり,順次出力したりすることもできる。
触覚モジュール157は,振動の他にも,接触皮膚面に対して垂直運動するピン配列による刺激による効果,噴射口又は吸込口を介した空気の噴射力又は吸込力を介した刺激による効果,皮膚表面をすれる刺激による効果,電極の接触を介した刺激による効果,静電気力を用いた刺激による効果,吸熱又は発熱が可能な素子を用いた冷温感再現による効果など,様々な触覚効果を発生させることができる。触覚モジュール157は,直接的な接触によって触覚効果を伝達することができるだけでなく,ユーザの指又は腕などの筋感覚を介して触覚効果を感じることができるように実現することもできる。触覚モジュール157は,携帯端末機100の構成態様によって2個以上を備えてもよい。
メモリ160は,制御部180の処理及び制御のためのプログラムを記憶することもできるし,入力したり,出力したりするデータ(例えば,電話帳,メッセージ,静止画,動画など)の臨時記憶のための機能を提供することもできる。
メモリ160は,フラッシュメモリタイプ,ハードディスクタイプ,マルチメディアカードマイクロタイプ,カードタイプのメモリ(例えば,SDメモリ又はXDメモリなど),RAM,ROMのうち少なくとも1つのタイプの記憶媒体を含むことができる。また,携帯端末機100は,インターネット上でメモリ150の記憶機能を提供するウェブストレージを利用することもできる。
インタフェース部170は,携帯端末機100に接続されるすべての外部機器とのインタフェースの役割を果たす。携帯端末機100に接続される外部機器の例としては,有線・無線のヘッドセット,外部充電器,有線・無線のデータポート,メモリカード,加入者識別情報モジュール(SIM)カード,ユーザ識別情報モジュール(UIM)カードなどのようなカードソケット,オーディオ入出力(I/O)端子,ビデオI/O端子,イヤホンなどがある。インタフェース部170は,このような外部機器からデータの伝送を受信し,電力の供給を受けて携帯端末機100内部の各構成要素に伝達し,携帯端末機100内部のデータを外部機器へ伝送することができる。
インタフェース部170は,携帯端末機100が外部クレイドルと接続されたとき,接続されたクレイドルからの電力が携帯端末機100に供給される通路になってもよいし,ユーザによってクレイドルに入力される各種命令信号が携帯端末機100に伝達される通路になってもよい。
制御部180は,通常,前記各部の動作を制御して携帯端末機100の全般的な動作を制御する。例えば,音声通話,データ通信,画像通信などのための関連した制御及び処理を行う。また,制御部180は,マルチメディア再生のためのマルチメディア再生モジュール181を備えることもできる。マルチメディア再生モジュール181は,制御部180内にハードウェアで構成してもよいし,制御部180とは別にソフトウェアで構成してもよい。
そして,電力供給部190は,制御部180の制御によって外部の電力,内部の電力が印加されて各構成要素の動作に必要な電力を供給する。
このような構成の携帯端末機100は,有線通信システム,無線通信システム及び衛星基盤通信システムを含み,フレーム又はパケットを介してデータを伝送できる通信システムで動作可能なように構成することができる。
図2は,本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図であり,図3は,図2に示した携帯端末機の後面斜視図である。以下では,図2及び図3を参照して,本発明と関連した携帯端末機を外形による構成要素の観点で説明する。また,以下では,説明の便宜上,フォルダタイプ,バータイプ,スイングタイプ,スライドタイプなどのような種々のタイプの携帯端末機のうち,前面タッチスクリーンが備えられている,バータイプの携帯端末機を例に挙げて説明する。しかし,本発明は,バータイプの携帯端末機に限定されるものではなく,前述したタイプを含むすべてのタイプの携帯端末機に適用することができる。
図2に示すように,携帯端末機100の外観をなすケースは,フロントケース100−1とリアケース100−2とによって形成される。フロントケース100−1とリアケース100−2とによって形成された空間には,各種電子部品が内蔵される。フロントケース100−1とリアケース100−2とは,合成樹脂を射出して形成されるか,金属材質,例えば,ステンレススチール(STS)又はチタニウム(Ti)などのような金属材質を有するように形成されることもできる。
本体,具体的にフロントケース100−1には,表示部151,第1の音響出力モジュール153a,第1のカメラ121a,及び第1のユーザ入力部ないし第3のユーザ入力部130a,130b,130cを配置することができる。そして,リアケース100−2の側面には,第4のユーザ入力部130d,第5のユーザ入力部130e,及びマイク123を配置することができる。
表示部151は,タッチパッドをレイヤ構造として重ねることによって,表示部151がタッチスクリーンとして動作し,ユーザのタッチによる情報の入力が可能なように構成することもできる。
第1の音響出力モジュール153aは,受話器又はスピーカの形態で実現することができる。第1のカメラ121aは,ユーザなどに対する画像又は動画を撮影するのに適切な形態で実現することができる。そして,マイク123は,ユーザの音声,その他,音などの入力を受けるのに適切な形態で実現することができる。
第1のユーザ入力部ないし第5のユーザ入力部130a,130b,130c,130d,130eと,後述する第6のユーザ入力部及び第7のユーザ入力部130f,130gとは,ユーザ入力部130と呼ぶことができ,ユーザが触覚的な感じを与えながら操作することになる方式(tactile manner)であればどのような方式でも採用することができる。
例えば,ユーザ入力部130は,ユーザのプッシュ又はタッチ操作によって命令又は情報の入力を受けることができるドームスイッチ又はタッチパッドで実現してもよいし,キーを回転させるホイール又はジョグ方式やジョイスティックのように操作する方式などでも実現してもよい。機能的な面において,第1のユーザ入力部ないし第3のユーザ入力部130a,130b,130cは,開始,終了,スクロールなどのような命令を入力するためのものであり,第4のユーザ入力部130dは,動作モードの選択などを入力するためのものである。また,第5のユーザ入力部130eは,携帯端末機100内の特殊な機能を活性化するためのホットキーとして作動することができる。
図3に示すように,リアケース100−2の後面に,第2のカメラ121bを更に装着してもよいし,リアケース100−2の側面に,第6のユーザ入力部及び第7のユーザ入力部130f,130gとインタフェース部170とを配置してもよい。
後面に配置される2つのカメラ121b,121cは,前面に配置されるカメラ121aと実質的に反対の撮影方向を有し,互いに異なる画素を有することができる。後面に配置される2つのカメラ121b,121cは,3次元立体映像の撮影のための3D撮影モードで3D立体映像の生成のために同時に使用してもよいし,各々独立に使用して2D画像を生成してもよい。また,後面に配置される2つのカメラ121b,121c間の間隔を調整可能なように構成し,2つのカメラ121b,121cを介して生成可能な3D立体映像のサイズ又は画素などの調整が可能なように構成することもできる。このような構成のために,2つのカメラ121b,121cのうちいずれか1つを左右に移動可能なようにし,2つのカメラ121b,121c間の間隔が調整されるように構成することができる。
後面に配置される2つのカメラ121b,121cの間には,フラッシュ125及び鏡(図示せず)を更に配置することができる。フラッシュ125は,2つのカメラ121b,121cによって被写体を撮影する場合に,被写体に向かって光を照射する。鏡は,ユーザが自分を撮影(セルフ撮影)しようとする場合に,ユーザ自身の顔などを映すことができるようにする。
リアケース100−2には,第2の音響出力モジュール(図示せず)を更に配置することができる。第2の音響出力モジュールは,第1の音響出力モジュール153aと共に,ステレオ機能を実現することもできるし,スピーカーホンモードでの通話用に使用することもできる。
インタフェース部170は,外部機器とデータを交換する通路として使用することができる。そして,フロントケース100−1及びリアケース100−2の1つの領域には,通話などのためのアンテナの他に,放送信号受信用アンテナ(図示せず)を配置することができる。アンテナは,リアケース100−2から引き出し可能に設置することができる。
リアケース100−2側には,携帯端末機100に電力を供給するための電力供給部190が装着することができる。電力供給部190は,例えば,充電可能なバッテリであって,充電などのために,リアケース100−2に着脱可能に結合することができる。
図4A〜図4Cは,3D立体映像を生成する過程を説明するために参照される図である。本発明に係る携帯端末機100は,本体の後面に配置される2つのカメラ121b,121cを用いて3D立体映像を生成することができる。以下,説明の便宜上,後面に配置される2つのカメラ121b,121cを各々第1のカメラ121b及び第2のカメラ121cという。
図4Aに示すように,第1のカメラ及び第2のカメラ121b,121cを介して被写体200を撮影すれば,図4Bに示すように,第1のカメラ121b及び第2のカメラ121cを介して各々撮影した第1の画像及び第2の画像205,207を生成することができる。
第1のカメラ121b及び第2のカメラ121cを介して撮影した第1の画像及び第2の画像205,207は,3D立体映像の生成に使用される左眼画像及び右眼画像に対応する。制御部180は,図4Cに示すように,第1の画像及び第2の画像205,207で共通した領域の画像の視差を利用して3D立体映像(Stereoscopic 3D image)210を生成することができる。例えば,第1の画像及び第2の画像205,207間の視差は,第1の画像及び第2の画像205,207で対応する地点間の距離になり得る。次に,3D立体映像における視差と,その値を補正する方法についてより詳細に説明する。
前述したように,ここで,3D立体映像とは,モニタ又はスクリーン上で物体が位置した漸進的深度(depth)及び実体(Reality)を現実空間と同様に感じることができるようにする映像を意味する。3D立体映像は,ユーザの2つの目が互いに異なる2次元画像を見て,その画像が網膜を介して脳に伝達されると,これを融合して立体映像の深度及び実体感を感じるようにするものである。ほぼ65mm離れているユーザの2つの目の位置によってなされる両眼視差が立体感を感じさせる。両眼視差は,すべての3次元表示装置が基本的に満足させなければならない最も重要な要素である。
制御部180で生成した3D立体映像210は,表示部151を介して表示することができる。また,専用印画紙及び装備を利用すれば,3D立体写真をプリントすることもできる。静止画の撮影だけでなく,動画撮影の場合にも同じ方式によって3D立体映像を生成することができる。
3D立体映像を表示する方式には,眼鏡を使用するステレオスコピック方式,無メガネ方式であるオートステレオスコピック方式,及びボログラフィックを使用するプロジェクション方式などがある。ステレオスコピック方式は,家庭用TVなどに多く使用されており,携帯端末機は,主にオートステレオスコピック方式が使用されている。
無メガネ方式には,レンチキュラ方式,パララックスバリア方式,パララックスイルミネーション方式などが使用される。レンチキュラ方式は,左眼画像及び右眼画像が表示される素子の前に1つの左右間隔に該当する半円筒形レンチキュラシートを付着して,左右各々の目に左眼及び右眼に該当する映像のみ見えるようにすることによって,立体を感じるようにする。パララックスバリア方式は,左眼画像及び右眼画像が視差障壁の後ろに置かれるようにすることによって,左右に各々異なる映像が見えるようにして立体を感じるようにする。そして,パララックスイルミネーション方式は,後面に照明ラインが置かれ,前面に液晶ディスプレイ(LCD)が置かれて,照明ラインによって明るくなったLCDラインが左右だけに見えるようにすることによって,立体を実現する。その他にも,人間に立体感を提供する要素のうち,いくつかの特性を利用して立体感を提供する種々の他の形態の方法が研究されている。
本発明に係る携帯端末機の他に,他の機器を利用する場合にも,基本的に前述したような方式で3D立体映像を生成したり,表示したりすることができる。
図5A及び図5Bは,3D立体映像で3Dオブジェクトの深度と疲労図/不便さとの関係を説明するために参照される図である。3D立体映像で特定オブジェクトに対する深度は,左眼画像と右眼画像とが配置される位置によって変わる。
図5Aに示すように,既存の医学における研究によれば,左眼223及び右眼225の間の距離dと,目が位置する映像平面で観測する3Dオブジェクト220までの距離zとが与えられた場合,これに基づいて3Dオブジェクト220を観測するとき,視線の収束角度θがほぼ1.5゜を越えると,目が疲労を感じるという事実が知られている。
すなわち,目から近い位置にある3Dオブジェクトに焦点を合わせて凝視すると,θ値が大きくなるため,目が疲れるようになり,目から遠くにある3Dオブジェクトを観測する場合は,θ値が非常に小さくなるため,目の疲労はわずかである。したがって,3D立体映像において3Dオブジェクトは,θ値が適正範囲以内になるように配置されてこそ,ユーザの疲労度を減少させることができる。収束角度θの範囲は,携帯端末機においてデフォルト値で設定してもよいし,ユーザの選好度に基づいて設定してもよい。
図5Bに示すように,オブジェクト220は,ディスプレイ151の表面から距離zを導き出すことで認知される。臨界視差dTHは,ディスプレイ151に表示される右眼画像220R及び左眼画像220Lの対応部分間の距離であってよい。臨界視差dTHは,与えられた収束角度θに対して基準視差範囲内の最大視差値であってよい。図示されているように,臨界視差dTHは,ディスプレイ151までのユーザの全体距離だけでなく,距離z及び収束角度θに係わる。収束角度θは,式cos(θ)>=(dL 2+dR 2-dth)/(2*L*dR)として表示される3Dオブジェクトの予測された深度と臨界視差dTHとの関係を表すことができ,ここで,θは収束角度,dLは左眼画像と収束点との間の距離,dRは右眼画像と収束点との間の距離,dTHは視差の予め設定されたしきい値である。
基準視差範囲は,携帯端末機に記憶された予め設定された値であってよい。また,視差範囲は,ユーザの選好又は許容誤差に基づいて視差が変更されるように,ユーザが設定してもよい。また,種々のモデルを用いて基準視差範囲を設定又は調節のためにユーザの不便程度を予測することができる。
さらに,収束角度θがディスプレイスクリーン151に対するユーザの位置に依存し,基準視差範囲は,ディスプレイからのユーザの位置に対する予め設定された距離zに基づくことができる。また,センサ141は,距離zを測定して収束角度θを決定することができる。臨界視差値は,検出されたユーザの位置に基づいて調整することができる。
図6A及び図6Bは,3D立体映像を拡大する場合,3D効果が歪む現象を説明するために参照される図である。図6A及び図6Bに示すように,3D立体映像230は,左眼画像233と右眼画像235との間の視差に基づいて生成することができる。3D立体映像230の視差は,左眼画像及び右眼画像233,235の中心からオブジェクトの間の距離であるd1であってよい(以下,中心オブジェクトと称する)。
もし,このような3D立体映像230を拡大すると,3D立体映像240は,3D映像230を変換して得ることができる。変換された3D立体映像240は,拡大された左眼画像及び右眼画像233,235の左眼画像及び右眼画像243,245に基づいて生成することができる。この場合,拡大された左眼画像243と拡大された右眼画像245との間の距離が遠くなることがあるので,中心オブジェクトの距離d2になり,拡大前より遠くなることがある。したがって,拡大された3D立体映像240のため,歪み及び疲労が現れることがある。このような場合,拡大された3D立体映像240において,基準視差範囲を外れるオブジェクトの視差範囲を補正することが必要となる。同様に,3D立体映像のサイズが縮小される場合,調節されたサイズの3D立体映像で3Dオブジェクトが歪まれる現象が現れることもある。
説明を簡単にするために,画像対と共通点との距離は中心オブジェクトで測定されるものとする。しかし,本発明は,特定中心オブジェクトに制限をおかず,画像上の視差は,左眼画像及び右眼画像233,235ですべての対応する基準点に基づいて測定してもよい。
図7は,本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に提供されているフローチャートである。
図7に示すように,3Dモードが選択されたか,又はユーザ命令などに応じて制御部180は,右眼画像と左眼画像との視差を用いる3D立体映像を表示部151に表示する(S300)。
3D立体映像が表示された状態で,3D立体映像を拡大したり縮小したりするなどの,表示倍率を変更する入力がある場合(S305),制御部180は,左眼画像と右眼画像とを各々表示倍率を変更(拡大又は縮小)する入力に対応する表示倍率に変換した左眼画像と右眼画像とを生成する(S310)。
制御部180は,表示倍率を変換した左眼画像と右眼画像とによって,基準視差範囲を外れるオブジェクトが基準視差範囲内に存在するように位置を移動させる(S315)。このとき,中心オブジェクトを選択し,選択された中心オブジェクトを基準として基準視差範囲を外れたオブジェクトの位置を移動させることができる。例えば,中心オブジェクトをゼロ視差に移動させ,これを基準として他のオブジェクトを移動させることができる。ゼロ視差は,画像が互いに上部に重なるように,画像が移動するときに達成することができる。この場合,ゼロ視差平面は,表示画面の表面であってよく,第1の画像及び第2の画像の対応する中心オブジェクト間の距離は,画像が互いに重なってゼロになることがある。
また,近距離にあるオブジェクトと遠距離にあるオブジェクトとに対して同時に表示倍率を変化させる場合のように,基準視差を外れたすべてのオブジェクトの位置を移動させることが難しい場合,全体又は一部のオブジェクトを2D画像として表示することもできる。制御部は,システム資源を機能に割り当てるために,例えば,予め設定された選好度に基づいて視差を矯正するのにどれくらい多くの個体が処理することができるかを決定することができる。
そして,制御部180は,オブジェクトの移動によって発生できるホール(hole)領域を適切な補間法を利用して補間し,補正された左眼画像及び右眼画像を生成する(S320)。ホール領域は,ホール領域の周辺ピクセル値や補助画像などを用いて補間することができる。
制御部180は,補正された左眼画像及び右眼画像を用いて生成した補正された3D立体映像において,表示倍率を変更する入力に対応する部分を表示部151に表示する(S325)。
表示倍率を変更する機能の他に,他の機能が選択された場合(S330),制御部180は,選択された機能に対応する動作が行われるように制御する(S335)。例えば,画面移動入力がある場合,3D立体映像で表示部151に表示される部分を移動させて表示することができる。また,補正された3D立体映像に対する立体感情報を数値,グラフ,画像などで表すこともできる。
このような過程は,動作終了が選択されるまで反復的に行われる(S340)。また,このような過程によって表示倍率が変換された3D立体映像で基準視差を外れたオブジェクトの視差を適正範囲に補正して表示することができる。
次の図8〜図16は,本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に参照される図である。
図8は,3D立体映像の一例を示したものである。図8に示すように,3D立体映像400から遠距離にあるオブジェクトを含む部分403を拡大する場合,及び近距離にあるオブジェクトを含む部分405を拡大する場合,拡大する部分を基準として互いに異なる中心オブジェクトを選択し,選択した中心オブジェクトを基準として他のオブジェクトの位置を補正することができる。
このとき,近距離部分405でオブジェクトの画像対は,中心オブジェクトとして選択することができる。近距離部分405で中心オブジェクトは,ゼロ視差を設定するために距離dの分だけ移動することができる。画像400の他の領域だけでなく,遠距離部分403を含む3D立体映像400は,中心オブジェクトの移動に対応する距離の分だけ移動され,3D立体映像400を補正することができる。
図9A(a)のような3D立体映像410から1つの部分415を選択し,図9A(b)に示すように,拡大された3D立体映像420を表示することができる。この場合,拡大割合に応じて視差が大きくなり,これによって,3D効果も大きくなる。拡大された3D立体映像420に含まれたすべてのオブジェクトが基準視差範囲内に位置する場合は,3D立体映像を補正する必要はない。
図9A(b)に示すように,拡大された3D立体映像420から1つの部分425を更に拡大し,図9Bに示すように,更に拡大した3D立体映像430を表示する場合,視差d5は一層大きくなる。この場合,視差d5が基準視差範囲を外れると,ユーザに目の疲労感及び苦痛を誘発することがあるため,前述した過程によって3D立体映像を補正して表示しなければならない。例えば,視差d5が基準視差範囲内になるように減少することができる。また,拡大された画像の視差は,拡大前の視差に調節することができる。例えば,画像430の視差は,画像の拡大前に存在する画像425における視差に変更することができる。
さらに,拡大割合が非常に大きく補正が難しい場合には,3D立体映像の代わりに,全体又は一部分を2D画像に拡大して表示することもできる。画像が2D画像として表示されるか否かは,機能に専用された資源の予め設定された量及び変更を処理するために掛かる時間に基づいて決定することができる。
図10は,画像分割ワーピングによって視差を調節する画面を説明するために参照される図である。図10に示すように,視差又は深度を調節する画面500には,左眼画像503と右眼画像505とが同時に表示される。左眼画像503と右眼画像505とでユーザが視差又は深度を調節しようとする部分を選択すれば,選択した部分に対してメッシュが生成され,生成されたメッシュの交点を表すマークが表示される。
メッシュ上のポインタ507は,画像のエッジ成分のうち,任意のしきい値以上である点で表し,各位置ポインタは,隣接したポインタと接続されて1つの面を形成する。ユーザが,形成された右眼画像又は左眼画像でポインタをタッチした後,時計方向に回せば,ポインタは,3D画像を形成するとき,深度が増すようになる。
深度に対する表示は,画像の右側に提供することができるカラーバー510によって,オートコンバージェンス時を基準として相対的な深度を表示する。逆に,ユーザが時計の反対方向に回す場合,画像は,オートコンバージェンス時を基準として相対的に突出する。相対的な深度だけでなく,全体画像に対する深度も確認しなければならないため,オートコンバージェンス時に形成される全体の深度マップを3次元ヒストグラム513で表示し,変更事項が適用された3次元深度ヒストグラム515を下段に表示する。分割ワーピングされた領域に対する深度の反映は,右眼画像及び左眼画像とのうちいずれか1つの画像にだけ反映しても,他の画像に反映されるように構成してもよい。
すべての分割領域の深度を自由にする場合,3D立体映像が不自然になるため,深度変更に制限を有するようになる。すなわち,2つのオブジェクトが重なっている場合,後のオブジェクトが前のオブジェクトよりはみ出したように見えるか,前のオブジェクトが後のオブジェクトより後にある場合は発生しないようにする。このために,カラーバー510は,周辺のオブジェクトの深度値を参照して最大深度変化を与えることができる制限表示を有するようにし,ユーザがこの深度範囲を越えて深度を設定することができないようにする。3D効果が及ぼさない領域を分割ワーピング方法によって適正レベルまで突出させるか,陥没させるようにする。
図11A及び図11Bは,3D深度又は視差を調節する画面を示したものである。図11Aに示すように,3D画像が表示される3Dモード画面600内に,3D深度設定メニュー610を提供することができる。
3D深度設定メニュー610において「3D深度」項目が選択された場合,図11Bに示すように,全体又は特定オブジェクトの視差又は深度を調節できる画面620を表示することができる。メッセージウィンドウ621は,図示されているように,ユーザに通知を提供するように表示することができる。この場合,3Dオブジェクト625(例えば,アイコン)の認知された深度は,表示画面620に調整することができる。
図12A及び図12Bは,左側に表示されたスクロールバー630を用いて全体画面の深度を調節する場合を示したものである。図12A及び図12Bに示すように,例えば,複数の3Dアイコン625を含む3D立体映像は,表示画面620に表示することができる。スクロールバーをアップする場合,全体画面620に表示されたオブジェクトの深度が大きくなり,逆に,スクロールバー630をダウンする場合,全体画面620に表示されたオブジェクトの深度が小さくなるように構成することができる。
このとき,スクロールバーの位置によって調節された深度に対応して各オブジェクト625を拡大したり縮小したりして表示することもできる。
図13A及び図13Bに示すように,特定オブジェクトをマルチタッチ後,タッチされた地点が遠ざかるようにドラッグするピンチアウト(pinch out)入力623によって,図13Bに示した特定オブジェクトの深度だけが増加するように調節されるように構成することができる。このように,マルチタッチ後,タッチされた地点が遠ざかるように予測されるピンチアウト入力がある場合,対応するオブジェクト625の深度が大きくなるように構成することができる。
また,図14A及び図14Bに示すように,特定オブジェクトをマルチタッチ後,タッチされた地点が近づくようにドラッグするピンチイン(pinch in)入力633がある場合,図14Bに示すように,特定オブジェクトの深度が低くなるように構成することができる。
この他にも,ロングタッチ入力によって特定オブジェクトの深度が調節されるように構成することもできる。
図15に示すように,特定オブジェクトの深度を調節するためのガイドとして,画面上段に3Dマップ640を表示することができる。3Dマップ640にユーザが調節するオブジェクトの深度に対応する画像を表示し,ユーザが現在調節中であるオブジェクトに対応する画像を他の色で表示することができる。
図16に示すように,3D立体映像650は,複数の3Dオブジェクト661,662,663を含むことができる。予め設定されたキーを押す入力653があった状態で,オブジェクト662をマルチタッチ後,タッチされた地点が遠ざかるようにドラッグする入力655,657によって,オブジェクト662の深度が調節されるように構成することができる。この場合にも,マルチタッチ後,タッチされた地点が遠ざかるようにドラッグするピンチアウト入力によって対応するオブジェクト662の深度が深くなり,これとは逆に,マルチタッチ後,タッチされた地点が近づくようにドラッグするピンチイン入力によって対応するオブジェクト662の深度が低くなるように構成することができる。また,ボタン653の選択と共に,ピンチ入力は,上述したように単にオブジェクト662だけではなく,全体3D立体映像650の認識された3D深度を変更することもできる。また,上述したように,多様なジェスチャ入力によって特定オブジェクトの深度又は視差を調節することができる。
そして,本発明に係る携帯端末機及びその動作制御方法は,上記したように説明された実施形態の構成及び方法が限定されるように適用されるものではなく,前記実施形態は,様々な変形ができるように,各実施形態の全部又は一部が選択的に組み合わせて構成することもできる。
一方,本発明は,携帯端末機に備えられたプロセッサが読み取ることのできる記録媒体にプロセッサが読み取ることのできるコードとして実現することが可能である。プロセッサが読み取ることのできる記録媒体は,プロセッサによって読み取られることのできるデータが記憶されるすべての種類の記録装置を含む。プロセッサが読み取ることのできる記録媒体の例としては,ROM,RAM,CD−ROM,磁気テープ,フレキシブルディスク,光データ記憶装置などがあり,また,インターネットを介した伝送などのような搬送波の形態で実現されることも含む。また,プロセッサが読み取ることのできる記録媒体は,ネットワークで接続されたコンピュータシステムに分散されて,分散方式によってプロセッサが読み取ることのできるコードが記憶され,実行することができる。
本明細書において参照された「一実施形態」,「1つの実施形態」,「例示的な実施形態」などで記載された表現は,本実施形態に関連して説明された特定機能,構造,又は特徴が本発明の少なくとも1つの実施形態に含まれることを意味する。本明細書の多くの箇所にあるそのような文言の表現は,同じ実施形態で必ずすべて引用しなければならないものではない。また,そのような特定機能,構造,又は特徴がある実施形態と関連して説明されるとき,種々の実施形態のうち,他の実施形態と関連して,そのような機能,構造,又は特徴が適用することができるということは,本技術分野に熟練された人であれば理解できるであろう。
たとえ,本発明の実施形態は,種々の例示的な実施形態を参照して説明したが,本技術分野に熟練された人々は,本開示の原理等の精神及び範囲内で様々な他の変更案及び実施形態が誘導できることが分かるであろう。特に,本願の明細書,図面,及び請求の範囲の範囲内において実際に組合せ装置の構成要素及び/又は配列によって様々な変更案及び修正案がありうる。また,本技術分野に熟練された人には,構成要素及び/又は装置から,様々な変更案及び修正案と共に,代替案がありうるということが自明である。
100 携帯端末機
110 無線通信部
120 A/V入力部
130 ユーザ入力部
140 センシング部
150 出力部
160 メモリ
170 インタフェース部
180 制御部
190 電力供給部

Claims (18)

  1. 第1の画像及び第2の画像を含むオブジェクトを表示するように構成された3D表示部と,
    ユーザ入力に応じて,前記第1の画像及び第2の画像を含むオブジェクトの表示倍率を変更して,第1の変換された画像及び第2の変換された画像間の視差を補正するように構成された制御部と,を備え,
    前記制御部が,前記第1の変換された画像及び第2の変換された画像間の視差を決定し,前記視差が予め設定された視差範囲内にあるかを決定し,前記視差が前記予め設定された視差範囲内にあるように,前記第1の変換された画像及び第2の変換された画像のうち少なくとも1つを移動させ,前記補正された第1の変換された画像及び第2の変換された画像を表示するように前記3D表示部を制御し、
    前記第1の画像及び第2の画像の表示倍率が基準レベルを超過するとき,前記制御部が,前記変換された第1の画像及び第2の画像に対応する2D画像を表示するように前記3D表示部を制御することを特徴とする携帯端末機。
  2. 前記第1の変換された画像及び第2の変換された画像が複数の3Dオブジェクトを含み,前記第1の変換された画像及び第2の変換された画像間の視差が前記複数の3Dオブジェクトのうち1つのオブジェクトに基づいて決定され,
    前記制御部が,前記複数の3Dオブジェクトのうち前記1つのオブジェクトの前記決定された視差に基づいて,前記複数の3Dオブジェクトを移動させて前記第1の変換された画像又は第2の変換された画像のうち前記少なくとも1つを移動させるように構成されることを特徴とする請求項1に記載の携帯端末機。
  3. 前記制御部が,前記第1の変換された画像及び第2の変換された画像の前記複数の3Dオブジェクトのうち前記1つのオブジェクトを移動させて,前記第1の変換された画像及び第2の変換された画像間の前記視差を補正することを特徴とする請求項2に記載の携帯端末機。
  4. 前記制御部が,前記変換されたオブジェクトを移動させる要求に応じて,前記3D表示部上の前記第1の変換された画像及び第2の変換された画像を移動させることを特徴とする請求項2に記載の携帯端末機。
  5. 前記制御部が,前記複数の3Dオブジェクトのうち少なくとも1つのオブジェクトの視差が前記予め設定された視差範囲を外れるとき,前記複数の3Dオブジェクトのうち前記少なくとも1つのオブジェクトを2次元オブジェクトとして表示するように前記3D表示部を制御することを特徴とする請求項2に記載の携帯端末機。
  6. 前記制御部が,前記第1の変換された画像又は第2の変換された画像を移動させることによって生成されたホール領域を埋めるために補間することを特徴とする請求項1に記載の携帯端末機。
  7. 前記制御部が,前記ホール領域を埋めるために,当該ホール領域に隣接したピクセルを補間することを特徴とする請求項に記載の携帯端末機。
  8. 前記制御部が,ピンチイン入力又はピンチアウト入力を含む予め設定されたジェスチャ入力に応じて,前記オブジェクトの深度を変更することを特徴とする請求項に記載の携帯端末機。
  9. 前記制御部が,画像分割ワーピングを用いて前記オブジェクトの感知された深度を調節するためのメニューを表示するように前記3D表示部を制御することを特徴とする請求項1に記載の携帯端末機。
  10. 前記制御部が,予め設定された入力に応じて,前記第1の変換された画像及び第2の変換された画像から選択された1つ以上のオブジェクトを3Dオブジェクトとして表示し,前記第1の変換された画像及び第2の変換された画像内のほかの選択されていないオブジェクトは2Dオブジェクトとして表示するように前記3D表示部を制御することを特徴とする請求項1に記載の携帯端末機。
  11. 前記制御部が,前記表示された第1の変換された画像及び第2の変換された画像に対応する立体感情報を表示するように前記3D表示部を制御することを特徴とする請求項1に記載の携帯端末機。
  12. 前記立体感情報が,数値データ,グラフ,又は画像のうち少なくとも1つとして表示されることを特徴とする請求項11に記載の携帯端末機。
  13. 複数の3Dオブジェクトを有する3D画像を生成するように第1の画像及び第2の画像を表示する表示部と,
    前記第1の画像及び第2の画像の表示を調節するように構成された制御部と,を備える携帯端末機であって,
    前記制御部が,ユーザ入力に応じて前記第1の画像及び第2の画像を変換し,
    前記変換された第1の画像及び第2の画像内の前記複数の3Dオブジェクトの視差が予め設定されたしきい値内にあるかを決定し,
    前記視差が前記予め設定されたしきい値内にあるように前記変換された第1の画像及び第2の画像内の前記複数の3Dオブジェクトのうち少なくとも1つを移動させ,
    前記調節された第1の画像及び第2の画像を表示し,
    前記視差の予め設定されたしきい値が,式cos(θ)>=(d L 2 +d R 2 −d th )/(2 * L *d R )に基づき,θは前記収束角度,d L は左眼画像と収束点との間の距離,d R は右眼画像と収束点との間の距離,d th は前記視差の予め設定されたしきい値であることを特徴とする携帯端末機。
  14. 前記視差の予め設定されたしきい値が,ユーザと前記表示部との間の距離及び予め決定された最大収束角度θに基づくことを特徴とする請求項13に記載の携帯端末機。
  15. 前記収束角度θが,予め設定された最大角度以下であることを特徴とする請求項14に記載の携帯端末機。
  16. 前記ユーザと前記表示部との間の距離を測定して,前記視差の予め設定されたしきい値を決定するように構成されたセンサを更に備えることを特徴とする請求項13に記載の携帯端末機。
  17. 前記第1の画像及び第2の画像の変換以前の視差が,予め設定された最大収束角度θに対応する前記予め設定されたしきい値視差以下であり,前記第1の変換された画像及び第2の変換された画像の調節以前の視差が,前記予め設定された最大収束角度θに対応する前記予め設定されたしきい値視差より大きいことを特徴とする請求項13に記載の携帯端末機。
  18. 携帯端末機において3D表示部を制御するための方法であって,
    第1の画像及び第2の画像を含む第1のオブジェクトを表示するステップと,
    ユーザ入力に応じて,前記第1の画像及び前記第2の画像を含む前記オブジェクトの表示倍率を変更するステップと,
    第1の変換された画像及び第2の変換された画像間の視差を補正するステップと,を有し,
    前記視差を補正するステップは,
    前記第1の変換された画像及び第2の変換された画像間の視差を決定するステップと,
    前記視差が予め設定された視差範囲内にあるかを決定するステップと,
    前記視差が前記予め設定された視差範囲内にあるように,前記第1の変換された画像及び第2の変換された画像のうち少なくとも1つを移動させるステップと,
    前記3D表示部に前記補正された第1の変換された画像及び第2の変換された画像を表示するステップと,を有し,
    前記第1の画像及び第2の画像の表示倍率が基準レベルを超過するとき,前記制御部が,前記変換された第1の画像及び第2の画像に対応する2D画像を表示するステップを更に有する方法。
JP2011257826A 2010-11-26 2011-11-25 携帯端末機及びその動作制御方法 Expired - Fee Related JP5357238B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0118918 2010-11-26
KR1020100118918A KR101727899B1 (ko) 2010-11-26 2010-11-26 휴대 단말기 및 그 동작 제어방법

Publications (2)

Publication Number Publication Date
JP2012114920A JP2012114920A (ja) 2012-06-14
JP5357238B2 true JP5357238B2 (ja) 2013-12-04

Family

ID=45470262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011257826A Expired - Fee Related JP5357238B2 (ja) 2010-11-26 2011-11-25 携帯端末機及びその動作制御方法

Country Status (6)

Country Link
US (1) US9088771B2 (ja)
EP (1) EP2458880B1 (ja)
JP (1) JP5357238B2 (ja)
KR (1) KR101727899B1 (ja)
CN (1) CN102479052B (ja)
TW (1) TWI471820B (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
US9152258B2 (en) * 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
WO2011121397A1 (en) * 2010-04-01 2011-10-06 Nokia Corporation Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
JP5586377B2 (ja) * 2010-08-17 2014-09-10 オリンパスイメージング株式会社 表示装置
JP2012256110A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5281720B1 (ja) * 2011-09-20 2013-09-04 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
JP2013097593A (ja) * 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
GB2498954B (en) * 2012-01-31 2015-04-15 Samsung Electronics Co Ltd Detecting an object in an image
WO2013125122A1 (ja) * 2012-02-23 2013-08-29 富士フイルム株式会社 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法
CN103312863A (zh) * 2012-03-08 2013-09-18 中兴通讯股份有限公司 移动终端视频的呈现方法及装置
US20150070477A1 (en) * 2012-03-30 2015-03-12 Sony Corporation Image processing device, image processing method, and program
JP6037146B2 (ja) 2012-06-29 2016-11-30 パナソニックIpマネジメント株式会社 触感提示機能つきタッチパネル装置
CN102883120B (zh) * 2012-07-24 2016-07-20 冠捷显示科技(厦门)有限公司 一种双画面图像显示装置及控制方法
KR101971624B1 (ko) * 2012-07-25 2019-04-23 삼성전자주식회사 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
TWI478046B (zh) * 2012-12-28 2015-03-21 Qisda Corp 數位相機操作方法以及使用此方法之數位相機
CN103049175B (zh) 2013-01-22 2016-08-10 华为终端有限公司 预览画面呈现方法、装置及终端
CN103970458A (zh) 2013-01-30 2014-08-06 国际商业机器公司 用于对多个条件的取值进行调节的方法和系统
CN105432078B (zh) * 2013-02-19 2017-09-22 瑞尔D股份有限公司 双目注视成像方法和设备
US10394434B2 (en) 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US9239661B2 (en) * 2013-03-15 2016-01-19 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
WO2014163214A1 (en) * 2013-04-01 2014-10-09 Lg Electronics Inc. Image display device for providing function of changing screen display direction and method thereof
TWI547142B (zh) 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的3d顯示器適配
CN103297501A (zh) * 2013-05-07 2013-09-11 杭州玄鸟数字技术有限公司 全息投影实时交互系统
US20160212404A1 (en) * 2013-08-23 2016-07-21 The Schepens Eye Research Institute, Inc. Prevention and Treatment of Myopia
CN104461601B (zh) * 2013-09-25 2017-11-28 联想(北京)有限公司 一种参数值调整方法及电子设备
CN103631492B (zh) * 2013-09-27 2018-09-04 深圳超多维科技有限公司 一种调节立体内容深度的方法及装置
KR20150042574A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10845888B2 (en) * 2014-02-13 2020-11-24 Autodesk, Inc. Techniques for integrating different forms of input with different forms of output when interacting with an application
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
US9473764B2 (en) 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
TWI556664B (zh) * 2014-11-24 2016-11-01 To achieve a wireless interaction between an electronic device and an initiator
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
DE102015100680B4 (de) * 2015-01-19 2016-10-13 Carl Zeiss Ag Verfahren und Vorrichtungen zur Umgebungsdarstellung
KR102317820B1 (ko) * 2015-08-12 2021-10-26 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
US11889224B2 (en) * 2015-12-31 2024-01-30 C. Douglass Thomas Electronic cooking assistant
CN106484416B (zh) 2016-09-30 2021-02-05 腾讯科技(北京)有限公司 一种信息处理方法及终端
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法
JP7350510B2 (ja) 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US11280630B2 (en) * 2019-11-27 2022-03-22 Zoox, Inc. Updating map data
KR20220107831A (ko) 2021-01-26 2022-08-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN113271451B (zh) * 2021-04-22 2023-02-28 武汉联影智融医疗科技有限公司 3d成像视差调整方法、控制设备和3d成像系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653790B2 (ja) * 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
WO2002071764A1 (en) 2001-01-24 2002-09-12 Vrex, Inc. Method and system for adjusting stereoscopic image to optimize viewing for image zooming
US7371163B1 (en) 2001-05-10 2008-05-13 Best Robert M 3D portable game system
JP4222817B2 (ja) 2002-09-27 2009-02-12 シャープ株式会社 立体画像表示装置、記録方法、及び伝送方法
JP4251907B2 (ja) 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
JP4259913B2 (ja) 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
KR100768837B1 (ko) 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
EP1952199B1 (en) 2005-11-17 2012-10-03 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
KR100704634B1 (ko) * 2005-12-19 2007-04-09 삼성전자주식회사 사용자의 위치에 따른 입체 영상을 디스플레이하는 장치 및방법
KR100894874B1 (ko) * 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
JP2009246625A (ja) 2008-03-31 2009-10-22 Fujifilm Corp 立体表示装置及び立体表示方法並びにプログラム
JP4811452B2 (ja) 2008-11-19 2011-11-09 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
JP5355208B2 (ja) 2009-05-01 2013-11-27 富士フイルム株式会社 3次元表示装置及びデジタルズーム補正方法
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
KR101626621B1 (ko) * 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
WO2011123178A1 (en) * 2010-04-01 2011-10-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation
GB2479784B (en) * 2010-04-23 2012-11-07 Nds Ltd Image scaling
JP5186715B2 (ja) 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム
US9565415B2 (en) * 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
KR20120055991A (ko) * 2010-11-24 2012-06-01 삼성전자주식회사 영상처리장치 및 그 제어방법
JP5879713B2 (ja) * 2010-12-09 2016-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9189825B2 (en) * 2011-04-12 2015-11-17 Lg Electronics Inc. Electronic device and method for displaying stereoscopic image
JP2012244396A (ja) * 2011-05-19 2012-12-10 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20130009949A1 (en) * 2011-07-05 2013-01-10 Texas Instruments Incorporated Method, system and computer program product for re-convergence of a stereoscopic image
KR101899972B1 (ko) * 2011-12-21 2018-09-18 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101873759B1 (ko) * 2012-04-10 2018-08-02 엘지전자 주식회사 영상 표시 장치 및 그 제어방법

Also Published As

Publication number Publication date
KR101727899B1 (ko) 2017-04-18
EP2458880A2 (en) 2012-05-30
JP2012114920A (ja) 2012-06-14
CN102479052A (zh) 2012-05-30
TW201224993A (en) 2012-06-16
EP2458880A3 (en) 2013-03-27
US9088771B2 (en) 2015-07-21
KR20120057258A (ko) 2012-06-05
US20120133645A1 (en) 2012-05-31
TWI471820B (zh) 2015-02-01
EP2458880B1 (en) 2017-05-10
CN102479052B (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
JP5357238B2 (ja) 携帯端末機及びその動作制御方法
KR101729023B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR101708696B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR101735612B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR101729026B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR20120048397A (ko) 휴대 단말기 및 그 동작 제어방법
KR20140016495A (ko) 휴대 단말기 및 그 제어 방법
KR20120056929A (ko) 휴대 단말기 및 그 동작 제어방법
KR20120031805A (ko) 휴대 단말기 및 그 동작 제어방법
KR101694172B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR101651477B1 (ko) 휴대 단말기 및 그 동작 방법
KR101685338B1 (ko) 휴대 단말기 및 그 동작 방법
KR20110060125A (ko) 이동 단말기 및 그 제어방법
KR20120130394A (ko) 휴대 단말기 및 그 제어방법
KR20120048396A (ko) 휴대 단말기 및 그 동작 제어방법
KR20130057302A (ko) 휴대 단말기 및 그 동작방법
KR20130058203A (ko) 이동 단말기 및 그 제어방법
KR20130013967A (ko) 이동통신 단말기 및 그 동작방법
KR20130066338A (ko) 휴대 단말기 및 그 동작방법
KR20130059136A (ko) 이동 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130829

R150 Certificate of patent or registration of utility model

Ref document number: 5357238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees