JP5348687B2 - Terminal device and program - Google Patents

Terminal device and program Download PDF

Info

Publication number
JP5348687B2
JP5348687B2 JP2009101257A JP2009101257A JP5348687B2 JP 5348687 B2 JP5348687 B2 JP 5348687B2 JP 2009101257 A JP2009101257 A JP 2009101257A JP 2009101257 A JP2009101257 A JP 2009101257A JP 5348687 B2 JP5348687 B2 JP 5348687B2
Authority
JP
Japan
Prior art keywords
camera
image
output
housing
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009101257A
Other languages
Japanese (ja)
Other versions
JP2010252186A (en
Inventor
浩三 増田
宏 清水
Original Assignee
Necカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necカシオモバイルコミュニケーションズ株式会社 filed Critical Necカシオモバイルコミュニケーションズ株式会社
Priority to JP2009101257A priority Critical patent/JP5348687B2/en
Publication of JP2010252186A publication Critical patent/JP2010252186A/en
Application granted granted Critical
Publication of JP5348687B2 publication Critical patent/JP5348687B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a terminal stereoscopic imaging with an extremely simple operation. <P>SOLUTION: In a cellular phone 100, a lower housing and an upper housing are openably/closably connected to each other through a hinge; a main camera 17 is arranged on the lower housing; and a sub-camera 18 is arranged on the upper housing. A CPU 7 creates an image for stereovision based on an output image from the main camera 17 and an output image from the sub-camera 18. An angle detection part 20 detects an open angle formed by the lower and upper housings. The CPU 7 determines whether the image for stereovision is created or not based on the detection result of the angle detection part 20. <P>COPYRIGHT: (C)2011,JPO&amp;INPIT

Description

本発明は、2台のカメラからの出力画像に基づいて、立体視用の画像を生成可能な端末装置に関する。   The present invention relates to a terminal device capable of generating a stereoscopic image based on output images from two cameras.
近年、撮影機能を有する携帯電話等の携帯端末装置の普及は目覚ましく、広く一般ユーザに浸透している。また、携帯端末装置のメーカ側においても、撮影機能の充実性を重視し、新しい技術の開発に取り組んでいる。例えば、特許文献1には、長手方向の両端部にカメラを搭載することで、立体視用の画像の取得を可能とする携帯型通信装置が提案されている(例えば、段落[0015]〜[0037]、図5参照)。   2. Description of the Related Art In recent years, mobile terminal devices such as mobile phones having a photographing function are remarkably widespread and have been widely spread to general users. In addition, manufacturers of portable terminal devices are focusing on the enhancement of shooting functions and are working on the development of new technologies. For example, Patent Document 1 proposes a portable communication device that can acquire a stereoscopic image by mounting cameras at both ends in the longitudinal direction (for example, paragraphs [0015] to [0015] 0037], see FIG.
特開2003−51872号公報JP 2003-51872 A
しかしながら、上記特許文献1には、立体視用の画像を取得するモード(立体撮影モード)への移行方法についての開示がされていない。例えば、携帯端末装置を立体撮影モードに移行させるために当該携帯端末装置に設けられたボタンを操作する等、所定操作が必要になると、直ちに被写体を撮影することができず、シャッターチャンスを逃す可能性がある。   However, Patent Document 1 does not disclose a method for shifting to a mode (stereoscopic shooting mode) for acquiring an image for stereoscopic viewing. For example, if a predetermined operation is required, such as operating a button provided on the mobile terminal device to shift the mobile terminal device to the stereoscopic shooting mode, the subject cannot be photographed immediately, and a photo opportunity can be missed. There is sex.
また、ユーザに違和感なく良好な立体画像を提供するためには、2台のカメラから出力される画像の精度を等しくする必要があり、従来においては同一のカメラを2台搭載する必要があった。高精細なカメラはコストが高いため、これを2台搭載すると大幅なコストアップを招くことになる。また、たとえ、2台のカメラが同一仕様であっても、個体ばらつき等により、例えば、撮影画像のホワイトバランス、明るさ、色あいが異なる場合もある。そうすると、これらの差異により、良好な立体画像をユーザに提供できないおそれもある。   In addition, in order to provide a user with a good stereoscopic image without a sense of incongruity, it is necessary to equalize the accuracy of the images output from the two cameras, and conventionally it was necessary to install two identical cameras. . Since a high-definition camera is expensive, if two of these are installed, the cost will be significantly increased. Even if the two cameras have the same specifications, for example, the white balance, brightness, and hue of the captured image may differ due to individual variations and the like. If it does so, there exists a possibility that a favorable stereo image cannot be provided to a user by these differences.
本発明は、上記問題に鑑みてなされたものであり、ごく簡単な操作で立体撮影が可能となる端末装置及びプログラムを提供することを目的とする。さらに、本発明は、2台のカメラから出力される画像の精度等の差異を吸収して、良好な立体視用画像を生成可能な端末装置及びプログラムも提供する。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a terminal device and a program that enable stereoscopic shooting with a very simple operation. Furthermore, the present invention also provides a terminal device and a program capable of generating a good stereoscopic image by absorbing a difference in accuracy and the like of images output from two cameras.
上記目的を達成するため、本発明に係る端末装置は、
第1の筐体と第2の筐体とがヒンジを介して互いに開閉自在に連結された端末装置であって、
前記第1の筐体に設けられた第1のカメラと、
前記第2の筐体に設けられた第2のカメラと、
前記第1のカメラ及び前記第2のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
前記第1の筐体と前記第2の筐体とが成す開角度を検出する開角度検出手段と、
該開角度検出手段が検出した開角度が180度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する判定手段と、
画像の縮小及び切り出しを行うスケーラと、を備え
前記第1のカメラと前記第2のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、
前記スケーラは、画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させることを特徴とする。
To achieve the above object, a terminal apparatus according to the present onset Ming,
A terminal device in which a first housing and a second housing are connected to each other via a hinge so as to be freely opened and closed,
A first camera provided in the first housing;
A second camera provided in the second housing;
Stereoscopic image generation means for generating an image for stereoscopic viewing based on output images of the first camera and the second camera;
An open angle detecting means for detecting an open angle formed by the first housing and the second housing;
A determination unit that determines that the stereoscopic image generation unit needs to generate the stereoscopic image when the open angle detected by the open angle detection unit is 180 degrees or more ;
A scaler that reduces and crops an image ,
One of the first camera and the second camera has a narrower angle of view and a smaller number of pixels than the other camera,
The scaler performs the reduction and image cut-out processing on the output image of the camera with the wider angle of view and the larger number of pixels based on the output image of the other camera, thereby outputting the output of the other camera. It is characterized by matching with the size of the image .
また、前記第1のカメラと前記第2のカメラの内、少なくとも1台は、回転動作により撮影方向を変更可能な回転カメラであってもよい。   In addition, at least one of the first camera and the second camera may be a rotating camera capable of changing a shooting direction by a rotating operation.
また、前記第1のカメラ及び前記第2のカメラそれぞれの出力画像の画質を一致させる画質補正手段をさらに備えてもよい。   The image processing apparatus may further include image quality correction means for matching the image quality of the output images of the first camera and the second camera.
上記の場合、前記画質補正手段は、ホワイトバランス、輝度、色の内の少なくとも何れか1つを一致させるようにするのが好ましい。   In the above case, it is preferable that the image quality correction unit matches at least one of white balance, luminance, and color.
また、前記第1のカメラ及び前記第2のカメラのフレームレートは異なり、前記第1のカメラ及び前記第2のカメラのフレームレートを一致させるフレームレート変換手段をさらに備えてもよい。   Further, the frame rates of the first camera and the second camera are different, and a frame rate conversion means for matching the frame rates of the first camera and the second camera may be further provided.
また、前記第1のカメラ及び前記第2のカメラのフォーカス性能は異なり、フォーカス性能の劣る一方のカメラの出力画像の輪郭を補正することで、他方のカメラの出力画像における輪郭精度と一致させる輪郭補正手段をさらに備えてもよい。   In addition, the focus performance of the first camera and the second camera are different, and the contour that matches the contour accuracy in the output image of the other camera by correcting the contour of the output image of one camera inferior in the focus performance. You may further provide a correction means.
また、前記第1のカメラ及び前記第2のカメラそれぞれの出力画像に共通する被写体像を取得し、該取得した被写体像に基づいて、少なくとも一方のカメラの出力画像の視点を補正する光軸補正手段をさらに備えてもよい。   Further, an optical axis correction for acquiring a subject image common to the output images of the first camera and the second camera and correcting the viewpoint of the output image of at least one camera based on the acquired subject image. Means may further be provided.
また、本発明に係るプログラムは、
コンピュータを、
第1の筐体に設けられた第1のカメラ及び第2の筐体に設けられた第2のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段、
前記第1の筐体と前記第2の筐体とが成す開角度を検出する開角度検出手段が検出した前記開角度が180度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する判定手段、
画像の縮小及び切り出しを行うスケーラと、として機能させ
前記第1のカメラと前記第2のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、
前記スケーラは、画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させることを特徴とする。
The program according to the present invention is
Computer
Stereoscopic image generation means for generating a stereoscopic image based on output images of the first camera provided in the first housing and the second camera provided in the second housing;
When the opening angle detected by the opening angle detecting means for detecting the opening angle formed by the first casing and the second casing is 180 degrees or more, the stereoscopic image generating means is configured to perform the stereoscopic viewing. Determining means for determining that an image for use needs to be generated ;
Function as a scaler that reduces and crops images ,
One of the first camera and the second camera has a narrower angle of view and a smaller number of pixels than the other camera,
The scaler performs the reduction and image cut-out processing on the output image of the camera with the wider angle of view and the larger number of pixels based on the output image of the other camera, thereby outputting the output of the other camera. It is characterized by matching with the size of the image .
以上の如く、本発明によれば、ごく簡単な操作で立体撮影が可能となる端末装置を提供できる。また、良好な立体視用画像を生成可能な端末装置を提供できる。   As described above, according to the present invention, it is possible to provide a terminal device that enables stereoscopic shooting with a very simple operation. In addition, it is possible to provide a terminal device that can generate a favorable stereoscopic image.
本発明の第1実施形態に係る携帯電話の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone which concerns on 1st Embodiment of this invention. 第1実施形態に係る携帯電話の外観図である。1 is an external view of a mobile phone according to a first embodiment. 第1実施形態のメインカメラの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the main camera of 1st Embodiment. 第1実施形態のメインカメラの出力画像の画素構造を示す図である。It is a figure which shows the pixel structure of the output image of the main camera of 1st Embodiment. 第1実施形態のサブカメラの出力画像の画素構造を示す図である。It is a figure which shows the pixel structure of the output image of the sub camera of 1st Embodiment. 第1実施形態において、保存画像の画素構造を示す図である。In 1st Embodiment, it is a figure which shows the pixel structure of a preservation | save image. 第1実施形態のメインカメラ及びサブカメラの出力画像と、保存画像の画像イメージを示す図である。It is a figure which shows the output image of the main camera of 1st Embodiment, and a sub camera, and the image image of a preserve | saved image. 第1実施形態の表示部で表示される画像の画素構造を示す図である。It is a figure which shows the pixel structure of the image displayed on the display part of 1st Embodiment. 第1実施形態の表示部で表示される画像の画像イメージを示す図である。It is a figure which shows the image image of the image displayed on the display part of 1st Embodiment. 第1実施形態の表示部、視差バリア及びユーザ視点のそれぞれの位置関係を示す図である。It is a figure which shows each positional relationship of the display part of 1st Embodiment, a parallax barrier, and a user viewpoint. 第1実施形態において、立体視を説明するための図である。In 1st Embodiment, it is a figure for demonstrating stereoscopic vision. 第1実施形態において、携帯電話の開角度と角度検出部の動作状態との関係を説明するための図である。In 1st Embodiment, it is a figure for demonstrating the relationship between the open angle of a mobile telephone, and the operation state of an angle detection part. 第1実施形態の角度検出部の機構を説明するための図である。It is a figure for demonstrating the mechanism of the angle detection part of 1st Embodiment. 第1実施形態の角度検出部の電気的動作を説明するための図である。It is a figure for demonstrating the electrical operation | movement of the angle detection part of 1st Embodiment. 第1実施形態の角度検出部の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the angle detection part of 1st Embodiment. 本発明の第2実施形態に係る携帯電話の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone which concerns on 2nd Embodiment of this invention. 第2実施形態に係る携帯電話の外観図である。It is an external view of the mobile phone which concerns on 2nd Embodiment. 第2実施形態のメインカメラ及び回転カメラの出力画像イメージを示す図である。It is a figure which shows the output image image of the main camera and rotation camera of 2nd Embodiment. 第2実施形態のスケーラの動作を説明するためのイメージ図である。It is an image figure for demonstrating operation | movement of the scaler of 2nd Embodiment. 本発明の第3実施形態に係る携帯電話の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone which concerns on 3rd Embodiment of this invention. 第3実施形態の画質補正部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the image quality correction part of 3rd Embodiment. 第3実施形態のホワイトバランス補正部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the white balance correction | amendment part of 3rd Embodiment. 第3実施形態の輝度補正部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the brightness correction part of 3rd Embodiment. 第3実施形態の色差U補正部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the color difference U correction | amendment part of 3rd Embodiment. 本発明の第4実施形態に係る携帯電話の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone which concerns on 4th Embodiment of this invention. 第4実施形態のフレームレート変換部の動作を説明するためのブロック図である。It is a block diagram for demonstrating operation | movement of the frame rate conversion part of 4th Embodiment. 本発明の第5実施形態に係る携帯電話の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone which concerns on 5th Embodiment of this invention. 第5実施形態の輪郭補正部の動作を説明するためのブロック図である。It is a block diagram for demonstrating operation | movement of the outline correction | amendment part of 5th Embodiment. 本発明の第6実施形態に係る携帯電話の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the mobile telephone which concerns on 6th Embodiment of this invention. 第6実施形態の光軸補正部の動作を説明するためのイメージ図である。It is an image figure for demonstrating operation | movement of the optical axis correction part of 6th Embodiment. カメラ搭載位置の変形例を示す図である。It is a figure which shows the modification of a camera mounting position.
以下、本発明に係る端末装置の実施形態を図面を用いて説明する。本発明は、映像表示が可能な端末装置全般、例えば、携帯電話、PHS、PDA、PC、TV、映像記録装置・再生装置等に適用可能であるが、以下の各実施形態では、本発明に係る端末装置を携帯電話に適用した例について説明する。   Hereinafter, embodiments of a terminal device according to the present invention will be described with reference to the drawings. The present invention is applicable to all terminal devices capable of displaying video, for example, mobile phones, PHS, PDAs, PCs, TVs, video recording / playback devices, etc. In the following embodiments, the present invention is applied to the present invention. An example in which such a terminal device is applied to a mobile phone will be described.
(第1実施形態)
本発明の第1実施形態について図面を用いて説明する。
図1は、第1実施形態に係る携帯電話100の構成を示すブロック図である。携帯電話100は、通信アンテナ1と、無線回路2と、符号復号処理回路3と、マイク4と、レシーバ5と、キー6と、CPU7と、CPUバス8と、メモリ9と、DAC10と、スピーカ11と、第1のビデオI/F12と、LCDコントローラ13と、第2のビデオI/F14と、表示部15と、視差バリア16と、メインカメラ17と、サブカメラ18と、記憶装置19と、角度検出部20と、を備える。
(First embodiment)
A first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a mobile phone 100 according to the first embodiment. The cellular phone 100 includes a communication antenna 1, a radio circuit 2, an encoding / decoding processing circuit 3, a microphone 4, a receiver 5, a key 6, a CPU 7, a CPU bus 8, a memory 9, a DAC 10, and a speaker. 11, the first video I / F 12, the LCD controller 13, the second video I / F 14, the display unit 15, the parallax barrier 16, the main camera 17, the sub camera 18, and the storage device 19. And an angle detection unit 20.
通信アンテナ1は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路2に入力する。また、通信アンテナ1は、無線回路2から出力された高周波電気信号を電波に変換して発信する。無線回路2は、CPU7の指示に基づき、通信アンテナ1で受信した高周波電気信号を復調し、符号復号処理回路3に入力する。また、無線回路2は、符号復号処理回路3の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ1へ出力する。   The communication antenna 1 receives a radio wave transmitted through the air, converts it into a high-frequency electrical signal, and inputs it to the radio circuit 2. The communication antenna 1 converts the high-frequency electrical signal output from the radio circuit 2 into a radio wave and transmits the radio wave. The radio circuit 2 demodulates the high frequency electrical signal received by the communication antenna 1 based on an instruction from the CPU 7 and inputs the demodulated signal to the code decoding processing circuit 3. Further, the radio circuit 2 performs modulation processing on the output signal of the code decoding processing circuit 3, converts it to a high frequency electric signal, and outputs it to the communication antenna 1.
符号復号処理回路3は、CPU7の制御に従って、無線回路2の出力信号に復号処理を施し、通話用音声信号をレシーバ5に出力し、文字データや画像データ等をCPU7へ出力する。また、符号復号処理回路3は、マイク4を介して入力されたユーザ等の音声、または、ユーザがキー6を操作して編集した文字やメモリ9から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路2へ出力する。   The code decoding processing circuit 3 performs decoding processing on the output signal of the radio circuit 2 under the control of the CPU 7, outputs a speech signal for call to the receiver 5, and outputs character data, image data, and the like to the CPU 7. The encoding / decoding processing circuit 3 performs encoding processing on the voice of the user or the like input via the microphone 4, the characters edited by the user operating the keys 6, the image data read from the memory 9, or the like. The resulting signal is output to the radio circuit 2.
メモリ9は、CPUバス8を介してCPU7と接続され、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や静止画などの画像データ、等を格納する。なお、画像データや楽曲データは、記憶装置19に格納されていてもよい。記憶装置19には、半導体メモリ、光ディスク、ハードディスク等が使用可能である。   The memory 9 is connected to the CPU 7 via the CPU bus 8 and stores various control programs, databases, telephone books, address books, incoming melody, music data, image data such as moving images and still images, and the like. Note that image data and music data may be stored in the storage device 19. As the storage device 19, a semiconductor memory, an optical disk, a hard disk, or the like can be used.
DAC10は、CPU7から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ11へ供給する。スピーカ11は、DAC10から供給されたアナログ信号に基づいて着信音や通話音声等を出力する。   The DAC 10 converts a digital voice signal such as a ring tone or a call voice output from the CPU 7 into an analog signal and supplies the analog signal to the speaker 11. The speaker 11 outputs a ring tone, a call voice and the like based on the analog signal supplied from the DAC 10.
CPU7は、キー6の操作内容を検出する処理、音声通話処理、音楽や画像の再生処理、後述する立体撮影に係る制御、その他、携帯電話100全般に関する制御を行う。例えば、CPU7は、CPUバス8を介してメモリ9からプログラムを取得し、符号復号処理回路3、無線回路2を制御して、着信待ちに係る処理を行う。一方、着信時には、CPU7は、メモリ9の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、CPU7は、音声データについては、DAC10へ出力する一方、相手の電話番号や名前、画像データについては、第1のビデオI/F12を介して、LCDコントローラ13へ出力する。   The CPU 7 performs processing related to the operation of the key 6, voice call processing, music and image reproduction processing, control related to stereoscopic shooting described later, and other control related to the mobile phone 100 in general. For example, the CPU 7 acquires a program from the memory 9 via the CPU bus 8 and controls the encoding / decoding processing circuit 3 and the wireless circuit 2 to perform processing related to waiting for an incoming call. On the other hand, when receiving a call, the CPU 7 reads the name of the caller, the incoming melody, and the incoming image from the telephone directory in the memory 9. The CPU 7 outputs the audio data to the DAC 10, while outputting the other party's telephone number, name, and image data to the LCD controller 13 via the first video I / F 12.
第1のビデオI/F12には、例えば、CMOSのパラレルバスが使用可能であるが、本実施形態では、第1のビデオI/F12として、信号線数の削減やノイズ低減の観点から、最近の主流である差動シリアルバスを使用する。LCDコントローラ13は、1画面ないし2画面程度のビデオメモリを内蔵しており、CPU7から間欠的に送られてくる画像データを60Hz程度のフレーム周波数で連続的に読み出して、第2のビデオI/F14を介して表示部15へ出力する。第2のビデオI/F14は、第1のビデオI/F12と同様に差動シリアルでも構わないが、ここではCMOSのパラレルバスを用いるものとする。   For example, a CMOS parallel bus can be used for the first video I / F 12, but in this embodiment, the first video I / F 12 has recently been used from the viewpoint of reducing the number of signal lines and reducing noise. It uses a differential serial bus that is the mainstream. The LCD controller 13 has a built-in video memory of about 1 to 2 screens, and continuously reads out the image data sent from the CPU 7 at a frame frequency of about 60 Hz to obtain the second video I / O. It outputs to the display part 15 via F14. The second video I / F 14 may be a differential serial as in the first video I / F 12, but here, a CMOS parallel bus is used.
表示部15は、RGBの3ピクセルで1画素を構成するストライプ形式のものが使用可能であり、画素数は、QVGA(320×240)、VGA(640×480)、(ワイドVGA(800×480)、フルワイドVGA(854×480)など、多様な画素数のデバイスを使用することが可能である。本実施形態では、表示部15が、VGA(640×480)で表示を行う場合を例にして説明する。また、本実施形態では、表示部15は、液晶ディスプレイで構成されるが、自発光型の有機ELディスプレイで構成されてもよい。   The display unit 15 can use a striped configuration in which one pixel is composed of 3 pixels of RGB, and the number of pixels is QVGA (320 × 240), VGA (640 × 480), (wide VGA (800 × 480). ), Devices with various pixel numbers such as full-wide VGA (854 × 480), etc. In this embodiment, the display unit 15 performs an example of displaying with VGA (640 × 480). In the present embodiment, the display unit 15 is configured with a liquid crystal display, but may be configured with a self-luminous organic EL display.
視差バリア16は、表示部15に表示される立体視用画像(左眼用画像及び右眼用画像で構成される)において、左眼用画像については、ユーザの右眼からは見えないように、また、右眼用画像については、ユーザの左眼からは見えないように画像観視方向を制限するものである。視差バリア16は、図2(a)に示すように、携帯電話100を横に向けた時に、縦ストライプとなるよう配置される。立体画像表示の原理については後述する。   The parallax barrier 16 in the stereoscopic image displayed on the display unit 15 (consisting of a left-eye image and a right-eye image) is configured so that the left-eye image is not visible to the user's right eye. In addition, the image viewing direction is limited so that the right eye image cannot be seen from the left eye of the user. As shown in FIG. 2A, the parallax barrier 16 is arranged in a vertical stripe when the mobile phone 100 is turned sideways. The principle of stereoscopic image display will be described later.
ここで、本実施形態の携帯電話100の外観について説明する。図2(a)に示すように、携帯電話100は、下側筐体101と上側筐体102とをヒンジ103で連結して開閉自在にした、いわゆる折り畳み式の携帯電話である。下側筐体101の一方の主面(以下、操作面という。)には、マイク4と、キー6とが設けられている。また、上側筐体102の一方の主面(以下、表示面という。)には、レシーバ5と、表示部15と、上述した視差バリア16と、が設けられている。携帯電話100は、折り畳み状態時において、下側筐体101の操作面と上側筐体102の表示面とが互いに対向した状態となる。   Here, the external appearance of the mobile phone 100 of this embodiment will be described. As shown in FIG. 2A, the mobile phone 100 is a so-called foldable mobile phone in which a lower housing 101 and an upper housing 102 are connected by a hinge 103 so as to be freely opened and closed. A microphone 4 and a key 6 are provided on one main surface (hereinafter referred to as an operation surface) of the lower housing 101. In addition, the receiver 5, the display unit 15, and the parallax barrier 16 described above are provided on one main surface (hereinafter referred to as a display surface) of the upper housing 102. When the cellular phone 100 is in the folded state, the operation surface of the lower housing 101 and the display surface of the upper housing 102 face each other.
また、図2(b)に示すように、下側筐体101の背面側(操作面側の反対面側)には、長手方向の端部にメインカメラ17が設けられ、上側筐体102の背面側(表示面側の反対面側)には、長手方向の端部にサブカメラ18が設けられている。   Further, as shown in FIG. 2B, a main camera 17 is provided at the end in the longitudinal direction on the back side (the opposite side of the operation surface side) of the lower casing 101, and A sub camera 18 is provided at the end in the longitudinal direction on the back side (the side opposite to the display surface side).
メインカメラ17は、被写体を撮影して、その結果得られた映像信号(画像)をCPU7に出力する。メインカメラ17は、図3に示すように、レンズ171と、センサ172と、DSP173と、から構成される。レンズ171は、周囲の光を集光してセンサ172に結像させる。センサ172は、イメージセンサ(例えば、CMOSイメージセンサなど)であり、本実施形態では、VGA(横:640×縦:480)に相当する数の画素を備える。センサ172は、光電変換により、入力された光を電気信号に変換する。この際、1画素を3つのピクセルに分割し、各ピクセルに赤(R)、緑(G)、青(B)のフィルタを設けることによりカラーの映像信号を得ることができる。DSP(Digital Signal Processor)173は、センサ172から出力された映像信号にホワイトバランス補正やガンマ補正、色補正を施してVGA(横:640×縦:480)サイズのYUV形式の映像信号を生成し、CPU7に出力する。   The main camera 17 captures a subject and outputs a video signal (image) obtained as a result to the CPU 7. As shown in FIG. 3, the main camera 17 includes a lens 171, a sensor 172, and a DSP 173. The lens 171 focuses ambient light and forms an image on the sensor 172. The sensor 172 is an image sensor (for example, a CMOS image sensor), and includes a number of pixels corresponding to VGA (horizontal: 640 × vertical: 480) in this embodiment. The sensor 172 converts input light into an electric signal by photoelectric conversion. In this case, one pixel is divided into three pixels, and a red (R), green (G), and blue (B) filter is provided for each pixel, whereby a color video signal can be obtained. A DSP (Digital Signal Processor) 173 performs white balance correction, gamma correction, and color correction on the video signal output from the sensor 172 to generate a VGA (horizontal: 640 × vertical: 480) size YUV format video signal. , Output to the CPU 7.
サブカメラ18は、メインカメラ17と同一のデバイスで構成され、同一の機能を有する。CPU7は、メインカメラ17及びサブカメラ18の出力映像信号を合成し、符号化処理を施して記憶装置19に保存する。また、これに同期して、CPU7は、立体表示用画像データを生成して、第1のビデオI/F12を介してLCDコントローラ13に出力する。   The sub camera 18 is composed of the same device as the main camera 17 and has the same function. The CPU 7 synthesizes output video signals from the main camera 17 and the sub camera 18, performs encoding processing, and saves them in the storage device 19. In synchronism with this, the CPU 7 generates stereoscopic display image data and outputs it to the LCD controller 13 via the first video I / F 12.
CPU7によるカメラ(メインカメラ17、サブカメラ18)の出力映像信号の合成及び記憶装置19への保存についてさらに詳細に説明する。図4Aは、メインカメラ17から出力される映像信号(出力画像)の構造を示す図であり、図4Bは、サブカメラ18から出力される出力画像の構造を示す図である。図4Aにおいて、各画素の座標に付された「R」は、メインカメラ17の出力画像を右眼用画像として扱うことを示すものである。同様に、図4Bにおいて、「L」は、サブカメラ18の出力画像を左眼用画像として扱うことを示す。   The synthesis of the output video signal of the camera (main camera 17 and sub camera 18) by the CPU 7 and storage in the storage device 19 will be described in more detail. FIG. 4A is a diagram illustrating a structure of a video signal (output image) output from the main camera 17, and FIG. 4B is a diagram illustrating a structure of an output image output from the sub camera 18. In FIG. 4A, “R” attached to the coordinates of each pixel indicates that the output image of the main camera 17 is handled as a right eye image. Similarly, in FIG. 4B, “L” indicates that the output image of the sub camera 18 is handled as a left-eye image.
CPU7は、メインカメラ17及びサブカメラ18からの出力画像を図4Cに示すように左右に並べて合成し、記憶装置19に保存する。図5の(a)、(b)は、メインカメラ17、サブカメラ18の出力画像のイメージを示す図である。メインカメラ17の出力画像は、図5(a)に示すような右眼視点の映像となり、サブカメラ18の出力画像は、図5(b)に示すような左眼視点の映像となる。CPU7は、図5(c)に示すように、これら2つの出力画像を左右に並べたイメージで記憶装置19に保存する。   The CPU 7 combines the output images from the main camera 17 and the sub camera 18 side by side as shown in FIG. 4C and saves them in the storage device 19. 5A and 5B are views showing images of output images of the main camera 17 and the sub camera 18. FIG. The output image of the main camera 17 is a right-eye viewpoint video as shown in FIG. 5A, and the output image of the sub camera 18 is a left-eye viewpoint video as shown in FIG. 5B. As shown in FIG. 5C, the CPU 7 stores these two output images in the storage device 19 as an image arranged side by side.
次に、立体視の原理について説明する。CPU7は、記憶装置19に格納した合成画像(図4C参照)の右眼用画像及び左目用画像から奇数列の画像データを交互に読み出し、図6Aのように表示部14に出力する。この結果、1列毎に右眼用画像と左眼用画像が交互に表示されるため、図6Bに示すように左右視点の画像が両方表示される。   Next, the principle of stereoscopic vision will be described. The CPU 7 alternately reads out the odd-numbered column image data from the right-eye image and the left-eye image of the composite image (see FIG. 4C) stored in the storage device 19, and outputs it to the display unit 14 as shown in FIG. 6A. As a result, since the right eye image and the left eye image are alternately displayed for each column, both the left and right viewpoint images are displayed as shown in FIG. 6B.
図7は、表示部15、視差バリア16及びユーザ視点のそれぞれの位置関係を示す平面図である。図7において、151はバックライト、152は液晶パネル、211はユーザの右眼,212は左眼である。視差バリア16において、グレイ表示されている部分は、光を遮蔽する部分であり、白い部分は、光を透過する部分である。図7では、右眼用画像(1,1R)、(3,1R)、(5,1R)からの光線が、視差バリア16を通過して右眼211に入射し、左眼用画像(1,1L)、(3,1L)、(5,1L)からの光線が、視差バリア16を通過して左眼212に入射する様子が示されている。   FIG. 7 is a plan view showing the positional relationship between the display unit 15, the parallax barrier 16, and the user viewpoint. In FIG. 7, 151 is a backlight, 152 is a liquid crystal panel, 211 is a user's right eye, and 212 is a left eye. In the parallax barrier 16, a portion displayed in gray is a portion that shields light, and a white portion is a portion that transmits light. In FIG. 7, the light rays from the right-eye images (1, 1R), (3, 1R), and (5, 1R) pass through the parallax barrier 16 and enter the right eye 211, and the left-eye image (1 , 1L), (3, 1L), and (5, 1L), light rays from the parallax barrier 16 are incident on the left eye 212.
この結果、ユーザは、右眼では、図8(a)のように右眼用画像のみが見え、左眼では、図8(b)に示すように左眼用画像のみが見えるため、図8(c)に示すように立体画像として認識することができる。   As a result, the user can see only the right-eye image as shown in FIG. 8A with the right eye, and the left eye can see only the left-eye image as shown in FIG. As shown in (c), it can be recognized as a stereoscopic image.
以上の説明では、メインカメラ17及びサブカメラ18により撮影され、CPU7により記憶装置19に保存された合成画像を立体視用のコンテンツとしていたが、立体視用のコンテンツは、撮影済みの画像以外であってもよい。即ち、立体撮影中(即ち、シャッター操作前)において、メインカメラ17及びサブカメラ18から出力され、CPU7で合成された画像をビューファインダー用途で立体視表示させてもよい。   In the above description, the composite image captured by the main camera 17 and the sub camera 18 and stored in the storage device 19 by the CPU 7 is used as the stereoscopic content. However, the stereoscopic content is other than the captured image. There may be. That is, during stereoscopic shooting (that is, before the shutter operation), an image output from the main camera 17 and the sub camera 18 and synthesized by the CPU 7 may be stereoscopically displayed for use in a viewfinder.
また、立体視用のコンテンツは、メインカメラ17及びサブカメラ18の出力画像に基づくもの以外であってもよく、例えば、アンテナ1から受信したコンテンツや、予めメモリ9または記憶装置19に保存されているコンテンツであってもよい。   Further, the content for stereoscopic viewing may be other than the content based on the output images of the main camera 17 and the sub camera 18. For example, the content received from the antenna 1 or stored in the memory 9 or the storage device 19 in advance. The content may be.
次に、角度検出部20の動作について、図9から図12を用いて説明する。図9の(a)〜(c)は、携帯電話100の開角度(下側筐体101の操作面と上側筐体102の表示面とでなされる角度)と角度検出部20の動作状態との関係を説明するための図である。ユーザは、通話やメール等、立体撮影以外の用途で携帯電話100を使用する場合は、図9(a)に示すように下側筐体101と上側筐体102をヒンジ103を介して約170度の角度に開いて使用する。矢印aはメインカメラ17の光軸、矢印bはサブカメラ18の光軸を示している。   Next, the operation of the angle detection unit 20 will be described with reference to FIGS. 9A to 9C show the opening angle of the mobile phone 100 (the angle formed between the operation surface of the lower housing 101 and the display surface of the upper housing 102) and the operating state of the angle detection unit 20. It is a figure for demonstrating the relationship of these. When the user uses the mobile phone 100 for purposes other than stereoscopic shooting, such as a call or e-mail, the user can connect the lower housing 101 and the upper housing 102 via the hinge 103 to about 170 as shown in FIG. Open and use at an angle of degrees. An arrow a indicates the optical axis of the main camera 17, and an arrow b indicates the optical axis of the sub camera 18.
この状態のヒンジ103部分の拡大図を図10(a)に示す。同図に示すように、ヒンジ103には、突起1031が設けられている。開角度が約170度の状態(図9(a)参照)では、図10(a)に示すように角度検出スイッチ201(角度検出部20が備え、下側筐体101のヒンジ103との連結部近傍に設けられている)が、突起1031によって押し上げられていない。この場合、角度検出スイッチ201は、開放状態となっている。電気的には、図11(a)に示すように、角度検出スイッチ201が開放されている状態である。この場合、抵抗202に電流が流れないため電圧降下が発生しない。したがって、角度検出部20は、CPU7に対して、電源電圧Vcc、即ち、H(High)レベルを出力する。   An enlarged view of the hinge 103 in this state is shown in FIG. As shown in the figure, the hinge 103 is provided with a protrusion 1031. In the state where the open angle is about 170 degrees (see FIG. 9A), as shown in FIG. 10A, the angle detection switch 201 (the angle detection unit 20 is provided and is connected to the hinge 103 of the lower casing 101). Is not pushed up by the protrusion 1031. In this case, the angle detection switch 201 is in an open state. Electrically, as shown in FIG. 11A, the angle detection switch 201 is open. In this case, since no current flows through the resistor 202, no voltage drop occurs. Therefore, the angle detection unit 20 outputs the power supply voltage Vcc, that is, the H (High) level to the CPU 7.
次に、図9(b)に示すように、開角度が約180度、即ち、メインカメラ17の光軸aとサブカメラ18の光軸bが平行になるように携帯電話100を開いた場合には、図10(b)に示すように突起1031によって角度検出スイッチ201が矢印方向に押し上げられる。これにより図11(b)に示すように、角度検出スイッチ201が短絡状態となり、角度検出部20の出力は、L(Low)レベルとなる。   Next, as shown in FIG. 9B, when the mobile phone 100 is opened so that the opening angle is about 180 degrees, that is, the optical axis a of the main camera 17 and the optical axis b of the sub camera 18 are parallel to each other. 10B, the angle detection switch 201 is pushed up in the direction of the arrow by the protrusion 1031. As a result, as shown in FIG. 11B, the angle detection switch 201 is short-circuited, and the output of the angle detection unit 20 is at the L (Low) level.
ユーザは、接写時において、図9(c)に示すように、携帯電話100をさらに開いてメインカメラ17及びサブカメラ18両方の光軸を被写体に一致させることができる。この場合、図10(c)に示すように、突起1031によって角度検出スイッチ201が矢印方向に押し上げられた状態が継続されるため、角度検出部20の出力は、Lレベルで継続される。   During close-up photography, the user can further open the mobile phone 100 to match the optical axes of both the main camera 17 and the sub camera 18 with the subject, as shown in FIG. 9C. In this case, as shown in FIG. 10C, the state in which the angle detection switch 201 is pushed up in the direction of the arrow by the protrusion 1031 is continued, and therefore the output of the angle detection unit 20 is continued at the L level.
図12は、以上の角度検出部20の動作手順を示すフローチャートである。ユーザによって携帯電話100の電源がONにされると、角度検出部20が起動し、以下の処理を一定時間毎に繰り返し行う。角度検出スイッチ201が突起1031によって押し上げられていない場合(ステップS101でYES)、角度検出部20は、CPU7に対して、Hレベル信号を出力する(ステップS102)。例えば、携帯電話100が、図9(a)のような状態で使用されている場合、角度検出部20は、Hレベル信号を出力する。CPU7は、角度検出部20からHレベル信号を受けると、現在のモードが、立体撮影モードの場合は、立体撮影モードを終了して通常モードに移行する。あるいは、現在のモードが、通常モードの場合は、何もせず、現在の状態を維持する。   FIG. 12 is a flowchart showing the operation procedure of the angle detection unit 20 described above. When the power of the mobile phone 100 is turned on by the user, the angle detection unit 20 is activated, and the following processing is repeated at regular intervals. When the angle detection switch 201 is not pushed up by the protrusion 1031 (YES in step S101), the angle detection unit 20 outputs an H level signal to the CPU 7 (step S102). For example, when the mobile phone 100 is used in a state as shown in FIG. 9A, the angle detection unit 20 outputs an H level signal. When the CPU 7 receives the H level signal from the angle detector 20, if the current mode is the stereoscopic shooting mode, the CPU 7 ends the stereoscopic shooting mode and shifts to the normal mode. Alternatively, if the current mode is the normal mode, nothing is done and the current state is maintained.
一方、角度検出スイッチ201が、突起1031によって押し上げられている場合(ステップS101でNO)、角度検出部20は、CPU7に対して、Lレベル信号を出力する(ステップS103)。例えば、携帯電話100が、図9(b)のような状態で使用されている場合、角度検出部20は、Lレベル信号を出力する。CPU7は、角度検出部20からLレベル信号を受けると、現在のモードが、通常モードの場合は、通常モードを終了して立体撮影モードに移行する。あるいは、現在のモードが、立体撮影モードの場合は、何もせず、現在の状態を維持する。   On the other hand, when the angle detection switch 201 is pushed up by the protrusion 1031 (NO in step S101), the angle detection unit 20 outputs an L level signal to the CPU 7 (step S103). For example, when the mobile phone 100 is used in a state as shown in FIG. 9B, the angle detection unit 20 outputs an L level signal. When the CPU 7 receives the L level signal from the angle detector 20, if the current mode is the normal mode, the CPU 7 ends the normal mode and shifts to the stereoscopic shooting mode. Alternatively, if the current mode is the stereoscopic shooting mode, nothing is done and the current state is maintained.
以上のように、角度検出部20の出力がLレベルであることをCPU7が検出した場合に、立体撮影モードに移行することで、自動的に立体撮影モードに移行することが可能となる。また、角度検出部20の出力がHレベルになったことをCPU7が検出し立体撮影モードを終了することにより、自動的に立体撮影モードを終了することが可能となる。   As described above, when the CPU 7 detects that the output of the angle detection unit 20 is at the L level, it is possible to automatically shift to the stereoscopic shooting mode by shifting to the stereoscopic shooting mode. Further, when the CPU 7 detects that the output of the angle detection unit 20 has become H level and ends the stereoscopic shooting mode, the stereoscopic shooting mode can be automatically ended.
このように、本実施形態の携帯電話100によれば、ユーザは、ボタン操作等の特別な操作をすることなく、容易に立体撮影モードに移行させることができる。したがって、即座に所望の被写体から左右眼用画像を取得し、立体視用画像を生成することができ、利便性が著しく向上する。   Thus, according to the mobile phone 100 of the present embodiment, the user can easily shift to the stereoscopic shooting mode without performing a special operation such as a button operation. Therefore, the right and left eye images can be immediately acquired from the desired subject and a stereoscopic image can be generated, and the convenience is remarkably improved.
本実施形態では、角度検出部20の出力結果、換言すれば、携帯電話100の開角度に応じて、モード切り替え(通常モードから立体撮影モード、立体撮影モードから通常モード)を行っていたが、両カメラの光軸の角度を検出し、その結果に基づいて、モード切り替えを行ってもよい。この場合の制御例を説明すると、例えば、メインカメラ17及びサブカメラ18の光軸が略平行である場合(即ち、両者の光軸角度が略等しい場合)に、立体撮影モードに切り替え、あるいは立体撮影モードを維持する。一方、両カメラの光軸が略平行でない場合に、通常モードに切り替え、あるいは通常モードを維持する。   In the present embodiment, mode switching (from the normal mode to the stereoscopic shooting mode and from the stereoscopic shooting mode to the normal mode) is performed according to the output result of the angle detection unit 20, in other words, according to the opening angle of the mobile phone 100. The angle of the optical axes of both cameras may be detected, and mode switching may be performed based on the result. An example of control in this case will be described. For example, when the optical axes of the main camera 17 and the sub camera 18 are substantially parallel (that is, when both optical axis angles are substantially equal), the mode is switched to the stereoscopic shooting mode, or Maintain shooting mode. On the other hand, when the optical axes of both cameras are not substantially parallel, the mode is switched to the normal mode or the normal mode is maintained.
光軸が略平行であるか否かの検出は、上述した角度検出部20の機構において、角度検出スイッチ201が突起1031によって押し上げられる範囲を調整することで実現可能である。この場合、開角度が略180度になる範囲で、角度検出スイッチ201が突起1031によって押し上げられるように、角度検出スイッチ201、突起1031の大きさ(接触面積等)、設置位置等を調整すればよい。   Whether or not the optical axes are substantially parallel can be detected by adjusting the range in which the angle detection switch 201 is pushed up by the protrusion 1031 in the mechanism of the angle detection unit 20 described above. In this case, if the angle detection switch 201, the size of the protrusion 1031 (contact area, etc.), the installation position, etc. are adjusted so that the angle detection switch 201 is pushed up by the protrusion 1031 within a range where the opening angle is approximately 180 degrees. Good.
上記の他、メインカメラ17及びサブカメラ18の出力画像から、周知の方法により、両者の光軸が略平行であるか否かを検出してもよい。   In addition to the above, it may be detected from the output images of the main camera 17 and the sub camera 18 by a known method whether or not the optical axes of the two are substantially parallel.
(第2実施形態)
本発明の第2実施形態について説明する。図13は、第2実施形態に係る携帯電話100の構成を示すブロック図である。本実施形態の携帯電話100は、画像の縮小や切り出しを行うスケーラ22を新たに備える点、及びサブカメラ18の替わりに、メインカメラ17と画素数及び画角が異なる回転カメラ23を備える点が、第1実施形態の携帯電話100と異なる。なお、第1実施形態の携帯電話100と同一部分については、同一符号を付し、説明を省略する。
(Second Embodiment)
A second embodiment of the present invention will be described. FIG. 13 is a block diagram showing a configuration of the mobile phone 100 according to the second embodiment. The mobile phone 100 according to the present embodiment is provided with a scaler 22 that reduces or cuts out an image, and a rotating camera 23 that has a different pixel number and angle of view from the main camera 17 instead of the sub camera 18. This is different from the mobile phone 100 of the first embodiment. Note that the same parts as those of the mobile phone 100 of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
図14は、本実施形態の携帯電話100の外観図である。同図において、回転カメラ23は、上側筐体102の長手方向の端部(表示部15の上方)に設けられ、軸aを中心に回転可能となっている。回転カメラ23は、その機構上の特徴から小型化が要求されるため、メインカメラ17より画素数の少ないものを使用する。また、例えば、テレビ電話時にユーザの顔が画面いっぱいに表示されるように撮影する必要があるため、画角についてもメインカメラ17より狭いものを使用している。   FIG. 14 is an external view of the mobile phone 100 of the present embodiment. In the figure, the rotary camera 23 is provided at the longitudinal end of the upper housing 102 (above the display unit 15) and is rotatable about an axis a. Since the rotating camera 23 is required to be downsized because of its mechanical features, a rotating camera having a smaller number of pixels than the main camera 17 is used. In addition, for example, since it is necessary to shoot so that the user's face is displayed in full screen during a videophone call, the angle of view is smaller than that of the main camera 17.
回転カメラ23は、上記回転機構により、図14(a)に示すようにユーザ側に回転させればテレビ電話時のユーザの撮影に使用でき、図14(b)に示すようにメインカメラ17と同じ方向に回転させることにより立体撮影が可能となる。立体撮影モード時のカメラ(メインカメラ17及び回転カメラ23)の出力画像を図15に示す。図15(a)はメインカメラ17の出力画像、図15(b)は回転カメラ23の出力画像を示す。ここでは、メインカメラ17の画素数は横640×縦480、回転カメラ23の画素数は横320×縦240であるとする。このように、メインカメラ17の画素数が多く、画角に関してもより広い範囲が撮影できるようになっている。   If the rotating camera 23 is rotated to the user side as shown in FIG. 14A by the rotating mechanism, the rotating camera 23 can be used for photographing the user at the time of a videophone call. As shown in FIG. By rotating in the same direction, stereoscopic shooting becomes possible. Output images of the cameras (the main camera 17 and the rotating camera 23) in the stereoscopic shooting mode are shown in FIG. FIG. 15A shows an output image of the main camera 17, and FIG. 15B shows an output image of the rotating camera 23. Here, it is assumed that the number of pixels of the main camera 17 is horizontal 640 × vertical 480, and the number of pixels of the rotating camera 23 is horizontal 320 × vertical 240. As described above, the main camera 17 has a large number of pixels, and a wider range can be photographed with respect to the angle of view.
次にスケーラ22の動作について説明する。スケーラ22はメインカメラ17及び回転カメラ23の出力画像から主被写体の垂直方向のサイズ(垂直サイズ)とフレーム全体における主被写体の割合を求める。主被写体の垂直サイズを求めるのは、両カメラが、携帯電話100の長手方向と水平になるように設けられていることから、主被写体の形状によって垂直方向のサイズが異なるためである。例えば、スケーラ22は、回転カメラ23の主被写体の垂直サイズが200画素であるのに対して、メインカメラ17の出力画像の主被写体の垂直サイズが300画素であることを検出すると、図15(a)に示すようなメインカメラ17の出力画像を図16(a)に示すように1.5倍縮小し、横427ドット、縦320の画像に変換する。   Next, the operation of the scaler 22 will be described. The scaler 22 obtains the size of the main subject in the vertical direction (vertical size) and the ratio of the main subject in the entire frame from the output images of the main camera 17 and the rotating camera 23. The reason why the vertical size of the main subject is obtained is that both cameras are provided so as to be horizontal with the longitudinal direction of the mobile phone 100, and therefore the vertical size differs depending on the shape of the main subject. For example, when the scaler 22 detects that the vertical size of the main subject of the output image of the main camera 17 is 300 pixels while the vertical size of the main subject of the rotating camera 23 is 200 pixels, FIG. The output image of the main camera 17 as shown in a) is reduced by 1.5 times as shown in FIG. 16A and converted into an image of 427 dots in width and 320 in length.
次に、スケーラ22は、回転カメラ23の出力画像のフレーム全体における主被写体の割合と同じになるように、メインカメラ17の縮小画像から回転カメラ23と同じ画角を切り取って右眼用画像とする。また、スケーラ22は、回転カメラ23の出力画像を左眼用画像として、そのままCPU7に出力する。CPU7は、これらの画像を第1実施形態と同様に左右に並べて、図16(b)に示すような合成画像を生成し、記憶装置19に保存する。また、CPU7は、この合成画像を表示部15の画素数(横640×縦480)に拡大し、第1のビデオI/F12に出力することで、立体画像表示を行うことができる。   Next, the scaler 22 cuts the same angle of view as that of the rotating camera 23 from the reduced image of the main camera 17 so as to be the same as the ratio of the main subject in the entire frame of the output image of the rotating camera 23, and the right eye image. To do. The scaler 22 outputs the output image of the rotary camera 23 as the left eye image to the CPU 7 as it is. The CPU 7 arranges these images side by side in the same manner as in the first embodiment, generates a composite image as shown in FIG. 16B, and stores it in the storage device 19. In addition, the CPU 7 can perform stereoscopic image display by enlarging the composite image to the number of pixels of the display unit 15 (horizontal 640 × vertical 480) and outputting it to the first video I / F 12.
以上の例では、メインカメラ17の出力画像を縮小する場合について説明したが、これに限られるものでなく、メインカメラ17での主被写体の垂直サイズが回転カメラ23より小さい場合はメインカメラ17の出力画像を拡大しても良い。また本実施形態では、メインカメラ17の縮小画像から回転カメラ23と同じ画角を切り取って2つのカメラの画角を一致させる場合の例について説明したが、これに限られるものでなく、メインカメラ17と回転カメラ23のどちらか、または両方に光学ズーム機能が設けられている場合は、この光学ズーム機能を使用して画角を一致させてもよい。そして、画素数を一致させるためのリサイズは画素数の少ない方の画像を拡大して一致させてもよいし、これとは逆に画素数の多い方の画像を縮小して一致させてもよい。また、保存やメール添付可能な画素数が予め決まっている場合は、メインカメラ17と回転カメラ23の両方の出力画像に拡大または縮小を施して一致させてもよい。   In the above example, the case where the output image of the main camera 17 is reduced has been described. However, the present invention is not limited to this, and when the vertical size of the main subject in the main camera 17 is smaller than the rotating camera 23, The output image may be enlarged. In the present embodiment, an example in which the same angle of view as that of the rotating camera 23 is cut out from the reduced image of the main camera 17 to match the angles of view of the two cameras is described, but the present invention is not limited to this. When the optical zoom function is provided in one or both of the camera 17 and the rotary camera 23, the optical zoom function may be used to match the angle of view. The resizing for matching the number of pixels may be performed by enlarging the image having the smaller number of pixels to match, or conversely, the image having the larger number of pixels may be reduced and matched. . If the number of pixels that can be stored or attached to an e-mail is determined in advance, the output images of both the main camera 17 and the rotating camera 23 may be enlarged or reduced to match.
以上のように、本実施形態の携帯電話100によれば、メインカメラ17と画素数及び画角等の面で精度が劣るカメラを使用しても、両カメラの出力画像の差異を吸収して、立体視用画像を生成することが可能であり、その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。このため、2台のカメラを搭載してもコストの低減化が図れる。   As described above, according to the mobile phone 100 of the present embodiment, even when the main camera 17 and a camera with inferior accuracy in terms of the number of pixels and the angle of view are used, the difference between the output images of both cameras is absorbed. As a result, it is possible to generate a stereoscopic image, and as a result, it is possible to provide a user with a good stereoscopic image without any sense of incongruity. For this reason, even if two cameras are installed, the cost can be reduced.
(第3実施形態)
本発明の第3実施形態について説明する。上記の第2実施形態では、両カメラの出力画像の画素数及び画角を一致させて、立体視可能な画像を生成する場合の例であったが、本実施形態では、さらに、ホワイトバランス、ガンマ、色差についても一致させるものである。以下、図面を参照しながら説明する。尚、上述の第1及び第2実施形態と同一部分については、同一符号を付し、重複する説明は省略する。
(Third embodiment)
A third embodiment of the present invention will be described. In the second embodiment, the number of pixels and the angle of view of the output images of both cameras are matched to generate a stereoscopically viewable image. However, in the present embodiment, white balance, The gamma and color difference are also matched. Hereinafter, description will be given with reference to the drawings. Note that the same parts as those in the first and second embodiments described above are denoted by the same reference numerals, and redundant description is omitted.
図17は、本発明の第3実施形態に係る携帯電話100の構成を示すブロック図である。画質補正部24は、スケーラ22から出力された2つのカメラの出力画像におけるホワイトバランス、輝度、色差それぞれについて特徴情報を求め、2つのカメラの出力画像の画質が同じになるように補正する。ここでは、メインカメラ17の出力画像に回転カメラ23の画質を一致させる場合の例について説明する。図18に画質補正部24の概略ブロック図を示す。図18に示すように、画質補正部24は、ホワイトバランス補正部241と、輝度補正部242と、色差U補正部243と、色差V補正部244と、を備える。   FIG. 17 is a block diagram showing the configuration of the mobile phone 100 according to the third embodiment of the present invention. The image quality correction unit 24 obtains feature information for each of white balance, luminance, and color difference in the output images of the two cameras output from the scaler 22 and corrects the image quality of the output images of the two cameras to be the same. Here, an example in which the image quality of the rotating camera 23 matches the output image of the main camera 17 will be described. FIG. 18 shows a schematic block diagram of the image quality correction unit 24. As shown in FIG. 18, the image quality correction unit 24 includes a white balance correction unit 241, a luminance correction unit 242, a color difference U correction unit 243, and a color difference V correction unit 244.
ホワイトバランス補正部241は、スケーラ22から出力されたYUV形式の映像信号にホワイトバランス補正を施して出力する。輝度補正部242は、ホワイトバランス補正部241から出力されたY信号に輝度補正を施して出力する。色差U補正部243は、ホワイトバランス補正部241から出力されたU色差信号を補正して出力する。色差V補正部244は、ホワイトバランス補正部241から出力されたV色差信号を補正して出力する。以下、各部毎に動作を説明する。   The white balance correction unit 241 performs white balance correction on the YUV format video signal output from the scaler 22 and outputs the resultant signal. The luminance correction unit 242 performs luminance correction on the Y signal output from the white balance correction unit 241 and outputs the Y signal. The color difference U correction unit 243 corrects and outputs the U color difference signal output from the white balance correction unit 241. The color difference V correction unit 244 corrects and outputs the V color difference signal output from the white balance correction unit 241. Hereinafter, the operation of each unit will be described.
先ず、ホワイトバランス補正部241の動作について説明する。図19は、ホワイトバランス補正部241の構成を示すブロック図である。図19に示すように、ホワイトバランス補正部241は、RGB比検出部2411,2412と、R,Bゲイン調整部2413と、YUV変換部2414と、を備える。RGB比検出部2411は、メインカメラ17系のYUV形式の映像信号をRGB形式に変換し、Gに対するR及びBの比(R/G,B/G)を求めてR,Bゲイン調整部2413に出力する。同様にRGB比検出部2412は、回転カメラ23系のYUV形式の映像信号をRGB形式に変換し、R/G、B/Gの比率を求めてR,Bゲイン調整部2413に出力する。また、RGB比検出部2412は、RGB形式の映像信号もR,Bゲイン調整部2413に出力する。YUVからRGB形式への変換は下記式にて行う。   First, the operation of the white balance correction unit 241 will be described. FIG. 19 is a block diagram showing a configuration of the white balance correction unit 241. As shown in FIG. As illustrated in FIG. 19, the white balance correction unit 241 includes RGB ratio detection units 2411 and 2412, an R / B gain adjustment unit 2413, and a YUV conversion unit 2414. The RGB ratio detection unit 2411 converts the YUV format video signal of the main camera 17 system into the RGB format, obtains the ratio of R and B to G (R / G, B / G), and the R, B gain adjustment unit 2413. Output to. Similarly, the RGB ratio detection unit 2412 converts the YUV format video signal of the rotating camera 23 system into the RGB format, obtains the ratio of R / G, B / G, and outputs it to the R / B gain adjustment unit 2413. The RGB ratio detection unit 2412 also outputs an RGB video signal to the R and B gain adjustment unit 2413. Conversion from YUV to RGB format is performed by the following equation.
R=Y+1.402×V
G=Y+(−0.34414)×U+(−0.71414)×V
B=Y+1.772×U
R = Y + 1.402 × V
G = Y + (− 0.34414) × U + (− 0.71414) × V
B = Y + 1.772 × U
R,Bゲイン調整部2413は、回転カメラ23系のR/G、B/Gの比率がメインカメラ17系と同じになるようにRGB比検出部2412から出力されたR及びBの映像信号にゲインコントロールやレベルシフトを施して出力する。YUV変換部2414は、R,Bゲイン調整部2413で補正されたRGB形式の映像信号を再度YUV形式に変換して出力する。RGBからYUV形式への変換は下記式にて行う。   The R and B gain adjustment unit 2413 applies the R and B video signals output from the RGB ratio detection unit 2412 so that the ratio of R / G and B / G of the rotating camera 23 system is the same as that of the main camera 17 system. Output with gain control and level shift. The YUV conversion unit 2414 converts the RGB video signal corrected by the R and B gain adjustment unit 2413 into the YUV format again and outputs the converted signal. Conversion from RGB to YUV format is performed by the following equation.
Y=0.290×R+0.5870×G+0.1140×B
U=(−0.1687)×R+(−0.3313)×G+0.5000×B
V=0.5000×R+(−0.4187)×G+(−0.0813)×B
Y = 0.290 × R + 0.5870 × G + 0.1140 × B
U = (− 0.1687) × R + (− 0.3313) × G + 0.5000 × B
V = 0.5000 × R + (− 0.4187) × G + (− 0.0813) × B
以上の各部の動作により、回転カメラ23とメインカメラ17の出力画像のホワイトバランスを一致させることができる。   The white balance of the output images of the rotary camera 23 and the main camera 17 can be matched by the operation of each unit described above.
次に、輝度補正部242の動作について説明する。図20は、輝度補正部242の構成を示すブロック図である。図20に示すように、輝度補正部242は、輝度特徴情報検出部2421,2422と、輝度処理部2423と、を備える。輝度特徴情報検出部2421は、メインカメラ17系のY信号の最大値、最小値、平均値を求めて輝度処理部2423に出力する。同様に輝度特徴情報検出部2422は、回転カメラ23系のY信号の最大値、最小値、平均値を求めて輝度処理部2423に出力する。また、輝度特徴情報検出部2422は、Y信号も輝度処理部2423に出力する。   Next, the operation of the brightness correction unit 242 will be described. FIG. 20 is a block diagram illustrating a configuration of the luminance correction unit 242. As illustrated in FIG. 20, the luminance correction unit 242 includes luminance feature information detection units 2421 and 2422 and a luminance processing unit 2423. The luminance feature information detection unit 2421 obtains the maximum value, the minimum value, and the average value of the Y signal of the main camera 17 system, and outputs them to the luminance processing unit 2423. Similarly, the luminance feature information detection unit 2422 calculates the maximum value, the minimum value, and the average value of the Y signal of the rotating camera 23 system, and outputs them to the luminance processing unit 2423. The luminance feature information detection unit 2422 also outputs a Y signal to the luminance processing unit 2423.
輝度処理部2423は、回転カメラ23系のY信号の最大値、最小値、平均値がメインカメラ17系のそれと同じになるように輝度特徴情報検出部2422から出力されたY信号にゲインコントロールやレベルシフトを施して出力する。以上の動作により、回転カメラ23とメインカメラ17の出力画像の輝度を一致させることができる。   The luminance processing unit 2423 performs gain control and gain control on the Y signal output from the luminance feature information detection unit 2422 so that the maximum value, minimum value, and average value of the Y signal of the rotating camera 23 system are the same as those of the main camera 17 system. Output with level shift. With the above operation, the brightness of the output images of the rotary camera 23 and the main camera 17 can be matched.
次に、色差U補正部243の動作について説明する。なお、U信号とV信号の処理は同じであるため、U信号の色差U補正部243についてのみ説明し、色差V補正部244の説明は省略する。図21は、色差U補正部243の構成を示すブロック図である。図21に示すように、色差U補正部243は、色差特徴情報検出部2431,2432と、色差補正部2433と、を備える。色差特徴情報検出部2431は、メインカメラ17系のU信号の最大値、最小値、平均値を求めて色差補正部2433に出力する。同様に色差特徴情報検出部2432は、回転カメラ23系のU信号の最大値、最小値、平均値を求めて色差補正部2433に出力する。また、色差特徴情報検出部2432は、U信号も色差補正部2433に出力する。   Next, the operation of the color difference U correction unit 243 will be described. Since the processing of the U signal and the V signal is the same, only the color difference U correction unit 243 of the U signal will be described, and the description of the color difference V correction unit 244 will be omitted. FIG. 21 is a block diagram illustrating a configuration of the color difference U correction unit 243. As illustrated in FIG. 21, the color difference U correction unit 243 includes color difference feature information detection units 2431 and 2432 and a color difference correction unit 2433. The color difference feature information detection unit 2431 obtains the maximum value, the minimum value, and the average value of the U signal of the main camera 17 system, and outputs them to the color difference correction unit 2433. Similarly, the color difference feature information detection unit 2432 obtains the maximum value, minimum value, and average value of the U signal of the rotating camera 23 system, and outputs them to the color difference correction unit 2433. The color difference feature information detection unit 2432 also outputs the U signal to the color difference correction unit 2433.
色差補正部2433は、回転カメラ23系のU信号の最大値、最小値、平均値がメインカメラ17系のそれと同じになるように色差特徴情報検出部2432から出力されたU信号にゲインコントロールやレベルシフトを施して出力する。以上の各部の動作により、回転カメラ23とメインカメラ17の出力画像の色差を一致させることができる。   The color difference correction unit 2433 performs gain control and control on the U signal output from the color difference feature information detection unit 2432 so that the maximum value, minimum value, and average value of the U signal of the rotating camera 23 system are the same as those of the main camera 17 system. Output with level shift. Through the operation of each unit described above, the color difference between the output images of the rotary camera 23 and the main camera 17 can be matched.
以上説明したように画質補正部24の各部が動作することにより、2台のカメラ(メインカメラ17、回転カメラ23)で取得された画像において、画質(輝度や色の特性)が異なっていても、両画像の差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。   As described above, by operating each part of the image quality correction unit 24, even if the image quality (luminance and color characteristics) differs in the images acquired by the two cameras (the main camera 17 and the rotating camera 23). It is possible to absorb the difference between the two images and generate a good stereoscopic image. As a result, it is possible to provide the user with a good stereoscopic image that does not feel strange.
なお、特徴情報の検出は、画面全体で行う場合に限られず、画面の中央部付近や主被写体に限るなど、画面の一部で行ってもよい。   Note that the detection of the feature information is not limited to being performed on the entire screen, but may be performed on a part of the screen, such as near the center of the screen or only on the main subject.
(第4実施形態)
本発明の第4実施形態について説明する。本実施形態に係る携帯電話100は、上述した第1実施形態に係る携帯電話100に、メインカメラ17及びサブカメラ18のフレームレートが異なる場合でも対応できる機能をさらに追加したものである。以下、メインカメラ17のフレームレートが30fps、サブカメラ18のフレームレートが15fpsであると仮定し、図面を参照しながら本実施形態に係る携帯電話100の機能を説明する。なお、第1実施形態の携帯電話100と同一部分については、同一符号を付し、説明を省略する。
(Fourth embodiment)
A fourth embodiment of the present invention will be described. The cellular phone 100 according to this embodiment is obtained by further adding a function that can cope with the cellular phone 100 according to the first embodiment described above even when the frame rates of the main camera 17 and the sub camera 18 are different. Hereinafter, assuming that the frame rate of the main camera 17 is 30 fps and the frame rate of the sub camera 18 is 15 fps, functions of the mobile phone 100 according to the present embodiment will be described with reference to the drawings. Note that the same parts as those of the mobile phone 100 of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
図22は、本実施形態に係る携帯電話100の構成を示すブロック図である。フレームレート変換部25は、サブカメラ18の出力画像をメインカメラ17と等しい30fpsに変換して出力する。以下、図23を用いてフレームレート変換の原理を説明する。図23において(a)、(b)、(c)はメインカメラ17の出力画像であり、画面左から右に走る自動車を撮影した場合の連続する3コマを示している。図23の(d)、(f)はサブカメラ18の出力画像である。   FIG. 22 is a block diagram showing a configuration of the mobile phone 100 according to the present embodiment. The frame rate conversion unit 25 converts the output image of the sub camera 18 into 30 fps which is equal to that of the main camera 17 and outputs the converted image. Hereinafter, the principle of frame rate conversion will be described with reference to FIG. In FIG. 23, (a), (b), and (c) are output images of the main camera 17, and show three consecutive frames when a car running from the left to the right of the screen is photographed. 23D and 23F are output images of the sub camera 18.
メインカメラ17の出力画像において、時刻「t」のとき、画面左端に存在した自動車(画像(a)参照)が、1/30秒経過後、画面中央部に移動し(画像(b)参照)、さらに、1/30秒経過後には、画面右端に移動する(画像(c)参照)ものとする。   In the output image of the main camera 17, the car (see image (a)) present at the left end of the screen at time “t” moves to the center of the screen after 1/30 second has elapsed (see image (b)). Furthermore, after 1/30 seconds have elapsed, the screen moves to the right edge of the screen (see image (c)).
一方、サブカメラ18の出力画像において、時刻「t」のとき、メインカメラ17と同じ画角の画像(画像(d)参照)となるが、フレームレートが1/2のため、次のコマは、自動車が画面右端に移動した画像(画像(f)参照)となる。そこで、フレームレート変換部25は、画像(d)と画像(f)から画像(e)のような画面の中央部に自動車を移動させた画像を生成する。そして、生成した画像(e)を画像(d)と画像(f)の間に挿入することにより、サブカメラ18のフレームレートを2倍化し、メインカメラ17のフレームレートと一致させる。   On the other hand, in the output image of the sub camera 18, at the time “t”, the image has the same angle of view as the main camera 17 (see the image (d)), but the frame rate is ½, so the next frame is This is an image (see image (f)) in which the automobile is moved to the right end of the screen. Therefore, the frame rate conversion unit 25 generates an image in which the automobile is moved from the image (d) and the image (f) to the center of the screen, such as the image (e). Then, by inserting the generated image (e) between the image (d) and the image (f), the frame rate of the sub camera 18 is doubled to match the frame rate of the main camera 17.
画像(e)の生成には、周知の中間画像作成方法が使用可能であるが、ここでは画像(d)と画像(f)を細かなブロックに分けてブロック毎に動きベクトルを求め、この動きベクトルの1/2のベクトルが指し示す座標に自動車を移動させた画像を作成するブロックマッチング方式を使用するものとする。   For the generation of the image (e), a known intermediate image creation method can be used. Here, the image (d) and the image (f) are divided into fine blocks, and a motion vector is obtained for each block. It is assumed that a block matching method for creating an image in which a car is moved to the coordinates indicated by a vector half of the vector is used.
以上説明したようにフレームレート変換部25が動作することにより、メインカメラ17とサブカメラ18のフレームレートが異なる場合でも、その差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。   As described above, when the frame rate conversion unit 25 operates, even when the frame rates of the main camera 17 and the sub camera 18 are different, the difference can be absorbed and a good stereoscopic image can be generated. It becomes. As a result, it is possible to provide the user with a good stereoscopic image that does not feel strange.
なお、本実施形態では、サブカメラ18のフレームレートをメインカメラ17のフレームレートに合わせてアップさせる例について説明したが、これに限られるものでなく、メインカメラ17のフレームレートを30fpsから15fpsに低減させて、サブカメラ18のフレームレートに一致させるようにしてもよい。さらに、メインカメラ17とサブカメラ18のフレームレートは、それぞれ、30fps、15fpsである場合の例について説明したが、これに限られるものでなく、如何なるフレームレートであったとしても本発明を逸脱するものではない。   In this embodiment, the example in which the frame rate of the sub camera 18 is increased in accordance with the frame rate of the main camera 17 has been described. However, the present invention is not limited to this, and the frame rate of the main camera 17 is changed from 30 fps to 15 fps. It may be reduced to match the frame rate of the sub camera 18. Furthermore, the case where the frame rates of the main camera 17 and the sub camera 18 are 30 fps and 15 fps, respectively, has been described. However, the present invention is not limited to this, and any frame rate departs from the present invention. It is not a thing.
(第5実施形態)
本発明の第4実施形態について説明する。本実施形態に係る携帯電話100は、上述した第1実施形態に係る携帯電話100に、サブカメラ18のフォーカス性能がメインカメラ17より低い場合でも対応できる機能をさらに追加したものである。以下、図面を参照して本実施形態に係る携帯電話100の機能を説明する。なお、第1実施形態の携帯電話100と同一部分については、同一符号を付し、説明を省略する。
(Fifth embodiment)
A fourth embodiment of the present invention will be described. The mobile phone 100 according to the present embodiment is obtained by further adding a function that can be applied even when the focus performance of the sub camera 18 is lower than that of the main camera 17 to the mobile phone 100 according to the first embodiment described above. Hereinafter, functions of the mobile phone 100 according to the present embodiment will be described with reference to the drawings. Note that the same parts as those of the mobile phone 100 of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
図24は、本実施形態に係る携帯電話100の構成を示すブロック図である。本実施形態の携帯電話100は、サブカメラ18の出力画像の輪郭を補正することにより、メインカメラ17の出力画像の輪郭と一致させる輪郭補正部26を設けている。図25を用いて輪郭補正部26の動作を説明する。図25において、(a)はメインカメラ17の出力画像、(b)はサブカメラ18の出力画像であり、サブカメラ18の方がメインカメラ17に比べ、フォーカス性能が低いことを、画像(b)における自動車の輪郭を太く、かつ、淡くすることで表現している。   FIG. 24 is a block diagram showing a configuration of the mobile phone 100 according to the present embodiment. The mobile phone 100 according to the present embodiment is provided with a contour correcting unit 26 that matches the contour of the output image of the main camera 17 by correcting the contour of the output image of the sub camera 18. The operation of the contour correction unit 26 will be described with reference to FIG. In FIG. 25, (a) is an output image of the main camera 17, and (b) is an output image of the sub camera 18. The sub camera 18 has a lower focusing performance than the main camera 17, and the image (b ) Is expressed by making the outline of the car thicker and lighter.
輪郭補正部26は、画像(b)において、輪郭部分にコントラスト改善処理やオーバーシュート、アンダーシュートを付加することで、画像(a)と同等のコントラスト、線の太さとなるように補正して、画像(c)を生成する。このように輪郭補正部26が、両カメラの出力画像の輪郭精度を一致させることによって、両カメラの性能の差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。   In the image (b), the contour correction unit 26 corrects the image to have the same contrast and line thickness as the image (a) by adding contrast improvement processing, overshoot, and undershoot to the contour portion. An image (c) is generated. As described above, the contour correcting unit 26 matches the contour accuracy of the output images of both cameras, thereby absorbing a difference in performance between the two cameras and generating a good stereoscopic image. As a result, it is possible to provide the user with a good stereoscopic image that does not feel strange.
なお、本実施形態では、フォーカス性能が低い方のカメラの出力画像をシャープにして他方のカメラの出力画像との輪郭精度の差異を吸収させる例について述べたが、これに限られるものでなく、フォーカス性能が高い方のカメラの出力画像をソフトにすることで、他方のカメラの出力画像と輪郭精度の差異を吸収させてもよい。   In this embodiment, the example in which the output image of the camera with the lower focusing performance is sharpened to absorb the difference in contour accuracy from the output image of the other camera is described, but the present invention is not limited to this. The output image of the camera with the higher focus performance may be softened to absorb the difference in contour accuracy from the output image of the other camera.
(第6実施形態)
本発明の第6実施形態について説明する。図26は、本実施形態に係る携帯電話100の構成を示すブロック図である。本実施形態に係る携帯電話100は、上述した第1実施形態に係る携帯電話100に、メインカメラ17とサブカメラ18の光軸がずれた状態でも、光軸補正部27により両カメラから出力された画像の画角、輻輳等を補正することで、良好な立体視用画像の生成を可能にする機能をさらに追加したものである。なお、第1実施形態の携帯電話100と同一部分については、同一符号を付し、説明を省略する。
(Sixth embodiment)
A sixth embodiment of the present invention will be described. FIG. 26 is a block diagram showing a configuration of the mobile phone 100 according to the present embodiment. The mobile phone 100 according to the present embodiment is output from both cameras by the optical axis correction unit 27 even when the optical axes of the main camera 17 and the sub camera 18 are shifted from the mobile phone 100 according to the first embodiment described above. Further, a function that enables generation of a favorable stereoscopic image by correcting the angle of view, convergence, and the like of the obtained image is further added. Note that the same parts as those of the mobile phone 100 of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
光軸補正部27の動作を図27を用いて説明する。図27において、(a)はメインカメラ17の出力画像、(b)はサブカメラ18の出力画像である。光軸補正部27は、2台のカメラの出力画像から主被写体を中心に画角が等しいエリアを切り出す。例えば、メインカメラの出力画像(a)の人物の顔を主被写体と認識し、サブカメラ18の出力画像(b)から主被写体である人物の顔を検出し、その周辺を等しい画角で切り出す。これによって、メインカメラ17の出力画像から画面中央付近の画角を切り出し、画像(c)のような画像を得る。また、サブカメラ18の出力画像からは画面右側の画角を切り出し、画像(d)のような画像を得る。以上の動作により、2台のカメラの画角を一致させることができる。ここではメインカメラ17の出力画像を右眼視点の画像とする。   The operation of the optical axis correction unit 27 will be described with reference to FIG. In FIG. 27, (a) is an output image of the main camera 17, and (b) is an output image of the sub camera 18. The optical axis correction unit 27 cuts out an area with the same angle of view around the main subject from the output images of the two cameras. For example, the face of the person in the output image (a) of the main camera is recognized as the main subject, the face of the person as the main subject is detected from the output image (b) of the sub camera 18, and the periphery thereof is cut out with the same angle of view. . As a result, an angle of view near the center of the screen is cut out from the output image of the main camera 17 to obtain an image like the image (c). Further, the angle of view on the right side of the screen is cut out from the output image of the sub camera 18, and an image such as the image (d) is obtained. With the above operation, the angles of view of the two cameras can be matched. Here, the output image of the main camera 17 is an image of the right eye viewpoint.
次に、光軸補正部27は、サブカメラ18の出力画像における主被写体を移動させた距離から視点の移動角度を求め、この移動角度に応じて主被写体を回転させて視点を補正することで、左眼視点画像(e)を生成する。この画像の生成方法は、周知の様々な方法が使用可能であるが、例えば、主被写体の物体を検出することにより各画素の奥行きを計算し、左眼から見た場合に見えるであろう角度に回転させた画像を生成することにより、所望の視点の画像を得ることができる。   Next, the optical axis correction unit 27 obtains the viewpoint movement angle from the distance moved by the main subject in the output image of the sub camera 18, and rotates the main subject according to the movement angle to correct the viewpoint. The left eye viewpoint image (e) is generated. Various known methods can be used to generate this image. For example, the depth of each pixel is calculated by detecting the object of the main subject, and the angle that would be seen when viewed from the left eye By generating an image that is rotated to the desired position, an image at a desired viewpoint can be obtained.
以上説明したように光軸補正部27が動作することにより、たとえ、メインカメラ17とサブカメラ18の光軸が一致していなくても、その差異を吸収して、良好な立体視用画像を生成することが可能となる。その結果、違和感のない良好な立体画像をユーザに提供することが可能となる。   As described above, by operating the optical axis correction unit 27, even if the optical axes of the main camera 17 and the sub camera 18 do not coincide with each other, the difference is absorbed and a good stereoscopic image is obtained. Can be generated. As a result, it is possible to provide the user with a good stereoscopic image that does not feel strange.
なお、本実施形態では、サブカメラ18の出力画像のみに視点補正を適用する例について述べたが、これに限られるものでなく、メインカメラ17の出力画像のみに適用してもよいし、メインカメラ17とサブカメラ18の両方の出力画像に適用したとしても本発明を逸脱するものではない。   In the present embodiment, the example in which the viewpoint correction is applied only to the output image of the sub camera 18 has been described. However, the present invention is not limited to this, and may be applied only to the output image of the main camera 17. Even if it is applied to output images of both the camera 17 and the sub camera 18, it does not depart from the present invention.
なお、本発明は、上記何れの実施形態にも限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。   The present invention is not limited to any of the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
例えば、上記各実施形態では、2台のカメラをそれぞれ携帯電話100の長手方向の端部に配置したが、これに限定されず、例えば、図28の(a)、(b)に示すように、回転カメラ23をヒンジ103に設けてもよいし、図28の(c)に示すように、メインカメラ17をヒンジ103に設けてもよい。メインカメラ17をヒンジ103に設けると、撮影時にメインカメラ17を手で覆ってしまう不都合が減少し、使い勝手が向上する。   For example, in each of the above embodiments, the two cameras are arranged at the longitudinal ends of the mobile phone 100, but the present invention is not limited to this. For example, as shown in FIGS. The rotating camera 23 may be provided on the hinge 103, or the main camera 17 may be provided on the hinge 103 as shown in FIG. Providing the main camera 17 on the hinge 103 reduces the inconvenience of covering the main camera 17 with a hand during shooting, and improves usability.
また、上記の第1〜第6実施形態に係る携帯電話100の機能は、如何様にも組み合わせることが可能である。また、PDA、PC、TV、映像記録装置・再生装置等に適用する場合等、筐体が大きく、2台のカメラの距離を十分取ることができる場合は、同一筐体に2台のカメラを実装してもよい。   Further, the functions of the mobile phone 100 according to the first to sixth embodiments can be combined in any way. Also, when the case is large and the two cameras can be sufficiently separated, such as when applied to PDAs, PCs, TVs, video recording / playback devices, etc., two cameras are installed in the same case. May be implemented.
1…通信アンテナ、2…無線回路、3…符号復号処理回路、4…マイク、5…レシーバ、6…キー、7…CPU、8…CPUバス、9…メモリ、10…DAC、11…スピーカ、12…第1のビデオI/F、13…LCDコントローラ、14…第2のビデオI/F、15…表示部、16…視差バリア、17…メインカメラ、18…サブカメラ、19…記憶装置、20…角度検出部、22…スケーラ、23…回転カメラ、24…画質補正部、25…フレームレート変換部、26…輪郭補正部、27…光軸補正部、241…ホワイトバランス補正部、242…輝度補正部、243…色差U補正部、244…色差V補正部、1031…突起、2411,2412…RGB比検出部、2413…R,Bゲイン調整部、2414…YUV変換部、2421,2422…輝度特徴情報検出部、2423…輝度処理部、2431,2432…色差特徴情報検出部、2433…色差補正部   DESCRIPTION OF SYMBOLS 1 ... Communication antenna, 2 ... Wireless circuit, 3 ... Code decoding process circuit, 4 ... Microphone, 5 ... Receiver, 6 ... Key, 7 ... CPU, 8 ... CPU bus, 9 ... Memory, 10 ... DAC, 11 ... Speaker, DESCRIPTION OF SYMBOLS 12 ... 1st video I / F, 13 ... LCD controller, 14 ... 2nd video I / F, 15 ... Display part, 16 ... Parallax barrier, 17 ... Main camera, 18 ... Sub camera, 19 ... Memory | storage device, DESCRIPTION OF SYMBOLS 20 ... Angle detection part, 22 ... Scaler, 23 ... Rotating camera, 24 ... Image quality correction part, 25 ... Frame rate conversion part, 26 ... Contour correction part, 27 ... Optical axis correction part, 241 ... White balance correction part, 242 ... Luminance correction unit, 243 ... color difference U correction unit, 244 ... color difference V correction unit, 1031 ... projection, 2411, 2412 ... RGB ratio detection unit, 2413 ... R, B gain adjustment unit, 2414 ... YUV conversion unit, 242 , 2422 ... luminance feature information detection unit, 2423 ... luminance processing section, 2431,2432 ... color difference feature information detection unit, 2433 ... color difference correction unit

Claims (8)

  1. 第1の筐体と第2の筐体とがヒンジを介して互いに開閉自在に連結された端末装置であって、
    前記第1の筐体に設けられた第1のカメラと、
    前記第2の筐体に設けられた第2のカメラと、
    前記第1のカメラ及び前記第2のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段と、
    前記第1の筐体と前記第2の筐体とが成す開角度を検出する開角度検出手段と、
    該開角度検出手段が検出した開角度が180度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する判定手段と、
    画像の縮小及び切り出しを行うスケーラと、を備え
    前記第1のカメラと前記第2のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、
    前記スケーラは、画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させる、
    ことを特徴とする端末装置。
    A terminal device in which a first housing and a second housing are connected to each other via a hinge so as to be freely opened and closed,
    A first camera provided in the first housing;
    A second camera provided in the second housing;
    Stereoscopic image generation means for generating an image for stereoscopic viewing based on output images of the first camera and the second camera;
    An open angle detecting means for detecting an open angle formed by the first housing and the second housing;
    A determination unit that determines that the stereoscopic image generation unit needs to generate the stereoscopic image when the open angle detected by the open angle detection unit is 180 degrees or more ;
    A scaler that reduces and crops an image ,
    One of the first camera and the second camera has a narrower angle of view and a smaller number of pixels than the other camera,
    The scaler performs the reduction and image cut-out processing on the output image of the camera with the wider angle of view and the larger number of pixels based on the output image of the other camera, thereby outputting the output of the other camera. Match the size of the image,
    A terminal device characterized by that.
  2. 前記第1のカメラと前記第2のカメラの内、少なくとも1台は、回転動作により撮影方向を変更可能な回転カメラである、
    ことを特徴とする請求項1に記載の端末装置。
    At least one of the first camera and the second camera is a rotating camera capable of changing a shooting direction by a rotating operation.
    The terminal device according to claim 1 .
  3. 前記第1のカメラ及び前記第2のカメラそれぞれの出力画像の画質を一致させる画質補正手段をさらに備える、
    ことを特徴とする請求項1又は2に記載の端末装置。
    Further comprising image quality correction means for matching the image quality of the output images of the first camera and the second camera, respectively.
    Terminal device according to claim 1 or 2, characterized in that.
  4. 前記画質補正手段は、ホワイトバランス、輝度、色の内の少なくとも何れか1つを一致させる、
    ことを特徴とする請求項に記載の端末装置。
    The image quality correction means matches at least one of white balance, luminance, and color;
    The terminal device according to claim 3 .
  5. 前記第1のカメラ及び前記第2のカメラのフレームレートは異なり、
    前記第1のカメラ及び前記第2のカメラのフレームレートを一致させるフレームレート変換手段をさらに備える、
    ことを特徴とする請求項1乃至の何れか1項に記載の端末装置。
    The frame rates of the first camera and the second camera are different,
    Frame rate conversion means for matching the frame rates of the first camera and the second camera;
    Terminal device according to any one of claims 1 to 4, characterized in that.
  6. 前記第1のカメラ及び前記第2のカメラのフォーカス性能は異なり、
    フォーカス性能の劣る一方のカメラの出力画像の輪郭を補正することで、他方のカメラの出力画像における輪郭精度と一致させる輪郭補正手段をさらに備える、
    ことを特徴とする請求項1乃至の何れか1項に記載の端末装置。
    The focusing performance of the first camera and the second camera is different,
    It further comprises contour correction means for correcting the contour of the output image of one camera with inferior focusing performance to match the contour accuracy in the output image of the other camera,
    Terminal device according to any one of claims 1 to 5, characterized in that.
  7. 前記第1のカメラ及び前記第2のカメラそれぞれの出力画像に共通する被写体像を取得し、該取得した被写体像に基づいて、少なくとも一方のカメラの出力画像の視点を補正する光軸補正手段をさらに備える、
    ことを特徴とする請求項1乃至の何れか1項に記載の端末装置。
    Optical axis correction means for acquiring a subject image common to the output images of the first camera and the second camera and correcting the viewpoint of the output image of at least one camera based on the acquired subject image. In addition,
    Terminal device according to any one of claims 1 to 6, characterized in that.
  8. コンピュータを、
    第1の筐体に設けられた第1のカメラ及び第2の筐体に設けられた第2のカメラそれぞれの出力画像に基づいて、立体視用の画像を生成する立体視用画像生成手段、
    前記第1の筐体と前記第2の筐体とが成す開角度を検出する開角度検出手段が検出した前記開角度が180度以上の場合に、前記立体視用画像生成手段が前記立体視用の画像を生成する必要があると判定する判定手段、
    画像の縮小及び切り出しを行うスケーラ、として機能させ
    前記第1のカメラと前記第2のカメラの内、一方のカメラは、他方のカメラに比べ、画角が狭く且つ画素数が少ない仕様であり、
    前記スケーラは、画角が広く且つ画素数が多い方のカメラの出力画像に対して、他方のカメラの出力画像に基づいて、縮小及び画像の切り出し処理を施すことで、当該他方のカメラの出力画像のサイズに一致させる、
    ことを特徴とするプログラム。
    Computer
    Stereoscopic image generation means for generating a stereoscopic image based on output images of the first camera provided in the first housing and the second camera provided in the second housing;
    When the opening angle detected by the opening angle detecting means for detecting the opening angle formed by the first casing and the second casing is 180 degrees or more, the stereoscopic image generating means is configured to perform the stereoscopic viewing. Determining means for determining that an image for use needs to be generated ;
    Function as a scaler that reduces and crops images ,
    One of the first camera and the second camera has a narrower angle of view and a smaller number of pixels than the other camera,
    The scaler performs the reduction and image cut-out processing on the output image of the camera with the wider angle of view and the larger number of pixels based on the output image of the other camera, thereby outputting the output of the other camera. Match the size of the image,
    A program characterized by that.
JP2009101257A 2009-04-17 2009-04-17 Terminal device and program Expired - Fee Related JP5348687B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009101257A JP5348687B2 (en) 2009-04-17 2009-04-17 Terminal device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009101257A JP5348687B2 (en) 2009-04-17 2009-04-17 Terminal device and program

Publications (2)

Publication Number Publication Date
JP2010252186A JP2010252186A (en) 2010-11-04
JP5348687B2 true JP5348687B2 (en) 2013-11-20

Family

ID=43313997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009101257A Expired - Fee Related JP5348687B2 (en) 2009-04-17 2009-04-17 Terminal device and program

Country Status (1)

Country Link
JP (1) JP5348687B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030236A1 (en) * 2015-08-20 2017-02-23 엘지전자 주식회사 Mobile terminal and control method therefor

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012070206A1 (en) * 2010-11-25 2012-05-31 パナソニック株式会社 Image capture device
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012175339A (en) * 2011-02-21 2012-09-10 Toshiba Corp Three-dimensional video signal processing apparatus and processing method
JP5786412B2 (en) 2011-03-31 2015-09-30 ソニー株式会社 Image processing apparatus, image processing method, and image processing program
WO2012140919A1 (en) * 2011-04-14 2012-10-18 パナソニック株式会社 Stereo image generation device and stereo image generation method
EP2819409A4 (en) * 2012-02-23 2015-09-30 Nec Corp Terminal device, image capture system, and image capture method
WO2015118596A1 (en) 2014-02-07 2015-08-13 パナソニックIpマネジメント株式会社 Rotation detection device, camera provided with rotation detection device, and imaging device provided with camera
US9749510B2 (en) 2014-12-25 2017-08-29 Panasonic Intellectual Property Management Co., Ltd. Imaging unit and imaging apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0325119B2 (en) * 1984-07-17 1991-04-05 Kokusai Denshin Denwa Co Ltd
JP4677175B2 (en) * 2003-03-24 2011-04-27 シャープ株式会社 Image processing apparatus, image pickup system, image display system, image pickup display system, image processing program, and computer-readable recording medium recording image processing program
JP2005045511A (en) * 2003-07-28 2005-02-17 Fuji Photo Film Co Ltd Stereoscopic photographing device and its control method
JP4195349B2 (en) * 2003-09-02 2008-12-10 富士フイルム株式会社 Imaging device
JP4771671B2 (en) * 2004-07-16 2011-09-14 シャープ株式会社 Imaging device and imaging display device
KR100770019B1 (en) * 2004-12-06 2007-10-25 한국전자통신연구원 Apparatus and Method for correction of the image distortion of stereo-camera
JP2007206617A (en) * 2006-02-06 2007-08-16 Fujifilm Corp Camera

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030236A1 (en) * 2015-08-20 2017-02-23 엘지전자 주식회사 Mobile terminal and control method therefor
KR20170022488A (en) * 2015-08-20 2017-03-02 엘지전자 주식회사 Mobile terminal and method of controlling the same
KR101718043B1 (en) * 2015-08-20 2017-03-20 엘지전자 주식회사 Mobile terminal and method of controlling the same
US10462441B2 (en) 2015-08-20 2019-10-29 Lg Electronics Inc. Mobile terminal and control method therefor

Also Published As

Publication number Publication date
JP2010252186A (en) 2010-11-04

Similar Documents

Publication Publication Date Title
JP5348687B2 (en) Terminal device and program
JP3973525B2 (en) Electronic device having 2D (2D) and 3D (3D) display functions
KR100689419B1 (en) Method and apparatus for compounding taken?image in mobile terminal having camera
KR101077447B1 (en) Liquid crystal display device, portable type information terminal device, view angle control method, control program, and recording medium
US7443404B2 (en) Image display apparatus, image display controlling method, and image display program
JP4820246B2 (en) Mobile terminal and display method using the same
US20080074506A1 (en) Apparatus and method for photographing panoramic image
US20040198439A1 (en) Device and method for displaying pictures in a mobile terminal
US20040185878A1 (en) Device and method for displaying pictures in wireless mobile terminal
JPH10108152A (en) Portable information terminal
JP3935821B2 (en) Electronic device having 2D (2D) and 3D (3D) display functions
JP2004187182A (en) Mobile terminal device
JP2006345246A (en) Portable phone with three-dimensional photography function
JP2004109330A (en) Electronic apparatus equipped with two dimensional and three dimensional display function
CN107071277B (en) Optical drawing shooting device and method and mobile terminal
JP5294889B2 (en) Imaging apparatus and imaging method
JP4257508B2 (en) Electronic camera
JPH0819004A (en) Head mount display device
JP2004166159A (en) Cellular phone with built-in camera
JP2011055043A (en) Information recorder and program
JP2005039400A (en) Electronic apparatus
JPH10155141A (en) Information transmitter
KR100641176B1 (en) Method for displaying of three dimensions picture in wireless terminal
JP2008098828A (en) Portable terminal equipment
KR20050091125A (en) Mobile communication terminal for providing function of composing image

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130815

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees