JP4733969B2 - Portable information terminal device - Google Patents
Portable information terminal device Download PDFInfo
- Publication number
- JP4733969B2 JP4733969B2 JP2004340681A JP2004340681A JP4733969B2 JP 4733969 B2 JP4733969 B2 JP 4733969B2 JP 2004340681 A JP2004340681 A JP 2004340681A JP 2004340681 A JP2004340681 A JP 2004340681A JP 4733969 B2 JP4733969 B2 JP 4733969B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- beam combiner
- image
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Telephone Set Structure (AREA)
Description
本発明は、液晶パネルなどの表示素子を有する携帯情報端末装置に関するものである。 The present invention relates to a portable information terminal device having a display element such as a liquid crystal panel.
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。 In recent years, a network society in which one person uses a plurality of computers, a so-called ubiquitous network society has been proposed. In the ubiquitous network society, it is possible to realize an environment where information networks such as the Internet can be accessed anytime and anywhere. The portable information terminal device used for such access is not limited to a personal computer, and for example, a mobile phone can be used.
そして、携帯電話においては、通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報端末装置が、例えば、特許文献１に提案されている。
特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ ｖｉｅｗｅｒ）として用いることができる。 In the configuration disclosed in Patent Document 1, a small display is enlarged and projected far away by a hologram element. Thereby, for example, display image information can be seen while making a call. Further, a transmission image of a distant object can be simultaneously observed through the hologram element. This portable information terminal device with a display function can be used as a so-called see-through viewer that displays digital information superimposed on an image of a real field of view.
一般に、実視野内に存在する物体の反射率は、それぞれの物体によって異なる。そのため、シースルービュアーの使用時には、実視野内の場所によって、実視野内での明るさが異なる。従来技術の表示機能付き携帯情報端末装置では、実視野内の位置によっては、実視野内の物体の明るさが、表示素子で表示される画像情報の明るさに対して明るすぎることがある。その結果、使用者が、重畳させた表示画像情報を認識できなくなることが生じるという問題があった。 In general, the reflectance of an object existing in a real field of view varies depending on each object. Therefore, when the see-through viewer is used, the brightness in the real field of view varies depending on the location in the real field of view. In the portable information terminal device with a display function of the prior art, depending on the position in the real field of view, the brightness of the object in the real field of view may be too bright relative to the brightness of the image information displayed on the display element. As a result, there is a problem that the user may not be able to recognize the superimposed display image information.
本発明は、上記に鑑みてなされたものであって、重畳させた表示画像情報を、使用者が認識できる携帯情報端末装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a portable information terminal device that allows a user to recognize superimposed display image information.
上記目的を達成するため、本発明による携帯情報端末装置は、情報入力部を有する把持部と、前記情報入力部で入力した情報又は装置の内部もしくは外部から得た情報を表示する表示面を有する表示部と、前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、画像処理ユニットとを備え、前記撮像ユニットは、前記ビームコンバイナを介して使用者の眼に導かれる実視野を撮像して視野画像を作成し、前記画像処理ユニットは、前記視野画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する画像領域を、暗い画像領域として検出し、前記画像処理ユニットは、予め使用者に選定された、前記実視野内にある所定の対象物に関連する情報を、装置の内部または外部から検索・抽出して、前記第１の表示領域に表示させ、前記第１の表示領域は、前記暗い画像領域に対応する表示領域であることを特徴とする。
また、本発明の携帯情報端末装置においては、前記画像処理ユニットは、前記暗い画像領域の面積に応じて、前記第１の表示領域に表示させる前記所定の対象物に関連する情報の量を異ならせるようにするのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理ユニットは、前記暗い画像領域の色に応じて、前記第１の表示領域に表示させる前記所定の対象物に関連する情報の色を異ならせるようにするのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理ユニットは、前記ビームコンバイナを介して使用者の眼に導かれる実視野における前記所定の対象物の像と、前記第１の表示領域に表示させる前記所定の対象物に関連する情報とを対応付けるための画像を、前記表示面の第２の表示領域に表示させるようにするのが好ましい。
In order to achieve the above object, a portable information terminal device according to the present invention has a gripping unit having an information input unit, and a display surface for displaying information input by the information input unit or information obtained from inside or outside the device. A display unit, a beam combiner that reflects and displays information displayed on the display surface to the user's eye, and transmits an image of an object in the real field in front of the user to guide the user's eye; A beam combiner opening / closing member that supports the beam combiner to be openable / closable with respect to the display unit, a display unit opening / closing member that supports the display unit to be openable / closable with respect to the gripping unit, and incident from the real field side an imaging unit having a plurality of light receiving surfaces arranged so as to receive light, and an image processing unit, the imaging unit, the actual field of view directed to the eyes of the user through said beam combiner Create a field image by capturing the image processing unit, for the previous SL-field image, and compares with a predetermined threshold value, the image area having a value lower than a predetermined threshold value is detected as a dark image area, wherein the image processing unit in advance was selected by the user, the information that are related to the predetermined object in the Jisshi cortex, by searching and extracting from an internal or external device, the first display area is displayed on the first display area, characterized in that it is a display area corresponding to the dark image area.
Further, the portable information terminal device of the present invention, the image processing unit, in response to said area of dark image regions, different amounts of the information related to the predetermined object to be displayed in the first display area It is preferable to make it.
Further, the portable information terminal device of the present invention, the image processing unit, in response to said color of dark image regions, different color information related to the predetermined object to be displayed on the first display region It is preferable to make it.
Further, the portable information terminal device of the present invention, the image processing unit includes an image of the predetermined object in the real field of view directed to the eyes of the user through the beam combiner, in the first display area an image for Keru with corresponding information associated with the predetermined object to be displayed, preferably on so that is displayed in the second display area of the display surface.
本発明によれば、実視野内の明るさが変化しても、重畳させた表示画像情報を使用者が良好に認識できる携帯情報端末装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, even if the brightness in a real visual field changes, the portable information terminal device which a user can recognize favorably the superimposed display image information can be provided.
実施例の説明に先立ち、本発明の作用効果について説明する。
図１は、一実施形態にかかる携帯情報端末装置における説明図を示している。図１では、携帯情報端末装置の表示部とビームコンバイナとの位置、及びこれらと使用者の眼Ｅとの関係を示している。
Prior to the description of the embodiments, the effects of the present invention will be described.
FIG. 1 is an explanatory diagram of a portable information terminal device according to an embodiment. In FIG. 1, the position of the display part of a portable information terminal device and a beam combiner, and the relationship between these and the user's eye E are shown.
携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、ビームコンバイナ２を有している。表示面１ａは、画像（情報）を表示する。ビームコンバイナ２は、表示面１ａに表示された画像（情報）を拡大するような光学的パワーを持つ。このビームコンバイナ２は、ハーフミラーで構成されている。また、把持部３と表示部１の接続部には、表示部開閉部材５が設けられている。また、表示部１とビームコンバイナ２の接続部には、ビームコンバイナ開閉部材６が設けられている。そして、表示部１には、受光素子を備えた撮像ユニット７が設けられている。 The portable information terminal device includes a grip unit 3 having an information input unit 4, a display unit 1 having a display surface 1 a, and a beam combiner 2. The display surface 1a displays an image (information). The beam combiner 2 has an optical power for enlarging an image (information) displayed on the display surface 1a. The beam combiner 2 is composed of a half mirror. In addition, a display unit opening / closing member 5 is provided at a connection portion between the grip unit 3 and the display unit 1. Further, a beam combiner opening / closing member 6 is provided at a connection portion between the display unit 1 and the beam combiner 2. Then, the display unit 1, the imaging unit 7 is provided with a light receiving element.
表示部１の表示面１ａに表示された画像（情報）は、ビームコンバイナ２で反射されて使用者の眼Ｅに導かれる。また、使用者の眼Ｅから、ビームコンバイナ２を隔てた所定の位置に、表示面１ａに表示された画像（情報）の虚像が、拡大形成される。よって、使用者は、この虚像を拡大観察できる。このように、使用者の眼Ｅには、ビームコンバイナ２を通過してくる光が入射すると共に、ビームコンバイナ２で反射された光が入射する。 The image (information) displayed on the display surface 1 a of the display unit 1 is reflected by the beam combiner 2 and guided to the user's eye E. In addition, a virtual image of the image (information) displayed on the display surface 1a is enlarged and formed at a predetermined position separated from the user's eye E by the beam combiner 2. Therefore, the user can enlarge and observe this virtual image. Thus, the light passing through the beam combiner 2 enters the user's eye E and the light reflected by the beam combiner 2 enters.
ここで、ビームコンバイナ２を介して使用者の眼に導かれる領域を、実視野とする。この実視野内の明るさは、場所によって異なる。例えば、実視野内に、高い建物と低い建物があったとした場合に、太陽の位置によっては、低い建物は、高い建物の影の中に入り、低い建物の明るさは、高い建物の明るさより暗くなる。 Here, the space that they led to the eyes of the user by through beam combiner 2, and the actual field of view. The brightness within this real field of view varies from place to place. For example, if there is a high building and a low building in the real field of view, depending on the position of the sun, the low building falls in the shadow of the high building, and the brightness of the low building is higher than that of the high building. Get dark.
表示部１の一面１ｃは、使用者がビームコンバイナ２を通して見ている領域、すなわち実視野と略対向する面である。撮像ユニット７は、受光素子を有する。受光素子は、複数の受光面で構成されていて、使用者の前方からの入射する光を受光する位置に配置されている。また、図１に示す携帯情報端末装置の構成は、使用者が把持部３を右手で掴んで携帯情報端末装置を保持するようにしている。 One surface 1c of the display unit 1 is a region that the user views through the beam combiner 2, that is, a surface that is substantially opposite to the real field of view. An imaging unit 7 has a light-receiving element. Receiving element is made up of a plurality of light receiving surfaces are disposed at positions for receiving the light incident from the front of the user. In the configuration of the portable information terminal device shown in FIG. 1, the user holds the portable information terminal device by holding the grip portion 3 with the right hand.
そこで、本実施形態の携帯情報端末装置では、撮像ユニット７を実視野と略対向する面である表示部１の面１ｃに配置して、実視野からの光を受光するようにしている。 Therefore, in the portable information terminal device according to the present embodiment, the imaging unit 7 is arranged on the surface 1c of the display unit 1 that is a surface substantially opposite to the real field of view to receive light from the real field of view.
このような状態において、撮像ユニット７は、使用者の前方にある実視野を撮像して視野画像を作成する。そして、撮像ユニット７は、各画素に入射した光量に応じた信号を出力する。続いて、前記出力された信号は、画像処理ユニット１３に入力される。画像処理ユニット１３は、入力された信号と所定の閾値との比較を行う。このような工程を経ることで、画像処理ユニット１３は、撮像ユニット７が撮像して作成した視野画像のうち、明るさが所定の閾値よりも低い画像領域を、暗い画像領域として検出する。 In such a state, the imaging unit 7 captures an actual visual field in front of the user and creates a visual field image . Then, the imaging unit 7 outputs a signal corresponding to the amount of light incident on each pixel. Subsequently, the output signal is input to the image processing unit 13. The image processing unit 1 3, intends row compares the input signal with a predetermined threshold value. By going through these processes, the image processing unit 13, among the field-of-view image by the imaging unit 7 is created by imaging, the lower image area than brightness is a predetermined threshold value, it detected as a dark image region .
ここで、撮像ユニット７が撮像して作成した視野画像は、ビームコンバイナ２を介して透過観察される実視野と同じ領域の画像である。そのため、上記工程により検出された暗い画像領域は、実視野における暗い領域に相当する。また、使用者はビームコンバイナ２を介して実視野を見ている。よって、実視野における暗い領域に相当する暗い観察領域が、ビームコンバイナ２の光学面にも、同様に存在していることになる。 Here, the visual field image created by imaging by the imaging unit 7 is an image in the same region as the real visual field that is transmitted and observed through the beam combiner 2. Therefore, the dark image area detected by the above process corresponds to a dark area in the real field of view. The user sees the real field of view through the beam combiner 2. Therefore, a dark observation region corresponding to a dark region in the real field of view also exists on the optical surface of the beam combiner 2 as well.
一方、ビームコンバイナ２の光学面は、表示面１ａに表示された情報を反射している。そのため、ビームコンバイナ２の光学面内における所定の位置は、表示面１ａ内における所定の位置と対応していることになる。 On the other hand, the optical surface of the beam combiner 2 reflects information displayed on the display surface 1a. Therefore, the predetermined position in the optical surface of the beam combiner 2 corresponds to the predetermined position in the display surface 1a.
そして、使用者は、表示面１ａに表示された情報を、ビームコンバイナ２を介して見ている。よって、表示面１ａ内にもビームコンバイナ２の光学面における実視野内の暗い観察領域に対応した表示領域が存在していることになる。 The user is viewing the information displayed on the display surface 1 a through the beam combiner 2. Drunk, the display region corresponding to the dark observation area within the actual field of view in the optical surface of the beam combiner 2 to the table示面1a is present.
そこで、画像処理ユニット１３は、視野画像における暗い画像領域に対応する表示面１ａの表示領域を第１の表示領域として特定する。そして、画像処理ユニット１３は、特定した表示面１ａの第１の表示領域に、撮像ユニット７によって撮像された実視野内にある所定の対象物に関連する情報を表示させる。以下、「撮像ユニット７によって・・・対象物」を、単に「所定の対象物」と称する。その結果、前記特定した表示面１ａの第１の表示領域に、所定の対象物に関連する情報が、表示される。この所定の対象物に関連する情報は、ビームコンバイナ２の光学面における実視野内の暗い観察領域に、実視野の像と重畳される。 Therefore, the image processing unit 13 identifies the display area of the display surface 1a corresponding to dark image areas in visual field image as the first display region. Then, the image processing unit 13, the first display area of the specified display surface 1a, Ru display the information related to the predetermined object in the real field of view imaged by the imaging unit 7. Hereinafter, “the object by the imaging unit 7...” Is simply referred to as “predetermined object”. As a result, information related to the predetermined object is displayed in the first display area of the identified display surface 1a. The information related to the predetermined object is superimposed on the image of the real field on the dark observation region in the real field on the optical surface of the beam combiner 2 .
このような構成とすることで、使用者は、画像処理ユニット１３が特定した表示面１ａの第１の表示領域に表示された、所定の対象物に関連する情報を、良好に認識することができる。 With such a configuration, the user can well recognize information related to the predetermined object displayed in the first display area of the display surface 1a specified by the image processing unit 13. it can.
なお、本実施形態の携帯情報端末では、画像処理ユニット１３が特定した表示面１ａの第１の表示領域に表示された、所定の対象物に関連する情報をビームコンバイナ２で反射して、使用者の眼Ｅに導くように構成している。 In the portable information terminal of the present embodiment, information related to a predetermined object displayed in the first display area of the display surface 1a specified by the image processing unit 13 is reflected by the beam combiner 2 and used. It is comprised so that it may guide to a person's eye E.
なお、このような構成の携帯情報端末装置においては、ビームコンバイナ２が、表示面１ａに対して偏心配置されている。このため、ビームコンバイナ２を介して観察される像に偏心収差が生じやすい。 In the portable information terminal device having such a configuration, the beam combiner 2 is eccentrically arranged with respect to the display surface 1a. For this reason, decentration aberrations are likely to occur in an image observed through the beam combiner 2.
しかるに、本実施形態のように、ビームコンバイナ２に非対称なパワーを持たせる。例えば、仮想線Ｌに沿う方向において、徐々にパワーが変化するように、ビームコンバイナ２の光学面を形成する。このような構成とすれば、表示面１ａに対しビームコンバイナ２が偏心していることにより偏心収差が発生しても、この偏心収差を補正することができる。 However, as in this embodiment, the beam combiner 2 is given asymmetric power. For example, the optical surface of the beam combiner 2 is formed so that the power gradually changes in the direction along the virtual line L. With such a configuration, even if decentration aberration occurs due to the beam combiner 2 being decentered with respect to the display surface 1a, the decentration aberration can be corrected.
以下、本発明の実施例について、図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図２は、実施例１の携帯情報端末装置を、側方からみた概略構成図である。ここで、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態を示している。図３は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。図４は、表示部開閉部材５と、ビームコンバイナ開閉部材６の構造を示す説明図である。 FIG. 2 is a schematic configuration diagram of the portable information terminal device according to the first embodiment as viewed from the side. Here, (a) shows a state where the display unit is closed, (b) shows a state where the display unit is expanded, and (c) shows a state where the beam combiner is expanded from the state shown in (b). FIG. 3 is an explanatory diagram showing the relationship between the display unit and the beam combiner in the portable information terminal device, and the position of the beam combiner and the user's eye E. FIG. 4 is an explanatory view showing the structure of the display unit opening / closing member 5 and the beam combiner opening / closing member 6.
実施例１の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１を把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。 The portable information terminal device according to the first embodiment includes a grip unit 3 having an information input unit 4, a display unit 1 having a display surface 1a, a beam combiner 2 having optical power, and a display unit opening / closing member 5. Yes. Here, the display surface 1a displays information input by the information input unit 4 or information received from the outside. The display unit opening / closing member 5 supports the display unit 1 so as to be openable and closable with respect to the grip unit 3. With such a configuration, the portable information terminal device according to the first embodiment is configured as a so-called folding type mobile phone.
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して、所定の角度でビームコンバイナ２を固定することができる。このような構成により、実施例１の携帯情報端末装置は、図３に示すように、シースルービュアーとしても構成されている。 Further, the beam combiner 2 is connected to the display unit 1 via the beam combiner opening / closing member 6. This connection position is one end side of the display unit 1 and is a position facing the display unit opening / closing member 5. With this beam combiner opening / closing member 6, the beam combiner 2 can be fixed to the display unit 1 at a predetermined angle. With such a configuration, the portable information terminal device of Example 1 is also configured as a see-through viewer as shown in FIG.
表示部開閉部材５は、図４に示すように、円筒部５ａと、円筒部５ｂと、バネ５ｃと、球状部材５ｄと、ピン５ｅと、止め具５ｆとを有している。ここで、円筒部５ｂは、表示部１の一端に一体形成されている。また、円筒部５ａは、把持部３の一端に一体形成されている。 As shown in FIG. 4, the display portion opening / closing member 5 includes a cylindrical portion 5a, a cylindrical portion 5b, a spring 5c, a spherical member 5d, a pin 5e, and a stopper 5f. Here, the cylindrical portion 5 b is integrally formed at one end of the display portion 1. The cylindrical portion 5 a is integrally formed at one end of the grip portion 3.
円筒部５ａには、長手方向に沿って、中央に貫通孔５ａ1が形成されている。そして、円筒部５ａの一端には、ピン５ｅの頭部を収納するための凹部５ａ2が、他端には、バネ５ｃを取り付けるための取付部（図示省略）が、それぞれ形成されている。 A through hole 5a 1 is formed in the center of the cylindrical portion 5a along the longitudinal direction. A concave portion 5a 2 for accommodating the head of the pin 5e is formed at one end of the cylindrical portion 5a, and an attachment portion (not shown) for attaching the spring 5c is formed at the other end.
円筒部５ｂの中央には、長手方向に沿って、中央に貫通孔５ｂ1が形成されている。そして、円筒部５ｂの一端には、止め具５ｆを収納するための凹部（図示省略）が、他端には、球状部材５ｄの一部を嵌合可能な係止溝５ｂ2と，５ｂ3とが、それぞれ形成されている。 A through hole 5b 1 is formed at the center of the cylindrical portion 5b along the longitudinal direction. A recess (not shown) for accommodating the stopper 5f is provided at one end of the cylindrical portion 5b, and locking grooves 5b 2 and 5b 3 into which a part of the spherical member 5d can be fitted at the other end. Are formed.
そして、表示部開閉部材５では、バネ５ｃを円筒部５ａの取付部に取り付けると共に、バネ５ｃの先端に球状部材５ｄを取り付けている。そして、この状態で、ピン５ｅを円筒部５ａの凹部５ａ2側から、円筒部５ａ及び５ｂの貫通孔５ａ1と５ｂ1に通し、その先端を止め具５ｆで止めている。このような構成により、表示部開閉部材５は、表示部１を把持部３に対し開閉可能に支持している。 And in the display part opening-and-closing member 5, while attaching the spring 5c to the attachment part of the cylindrical part 5a, the spherical member 5d is attached to the front-end | tip of the spring 5c. In this state, the pin 5e from the recess 5a 2 side of the cylindrical portion 5a, through penetration of the cylindrical portion 5a and 5b hole 5a 1 and 5b 1, has stopped its tip stopper 5f. With such a configuration, the display unit opening / closing member 5 supports the display unit 1 so as to be openable and closable with respect to the grip unit 3.
また、表示部開閉部材５では、表示部１を展開したときに、球状部材５ｄが係止溝５ｂ2，５ｂ3に嵌合し、且つ、バネ５ｃに付勢される。このような構成とすることで、表示部１と把持部３を、任意の角度で固定することができるようになっている。 In the display portion opening / closing member 5, when the display portion 1 is deployed, the spherical member 5d is fitted into the locking grooves 5b 2 and 5b 3 and is urged by the spring 5c. By setting it as such a structure, the display part 1 and the holding part 3 can be fixed now at arbitrary angles.
なお、表示部開閉部材５の具体的な構成は、上記構成に限定されるものではない。例えば、円筒部５ａ及び５ｂのそれぞれに磁石を備えた係止部を設け、互いの係止部が当接したときに、表示部１と把持部３が固定されるように構成してもよい。 The specific configuration of the display unit opening / closing member 5 is not limited to the above configuration. For example, each of the cylindrical portions 5a and 5b may be provided with a locking portion provided with a magnet, and the display portion 1 and the grip portion 3 may be fixed when the locking portions contact each other. .
ビームコンバイナ開閉部材６は、円筒部６ａと、係止部６ｂと、円筒部６ｃと、係止爪６ｃ2と、図示省略したピン及び止め具を有している。ここで、円筒部６ａと係止部６ｂは、表示部１の他端に一体形成されている。一方、円筒部６ｃは、ビームコンバイナ２の一端に一体形成されている。また、係止爪６ｃ2は、円筒部６ｃに一体形成されている。円筒部６ａ及び６ｃには、中央に貫通孔６ａ1及び６ｃ1がそれぞれ形成されている。係止部６ｂ及び係止爪６ｃ2にはそれぞれ磁石が設けられている。 Beam combiner closing member 6 has a cylindrical portion 6a, a locking portion 6b, and the cylindrical portion 6c, and the locking claw 6c 2, has a pin and stop (not shown). Here, the cylindrical portion 6 a and the locking portion 6 b are integrally formed on the other end of the display portion 1. On the other hand, the cylindrical portion 6 c is integrally formed at one end of the beam combiner 2. Further, the locking claw 6c 2 is integrally formed with the cylindrical portion 6c. The cylindrical portions 6a and 6c are formed with through holes 6a 1 and 6c 1 at the center, respectively. Magnets respectively provided on the locking portion 6b and the locking claws 6c 2.
そして、ビームコンバイナ開閉部材６は、図示省略したピンを円筒部６ａ及び６ｃの貫通孔６ａ1及び６ｃ1に通し、その先端を図示省略した止め具で止めて構成されている。このような構成により、ビームコンバイナ開閉部材６は、ビームコンバイナ２を、表示部１に対し開閉可能に支持している。 The beam combiner opening / closing member 6 is configured such that a pin (not shown) is passed through the through holes 6a 1 and 6c 1 of the cylindrical portions 6a and 6c, and the tip thereof is stopped by a stopper (not shown). With such a configuration, the beam combiner opening / closing member 6 supports the beam combiner 2 so as to be openable / closable with respect to the display unit 1.
また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を展開したときに、係止爪６ｃ2が係止部６ｂに当接し、且つ、互いの磁力でその状態を保持することで、ビームコンバイナ２を表示部１に対して固定することができるようになっている。 The beam combiner closing member 6, when expanding a beam combiner 2, locking claws 6c 2 is brought into contact with the locking portion 6b, and, by holding the state in a mutual magnetic force, a beam combiner 2 It can be fixed to the display unit 1.
なお、ビームコンバイナ開閉部材６は、上記構成に限定されるものではない。例えば、表示部開閉部材５における球状部材５ｄが係止溝５ｂ2及び５ｂ3に嵌合し、且つ、バネ５ｃに付勢される構成と同様に構成してもよい。 The beam combiner opening / closing member 6 is not limited to the above configuration. For example, the spherical member 5d in the display unit opening / closing member 5 may be configured in the same manner as the configuration in which the spherical member 5d is fitted in the locking grooves 5b 2 and 5b 3 and is urged by the spring 5c.
このような構成によって、図３に示すように、表示面１ａに表示された情報が、使用者の眼Ｅ方向に反射されるようになっている。このように、実施例１の携帯情報端末装置は、携帯電話としての使用と、シースルービュアーとしての使用とを可能にすることができる。 With such a configuration, as shown in FIG. 3, the information displayed on the display surface 1a is reflected in the direction of the user's eye E. As described above, the portable information terminal device according to the first embodiment can be used as a mobile phone and as a see-through viewer.
そして、本実施例１の携帯情報端末装置では、撮像ユニット８が、図１の撮像ユニット７に相当する構成として、表示部１内に設けられている。この撮像ユニット８は、面１ｃを介して、外部を撮像する。この面１ｃは、実視野と略対向している面である。 In the portable information terminal device according to the first embodiment, the imaging unit 8 is provided in the display unit 1 as a configuration corresponding to the imaging unit 7 in FIG. The imaging unit 8 images the outside via the surface 1c. The surface 1c is a surface that is substantially opposite to the real field of view.
図５は、実施例１の情報表示装置に備えられた撮像ユニットの構造を示す説明図であって、（ａ）は撮像ユニットの概略構成図、（ｂ）はビームコンバイナを通して使用者が実視野を見る方向と、撮像レンズの光軸方向との関係を示す。撮像ユニット８は、図５（ａ）に示すように、撮像レンズ８ａと、撮像素子８ｂ及びカバーガラス８ｃを有する。撮像レンズ８ａは、プリズムと、負レンズと、正レンズとからなる。なお、カバーガラス８ｃは、撮像用の窓部となる。また、撮像素子８ｂは受光素子である。本実施例１では、撮像素子８ｂはＣＣＤであって、複数の受光部で構成されている。 5A and 5B are explanatory views showing the structure of the imaging unit provided in the information display apparatus of Example 1, wherein FIG. 5A is a schematic configuration diagram of the imaging unit, and FIG. The relationship between the viewing direction and the optical axis direction of the imaging lens is shown. As shown in FIG. 5A, the imaging unit 8 includes an imaging lens 8a, an imaging element 8b, and a cover glass 8c. The imaging lens 8a includes a prism, a negative lens, and a positive lens. Note that the cover glass 8c serves as an imaging window. The image sensor 8b is a light receiving element. In the first embodiment, the image sensor 8b is a CCD, and includes a plurality of light receiving units.
なお、本実施例１では、表示部１を展開した時に、表示部１が把持部３に対して、１８０°以上の角度で折り曲がった状態になっている。そのため、図５（ｂ）に示すように、矢印Ｘ１の方向と矢印Ｘ２の方向が異なる。ここで、矢印Ｘ１の方向は、ビームコンバイナ２を通して、使用者が実視野を見る方向である。一方、矢印Ｘ２の方向は、面１ｃにおける法線の方向である。 In the first embodiment, when the display unit 1 is unfolded, the display unit 1 is bent with respect to the grip unit 3 at an angle of 180 ° or more. Therefore, as shown in FIG. 5B, the direction of the arrow X1 and the direction of the arrow X2 are different. Here, the direction of the arrow X1 is a direction in which the user views the real field of view through the beam combiner 2. On the other hand, the direction of the arrow X2 is the direction of the normal line on the surface 1c.
そのため、撮像レンズ８ａの光軸が矢印Ｘ２の方向と平行になるように、撮像レンズ８ａを配置すると、使用者が見ている実視野を撮像できない。そこで、撮像レンズ８ａの光軸が矢印Ｘ３の方向と平行になるように、撮像レンズ８ａを配置するようにすることで、撮像素子８ｂは実視野内（所定の撮像領域）を撮像する。 Therefore, if the imaging lens 8a is arranged so that the optical axis of the imaging lens 8a is parallel to the direction of the arrow X2, it is impossible to capture the real field of view that the user is viewing. Therefore, by arranging the imaging lens 8a so that the optical axis of the imaging lens 8a is parallel to the direction of the arrow X3, the imaging element 8b images in the real field of view (predetermined imaging region).
また、携帯情報端末装置は、メモリ１２を内蔵している。よって、撮像ユニット８に備えられている撮像素子８ｂによって撮像された画像は、一旦、メモリ１２に保存される。また、携帯情報端末装置は、画像処理ユニット１３を内蔵している。そして、この画像処理ユニット１３において、所定の処理が行われる。 The portable information terminal device has a built-in memory 12. Therefore, an image captured by the image sensor 8 b provided in the imaging unit 8 is temporarily stored in the memory 12. Further, the portable information terminal device has an image processing unit 13 built therein. Then, predetermined processing is performed in the image processing unit 13.
図６は、撮像ユニット８で撮像した画像を画像処理ユニット１３において処理する工程を示すフローチャートである。まず、画像処理ユニット１３は、撮像ユニット８で撮像した画像をメモリ１２から読み出す（ステップＳ１）。ここで、画像は、複数の画素から構成されている。そこで、画像処理ユニット１３は、各画素の有する明るさと閾値との比較を行う（ステップＳ２）。 FIG. 6 is a flowchart illustrating a process of processing an image captured by the imaging unit 8 in the image processing unit 13. First, the image processing unit 13 reads an image captured by the imaging unit 8 from the memory 12 (step S1). Here, the image is composed of a plurality of pixels. Therefore, the image processing unit 13 compares the brightness of each pixel with a threshold value (step S2).
ここで、画素の有する明るさが閾値よりも小さい場合、画像処理ユニット１３は、この画素の座標を記憶する（ステップＳ３）。一方、画素の明るさが閾値以上である場合、画像処理ユニット１３は何も行わない。画像処理ユニット１３は、上記処理を、全ての画素について行う（ステップＳ４）。 Here, when the brightness of the pixel is smaller than the threshold, the image processing unit 13 stores the coordinates of the pixel (step S3). On the other hand, when the pixel brightness is equal to or higher than the threshold, the image processing unit 13 does nothing. The image processing unit 13 performs the above process for all the pixels (step S4).
上記比較が全ての画素について終了したら、画像処理ユニット１３は、記憶した座標から、座標が連続する画像の集まり、すなわち暗い画像領域、を特定する（ステップＳ５）。ここで、暗い画像領域の数は、撮像領域の様子によって異なる。そこで、暗い画像領域の数に応じて、処理を異ならせる（ステップＳ６）。 When the comparison is completed for all the pixels, the image processing unit 13 specifies from the stored coordinates a collection of images with continuous coordinates, that is, a dark image region (step S5). Here, the number of dark image regions varies depending on the state of the imaging region. Therefore, the processing is varied according to the number of dark image regions (step S6).
暗い画像領域が複数存在する場合、最も面積の大きな暗い画像領域が、所定の対象物に関連する情報を表示するための表示用の暗い画像領域に該当する（ステップＳ７）。以下、「所定の対象物・・・暗い画像領域」を、単に、「表示用の暗い画像領域」と称する。 If a dark image region there are a plurality, large dark image regions most area corresponds to the dark image regions of a display for displaying information related to a predetermined object (step S7). Hereinafter, the “predetermined object... Dark image region” is simply referred to as “dark image region for display”.
一方、暗い画像領域が１つしか存在しない場合、この暗い画像領域が、表示用の暗い画像領域に該当する。 On the other hand, if the dark image region there is only one, the dark image area corresponds to the dark image area of display.
画像処理ユニット１３は、表示用の暗い画像領域を特定した後、更に、この特定に基いて、表示用の暗い画像領域に対応する表示面１ａの表示領域を第１の表示領域として特定する。（ステップＳ８）。 The image processing unit 13, after identifying the dark image regions for display, further, on the basis of this particular, to identify the display area of the display surface 1a corresponding to dark image areas of display as the first display region. (Step S8).
そして、画像処理ユニット１３は、特定した表示面１ａの第１の表示領域に情報を表示させる（ステップＳ９）。 And, the images processing unit 13, Ru display the information in the first display area of the specified display surface 1a (step S9).
ここで、表示される情報は、所定の対象物に関連する情報である。なお、所定の対象物に関連する情報は、携帯情報端末装置と別体、または、携帯情報端末装置に内蔵して設けられたデータベースから検索抽出するような構成にしてもよい。 Here, the displayed information is information related to a predetermined object. Incidentally, information you related to a predetermined object, a portable information terminal apparatus and another member, or may be configured such that the search and extraction from a database provided in built into the portable information terminal device.
情報を表示させたい対象物は、予め使用者が選定を行っておけばよい。この選定方法としては、例えば、使用者の視線を検出する装置を設けて、撮像領域内の対象物を特定する方法がある。また、例えば、表示面１ａに矢印を表示させ、この矢印を、情報入力部４を使って、使用者が操作できるようにしておくことで、撮像領域内の対象物を特定する方法がある。 A user may select an object for which information is to be displayed in advance. As a selection method, for example, there is a method of providing a device for detecting the visual line of a user to identify an object in the imaging region. In addition, for example, there is a method of specifying an object in the imaging region by displaying an arrow on the display surface 1 a and enabling the user to operate the arrow using the information input unit 4.
このように、表示面１ａに表示された情報は、ビームコンバイナ２によって、使用者の眼Ｅに向けて反射される。その際、図７に示すように、所定の対象物に関連する情報は、ビームコンバイナ２の光学面における実視野内の暗い観察領域に、実視野の像と重畳されて表示されることになる。よって、使用者は、実視野内の対象物と表示面１ａに表示された所定の対象物に関連する情報との両方を、ビームコンバイナ２を介して良好に見ることができる。 Thus, the information displayed on the display surface 1a is reflected by the beam combiner 2 toward the user's eye E. At that time, as shown in FIG. 7, information related to the predetermined object is displayed in a dark observation region in the real field on the optical surface of the beam combiner 2 so as to be superimposed on the image of the real field. . Therefore, the user can satisfactorily see both the object in the real field of view and the information related to the predetermined object displayed on the display surface 1a through the beam combiner 2 .
なお、図５に示す構成では、撮像用の窓部（カバーガラス８ｃ）が側面１ｃに設けられている。しかしながら、このような構成に限定されるわけではない。図８は、情報表示装置に備えられた撮像ユニット８の構造の変形例を示す説明図である。 In the configuration shown in FIG. 5, an imaging window (cover glass 8c) is provided on the side surface 1c. However, it is not necessarily limited to such a configuration. FIG. 8 is an explanatory view showing a modification of the structure of the imaging unit 8 provided in the information display device.
例えば、図８（ａ）に示すように、撮像レンズ８ａを構成しているプリズムを表示部１から突出させるようにすれば、表示部１の別の側面１ｃ'に、撮像用の窓部を設けることができる。 For example, as shown in FIG. 8A, if a prism constituting the imaging lens 8a is projected from the display unit 1, an imaging window unit is provided on another side surface 1c ′ of the display unit 1. Can be provided.
また、撮像ユニット８は図８（ｂ）に示すように、図５の撮像ユニット８の配置と直交する方向に配置しても良い。いずれの場合にも、撮像レンズａの光軸が、実視野の方向に向くように、撮像ユニット８を配置している。 Further, as shown in FIG. 8B, the imaging unit 8 may be arranged in a direction orthogonal to the arrangement of the imaging unit 8 in FIG. In either case, the image pickup unit 8 is arranged so that the optical axis of the image pickup lens a is directed in the direction of the real field of view.
以上のように、本実施例１の携帯情報端末装置は、シースルービュアーとして使用する場合、携帯情報端末装置を、側頭部に当接させて保持する構成になっていて、この状態で、撮像レンズ８ａの光軸が実視野方向に向くように、撮像ユニット８が配置されている。 As described above, when the portable information terminal device according to the first embodiment is used as a see-through viewer, the portable information terminal device is configured to hold the portable information terminal device in contact with the temporal region. The imaging unit 8 is arranged so that the optical axis of the lens 8a is oriented in the real visual field direction.
本実施例１の携帯情報端末装置によれば、撮像ユニット８によって、使用者が見ている実視野を撮像して視野画像を作成し、画像処理ユニット１３によって、視野画像から実視野内の明るさの変化を検出し、実視野の暗い領域に対応する表示面１ａの第１の表示領域を特定して、第１の表示領域に所定の対象物に関連する情報を表示させることができる。そのため、表示面１ａの第１の表示領域に表示させるべき所定の対象物に関連する情報を、ビームコンバイナ２の光学面における実視野内の暗い観察領域に、実視野の像と重畳して表示させることができる。その結果、使用者は、実視野と撮像した視野画像により特定された第１の表示領域に表示された所定の対象物に関連する情報とを重畳させた表示画像情報を、ビームコンバイナ２を介して良好に認識することができる。 According to the portable information terminal device of the first embodiment, the imaging unit 8 images the real field of view viewed by the user to create a field image, and the image processing unit 13 determines the brightness within the real field from the field image. detects a change in the, by identifying the first display area of the display surface 1a corresponding to the dark areas of the real field of view, it is Rukoto to display information related to a predetermined object in the first display area . Therefore, the first information related to Rubeki predetermined object is displayed in the display area of the display surface 1a, dark observation area within the actual field of view in the optical surface of the beam combiner 2, and overlaps with the actual field of view of the image Can be displayed. As a result, the user, the actual field of view and imaged first display image information by superimposing the information related to the predetermined object that is displayed in the display region specified Ri by the field images, beam combiner 2 it can be satisfactorily recognized through.
図９は、実施例２にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナと表示面構成部を展開した状態を示している。図１０は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。 FIG. 9 is a perspective view of the schematic configuration of the portable information terminal device according to the second embodiment as viewed from the side. Here, (a) shows a state where the display unit is closed, (b) shows a state where the display unit is expanded, and (c) shows a state where the beam combiner and the display surface configuration unit are expanded from the state (b). . FIG. 10 is an explanatory diagram showing the relationship between the display unit and the beam combiner in the portable information terminal device, and the position of the beam combiner and the eye E of the user.
実施例２の携帯情報端末装置は、情報入力部４を有する把持部３と、表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示部１は、表示面１ａと、表示面１ａの周りを囲む外枠部１ｂとを有する。なお、図中１ａ'は表示面１ａを含む表示面構成部である。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１の外枠部１ｂを把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。 The portable information terminal device according to the second embodiment includes a grip unit 3 having an information input unit 4, a display unit 1, a beam combiner 2 having optical power, and a display unit opening / closing member 5. Here, the display unit 1 includes a display surface 1a and an outer frame portion 1b surrounding the display surface 1a. In the figure, reference numeral 1a 'denotes a display surface constituting part including the display surface 1a. Here, the display surface 1a displays information input by the information input unit 4 or information received from the outside. Moreover, the display part opening / closing member 5 supports the outer frame part 1 b of the display part 1 so as to be openable and closable with respect to the grip part 3. With such a configuration, the portable information terminal device according to the first embodiment is configured as a so-called folding type mobile phone.
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して所定の角度で、ビームコンバイナ２を固定することができる。このような構成により、実施例２の携帯情報端末装置は、図１０に示すように、シースルービュアーとしても構成されている。 Further, the beam combiner 2 is connected to the display unit 1 via the beam combiner opening / closing member 6. This connection position is one end side of the display unit 1 and is a position facing the display unit opening / closing member 5. With this beam combiner opening / closing member 6, the beam combiner 2 can be fixed at a predetermined angle with respect to the display unit 1. With this configuration, the portable information terminal device according to the second embodiment is configured as a see-through viewer as shown in FIG.
表示部開閉部材５、ビームコンバイナ開閉部材６は、実施例１で説明したとおりである。また、表示面回動手段９は、表示面１ａを外枠部１ｂに対して回動可能に支持し、且つ、表示面１ａを所定量回動させたときの状態を保持する構成を有する。表示面回動手段９としては、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。 The display part opening / closing member 5 and the beam combiner opening / closing member 6 are as described in the first embodiment. The display surface rotating means 9 has a configuration that supports the display surface 1a so as to be rotatable with respect to the outer frame portion 1b, and holds the state when the display surface 1a is rotated by a predetermined amount. As the display surface rotating means 9, a known rotating mechanism may be used. Therefore, detailed description of a specific configuration is omitted.
そして、実施例２の携帯情報端末装置では、撮像ユニット８が、図１の撮像ユニット７に相当する構成として、外枠部１ｂに設けられている。この撮像ユニット８は、実施例１と同様に、複数の受光面を有する。本実施例２においても、撮像ユニット８によって、実視野内（所定の撮像領域）を撮像する。そして、実施例１と同様にして、画像処理ユニット１３が、暗い画像領域の検出を行う。 And in the portable information terminal device of Example 2, the imaging unit 8 is provided in the outer frame part 1b as a structure equivalent to the imaging unit 7 of FIG. The imaging unit 8 has a plurality of light receiving surfaces as in the first embodiment. Also in the second embodiment, the imaging unit 8 captures an image within the actual visual field (predetermined imaging region). Then, as in the first embodiment, the image processing unit 13 detects a dark image region.
ここで、暗い画像領域の面積は、実視野内の様子によって異なる。そこで、本実施例２では、画像処理ユニット１３が、暗い画像領域の面積に応じて、第１の表示領域に表示させる所定の対象物に関連する情報の量を異ならせている。図１１は、ビームコンバイナ２の光学面における実視野内の暗い観察領域に、所定の対象物に関連する情報が重畳して表示されている様子を示す説明図である。画像処理ユニット１３は、暗い画像領域の面積が大きい場合は、第１の表示領域に表示させる所定の対象物に関連する情報の量を多くする。これにより、ビームコンバイナ２には所定の対象物に関連する情報が、例えば図１１（ａ）のように表示される。一方、暗い画像領域の面積が小さい場合には、第１の表示領域に表示させる所定の対象物に関連する情報の量を少なくする。これにより、ビームコンバイナ２には所定の対象物に関連する情報が、例えば図１１（ｂ）のように表示される。 Here, the area of the dark image region varies depending on the state in the real field of view. In a second embodiment, the image processing unit 13, are made different dark image area according to the area of the amount of information associated with a given object Ru is displayed in the first display area. Figure 11 is a dark observation area within the actual field of view in the optical surface of the beam combiner 2 is an explanatory view showing a state in which information associated with a given object are displayed superimposed. The image processing unit 13, if a large area of the darker image area, to increase the amount of information associated with a given object Ru is displayed in the first display area. Thereby, information related to the predetermined object is displayed on the beam combiner 2 as shown in FIG. On the other hand, when the area of the darker image area is small, to reduce the amount of information associated with a given object Ru is displayed in the first display area. As a result, information related to the predetermined object is displayed on the beam combiner 2 as shown in FIG.
本実施例２の携帯情報端末装置によれば、実視野内（所定の撮像領域）の暗い画像領域の面積に応じて、表示面１ａの第１の表示領域に表示させる所定の対象物に関連する情報の量を異ならせることができるので、使用者は、撮像した視野画像により特定された第１の表示領域に表示された所定の対象物に関連する情報が効率よく実視野と重畳して表示された表示画像情報を、ビームコンバイナ２を介して効果的に認識することができる。 According to the portable information terminal device of the second embodiment, the predetermined object to be displayed on the first display area of the display surface 1a according to the area of the dark image area in the real field of view (predetermined imaging area). it is possible to vary the amount of relevant information, the user, imaging and information that are related to a predetermined object displayed on the first display region specified Ri by the field images efficiently Jitsushiya The display image information displayed in a superimposed manner can be effectively recognized via the beam combiner 2 .
なお、本実施例２の携帯情報端末装置では、画像処理ユニット１３が表示面１ａの第１の表示領域に表示させる所定の対象物に関連する情報の量を、暗い画像領域の面積に比例させている。そのため、ビームコンバイナ２に図１１（ｂ）のように表示される場合のように、暗い画像領域の面積が小さい場合には、第１の表示領域に表示させる所定の対象物に関連する情報の量が少なくなる。よって、所定の対象物に関連する全ての情報を、一度に表示させることができない場合がある。 In the portable information terminal device of the second embodiment, the amount of information the image processing unit 13 is associated with a first display predetermined object which Ru is displayed in the area of the display surface 1a, proportional to the area of the dark image area I am letting . Information Therefore, as in the case of display as shown in FIG. 11 (b) to the beam combiner 2, when the area of the dark image area is small, associated with a given object Ru is displayed in the first display area The amount of. Therefore, all information related to the predetermined object may not be displayed at a time.
そこで、第１の表示領域に表示させる所定の対象物に関連する情報は、所定の時間が経過した時に、所定の対象物に関連する次の情報を表示させるようにすればよい。あるいは、情報入力部４を操作することで、所定の対象物に関連する次の情報を表示させるようにすればよい。 Therefore, information associated with a given object Ru is displayed on the first display area, when a predetermined time has elapsed, it suffices to display the following information associated with a given object. Or what is necessary is just to display the following information relevant to a predetermined target object by operating the information input part 4. FIG.
図１２は、実施例３にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、 （ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態を示している。図１３は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。 FIG. 12 is a perspective view of the schematic configuration of the portable information terminal device according to the third embodiment as viewed from the side. Here, (a) shows a state where the display unit is closed, (b) shows a state where the display unit is expanded, and (c) shows a state where the beam combiner is expanded from the state (b). FIG. 13 is an explanatory diagram showing the relationship between the display unit and the beam combiner in the portable information terminal device, and the position of the beam combiner and the eye E of the user.
実施例３の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉手段５とを有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉手段５は、表示部１を把持部３に対して開閉可能に支持する。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。 The portable information terminal device according to the third embodiment includes a grip unit 3 having an information input unit 4, a display unit 1 having a display surface 1a, a beam combiner 2 having optical power, and a display unit opening / closing means 5. ing. Here, the display surface 1a displays information input by the information input unit 4 or information received from the outside. The display unit opening / closing means 5 supports the display unit 1 so that it can be opened and closed with respect to the grip unit 3. With such a configuration, the portable information terminal device according to the first embodiment is configured as a so-called folding type mobile phone.
そして、ビームコンバイナ２が、ビームコンバイナ開閉部材６と、ビームコンバイナ連結部材１０及びビームコンバイナ移動部材１１を介して、表示部１に接続されている。このような構成により、実施例３の携帯情報端末装置は、図１１に示すように、シースルービュアーとしても構成されている。 The beam combiner 2 is connected to the display unit 1 via a beam combiner opening / closing member 6, a beam combiner connecting member 10, and a beam combiner moving member 11. With such a configuration, the portable information terminal device of Example 3 is also configured as a see-through viewer as shown in FIG.
表示部開閉部材５は、実施例１で説明したとおりである。また、ビームコンバイナ連結部材１０は、棒状部材である。また、ビームコンバイナ開閉部材６、ビームコンバイナ移動部材１１は、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。 The display portion opening / closing member 5 is as described in the first embodiment. The beam combiner connecting member 10 is a rod-shaped member. The beam combiner opening / closing member 6 and the beam combiner moving member 11 may use a known rotation mechanism. Therefore, detailed description of a specific configuration is omitted.
ビームコンバイナ連結部材１０には、一端にビームコンバイナ２が接続され、他端に表示部１が接続されている。そして、ビームコンバイナ移動部材１１は、ビームコンバイナ連結部材１０を表示部１に対して、移動可能に支持している。移動方向は、ビームコンバイナ２が表示面１ａから離れる方向である。 The beam combiner connecting member 10 is connected to the beam combiner 2 at one end and to the display unit 1 at the other end. The beam combiner moving member 11 supports the beam combiner connecting member 10 so as to be movable with respect to the display unit 1. The moving direction is a direction in which the beam combiner 2 moves away from the display surface 1a.
また、ビームコンバイナ移動部材１１は、ビームコンバイナ連結部材１０を所定量移動させた時に、その位置での状態を保持できるような機構を有している。また、ビームコンバイナ開閉部材６は、ビームコンバイナ２をビームコンバイナ連結部材１０に対して開閉可能に支持している。また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を所定量展開したとき、その位置での状態を保持できるような機構を有している。 The beam combiner moving member 11 has a mechanism that can maintain the state at that position when the beam combiner connecting member 10 is moved by a predetermined amount. The beam combiner opening / closing member 6 supports the beam combiner 2 so as to be openable / closable with respect to the beam combiner connecting member 10. The beam combiner opening / closing member 6 has a mechanism that can maintain the state at the position when the beam combiner 2 is deployed a predetermined amount.
そして、実施例３の携帯情報端末装置では、図１の撮像ユニット７に相当する構成として、撮像ユニット８が表示部１内に設けられている。この撮像ユニット８は、実施例１と同様に、複数の受光面を有する。本実施例３においても、撮像ユニット８によって、実視野内（所定の撮像領域）を撮像して視野画像を作成する。そして、実施例１と同様にして、画像処理ユニット１３が、視野画像における暗い画像領域の検出を行う。 And in the portable information terminal device of Example 3, the imaging unit 8 is provided in the display part 1 as a structure corresponded to the imaging unit 7 of FIG. The imaging unit 8 has a plurality of light receiving surfaces as in the first embodiment. Also in the third embodiment, the imaging unit 8 captures an image within the actual visual field (predetermined imaging region) and creates a visual field image . Then, in the same manner as in the first embodiment, the image processing unit 13 detects a dark image region in the visual field image .
なお、本実施例３では、撮像ユニット８はカラーＣＣＤであるため、画像処理ユニット１３が、検出した暗い画像領域について、その画像領域の色情報を得ることができる。そこで、本実施例３では、画像処理ユニット１３が、暗い画像領域の色に応じて、第１の表示領域に表示させる所定の対象物に関連する情報の色を異ならせている。そして、最も認識しやすい色を、情報表示用の色として使用している。 In the third embodiment, the imaging unit 8 is for a color CCD, image processing unit 13, the dark image area detected, it is possible to obtain color information of the image area. Therefore, in the third embodiment, the image processing unit 13 changes the color of information related to the predetermined object displayed in the first display area according to the color of the dark image area . The color that is most easily recognized is used as a color for displaying information.
図１４は、ビームコンバイナ２の光学面における実視野の暗い観察領域に、所定の対象物に関連する情報が重畳して表示されている様子を示す説明図であって、暗い画像領域の色と、表示される情報の色との関係を示す。画像処理ユニット１３は、暗い画像領域１の色が色Ａの場合は所定の対象物に関連する情報を表示する色を色αとしている。暗い画像領域２の色が色Ｂの場合は所定の対象物に関連する情報を表示する色を色βとしている。暗い画像領域３の色が色Ｃの場合は所定の対象物に関連する情報を表示する色を色γとしている。色Ａと色αは、互いに異なる色である。色Ｂと色β、色Ｃと色γについても、同様である。 FIG. 14 is an explanatory diagram showing a state in which information related to a predetermined object is superimposed and displayed on a dark observation region in the real field on the optical surface of the beam combiner 2, and the color of the dark image region and The relationship with the color of the displayed information is shown. When the color of the dark image region 1 is the color A , the image processing unit 13 uses the color α for displaying information related to a predetermined object . When the color of the dark image area 2 is the color B, the color displaying information related to the predetermined object is the color β. When the color of the dark image region 3 is the color C, the color for displaying information related to the predetermined object is the color γ. The color A and the color α are different from each other. The same applies to the color B and the color β, and the color C and the color γ.
また、実視野の暗い領域と、所定の対象物とが離れている場合には、所定の対象物から離れた位置に、所定の対象物に関連する情報が表示されることになる。この場合には、所定の対象物に関連する情報と、所定の対象物を結びつける画像を表示させればよい。例えば、画像処理ユニット１３が、暗い画像領域に表示される所定の対象物に関連する情報と所定の対象物とを対応付けるために矢印などの画像を表示面１ａの第２の表示領域に表示させればよい。これにより、ビームコンバイナ２には上記矢印などの対応付けるための画像が、例えば図１５のように表示される。 Moreover, the actual viewing dark area, when a predetermined object is apart, in a position away from the predetermined object, information related to the predetermined object is displayed. In this case, information relating to the predetermined object and an image connecting the predetermined object may be displayed. For example, the image processing unit 13, information related to a predetermined object and a predetermined object in the second display area of the display surface 1a of the image such as an arrow for Keru with corresponding displayed on the dark image area Display it. As a result, an image for associating the arrow and the like is displayed on the beam combiner 2 as shown in FIG. 15, for example.
本実施例３の携帯情報端末装置も、実施例１や実施例２と同様の効果を得られる。 The portable information terminal device according to the third embodiment can also obtain the same effects as those of the first and second embodiments.
１ 表示部
１ａ 表示面
１ａ' 表示面構成部
１ｂ 外枠部
１ｃ(１ｃ') 表示部の一面（側面）
２ ビームコンバイナ
３ 把持部
３ａ，３ｂ 把持部の一面（側面）
４ 情報入力部
５ 表示部開閉手段
５ａ，５ｂ 円筒部
５ａ1１，５ｂ1 貫通孔
５ａ2 凹部
５ｂ2，５ｂ3 係止溝
５ｃ バネ
５ｄ 球状部材
５ｅ ピン
５ｆ 止め具
６ ビームコンバイナ開閉手段
６ａ，６ｃ 円筒部
６ａ1，６ｃ1 貫通孔
６ｂ 係止部
６ｃ2 係止爪
７，８ 撮像ユニット
８ａ 撮像レンズ
８ｂ 撮像素子
８ｃ カバーガラス
９ 表示面回動手段
１０ ビームコンバイナ連結部材
１１ ビームコンバイナ移動部材
１２ メモリ
１３ 画像処理ユニット
Ｅ 使用者の眼
Ｌ 仮想線
DESCRIPTION OF SYMBOLS 1 Display part 1a Display surface 1a 'Display surface structure part 1b Outer frame part 1c (1c') One surface (side surface) of display part
2 Beam combiner 3 Gripping part 3a, 3b One side (side) of the gripping part
4 information input unit 5 display unit closing means 5a, 5b cylindrical portion 5a 1 1 and 5 b 1 through hole 5a 2 recesses 5b 2, 5b 3 engaging grooves 5c spring 5d spherical member 5e pins 5f stop 6 beam combiner switching means 6a, 6c cylindrical portion 6a 1, 6c 1 through hole 6b engaging portion 6c 2 locking claw
7, 8 Imaging unit 8a Imaging lens 8b Imaging element 8c Cover glass 9 Display surface rotating means 10 Beam combiner connecting member 11 Beam combiner moving member 12 Memory 13 Image processing unit E User's eye L Virtual line
Claims (4)
前記情報入力部で入力した情報又は装置の内部もしくは外部から得た情報を表示する表示面を有する表示部と、
前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、
前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、
前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、
画像処理ユニットとを備え、
前記撮像ユニットは、前記ビームコンバイナを介して使用者の眼に導かれる実視野を撮像して視野画像を作成し、
前記画像処理ユニットは、前記視野画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する画像領域を、暗い画像領域として検出し、
前記画像処理ユニットは、予め使用者に選定された、前記実視野内にある所定の対象物に関連する情報を、装置の内部または外部から検索・抽出して、前記第１の表示領域に表示させ、
前記第１の表示領域は、前記暗い画像領域に対応する表示領域であることを特徴とする携帯情報端末装置。 A gripping part having an information input part;
A display unit having a display surface for displaying information input in the information input unit or information obtained from inside or outside the device ;
A beam combiner that reflects and displays information displayed on the display surface to the user's eye and transmits an image of an object in the real field in front of the user to the user's eye;
A beam combiner opening and closing member that supports the beam combiner so as to be opened and closed with respect to the display unit;
A display unit opening and closing member that supports the display unit so as to be openable and closable with respect to the gripping unit;
An imaging unit having a plurality of light receiving surfaces arranged to receive light incident from the real field side;
An image processing unit,
The imaging unit images a real field of view guided to the user's eye through the beam combiner to create a field of view image ,
Said image processing unit, for the previous SL-field image, and compares with a predetermined threshold value, the image area having a value lower than a predetermined threshold value is detected as a dark image area,
Wherein the image processing unit in advance was selected by the user, the information that are related to the predetermined object in the Jisshi cortex, by searching and extracting from an internal or external device, the first display area to be displayed on,
The portable information terminal device, wherein the first display area is a display area corresponding to the dark image area .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004340681A JP4733969B2 (en) | 2004-11-25 | 2004-11-25 | Portable information terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004340681A JP4733969B2 (en) | 2004-11-25 | 2004-11-25 | Portable information terminal device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006153966A JP2006153966A (en) | 2006-06-15 |
| JP4733969B2 true JP4733969B2 (en) | 2011-07-27 |
Family
ID=36632392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004340681A Expired - Fee Related JP4733969B2 (en) | 2004-11-25 | 2004-11-25 | Portable information terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4733969B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5464130B2 (en) * | 2010-11-18 | 2014-04-09 | 日本電気株式会社 | Information display system, apparatus, method and program |
| WO2015159847A1 (en) * | 2014-04-18 | 2015-10-22 | シャープ株式会社 | See-through display device and display method therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09192164A (en) * | 1996-01-23 | 1997-07-29 | Topcon Corp | Spectacle device for amblyopia person |
| JP2001308997A (en) * | 2000-04-20 | 2001-11-02 | Dainippon Printing Co Ltd | Portable information device with display |
| JP2003121167A (en) * | 2001-10-12 | 2003-04-23 | Denso Corp | Guidance image-generating apparatus, guidance image- displaying apparatus, navigation apparatus, and program |
| JP2003219435A (en) * | 2002-01-24 | 2003-07-31 | Fuji Photo Film Co Ltd | On-screen display device |
-
2004
- 2004-11-25 JP JP2004340681A patent/JP4733969B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09192164A (en) * | 1996-01-23 | 1997-07-29 | Topcon Corp | Spectacle device for amblyopia person |
| JP2001308997A (en) * | 2000-04-20 | 2001-11-02 | Dainippon Printing Co Ltd | Portable information device with display |
| JP2003121167A (en) * | 2001-10-12 | 2003-04-23 | Denso Corp | Guidance image-generating apparatus, guidance image- displaying apparatus, navigation apparatus, and program |
| JP2003219435A (en) * | 2002-01-24 | 2003-07-31 | Fuji Photo Film Co Ltd | On-screen display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006153966A (en) | 2006-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10284817B2 (en) | Device for and method of corneal imaging | |
| US9906721B2 (en) | Apparatus and method to record a 360 degree image | |
| US7397511B2 (en) | Information terminal device | |
| JP4807167B2 (en) | Impersonation detection device | |
| US8773326B2 (en) | Terminal device and recording medium with control program recorded therein | |
| JP6214481B2 (en) | Imaging device | |
| EP2988487B1 (en) | Information processing device, information processing method, and imaging device | |
| KR20120036241A (en) | Camera for detecting driver's status | |
| US9219859B2 (en) | Camera assembly having a wide viewing angle and image acquisition method using the same | |
| CN110275613A (en) | Screen display processing method, device, electronic equipment and storage medium | |
| CN105144704B (en) | Show equipment and display methods | |
| KR100967128B1 (en) | Portable video magnifying apparatus | |
| CN108198552B (en) | Voice control method and video glasses | |
| JP4733969B2 (en) | Portable information terminal device | |
| US20160189341A1 (en) | Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear | |
| JP2006154069A (en) | Personal digital assistant | |
| EP1056270A2 (en) | Digital camera system and method for displaying images via an optical viewfinder | |
| JP4217137B2 (en) | Binoculars with digital camera function | |
| US20190121105A1 (en) | Dynamic zoom lens for multiple-in-one optical system title | |
| KR100648932B1 (en) | Up-right camcorder | |
| JP2006153909A (en) | Personal digital assistant | |
| KR102574288B1 (en) | Method and bendable device for constructing 3D data items | |
| US20090219431A1 (en) | Image Capture Device | |
| JP2006148349A (en) | Personal digital assistant | |
| JP5637434B2 (en) | Electronics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110128 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |