JP5309448B2 - Display device and display method - Google Patents

Display device and display method Download PDF

Info

Publication number
JP5309448B2
JP5309448B2 JP2007016406A JP2007016406A JP5309448B2 JP 5309448 B2 JP5309448 B2 JP 5309448B2 JP 2007016406 A JP2007016406 A JP 2007016406A JP 2007016406 A JP2007016406 A JP 2007016406A JP 5309448 B2 JP5309448 B2 JP 5309448B2
Authority
JP
Japan
Prior art keywords
display
image
transmittance
image display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007016406A
Other languages
Japanese (ja)
Other versions
JP2008185609A (en
Inventor
大二 伊藤
雅明 鶴田
曜一郎 佐古
正道 飛鳥井
観 海老澤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2007016406A priority Critical patent/JP5309448B2/en
Publication of JP2008185609A publication Critical patent/JP2008185609A/en
Application granted granted Critical
Publication of JP5309448B2 publication Critical patent/JP5309448B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a display device performing the display just before user's eyes, wherein a display device performing display of an information image in a part of a screen is assumed to realize the improvement in the visibility of the information image displayed by the device and the improvement in user's usability. <P>SOLUTION: The display of various kinds of the information image is performed in an image display region as a part within the display screen. The display of, for example, the image based on the picked-up image, the image based on received data, and the image based on the reproduced data, and the like is performed in the partial region of the display screen. The visibility of the display screen is improved by controlling the transmittance of the image display region to the transmittance different from that in other than the image display region. Also, the transmittance of the image display region is automatically set or variably adjusted according to external light or a processing program (application to be started) or is set or variably adjusted according to user's behavior or conditions. <P>COPYRIGHT: (C)2008,JPO&amp;INPIT

Description

本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの眼の前方で画像表示を行う表示装置と、表示方法に関する。   The present invention relates to a display device and a display method for displaying an image in front of a user's eyes in a state of being worn by a user using, for example, a spectacle-type or head-mounted type mounting unit.
特開平4−26289号公報JP-A-4-26289 特開平8−126031号公報JP-A-8-126031 特開平9−27970号公報JP-A-9-27970 特開平9−185009号公報Japanese Patent Laid-Open No. 9-185009
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。   For example, as in each of the above patent documents, various devices have been proposed in which a display unit is arranged in front of the user's eyes and displayed by a spectacle-type or head-mounted mounting unit.
これらのように装着状態でユーザの目の直前で表示を行う場合、表示画面を透明又は半透明のスルー状態とし、ユーザが外界光景を見えるようにできることが好適である。
また、画面表示を行う画像としては、必ずしも画面全体において表示しない場合も想定されるが、例えばスルー状態の表示画面の一部に何らかの情報画像を表示するという表示態様も考えられる。
そこで本発明では、ユーザの目の直前で表示を行う表示装置において、画面の一部で情報画像の表示を行う表示装置を想定し、その表示する情報画像の視認性の向上やユーザの使用性の向上を実現することを目的とする。
When the display is performed immediately before the user's eyes in the wearing state as described above, it is preferable that the display screen is in a transparent or translucent through state so that the user can see the external scene.
In addition, as an image to be displayed on the screen, it may be assumed that the image is not necessarily displayed on the entire screen. For example, a display mode in which some information image is displayed on a part of the display screen in the through state is also conceivable.
Therefore, in the present invention, a display device that displays information immediately before the eyes of the user is assumed to be a display device that displays an information image on a part of the screen, and the visibility of the displayed information image is improved and the user's usability is displayed. It aims at realizing improvement.
本発明の表示装置は、使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより上記表示画面の透過率を変化させることのできる表示手段と、上記表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に制御し、該画像表示領域の透過率を、画像表示領域以外とは異なる透過率に制御して、上記画像表示領域に画像表示を実行させる制御手段と、使用者の挙動又は状況としての使用者情報を検出する使用者情報検出手段と、を備え、上記制御手段は、上記使用者情報検出手段で検出された使用者情報によるアプリケーションプログラムの起動基づいて上記表示手段においての上記画像表示領域に対する制御を行い、上記使用者情報検出手段で検出された使用者情報に基づいて上記画像表示領域の位置及びサイズを可変制御する。 The display device of the present invention displays an image on a display screen arranged so as to be positioned in front of the eyes of the user, and can change the transmittance of the display screen by a liquid crystal shutter having a variable transmittance. When the image display is executed on the display means and the display means, a partial area of the display screen is set as an image display area, and the area other than the image display area is controlled to be transparent or translucent. Control means for controlling the transmittance to a transmittance different from the area other than the image display area and executing image display in the image display area, and user information detection for detecting user information as a user's behavior or situation and means, and said control means, the above in the display means based on the activation of the application program by the user information detected by the user information detection means And controls for the image display area, variably controls the position and size of the image display area based on the user information detected by the user information detection means.
また上記制御手段は、上記画像表示領域を上記使用者情報に基づいて算出した透過率に制御するとともに、起動する上記アプリケーションプログラムに応じた透過率に制御して、上記画像表示領域において上記アプリケーションプログラムに基づく画像表示を実行させる制御を行う。
また上記制御手段は、上記画像表示領域を非透明となる透過率に制御して、上記画像表示領域において画像表示を実行させる。
また外光レベルを検知する外光検知手段をさらに備え、上記制御手段は、上記画像表示領域を、上記外光検知手段で検知された外光レベルに応じて算出した透過率に制御する。
また上記制御手段は、上記画像表示領域を、起動する上記アプリケーションプログラムに応じた透過率に制御して、上記画像表示領域において上記アプリケーションプログラムに基づく画像表示を実行させる。
記使用者情報検出手段は、使用者の挙動を撮像し、撮像画像を解析して使用者情報を検出する。
また上記使用者情報検出手段は、加速度センサ、又は角速度センサ、又は振動センサ、又は圧力センサ、又は生体センサにより、使用者情報を検出する。
The control means controls the image display area to the transmittance calculated based on the user information and controls the application program in the image display area by controlling the transmittance according to the application program to be activated. Control to execute the image display based on the above .
Further, the control means controls the image display area to a non-transparent transmittance so that image display is executed in the image display area.
Further, the apparatus further includes an external light detection unit that detects an external light level, and the control unit controls the image display area to a transmittance calculated according to the external light level detected by the external light detection unit.
Further, the control means controls the image display area to a transmittance according to the application program to be started, and causes the image display based on the application program to be executed in the image display area.
Upper Symbol user information detection means images the behavior of the user, detects the user information by analyzing the captured image.
The user information detection means detects user information by an acceleration sensor, an angular velocity sensor, a vibration sensor, a pressure sensor, or a biological sensor.
また上記アプリケーションプログラムの起動によって画像撮像を行う撮像手段をさらに備え、上記制御手段は、上記撮像手段での撮像画像に基づく画像を、上記表示手段の上記画像表示領域に表示させる。上記撮像手段は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成されている。
また記憶手段をさらに備え、上記制御手段は、上記アプリケーションプログラムの起動によって上記記憶手段から読み出した情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる。
また記録媒体から情報を再生する再生手段をさらに備え、上記制御手段は、上記アプリケーションプログラムの起動によって上記再生手段によって上記記録媒体から読み出された情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる。
また上記制御手段は、上記通信手段により受信した情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる。
また現在位置情報を検出する位置検出手段をさらに備え、上記制御手段は、上記アプリケーションプログラムの起動によって上記位置検出手段で検出された現在位置情報に基づく画像、例えば地図画像を、上記表示手段の上記画像表示領域に表示させる。
The image processing apparatus further includes an image capturing unit that captures an image by starting the application program, and the control unit displays an image based on the image captured by the image capturing unit in the image display area of the display unit. The imaging means is configured using a CCD sensor or a CMOS sensor as an imaging element.
Further, the image forming apparatus further includes a storage unit, and the control unit displays an image based on information read from the storage unit by starting the application program in the image display area of the display unit.
Further, the information processing apparatus further includes reproducing means for reproducing information from the recording medium, and the control means displays an image based on the information read from the recording medium by the reproducing means when the application program is started up. Display in the area.
The control means displays an image based on the information received by the communication means in the image display area of the display means.
Further, the apparatus further comprises position detection means for detecting current position information, and the control means displays an image based on the current position information detected by the position detection means by the activation of the application program, for example, a map image, as the above-mentioned display means. Display in the image display area.
本発明の表示方法は、使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより上記表示画面の透過率を変化させることのできる表示手段を備えた表示装置の表示方法として、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に制御し、上記画像表示領域の透過率を画像表示領域以外とは異なる透過率とするステップと、上記画像表示領域において画像表示を実行するステップと、使用者の挙動又は状況としての使用者情報を検出する使用者情報検出ステップと、を備え、上記使用者情報検出ステップで検出された使用者情報によるアプリケーションプログラムの起動基づいて上記画像表示領域に対する制御を行い、上記使用者情報検出ステップで検出された使用者情報に基づいて上記画像表示領域の位置及びサイズを可変制御し、上記画像表示領域を上記使用者情報に基づいて算出した透過率に制御するとともに、起動する上記アプリケーションプログラムに応じた透過率に制御して、上記画像表示領域において上記アプリケーションプログラムに基づく画像表示を実行させる。 The display method of the present invention displays an image on a display screen arranged so as to be positioned in front of the eyes of the user, and can change the transmittance of the display screen by a liquid crystal shutter having a variable transmittance. As a display method of a display device comprising means, a partial area of the display screen is set as an image display area, and the other areas than the image display area are controlled to be transparent or translucent, and the transmittance of the image display area is set. A step of setting a transmittance different from that other than the image display region, a step of executing image display in the image display region, and a user information detection step of detecting user information as a user's behavior or situation. performs control for the image display area based on the activation of the application program by the user information detected by the user information detection step, the upper The position and size of the image display area are variably controlled based on the user information detected in the user information detection step, and the image display area is controlled to the transmittance calculated based on the user information, and activated. The transmittance is controlled according to the application program to be executed, and image display based on the application program is executed in the image display area.
以上の本発明では、使用者(ユーザ)の目の前方に位置するように配置された表示画面により画像表示を行う表示装置において、特に表示画面内の一部としての画像表示領域に各種情報画像の表示を行う。例えば撮像画像に基づく画像、受信したデータに基づく画像、再生したデータに基づく画像などの表示を、表示画面の一部領域で行う。
なお、本発明でいう表示手段で表示する画像とは、動画、静止画などのいわゆる狭義の「画像」だけではなく、テキスト画像、アイコン画像なども含めて、表示手段で表示されるあらゆる表示内容として広義の「画像」を指すものである。
そして画面の一部である画像表示領域に画像表示を行う場合、その周囲の画像表示領域外でユーザが視認する内容との関係で、表示画像が見えにくくなることがある。そこで、画像表示領域の透過率を、画像表示領域以外とは異なる透過率に制御して、表示画像の視認性を向上させる。
また画像表示領域の透過率は、外光や処理プログラム(起動するアプリケーション)に応じて自動に設定又は可変調整したり、或いはユーザの挙動や状況に応じて設定又は可変調整する。
In the above-described present invention, in the display device that displays an image on the display screen arranged so as to be positioned in front of the eyes of the user (user), various information images are displayed in the image display area as a part of the display screen. Is displayed. For example, an image based on a captured image, an image based on received data, an image based on reproduced data, and the like are displayed in a partial area of the display screen.
The image displayed by the display means in the present invention is not only a so-called “image” in a narrow sense such as a moving image or a still image, but also any display content displayed by the display means including a text image, an icon image, and the like. As an “image” in a broad sense.
When an image is displayed in an image display area that is a part of the screen, the display image may be difficult to see due to the contents viewed by the user outside the surrounding image display area. Therefore, the visibility of the display image is improved by controlling the transmittance of the image display region to a transmittance different from that other than the image display region.
The transmittance of the image display area is automatically set or variably adjusted according to external light or a processing program (started application), or is set or variably adjusted according to the user's behavior or situation.
本発明によれば、画面の一部である画像表示領域に画像表示を行う場合、画像表示領域の透過率を、画像表示領域以外とは異なる透過率に制御することで、表示画像の視認性を向上させることができる。例えば画像表示領域以外がスルー状態であってユーザが視界光景を視認できる状態である場合、画像表示領域もスルー状態とすると、表示画像の視認性が低下するが、画像表示領域については異なる透過率とすることで、視認性の良い表示画像を提供できる。
また画像表示領域の透過率は、外光や処理プログラム(起動するアプリケーション)に応じて自動に設定又は可変調整することで、ユーザの操作負担はない。またユーザの挙動や状況に応じて設定又は可変調整することで、ユーザが望む透過率を容易に実現できる。
これらにより、視認性に優れ、かつ使用性の良好な表示装置を提供できる。
According to the present invention, when an image is displayed in an image display area that is a part of the screen, the visibility of the display image is controlled by controlling the transmittance of the image display area to a different transmittance from that other than the image display area. Can be improved. For example, when the area other than the image display area is in the through state and the user can visually recognize the view scene, if the image display area is also in the through state, the visibility of the display image decreases, but the image display area has a different transmittance. By doing so, a display image with good visibility can be provided.
Further, the transmittance of the image display area is automatically set or variably adjusted according to external light or a processing program (started application), so that there is no burden on the user. Further, the transmittance desired by the user can be easily realized by setting or variably adjusting according to the user's behavior and situation.
Accordingly, it is possible to provide a display device with excellent visibility and usability.
以下、本発明の表示装置、表示方法の実施の形態を説明する。説明は次の順序で行う。
[1.表示装置の外観例]
[2.表示装置の構成例]
[3.表示例]
[4.表示のための制御処理例]
[5.実施の形態の効果、及び変形例、拡張例]
Embodiments of the display device and display method of the present invention will be described below. The description will be given in the following order.
[1. Example of appearance of display device]
[2. Example of configuration of display device]
[3. Display example]
[4. Example of control processing for display]
[5. Effect of embodiment, modification and extension example]
[1.表示装置の外観例]

実施の形態として、図1に眼鏡型ディスプレイとした表示装置1の外観例を示す。表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図1のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置1は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2aが配置される構成とされている。この表示パネル部2aには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2aがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
[1. Example of appearance of display device]

As an embodiment, FIG. 1 shows an example of the appearance of a display device 1 that is a glasses-type display. The display device 1 has a mounting unit having a frame structure that, for example, makes a half turn from the heads of both sides to the back of the head, and is worn by the user by being put on both ear shells as shown in FIG.
In the mounted state, the display device 1 is provided with a pair of display panels 2a and 2a for the left eye and the right eye immediately before the user's eyes, that is, at a position where a lens in normal glasses is located. It is configured. For example, a liquid crystal panel is used for the display panel unit 2a. By controlling the transmittance, a through state as shown in the figure, that is, a transparent or translucent state can be obtained. Since the display panel unit 2a is in the through state, even if the user always wears it like glasses, there is no problem in normal life.
またユーザが装着した状態において、ユーザの前方方向に向けて撮像レンズ3aが配置されている。つまりこの場合、撮像レンズ3aは、表示パネル部2aをスルー状態としたときにユーザが表示パネル部2aを介して視認する方向を被写体方向として撮像するようにされている。   In addition, the imaging lens 3a is arranged in the forward direction of the user when the user is wearing it. In other words, in this case, the imaging lens 3a is configured to take an image in which the direction that the user visually recognizes through the display panel unit 2a when the display panel unit 2a is in the through state is the subject direction.
なお図1は一例であり、表示装置1をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、その状態で例えばユーザの眼の前方に近接して表示パネル部2a、2aが設けらればよい。
表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を示しているが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。
また表示パネル部2aとして両眼に対応して表示部が一対設けられる構成の他、片側の眼に対応して1つ表示パネル部2aが設けられる構成でもよい。
また、装着状態でユーザの右耳孔及び左耳孔の一方又は両方に挿入されるイヤホンスピーカを設ける構成や、外部音声を集音するマイクロホンを設ける構成も考えられる。
また撮像レンズ3aによる撮像方向に対して照明を行うように、例えばLED(Light Emitting Diode)等により形成される発光部が設けられてもよい。
Note that FIG. 1 is an example, and various structures for the user to wear the display device 1 can be considered. In general, the display unit 2a and 2a may be provided close to the front of the user's eyes.
Although an example having a spectacle-type or head-mounted type mounting unit as the display device 1 is shown, any mounting unit such as a headphone type, a neckband type, an ear-hook type, etc. may be used by the user. May be. Further, for example, a configuration may be adopted in which the user attaches to normal glasses, a visor, headphones, or the like with an attachment such as a clip.
In addition to the configuration in which a pair of display units are provided corresponding to both eyes as the display panel unit 2a, a configuration in which one display panel unit 2a is provided corresponding to one eye is also possible.
In addition, a configuration in which an earphone speaker that is inserted into one or both of the user's right ear hole and left ear hole in a worn state or a microphone that collects external sound can be considered.
In addition, a light emitting unit formed by, for example, an LED (Light Emitting Diode) or the like may be provided so as to illuminate the imaging direction by the imaging lens 3a.
また図1では撮像レンズ3aがユーザの前方を被写体方向とするように取り付けられているが、撮像レンズ3aが、表示部2をスルー状態としたときにユーザが表示部2を介して視認する方向とは異なる方向を被写体方向として撮像するように取り付けられていても良い。例えば撮像レンズ3aは、ユーザの後方、上方、左側方、右側方、足下などを被写体方向とするように取り付けられていてもよい。
また、図1の例では撮像レンズ3aは固定的に取り付けられていることで撮像時の被写体方向は固定であるが、被写体方向を変化させることのできる可動機構を介して撮像レンズ3aを取り付けることで、手動又は自動で撮像時の被写体方向を変化させることができるようにしてもよい。
また、複数の撮像レンズ3aを取り付け、複数の撮像機能部を備えるようにしてもよい。
さらに撮像レンズ3aを含む後述する撮像部を設けない構成も考えられる。
In FIG. 1, the imaging lens 3 a is attached so that the front of the user is the subject direction, but the direction in which the user visually recognizes the display unit 2 through the display unit 2 when the imaging unit 3 is in the through state. It may be attached so as to pick up an image in a direction different from the direction of the subject. For example, the imaging lens 3a may be attached so that the rear, upper, left side, right side, foot, etc. of the user are the subject direction.
In the example of FIG. 1, the imaging lens 3a is fixedly attached so that the subject direction during imaging is fixed. However, the imaging lens 3a is attached via a movable mechanism that can change the subject direction. Thus, the subject direction at the time of imaging may be changed manually or automatically.
A plurality of imaging lenses 3a may be attached and a plurality of imaging function units may be provided.
Furthermore, the structure which does not provide the imaging part mentioned later containing the imaging lens 3a is also considered.
例えばこのような表示装置1では、通常時は、表示パネル部2aの画面全体をスルー状態(透過率を100%或いは100%に近い値とする)とし、ユーザが前方を視認できるようにしている。
そして何らかの情報に基づいて、表示パネル部2aの画像を表示するが、その場合、表示パネル部2aの画面の一部を画像表示領域として画像表示を行う。表示する画像とは、静止画、動画、テキスト画像、表やグラフなどの画像、キャラクタ画像、アイコン画像など、多様に想定される。
画像表示を行う領域については、それ以外の領域、つまりスルー状態としている領域とは異なる透過率とする。
For example, in such a display device 1, normally, the entire screen of the display panel unit 2 a is in a through state (the transmittance is set to 100% or a value close to 100%) so that the user can visually recognize the front. .
Based on some information, the image of the display panel unit 2a is displayed. In this case, an image is displayed using a part of the screen of the display panel unit 2a as an image display area. Various images are assumed to be displayed, such as still images, moving images, text images, images such as tables and graphs, character images, and icon images.
The region where the image is displayed has a transmittance different from that of the other region, that is, the region in the through state.
図2は、表示装置1の使用形態を、外部機器との関連において例示したものである。
図2(a)は表示装置1を単体で使用する場合であり、この場合、表示装置1が撮像機能を有していることで、撮像された画像信号をソースとして生成した表示画像信号を表示パネル部2aに表示させることができる。
或いは内部で発生させたデータに基づく表示を行ったり、内部メモリに記憶されているデータに基づく表示を行うことができる。
また、可搬性記録媒体に対する再生ドライブ機能を有するようにすれば、可搬性記録媒体から読み出したデータに基づく表示を行うことができる。
FIG. 2 illustrates a usage pattern of the display device 1 in relation to an external device.
FIG. 2A shows a case where the display device 1 is used alone. In this case, the display device 1 has an imaging function, so that a display image signal generated using the captured image signal as a source is displayed. It can be displayed on the panel unit 2a.
Alternatively, display based on internally generated data or display based on data stored in the internal memory can be performed.
In addition, if a reproduction drive function for a portable recording medium is provided, display based on data read from the portable recording medium can be performed.
図2(b)は、表示装置1が通信機能を備え、外部のデータ送信装置70と通信を行う例である。この場合、表示装置1は、外部のデータ送信装置70から送信されてきたデータに基づく表示を行うことができる。
データ送信装置70とは、通信機能を備えたデータサーバ、パーソナルコンピュータ、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラなど多様な機器が想定できる。
また外部のデータ送信装置70は、表示装置1を用いるユーザ本人が所有する機器であったり、データ提供を行う公共或いはサービス企業等の機器であって表示装置1と通信可能とされているものなど多様に考えられる。
FIG. 2B is an example in which the display device 1 has a communication function and communicates with an external data transmission device 70. In this case, the display device 1 can perform display based on data transmitted from the external data transmission device 70.
The data transmission device 70 can be a variety of devices such as a data server having a communication function, a personal computer, a video player, a video camera, and a digital still camera.
The external data transmission device 70 is a device owned by the user who uses the display device 1 or a device such as a public or service company that provides data and can communicate with the display device 1. Think variously.
図2(c)は、表示装置1が通信機能、特にインターネット等のネットワーク73を介した通信アクセス機能を備えることで、ネットワーク73で接続される外部のデータ送信装置70と通信を行う例である。この場合、表示装置1は、ネットワーク73を介して受信したデータに基づいた表示を行うことができる。
FIG. 2C is an example in which the display device 1 has a communication function, particularly a communication access function via the network 73 such as the Internet, so as to communicate with an external data transmission device 70 connected via the network 73. . In this case, the display device 1 can perform display based on data received via the network 73.
[2.表示装置の構成例]

表示装置1の構成例を図3で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
[2. Example of configuration of display device]

A configuration example of the display device 1 will be described with reference to FIG.
The system controller 10 includes, for example, a microcomputer including a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), a nonvolatile memory unit, and an interface unit, and controls the entire display device 1. The control unit The system controller 10 performs various arithmetic processes and exchanges control signals with each unit via the bus 13 based on a program held in an internal ROM or the like, and causes each unit to execute a required operation.
撮像部3は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
The imaging unit 3 includes an imaging optical system, an imaging element unit, and an imaging signal processing unit.
In the imaging optical system in the imaging unit 3, the imaging system 3a shown in FIG. 1, a lens system including an aperture, a zoom lens, a focus lens, and the like, and a focusing operation and a zooming operation are performed on the lens system. Drive system and the like.
In addition, the imaging device section in the imaging section 3 is provided with a solid-state imaging device array that detects imaging light obtained by the imaging optical system and generates an imaging signal by performing photoelectric conversion. The solid-state imaging device array is, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
The imaging signal processing unit in the imaging unit 3 includes a sample hold / AGC (Automatic Gain Control) circuit that performs gain adjustment and waveform shaping on a signal obtained by the solid-state imaging device, and a video A / D converter, and serves as digital data. Captured image data is obtained. Also, white balance processing, luminance processing, color signal processing, blur correction processing, and the like are performed on the captured image data.
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部3により、撮像が行われ、撮像による画像データが得られる。
この撮像部3の撮像動作によって得られた画像データは、撮像制御部6で処理される。
撮像制御部6は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、表示部2でモニタ表示させるための所要の信号処理を行う。表示部2でモニタ表示させるための信号処理とは、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整、画面分割処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト処理などである。
また撮像制御部6はシステムコントローラ10の指示に基づいて、撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行う。
また撮像制御部6はシステムコントローラ10の指示に基づいて、撮像画像データを記録のためにメモリ部12に供給したり、表示部2での表示のために表示制御部7に供給する。撮像画像データをメモリ部12に供給する場合、撮像制御部6は、画像データの記録のためのエンコード処理を行う。
Imaging is performed by the imaging unit 3 including these imaging optical system, imaging element unit, and imaging signal processing unit, and image data obtained by imaging is obtained.
Image data obtained by the imaging operation of the imaging unit 3 is processed by the imaging control unit 6.
The imaging control unit 6 performs processing for converting the captured image data into a predetermined image data format and required signal processing for display on the display unit 2 under the control of the system controller 10. Signal processing for monitor display on the display unit 2 includes, for example, brightness level adjustment, color correction, contrast adjustment, sharpness (outline emphasis) adjustment, screen division processing, character image composition processing, enlarged or reduced image generation, mosaic Image effect processing such as image / intensity inverted image / soft focus / highlight display of a part of the image / variation of color atmosphere of the entire image.
Further, the imaging control unit 6 controls on / off of the imaging operation in the imaging unit 3 based on an instruction from the system controller 10, zoom lens of the imaging optical system, drive control of the focus lens, sensitivity and frame rate control of the imaging element unit, Settings of parameters and execution processes for each process of the imaging signal processing unit are performed.
Further, the imaging control unit 6 supplies the captured image data to the memory unit 12 for recording or the display control unit 7 for display on the display unit 2 based on an instruction from the system controller 10. When the captured image data is supplied to the memory unit 12, the imaging control unit 6 performs an encoding process for recording the image data.
また撮像制御部6は、撮像画像データの解析処理を行い、撮像された対象物の判別や対象物の挙動、形状の判定などを行うことができる。そして解析結果の情報をシステムコントローラ10に供給する。   Further, the imaging control unit 6 can perform analysis processing of the captured image data, and can perform determination of the captured object, determination of the behavior and shape of the object, and the like. Then, the analysis result information is supplied to the system controller 10.
表示装置1においてユーザに対して表示を行う構成としては、表示部2、表示制御部7が設けられる。
表示部2には、図4に示すようにスクリーン21,液晶シャッタ22、外光検知器23を有する表示パネル部2aと、画素駆動部24と、シャッタ駆動部25が設けられる。
表示パネル部2aにおいては、液晶シャッタ22とスクリーン21が重ね合わせられた状態に形成され、スクリーンは例えば通常の液晶表示パネルなどにより形成され、表示画面を形成する。
液晶シャッタ22は表示画面の透過率を変化させるために設けられる。液晶シャッタ22において使用される液晶の種類としては、STN液晶、TFT液晶など透過・遮光状態を切り換え可能なものや、ポリマーネットワーク液晶など透過・拡散状態を切り換え可能なものがある。
液晶シャッタ22が透過状態となると、表示パネル部2aはスルー状態となり、つまりユーザは表示パネル部2aを介して外部光景を見ることができる。
スクリーン21において画像表示が行われることで、ユーザは表示パネル部2aにおいて表示画像を見ることができる。
ここで液晶シャッタ22の透過率を変えると、液晶シャッタ22を透過する外界の像と、スクリーン21に表示される画像とのコントラスト比を変えることができる。
A display unit 2 and a display control unit 7 are provided as a configuration for displaying to the user in the display device 1.
As shown in FIG. 4, the display unit 2 includes a display panel unit 2 a having a screen 21, a liquid crystal shutter 22, and an external light detector 23, a pixel driving unit 24, and a shutter driving unit 25.
In the display panel unit 2a, the liquid crystal shutter 22 and the screen 21 are formed to overlap each other, and the screen is formed by, for example, a normal liquid crystal display panel to form a display screen.
The liquid crystal shutter 22 is provided to change the transmittance of the display screen. As the types of liquid crystal used in the liquid crystal shutter 22, there are a liquid crystal shutter liquid crystal such as STN liquid crystal and TFT liquid crystal that can be switched between transmission and light shielding states and a liquid crystal shutter such as a polymer network liquid crystal that can switch between transmission and diffusion states.
When the liquid crystal shutter 22 is in the transmissive state, the display panel unit 2a is in the through state, that is, the user can see an external scene through the display panel unit 2a.
By displaying an image on the screen 21, the user can view the display image on the display panel unit 2a.
Here, when the transmittance of the liquid crystal shutter 22 is changed, the contrast ratio between the image of the outside world transmitted through the liquid crystal shutter 22 and the image displayed on the screen 21 can be changed.
画素駆動部24は、供給される表示画像信号による表示をスクリーン21において実行させる。即ちスクリーン21においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
シャッタ駆動部25は、液晶シャッタ22においてマトリクス状に配置されている各液晶画素に透過率制御信号を印加し、例えば画素単位で所定の透過率となるように駆動する。
The pixel driving unit 24 causes the screen 21 to execute display based on the supplied display image signal. That is, for each pixel arranged in a matrix on the screen 21, a drive signal based on the video signal is applied at a predetermined horizontal / vertical drive timing, and display is executed.
The shutter drive unit 25 applies a transmittance control signal to each liquid crystal pixel arranged in a matrix in the liquid crystal shutter 22 and drives the liquid crystal shutter 22 so as to have a predetermined transmittance, for example, in units of pixels.
表示制御部7は、このような表示部2に対して、システムコントローラ10の制御に基づいて、表示動作や透過率変化を実行させる。
即ちシステムコントローラ10の制御により転送されてくる表示データや表示する画像信号に基づいて、表示のための各種処理を行い、表示画像信号として画素駆動部24に供給する。
表示のための処理としては、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
The display control unit 7 causes the display unit 2 to execute a display operation and a transmittance change based on the control of the system controller 10.
That is, various processing for display is performed based on display data transferred under the control of the system controller 10 and an image signal to be displayed, and the display image signal is supplied to the pixel driver 24.
As processing for display, for example, brightness level adjustment, color correction, contrast adjustment, sharpness (outline emphasis) adjustment, and the like can be performed. Also, generation of an enlarged image obtained by enlarging a part of the image data, generation of a reduced image, soft focus, mosaic, luminance inversion, highlight display (highlight display) of a part of the image, change in atmosphere of the whole color, etc. Image effect processing, separation and synthesis of images for divided display of captured images, generation of character images and image images, processing of combining the generated images with captured images, and the like can also be performed.
表示制御部7は、各種処理を行って生成した表示画像信号を、表示パネル部2aとしての画面の一部において表示されるようにする。システムコントローラ10の指示により表示画面の一部を画像表示領域とし、画像表示領域として設定した画素において、表示画像信号による表示が実行されるようにする。   The display control unit 7 displays the display image signal generated by performing various processes on a part of the screen as the display panel unit 2a. A part of the display screen is set as an image display area in accordance with an instruction from the system controller 10, and display using a display image signal is executed in a pixel set as the image display area.
また表示制御部7は、システムコントローラ10から指示に応じて、シャッタ駆動部25を制御し、液晶シャッタ22の透過率を可変させる。
例えば液晶シャッタ22の全面をスルー状態としたり、或いは前面を非透過状態とする制御を行う。さらには画面上で部分的に透過率を変化させる制御を行う。特に、画像表示を行う画像表示領域のみを、それ以外の領域と異なる透過率に制御する。例えば基本的に画面上をスルー状態としたうえで、画像表示領域のみ、非透過の状態に制御するなどである。
Further, the display control unit 7 controls the shutter driving unit 25 in accordance with an instruction from the system controller 10 to vary the transmittance of the liquid crystal shutter 22.
For example, control is performed so that the entire surface of the liquid crystal shutter 22 is in a through state or the front surface is in a non-transmissive state. Furthermore, control is performed to partially change the transmittance on the screen. In particular, only the image display area where the image is displayed is controlled to have a different transmittance from the other areas. For example, the screen is basically set to a through state, and only the image display area is controlled to be in a non-transparent state.
また上述のように表示部2には外光検知器23が設けられている。外光検知器23は例えばフォトダイオード、フォトトランジスタなどの光検出素子で構成可能である。
この外光検知器23によって外光レベルが検知される。例えば外光光量に応じた電気信号が発生され、その電気信号を表示制御部7がレベル情報に変換し、システムコントローラ10に供給する。
As described above, the external light detector 23 is provided in the display unit 2. The external light detector 23 can be composed of a light detection element such as a photodiode or a phototransistor.
The ambient light level is detected by the ambient light detector 23. For example, an electrical signal corresponding to the amount of external light is generated, and the display control unit 7 converts the electrical signal into level information and supplies it to the system controller 10.
通信部15は外部機器との間でのデータの送受信を行う。外部機器としては、図2で述べたデータ送信装置70としての各種の機器が考えられる。
通信部15は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
The communication unit 15 transmits / receives data to / from an external device. As the external device, various devices as the data transmission device 70 described in FIG. 2 can be considered.
The communication unit 15 may be configured to perform network communication via short-range wireless communication with a network access point using a method such as wireless LAN or Bluetooth, or directly with an external device having a corresponding communication function. Wireless communication may be performed.
位置検出部14は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
なお、位置検出部14としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやGPSを組み合わせて利用しても良い。また、後述するセンサ部11の情報などからユーザの歩行速度を判別し、検出位置を補正できるようにすることも考えられる。
The position detector 14 is, for example, a GPS receiver. The GPS receiver receives radio waves from a GPS (Global Positioning System) satellite, and outputs latitude / longitude information as the current position to the system controller 10.
The position detection unit 14 may use a location information service provided by WiFi (Wireless Fidelity) or a mobile phone company, or may be used in combination with GPS. It is also conceivable to determine the user's walking speed based on information from the sensor unit 11 described later and to correct the detection position.
メモリ部12は、各種データの保存に用いられる。例えば撮像画像データや通信部15で受信したデータの保存に用いられる。また各種のアプリケーションプログラムの格納にも用いられる。
このメモリ部12は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
The memory unit 12 is used for storing various data. For example, it is used for storing captured image data and data received by the communication unit 15. It is also used to store various application programs.
The memory unit 12 may be configured by a solid-state memory such as a RAM or a flash memory, or may be configured by, for example, an HDD (Hard Disk Drive).
Further, instead of a built-in recording medium, a portable recording medium, for example, a recording / reproducing drive corresponding to a recording medium such as a memory card incorporating a solid-state memory, an optical disk, a magneto-optical disk, or a hologram memory may be used.
このメモリ部12は、システムコントローラ10の制御に基づいて、撮像によって得られる画像データや、通信による受信データを記録する。またシステムコントローラ10の制御に基づいて、記録したデータを読み出し、システムコントローラ10や表示制御部7などに供給する。
また、表示部2で地図画像を表示する例を後述するが、地図画像表示のために地図データベースをメモリ部12に記憶させるようにしてもよい。
The memory unit 12 records image data obtained by imaging and received data by communication based on the control of the system controller 10. Further, based on the control of the system controller 10, the recorded data is read and supplied to the system controller 10, the display control unit 7, and the like.
Moreover, although the example which displays a map image on the display part 2 is mentioned later, you may make it memorize | store a map database in the memory part 12 for a map image display.
この表示装置1では、ユーザの挙動や状況としての使用者情報を検出して、その使用者情報をユーザの操作入力として処理する。つまりユーザの挙動や状況に応じて表示動作や透過率制御を行う。
ユーザの挙動や状況を検出する手段としては、センサ部11が設けられる。また上述した撮像部3及び撮像制御部6もユーザの挙動を検出する手段として用いられる。
The display device 1 detects user information as a user's behavior or situation, and processes the user information as a user operation input. That is, display operation and transmittance control are performed according to the user's behavior and situation.
A sensor unit 11 is provided as means for detecting the user's behavior and situation. The above-described imaging unit 3 and imaging control unit 6 are also used as means for detecting the user's behavior.
まずセンサ部11について説明する。
センサ部11においてユーザの挙動を検知する構成とする場合は、センサ部11として加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが表示装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作(例えば透過率可変操作)として認識するようにすることができる。
また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、表示装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは透過率を上げる操作、左側部をユーザが指で押したときは透過率を下げる操作などとすることもできる。
また加速度センサや振動センサによって、ユーザが静止しているか、歩行しているか、走行しているかなどを判別し、それぞれの判別結果に応じて透過率を可変させるような処理も考えられる。
First, the sensor unit 11 will be described.
When the sensor unit 11 is configured to detect a user's behavior, an acceleration sensor, an angular velocity sensor, a vibration sensor, a pressure sensor, or the like may be provided as the sensor unit 11.
For example, when the user taps the display device 1 from the side, it is detected by an acceleration sensor, a vibration sensor, or the like. For example, when the lateral acceleration exceeds a certain value, the system controller 10 operates the user (for example, It can be recognized as a variable transmittance operation).
Also, if it is possible to detect whether the user has struck the side part (the part corresponding to the vine of the glasses) from the right side or the side part from the left side by an acceleration sensor or angular velocity sensor, they can be used as predetermined operations. It can also be determined.
Further, it is possible to detect that the user turns his head or shakes his / her head with an acceleration sensor or an angular velocity sensor, and the system controller 10 can recognize this as a user operation.
In addition, pressure sensors are arranged on the left and right side portions (portions corresponding to spectacles) of the display device 1, and when the user presses the right side with a finger, the operation increases the transmittance. When pressed with, the transmittance can be lowered.
In addition, it is possible to determine whether the user is stationary, walking, running, or the like using an acceleration sensor or a vibration sensor, and changing the transmittance according to each determination result.
またセンサ部11に、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。
生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化、眼の状態などである。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが表示装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
また上記の生体情報を生体センサで検出することで、ユーザの身体状況として、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる。このような判定に応じて透過率可変を行うという処理例も考えられる。
例えばユーザが快適となる状況となるように透過率を調整することができる。
またユーザの瞳孔の開き具合を検出してユーザが感じているまぶしさ等を判定し、それに応じて透過率制御を行うことができる。
In addition, the sensor unit 11 may be provided with a configuration as a biometric sensor so that the biometric information of the user is detected and recognized as an operation input.
Biometric information includes pulse rate, heart rate, electrocardiogram information, electromyography, respiratory information (eg, respiratory rate, depth, ventilation), sweating, GSR (skin electrical response), blood pressure, blood oxygen saturation level Skin surface temperature, brain waves (for example, information on α wave, β wave, θ wave, and δ wave), blood flow change, eye condition, and the like.
The system controller 10 may recognize the detection information of the biosensor as a user operation input. For example, the user's conscious behavior may be an eye movement (change in line-of-sight direction or blinking), but if it is detected that the user has blinked three times, it is determined as a specific operation input. Furthermore, it is possible to detect that the user has attached or removed the display device 1 or that a specific user has attached by detecting the biometric information, and the system controller 10 can turn on / off the power in response to the detection. You may make it perform off.
Further, by detecting the above-described biometric information with a biometric sensor, it is possible to determine, for example, the user's physical condition, such as the user's tension state, excitement state, calm state, dying state, comfortable state, and unpleasant state. A processing example in which the transmittance is changed in accordance with such determination is also conceivable.
For example, the transmittance can be adjusted so that the user is comfortable.
Further, it is possible to determine the glare or the like that the user feels by detecting the degree of opening of the user's pupil, and perform transmittance control accordingly.
なお生体センサは、例えば眼鏡型の表示装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。
The biosensor may be arranged inside the wearing frame of the glasses-type display device 1, for example, so as to be able to detect the various types of information by contacting the user's temporal region or occipital region. It may be attached to a predetermined part of the body as a separate body from the one mounting frame portion.
In order to detect the state of the eye, the state of movement, the pupil, and the like, it is conceivable to use a camera that images the user's eyes.
撮像部3及び撮像制御部6によっても、ユーザの挙動を検出することができる。
例えばユーザは、自分の目の前方に手を差し出して、手が撮像部3で撮像されるようにする。そして図5(a)(b)(c)(d)のように、手の形によって、それぞれ所定の操作入力が行われるようにする。
このような手の形は、撮像制御部6が撮像画像を解析することで判別可能であり、判別した手の形の情報をシステムコントローラ10に供給する。システムコントローラ10は手の形のそれぞれを所定の操作情報と認識する。
例えば図5(a)(b)(c)(d)の手の形を、それぞれ画像表示開始、画像表示領域の透過率アップ、画像表示領域の透過率ダウン、画像表示終了などとしての操作情報と認識することが考えられる。
或いは、指の数を透過率パーセンテージに対応させ、図5(a)の場合は透過率0%、指1本で透過率20%、図5(b)(c)のように指2本で透過率40%、指3本で透過率60%、指4本で透過率80%、図5(d)のように指5本で透過率100%などとしての操作入力と解釈するようにしてもよい。
もちろんこれらは一例であり、手の形に対応してどのような内容の操作情報とするかは多様に考えられる。
The user's behavior can also be detected by the imaging unit 3 and the imaging control unit 6.
For example, the user puts his hand in front of his / her eyes so that the image is picked up by the imaging unit 3. And as shown in FIG. 5 (a) (b) ( c) (d), by a hand, respectively to predetermined operation input is performed.
Such a hand shape can be determined by the imaging control unit 6 analyzing the captured image, and information on the determined hand shape is supplied to the system controller 10. The system controller 10 recognizes each hand shape as predetermined operation information.
For example, the hand information shown in FIGS. 5A, 5B, 5C, and 5D is operated information as image display start, image display area transmittance increase, image display area transmittance decrease, image display end, and the like. It is possible to recognize that.
Alternatively, the number of fingers is made to correspond to the transmittance percentage. In the case of FIG. 5A, the transmittance is 0%, the transmittance of one finger is 20%, and the fingers are two as shown in FIGS. 5B and 5C. Interpretation of operation input as 40% transmittance, 60% transmittance with 3 fingers, 80% transmittance with 4 fingers, 100% transmittance with 5 fingers as shown in FIG. 5D. Also good.
Of course, these are only examples, and various types of operation information corresponding to the shape of the hand can be considered.
なお、ユーザの挙動や状況としてのユーザ情報を取得するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
またキーやダイヤルなどの操作子を設けても良い。
In addition, as a structure for acquiring user information as a user's behavior and situation, other sensors such as a sensor for detecting the voice of the user and a sensor for detecting the movement of the lips may be provided.
Further, an operator such as a key or a dial may be provided.
以上、表示装置1の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
The configuration of the display device 1 has been described above, but this is only an example. Addition and deletion of various components are naturally conceivable depending on the actual operation example and function.
[3.表示例]

本例の表示装置1における表示例を図6〜図9に示す。
本例では、表示部2において各種の画像表示が行われる。例えばアプリケーションプログラムによる処理動作による画像の表示、通信部15で受信されたデータに基づく画像の表示、撮像部3で撮像された画像に基づく表示、メモリ部12から読み出されたデータに基づく表示、メモリ部12が可搬性記録媒体に対する記録再生ドライブとされている場合に、可搬性記録媒体から再生されたデータに基づく表示などが行われる。
[3. Display example]

Display examples on the display device 1 of this example are shown in FIGS.
In this example, various types of image display are performed on the display unit 2. For example, display of an image by a processing operation by an application program, display of an image based on data received by the communication unit 15, display based on an image captured by the imaging unit 3, display based on data read from the memory unit 12, When the memory unit 12 is a recording / reproducing drive for a portable recording medium, display based on data reproduced from the portable recording medium is performed.
まず図6には、地図画像を表示する例を示す。
例えばメモリ部12に地図表示の機能を有するアプリケーションプログラムが格納されており、これがシステムコントローラ10において起動されて地図表示が行われるとする。一例として、この地図表示プログラムは、現在地に応じて周辺の地図表示を行ったり、地図上で経路案内を行うプログラムであるとする。
First, FIG. 6 shows an example of displaying a map image.
For example, it is assumed that an application program having a map display function is stored in the memory unit 12 and is activated in the system controller 10 to display a map. As an example, this map display program is a program that displays a map of the surroundings according to the current location or provides route guidance on a map.
表示パネル部2aは例えば通常時は、全面が例えば透過率100%のスルー状態、つまり、表示部2は単なる透明の板状体となっており、例えば図6(a)のようにユーザが視界光景を視認できる状態とされている。
ここで、システムコントローラ10のCPUにおいて地図表示プログラムが起動されると、システムコントローラ10は、画面上の一部領域を画像表示領域と設定して地図表示を行う。
例えばシステムコントローラ10は位置検出部14で検出される現在位置に応じて地図画像データを取得する。この場合、メモリ部12に地図データベースが格納されていれば、現在位置情報に応じた地図画像データを検索して取得できる。
また地図データベースを格納していない場合、例えば外部のサーバなどのデータ送信装置70に対して現在位置情報を通信部15から送信させ、その現在位置情報に応じた地図画像データを、外部のデータ送信装置70から受信するという処理も考えられる。
For example, the display panel unit 2a is normally in a through state where the entire surface is 100% transmittance, for example, that is, the display unit 2 is a simple transparent plate-like body. For example, as shown in FIG. The sight can be seen.
Here, when the map display program is activated in the CPU of the system controller 10, the system controller 10 performs map display by setting a partial area on the screen as an image display area.
For example, the system controller 10 acquires map image data according to the current position detected by the position detection unit 14. In this case, if a map database is stored in the memory unit 12, map image data corresponding to the current position information can be searched and acquired.
If the map database is not stored, for example, the current position information is transmitted from the communication unit 15 to the data transmitting device 70 such as an external server, and the map image data corresponding to the current position information is transmitted to the external data. A process of receiving from the device 70 is also conceivable.
システムコントローラ10は現在位置に応じた地図画像を表示画面上の一部領域に表示させるが、例えば図6(b)(c)のように画面を領域AR1,AR2とに分け、領域AR2地図画像を表示させる。
ここで図6(b)は、領域AR2が、スルー状態である領域AR1と同じ透過率の状態(つまりスルー状態)である場合を示し、一方、図6(c)は、領域AR2が、スルー状態である領域AR1と異なる透過率の状態(つまり非透過状態もしくは透過率の低い状態)である場合を示している。
図6(b)の例では、全面がスルー状態のままであることで、領域AR2に表示された地図画像が見えにくい状態となっている。
これに対して図6(c)のように領域AR2のみ透過率を変化させることで、地図画像を見やすくユーザに提示できるようになる。
The system controller 10 displays a map image corresponding to the current position in a partial area on the display screen. For example, the screen is divided into areas AR1 and AR2 as shown in FIGS. Is displayed.
Here, FIG. 6B shows a case where the area AR2 is in the same transmittance state as the area AR1 in the through state (that is, the through state), while FIG. 6C shows that the area AR2 is in the through state. This shows a case where the state is a state of transmittance different from that of the region AR1 (that is, a non-transmissive state or a state of low transmittance).
In the example of FIG. 6B, since the entire surface remains in the through state, the map image displayed in the area AR2 is difficult to see.
On the other hand, by changing the transmittance of only the area AR2 as shown in FIG. 6C, the map image can be easily displayed and presented to the user.
なお、ここでは地図表示プログラムによる表示例を示したが、このように表示動作を伴うアプリケーションプログラムは多様に考えられる。
例えばインターネットウェブブラウザなどのブラウザソフトウエア、写真画像などの画像管理/表示プログラム、グラフィック作成/編集ソフトウエア、文書作成ソフトウエア、表計算ソフトウエアなど、多様なアプリケーションプログラムによる表示画像が想定される。
もちろん表示する画像内容としては、動画、静止画、テキスト、図表、ダウンロード画像など、各種考えられる。
またアプリケーションプログラムの動作に応じて、表示する情報は、プログラム動作で作成された文字や図表、デザインの画像であったり、ブラウザソフトウエアなどの動作によって通信部15によってダウンロードした画像であったり、メモリ部12から読み出したデータに基づく画像や、読み出した画像自体であるなど、多様である。
In addition, although the example of a display by a map display program was shown here, the application program accompanying a display operation in this way can be considered variously.
For example, display images by various application programs such as browser software such as an Internet web browser, image management / display program for photographic images, graphic creation / editing software, document creation software, spreadsheet software, and the like are assumed.
Of course, various kinds of image contents to be displayed are considered, such as moving images, still images, texts, charts, and download images.
Depending on the operation of the application program, the information to be displayed is an image of a character, chart, or design created by the program operation, an image downloaded by the communication unit 15 by the operation of the browser software, or the like. There are various types such as an image based on the data read from the unit 12 and the read image itself.
図7は外部のデータ送信装置70から送信される情報を表示する例である。
図7(a)は表示パネル部2aの全面がスルー状態である場合を示している。例えばユーザが優勝カップの展示会場などにいる場合の情景を示している。
この近辺には、展示物に関連する情報や、各種広告情報、案内情報などを送信するデータ送信装置70が設置されており、ユーザが装着している表示装置1に対して各種情報を送信しているとする。
表示装置1では、例えばデータ送信装置70からの情報を受信することに応じて、受信した情報に基づくテキスト画像を画面の一部領域AR2に表示する。
図7(b)は、領域AR2が、スルー状態である領域AR1と同じ透過率の状態(つまりスルー状態)である場合を示し、一方、図7(c)は、領域AR2が、スルー状態である領域AR1と異なる透過率の状態(つまり非透過状態もしくは透過率の低い状態)である場合を示している。
図7(b)の例では、全面がスルー状態のままであることで、領域AR2に表示されたテキスト画像が見えにくい状態となっている。
これに対して図7(c)のように領域AR2のみ透過率を変化させることで、テキスト画像を見やすくユーザに提示できるようになる。
ここではテキスト画像を表示する例を挙げたが、外部のデータ送信装置70から送信される情報としては、静止画、動画なども当然考えられる。
FIG. 7 shows an example of displaying information transmitted from the external data transmission device 70.
FIG. 7A shows a case where the entire surface of the display panel unit 2a is in a through state. For example, a scene when the user is at the exhibition hall of the winning cup is shown.
A data transmission device 70 for transmitting information related to the exhibit, various advertisement information, guidance information, and the like is installed in the vicinity, and transmits various information to the display device 1 worn by the user. Suppose that
In the display device 1, for example, in response to receiving information from the data transmission device 70, a text image based on the received information is displayed in a partial area AR2 of the screen.
FIG. 7B shows a case where the area AR2 is in the same transmittance state as the area AR1 in the through state (that is, the through state), while FIG. 7C shows that the area AR2 is in the through state. A case is shown in which the transmittance is different from a certain area AR1 (that is, a non-transmissive state or a low transmittance state).
In the example of FIG. 7B, since the entire surface remains in the through state, the text image displayed in the area AR2 is difficult to see.
On the other hand, by changing the transmittance of only the area AR2 as shown in FIG. 7C, the text image can be easily displayed and presented to the user.
Here, an example in which a text image is displayed has been described. However, as the information transmitted from the external data transmission device 70, a still image, a moving image, or the like can be considered.
図8,図9は、撮像部3において撮像した画像に基づく表示を行う例を示している。
図8(a)は全面スルー状態を示している。
図8(b)(c)は、撮像部3において撮像された画像の一部を拡大処理して領域AR2に表示している例を示している。図8(b)は、領域AR2が、領域AR1と同じスルー状態の場合であり、図8(c)は、領域AR2が、領域AR1と異なる非透過状態もしくは透過率の低い状態である場合を示している。上記各例と同様に、図8(c)のように領域AR2の透過率を変化させることで、表示内容の視認性を高めることができる。
また図9(a)は全面スルー状態を示し、図9(b)(c)は、撮像部3において望遠撮像を行った画像を領域AR2に表示している例を示している。図8(b)は、領域AR2が、領域AR1と同じスルー状態の場合であり、図9(c)は、領域AR2が、領域AR1と異なる非透過状態もしくは透過率の低い状態である場合を示している。上記各例と同様に、図9(c)のように領域AR2の透過率を変化させることで、撮像画像の表示内容の視認性を高めることができる。
8 and 9 show an example in which display based on an image captured by the imaging unit 3 is performed.
FIG. 8A shows a through state.
FIGS. 8B and 8C illustrate an example in which a part of an image captured by the imaging unit 3 is enlarged and displayed in the area AR2. FIG. 8B shows a case where the area AR2 is in the same through state as the area AR1, and FIG. 8C shows a case where the area AR2 is different from the area AR1 in a non-transmissive state or a low transmittance state. Show. Similar to the above examples, the visibility of the display content can be improved by changing the transmittance of the area AR2 as shown in FIG. 8C.
9A shows an entire through state, and FIGS. 9B and 9C show an example in which an image obtained by telephoto imaging in the imaging unit 3 is displayed in the area AR2. FIG. 8B shows a case where the area AR2 is in the same through state as the area AR1, and FIG. 9C shows a case where the area AR2 is different from the area AR1 in a non-transmissive state or a low transmittance state. Show. Similar to the above examples, by changing the transmittance of the area AR2 as shown in FIG. 9C, the visibility of the display content of the captured image can be enhanced.
撮像部3で撮像された画像としての表示内容は次のように多様に考えられる。
・撮像部3で通常撮像された画像
・撮像部3のズーム動作で得られる望遠ズーム画像
・撮像部3のズーム動作で得られる広角ズーム画像
・撮像部3の焦点制御動作で得られる遠景画像
・撮像部3の焦点制御動作で得られる近景画像
・撮像部3での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像
・撮像制御部6または表示制御部7の信号処理での拡大処理や縮小処理を行った画像
・撮像部3での撮像感度を上昇させて明るさをアップさせた画像
・撮像部3での撮像感度を低下させて明るさを抑えた画像
・撮像部3での赤外線撮像感度を上昇させて得た暗視画像
・撮像部3での紫外線撮像感度を上昇させて得た画像
・撮像部3で特定波長帯域をカットして撮像した画像
・撮像制御部6または表示制御部7の信号処理で輝度を上昇させて明るさをアップさせた画像
・撮像制御部6または表示制御部7の信号処理で輝度を低下させて明るさを抑えた画像
・撮像制御部6または表示制御部7の色信号処理で色合いや雰囲気を変化させた画像
・撮像制御部6または表示制御部7の信号処理でコントラスト、シャープネス等を調整した画像
・撮像制御部6または表示制御部7の信号処理として、モザイク/輝度反転/ソフトフォーカス/画像内の一部の強調表示/ハイライト表示などの画像エフェクト処理を行って得た画像
・以上の各動作又は信号処理の組み合わせにより得た画像
Various display contents as an image captured by the imaging unit 3 are considered as follows.
An image normally captured by the imaging unit 3 A telephoto zoom image obtained by the zoom operation of the imaging unit 3 A wide-angle zoom image obtained by the zoom operation of the imaging unit 3 A distant view image obtained by the focus control operation of the imaging unit 3 High-speed captured image obtained by changing the imaging frame rate in the foreground image / imaging unit 3 obtained by the focus control operation of the imaging unit 3 or the enlargement in the signal processing of the low-speed captured image / imaging control unit 6 or the display control unit 7 In the image / imaging unit 3 in which the image / imaging unit 3 that has been subjected to the processing or reduction processing is increased in imaging sensitivity and the brightness is increased, and in which the imaging sensitivity in the imaging unit 3 is decreased and the brightness is suppressed. Image / imaging control unit 6 obtained by cutting the specific wavelength band in the image / image capturing unit 3 obtained by increasing the ultraviolet imaging sensitivity in the night image / imaging unit 3 Brightness is increased by signal processing of the display controller 7 The brightness of the image / imaging control unit 6 or the display control unit 7 is increased and the brightness is reduced by the signal processing of the image / imaging control unit 6 or the display control unit 7. As the signal processing of the image / imaging control unit 6 or display control unit 7 in which the contrast, sharpness, etc. are adjusted by the signal processing of the image / imaging control unit 6 or display control unit 7 in which the atmosphere is changed, mosaic / brightness inversion / software Image obtained by performing image effect processing such as focus / highlight display of part of image / highlight display, etc./image obtained by combination of the above operations or signal processing
もちろん、これら列挙したものに限定されるものではなく、撮像部3の動作、撮像制御部6または表示制御部7の信号処理により得られる表示用の画像は多様に考えられる。
Of course, the present invention is not limited to those listed, and various images for display obtained by the operation of the imaging unit 3 and the signal processing of the imaging control unit 6 or the display control unit 7 can be considered.
[4.表示のための制御処理例]

上記表示例として述べたように、本例では、表示画面上の一部領域AR2において画像表示を行うが、このとき、領域AR2を、周囲の他の領域AR1とは異なる透過率とすることで、視認性を向上させる。またユーザの挙動や状況に応じて透過率を調整することで、より好適な表示を実現する。
この動作のためのシステムコントローラ10の処理例を図10に示す。
[4. Example of control processing for display]

As described above as the display example, in this example, an image is displayed in the partial area AR2 on the display screen. At this time, the area AR2 has a transmittance different from that of the surrounding area AR1. , Improve visibility. In addition, a more suitable display is realized by adjusting the transmittance according to the user's behavior and situation.
A processing example of the system controller 10 for this operation is shown in FIG.
ステップF101は、システムコントローラ10が表示制御部7に対して表示パネル部2aの全面を透過率100%のスルー状態とする制御処理を示している。例えば表示装置1が電源オンとされた初期段階では、システムコントローラ10はステップF101で表示パネル部2aの画面全面をスルー状態に制御する。
表示パネル部2aの画面全面をスルー状態にしている期間は、システムコントローラ10はステップF102で表示開始のトリガが発生したか否かを確認している。
Step F101 indicates a control process in which the system controller 10 causes the display control unit 7 to put the entire surface of the display panel unit 2a into a through state with a transmittance of 100%. For example, at the initial stage when the display device 1 is turned on, the system controller 10 controls the entire screen of the display panel unit 2a to the through state in step F101.
During a period in which the entire screen of the display panel unit 2a is in the through state, the system controller 10 checks whether or not a display start trigger has occurred in step F102.
表示トリガとは多様に考えられる。
例えばユーザの挙動や状況によって或るアプリケーションプログラムが起動され、アプリケーションプログラムの動作に応じた表示を実行する場合、システムコントローラ10は表示トリガ発生と判断すればよい。
また、通信部15によって外部機器からの表示のための情報が受信された場合に、システムコントローラ10は表示トリガ発生と判断しても良い。
また、ユーザの挙動や状況の検出によりユーザの操作があったと認識した場合にシステムコントローラ10が表示トリガ発生と判断することもできる。
またユーザの挙動等による操作に応じて撮像部3での撮像動作を開始させる場合に、その撮像モニタのための表示トリガ開始と判断しても良い。
There are various display triggers.
For example, when a certain application program is started according to the user's behavior and situation and a display corresponding to the operation of the application program is executed, the system controller 10 may determine that a display trigger has occurred.
When the communication unit 15 receives information for display from an external device, the system controller 10 may determine that a display trigger has occurred.
The system controller 10 can also determine that a display trigger has occurred when it is recognized that a user operation has been performed by detecting the user's behavior or situation.
In addition, when an imaging operation in the imaging unit 3 is started in accordance with an operation based on a user's behavior or the like, it may be determined that a display trigger for the imaging monitor is started.
表示開始トリガがあったと判別した場合は、システムコントローラ10は処理をステップF103に進め、まず表示画面上での画像表示領域を設定する。即ち上記領域AR2としての画面上での位置やサイズを設定する。
この画像表示領域の位置やサイズは固定でも良いし、ユーザ設定により可変できるものでも良い。
或いは、表示トリガの内容に応じて決められるものでも良い。例えば或るアプリケーションプログラムが起動された場合は画面右下隅、他の或るアプリケーションプログラムが起動された場合は画面上部、撮像モニタとしての表示を行う場合は画面左下隅などとする例が考えられる。
If it is determined that there has been a display start trigger, the system controller 10 advances the processing to step F103, and first sets an image display area on the display screen. That is, the position and size on the screen as the area AR2 are set.
The position and size of the image display area may be fixed, or may be variable according to user settings.
Alternatively, it may be determined according to the contents of the display trigger. For example, there may be an example in which the lower right corner of the screen is activated when a certain application program is activated, the upper left corner of the screen is activated when another certain application program is activated, and the lower left corner of the screen is displayed as an imaging monitor.
また、画像表示領域(領域AR2)の透過率を設定する。透過率の設定処理は次のように各種考えられる。
まず、固定的に透過率を設定する例が考えられる。例えば常に透過率0%とするなどである。
或いは、その時点の画像表示領域以外(つまり領域AR1)の透過率に応じて画像表示領域の透過率を決定するようにしてもよい。例えば領域AR1の透過率に所定の係数演算を行って、十分にコントラスト比が得られる領域AR2の透過率を算出する。
In addition, the transmittance of the image display area (area AR2) is set. Various types of transmittance setting processing are considered as follows.
First, an example in which the transmittance is set fixedly can be considered. For example, the transmittance is always 0%.
Or you may make it determine the transmittance | permeability of an image display area according to the transmittance | permeability other than the image display area at that time (namely, area | region AR1). For example, a predetermined coefficient calculation is performed on the transmittance of the area AR1 to calculate the transmittance of the area AR2 where a sufficient contrast ratio is obtained.
また外光検知器23によって外光光量が検出できるため、外光光量に応じて画像表示領域の透過率を算出してもよい。例えば外光光量の値に対して係数演算を行って画像表示領域の透過率を算出する。
またアプリケーションプログラムが起動される場合は、そのアプリケーションプログラムの別や種類によって透過率を設定する例が考えられる。例えば或るアプリケーションプログラムが起動された場合は画像表示領域の透過率を0%、他の或るアプリケーションプログラムが起動された場合は画像表示領域の透過率を20%とするなどである。
まず表示トリガの内容に応じて透過率を設定する例が考えられる。例えばアプリケーションプログラムが起動された場合であったか、外部のデータ送信装置70からデータを受信した場合であったかに応じて異なる透過率を設定する。
さらには、ユーザの挙動としての操作内容に応じて透過率を設定することが考えられる。例えば図5で説明した手の形によってユーザが透過率を指示したり、センサ部11で検出できる挙動によって透過率を指示できるようにする場合である。
Further, since the external light amount can be detected by the external light detector 23, the transmittance of the image display area may be calculated according to the external light amount. For example, the transmittance of the image display area is calculated by performing a coefficient calculation on the value of the amount of external light.
When an application program is activated, an example in which the transmittance is set depending on the type or type of the application program is conceivable. For example, the transparency of the image display area is set to 0% when a certain application program is activated, and the transparency of the image display area is set to 20% when another certain application program is activated.
First, an example in which the transmittance is set according to the contents of the display trigger can be considered. For example, different transmittances are set depending on whether the application program is activated or data is received from the external data transmission device 70.
Furthermore, it is conceivable to set the transmittance according to the operation content as the user's behavior. For example, this is a case where the user instructs the transmittance by the shape of the hand described in FIG. 5 or allows the transmittance to be instructed by a behavior that can be detected by the sensor unit 11.
続いてシステムコントローラ10はステップF104に進み、設定した画像表示領域の透過率を、設定した透過率に制御する。即ち表示制御部7に画像表示領域と透過率を指示し、液晶シャッタ22を駆動させて、画像表示領域である領域AR2の透過率を、他の領域AR1とは異なるようにする。
そしてステップF105で、表示パネル部2aに画像表示を実行させる。即ち表示制御部7が、供給された表示データに基づいて、表示パネル部2aのスクリーン21の画面上における画像表示領域に所定の画像表示を実行するように制御する。
Subsequently, the system controller 10 proceeds to step F104, and controls the transmittance of the set image display area to the set transmittance. That is, the display control unit 7 is instructed about the image display area and the transmittance, and the liquid crystal shutter 22 is driven so that the transmittance of the area AR2 that is the image display area is different from that of the other area AR1.
In step F105, the display panel unit 2a displays an image. That is, the display control unit 7 controls to execute a predetermined image display in the image display area on the screen 21 of the display panel unit 2a based on the supplied display data.
画像表示を開始させた後、つまり表示パネル部2aの画面上で一部がスルー状態の領域AR1とされ一部が画像表示領域AR2とされている期間は、システムコントローラ10は、ステップF106で透過率変更トリガが発生したか否かを監視し、またステップF107で表示終了トリガが発生したか否かを監視する。   After the image display is started, that is, during a period in which a part is the through area AR1 and a part is the image display area AR2 on the screen of the display panel unit 2a, the system controller 10 transmits in step F106. It is monitored whether or not a rate change trigger has occurred, and whether or not a display end trigger has occurred in step F107.
ステップF106では、ユーザの挙動や状況の検出に基づいて、システムコントローラ10が表示切換トリガの発生判断を行う例が考えられる。例えば図5で説明したような手の形によるユーザの操作入力や、或いはセンサ部11で検出されるユーザの挙動により、ユーザが意識的に透過率変更の操作を行った場合に、透過率変更トリガ発生とすればよい。
或いは、センサ部11において生体センサで検出された生体情報から、ユーザが不快な状況(画像に対して見にくいと思っている状況)であることを判定したら、透過率変更トリガ発生としてもよい。
さらに、外光検知器23により検出される外光光量を監視し、外光光量の変化を検知した場合に、透過率変更トリガ発生としてもよい。
In step F106, an example is considered in which the system controller 10 determines whether a display switching trigger has occurred based on the detection of the user's behavior or situation. For example, when the user consciously changes the transmittance according to the user's operation input in the form of a hand as described in FIG. 5 or the user's behavior detected by the sensor unit 11, the transmittance is changed. A trigger may be generated.
Alternatively, if it is determined from the biometric information detected by the biosensor in the sensor unit 11 that the user is in an uncomfortable situation (a situation where it is difficult to see the image), a transmittance change trigger may be generated.
Furthermore, the external light amount detected by the external light detector 23 may be monitored, and when a change in the external light amount is detected, a transmittance change trigger may be generated.
透過率変更トリガ発生と判断した場合、システムコントローラ10はステップF108に進み、変更する透過率を算出する。
例えばユーザの意識的な挙動による透過率変更トリガ発生の場合は、その挙動(つまり操作)によって指示される透過率を、新たな透過率とする。
外光光量の変化による透過率変更トリガ発生の場合は、外光光量の値に対して係数演算を行って、視認性を維持できる新たな透過率を算出する。
ユーザの状況(例えば不快な状況)の検知として透過率変更トリガ発生とした場合は、視認性を高める方向に新たな透過率を算出する。
新たな透過率を算出したら、システムコントローラ10はステップF104に戻って、画像表示領域の透過率を、新たな透過率に変更する制御を行い、ステップF105、F106,F107に進む。
If it is determined that the transmittance change trigger has occurred, the system controller 10 proceeds to step F108 and calculates the transmittance to be changed.
For example, when a transmittance change trigger is generated by a user's conscious behavior, the transmittance indicated by the behavior (that is, operation) is set as a new transmittance.
When a transmittance change trigger is generated due to a change in the amount of external light, coefficient calculation is performed on the value of the amount of external light to calculate a new transmittance that can maintain visibility.
When a transmittance change trigger is generated as a detection of the user's situation (for example, an unpleasant situation), a new transmittance is calculated in the direction of improving visibility.
When the new transmittance is calculated, the system controller 10 returns to step F104, performs control to change the transmittance of the image display area to the new transmittance, and proceeds to steps F105, F106, and F107.
ステップF105での表示終了トリガについては、例えばユーザが所定の挙動により表示を終了させる操作を行った場合に、システムコントローラ10は表示状態を終了させるトリガの発生と判断すればよいが、ユーザの状況や、所定の条件に応じて表示終了トリガの発生とシステムコントローラ10が判断することもできる。
そして表示終了トリガ発生と判断した場合は、システムコントローラ10は処理をステップF107からF109に進め、表示終了制御を行って表示部2における画像表示領域の画像表示を終了させる。そしてステップF101に戻り、表示パネル部2aの全面を透過率100%のスルー状態とする指示を行う。
As for the display end trigger in step F105, for example, when the user performs an operation to end the display by a predetermined behavior, the system controller 10 may determine that a trigger to end the display state is generated. Alternatively, the system controller 10 can determine that a display end trigger has occurred according to a predetermined condition.
If it is determined that a display end trigger has occurred, the system controller 10 advances the process from step F107 to F109, performs display end control, and ends the image display in the image display area on the display unit 2. Then, the process returns to step F101 to instruct the entire surface of the display panel unit 2a to be in a through state with a transmittance of 100%.
ユーザが表示装置1を装着して電源オンとしている期間は、システムコントローラ10は、例えばこの図10のような制御処理を行うことになる。
但し、具体的な処理例としては多様な変形例が考えられる。
例えばステップF103の時点では画像表示領域としての領域AR2の透過率を変化させず、つまり領域AR1と同様としてもよい。その場合、例えば図6(b)、図7(b)、図8(b)、図9(b)のような表示状態となるが、その後、透過率変更トリガに応じてステップF108で算出される透過率に変更されていくようにしてもよい。
During a period in which the user wears the display device 1 and is turned on, the system controller 10 performs control processing as shown in FIG. 10, for example.
However, various modification examples can be considered as specific processing examples.
For example, at the time of step F103, the transmittance of the area AR2 as the image display area may not be changed, that is, the area AR1 may be the same. In that case, for example, the display states as shown in FIG. 6B, FIG. 7B, FIG. 8B, and FIG. 9B are obtained, but thereafter calculated in step F108 according to the transmittance change trigger. You may make it change to the transmittance | permeability which is.
[5.実施の形態の効果、及び変形例、拡張例]

以上の実施の形態によれば、表示パネル部2aの画面の一部である画像表示領域AR2に画像表示を行う場合、画像表示領域AR2の透過率を、画像表示領域以外の領域AR1とは異なる透過率に制御することで、表示画像の視認性を向上させることができる。例えば領域AR1がスルー状態であってユーザが視界光景を視認できる状態である場合、画像表示領域もスルー状態とすると、表示画像の視認性が低下するが、画像表示領域AR2については異なる透過率とすることで、視認性の良い表示画像を提供できる。
また画像表示領域の透過率は、外光光量や処理プログラム(起動するアプリケーション)に応じて自動に設定又は可変調整することで、ユーザの操作負担はない。かつ表示内容に応じた適切な透過率設定が可能となる。
またユーザの挙動や状況に応じて設定又は可変調整することで、ユーザが望む透過率を容易に実現できる。これらにより、視認性に優れ、かつ使用性の良好な表示装置を実現できる。
[5. Effect of embodiment, modification and extension example]

According to the above embodiment, when image display is performed on the image display area AR2 which is a part of the screen of the display panel unit 2a, the transmittance of the image display area AR2 is different from that of the area AR1 other than the image display area. By controlling the transmittance, the visibility of the display image can be improved. For example, when the area AR1 is in the through state and the user can visually recognize the view scene, if the image display area is also in the through state, the visibility of the display image is reduced, but the image display area AR2 has a different transmittance. By doing so, a display image with good visibility can be provided.
Further, the transmittance of the image display area is automatically set or variably adjusted according to the amount of external light and the processing program (started application), so that there is no burden on the user. In addition, it is possible to set an appropriate transmittance according to the display content.
Further, the transmittance desired by the user can be easily realized by setting or variably adjusting according to the user's behavior and situation. Accordingly, a display device having excellent visibility and good usability can be realized.
また通常は表示パネル部2aの全面をスルー状態とすることで装着状態のままでも通常の生活に支障がないようにできる。また画像表示を行う際も、領域AR1はスルー状態であり、ユーザは外界を視認できる。このためユーザの通常の生活の中で、本例の表示装置1の利点を有効に享受できる。   In general, the entire surface of the display panel unit 2a is set to the through state so that the normal life can be prevented even when the display panel portion 2a is in the mounted state. Also, when performing image display, the area AR1 is in the through state, and the user can visually recognize the outside world. For this reason, the advantage of the display apparatus 1 of this example can be enjoyed effectively in a user's normal life.
なお、本発明は上記実施の形態に限られず、表示装置1の構成例や処理例として各種の変形例や拡張例が考えられる。   Note that the present invention is not limited to the above-described embodiment, and various modification examples and extension examples are conceivable as configuration examples and processing examples of the display device 1.
上記例では、画像表示領域AR2において領域AR1とは異なる透過率に制御するものとしたが、このような透過率制御に加えて、表示画像の輝度や色を調整することも考えられる。例えばテキスト画像の表示などにおいて、例えば周囲の画像に相反する色や輝度を選択して表示を行うことで、より視認性を高めることができる。   In the above example, the image display area AR2 is controlled to have a transmittance different from that of the area AR1, but in addition to such transmittance control, the brightness and color of the display image may be adjusted. For example, in displaying a text image, visibility can be further improved by selecting and displaying a color or luminance that contradicts the surrounding image, for example.
画像表示領域としての領域AR2を表示パネル部2aの画面上のどの位置に表示するかは多様に考えられる。上記図6〜図9の例では、領域AR1内に子画面のように領域AR2を設定した場合を示したが、画面上の下端部、上端部などにおいて領域AR1とは分割して設定しても良い。また領域AR2を領域AR1より広いサイズとしてもよい。また画面上での領域AR2の表示位置やサイズをユーザが選択したり、表示実行中に任意に変更できるようにしてもよい。
また表示するデータ量が多い場合などは、領域AR2においてスクロール表示やページ送り表示によって全データが表示されるようにすることも考えられる。
Various positions on the screen of the display panel unit 2a to display the area AR2 as the image display area can be considered. In the example of FIGS. 6 to 9, the case where the area AR2 is set like the child screen in the area AR1 is shown. However, the area AR1 is divided and set at the lower end, the upper end, etc. on the screen. Also good. The area AR2 may be larger than the area AR1. The display position and size of the area AR2 on the screen may be selected by the user, or may be arbitrarily changed during display execution.
Further, when there is a large amount of data to be displayed, it may be possible to display all data in the area AR2 by scroll display or page feed display.
画像表示を行っていない時点の全画面や、画像表示実行中の領域AR1については、必ずしも透過率100%のスルー状態としなくてもよい。例えば透過率50%程度としてもよい。つまりユーザが外界を視認できる範囲で透過率を下げても良い。外光検知器23で検出する外光光量によってこれらの透過率を調整することも好適である。
このように領域AR1の透過率を下げる場合でも、領域AR2については、非常に低い透過率(例えば透過率0%程度)とすることで、表示画像の視認性を高めることができる。
また、画像表示領域を拡張して、その周囲までも透過率を変え、例えば画像表示領域の周囲が黒画像としてユーザに認識されるようにしてもよい。
The full screen at the time when image display is not performed and the area AR1 during image display are not necessarily in the through state with 100% transmittance. For example, the transmittance may be about 50%. That is, the transmittance may be lowered within a range where the user can visually recognize the outside world. It is also preferable to adjust these transmittances according to the amount of external light detected by the external light detector 23.
Even when the transmittance of the area AR1 is lowered in this way, the visibility of the display image can be improved by setting the area AR2 to a very low transmittance (for example, a transmittance of about 0%).
Further, the image display area may be expanded and the transmittance may be changed to the periphery of the image display area so that, for example, the periphery of the image display area is recognized by the user as a black image.
本発明の実施の形態の表示装置の外観例の説明図である。It is explanatory drawing of the example of an external appearance of the display apparatus of embodiment of this invention. 実施の形態の表示装置の使用形態の説明図である。It is explanatory drawing of the usage condition of the display apparatus of embodiment. 実施の形態の表示装置のブロック図である。It is a block diagram of a display device of an embodiment. 実施の形態の表示部のブロック図である。It is a block diagram of the display part of embodiment. 実施の形態で認識するユーザの挙動の一例の説明図である。It is explanatory drawing of an example of the user's behavior recognized by embodiment. 実施の形態の表示例の説明図である。It is explanatory drawing of the example of a display of embodiment. 実施の形態の表示例の説明図である。It is explanatory drawing of the example of a display of embodiment. 実施の形態の表示例の説明図である。It is explanatory drawing of the example of a display of embodiment. 実施の形態の表示例の説明図である。It is explanatory drawing of the example of a display of embodiment. 実施の形態の表示装置の処理例のフローチャートである。It is a flowchart of the example of a process of the display apparatus of embodiment.
符号の説明Explanation of symbols
1 表示装置、2 表示部、2a 表示パネル部、3 撮像部、6 撮像制御部、7 表示制御部、10 システムコントローラ、11 センサ部、12 メモリ部、14 位置検出部、15 通信部   DESCRIPTION OF SYMBOLS 1 Display apparatus, 2 Display part, 2a Display panel part, 3 Imaging part, 6 Imaging control part, 7 Display control part, 10 System controller, 11 Sensor part, 12 Memory part, 14 Position detection part, 15 Communication part

Claims (13)

  1. 使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより上記表示画面の透過率を変化させることのできる表示手段と、
    上記表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に制御し、該画像表示領域の透過率を、画像表示領域以外とは異なる透過率に制御して、上記画像表示領域に画像表示を実行させる制御手段と、
    使用者の挙動又は状況としての使用者情報を検出する使用者情報検出手段と、
    を備え、
    上記制御手段は、上記使用者情報検出手段で検出された使用者情報によるアプリケーションプログラムの起動基づいて上記表示手段においての上記画像表示領域に対する制御を行い、上記使用者情報検出手段で検出された使用者情報に基づいて上記画像表示領域の位置及びサイズを可変制御し、上記画像表示領域を上記使用者情報に基づいて算出した透過率に制御するとともに、起動する上記アプリケーションプログラムに応じた透過率に制御して、上記画像表示領域において上記アプリケーションプログラムに基づく画像表示を実行させる
    表示装置。
    Display means capable of displaying an image on a display screen arranged so as to be positioned in front of the user's eyes and changing the transmittance of the display screen by a liquid crystal shutter having a variable transmittance;
    When image display is executed in the display means, a part of the display screen is set as an image display area, and the area other than the image display area is controlled to be transparent or translucent, and the transmittance of the image display area is set. Control means for controlling the transmittance to be different from that other than the image display area, and causing the image display area to perform image display;
    User information detecting means for detecting user information as a user's behavior or situation;
    With
    It said control means performs control for the image display area of the the display means based on the activation of the application program by the user information detected by the user information detection means, which is detected by the user information detection means The position and size of the image display area are variably controlled based on user information, the image display area is controlled to the transmittance calculated based on the user information, and the transmittance according to the application program to be activated To display the image display based on the application program in the image display area.
  2. 上記制御手段は、上記画像表示領域を非透明となる透過率に制御して、上記画像表示領域において画像表示を実行させる請求項1に記載の表示装置。   The display device according to claim 1, wherein the control unit controls the image display area to a non-transparent transmittance so as to perform image display in the image display area.
  3. 外光レベルを検知する外光検知手段をさらに備え、
    上記制御手段は、上記画像表示領域を、上記外光検知手段で検知された外光レベルに応じて算出した透過率に制御する請求項1に記載の表示装置。
    It further comprises external light detection means for detecting the external light level,
    The display device according to claim 1, wherein the control unit controls the image display region to a transmittance calculated according to an external light level detected by the external light detection unit.
  4. 上記使用者情報検出手段は、使用者の挙動を撮像し、撮像画像を解析して使用者情報を検出する請求項1に記載の表示装置。   The display device according to claim 1, wherein the user information detection unit captures a user's behavior and analyzes the captured image to detect user information.
  5. 上記使用者情報検出手段は、加速度センサ、又は角速度センサ、又は振動センサ、又は圧力センサ、又は生体センサにより、使用者情報を検出する請求項1に記載の表示装置。   The display device according to claim 1, wherein the user information detection unit detects user information by an acceleration sensor, an angular velocity sensor, a vibration sensor, a pressure sensor, or a biological sensor.
  6. 上記アプリケーションプログラムの起動によって画像撮像を行う撮像手段をさらに備え、
    上記制御手段は、上記撮像手段での撮像画像に基づく画像を、上記表示手段の上記画像表示領域に表示させる請求項1に記載の表示装置。
    It further comprises imaging means for taking an image by starting the application program,
    The display device according to claim 1, wherein the control unit displays an image based on an image captured by the imaging unit in the image display area of the display unit.
  7. 上記撮像手段は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成されている請求項6に記載の表示装置。   The display device according to claim 6, wherein the imaging unit is configured using a CCD sensor or a CMOS sensor as an imaging element.
  8. 記憶手段をさらに備え、
    上記制御手段は、上記アプリケーションプログラムの起動によって上記記憶手段から読み出した情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる請求項1に記載の表示装置。
    A storage means,
    The display device according to claim 1, wherein the control unit displays an image based on information read from the storage unit when the application program is activated in the image display area of the display unit.
  9. 記録媒体から情報を再生する再生手段をさらに備え、
    上記制御手段は、上記アプリケーションプログラムの起動によって上記再生手段によって上記記録媒体から読み出された情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる請求項1に記載の表示装置。
    It further comprises reproducing means for reproducing information from the recording medium,
    The display device according to claim 1, wherein the control unit displays an image based on information read from the recording medium by the reproducing unit by starting the application program in the image display area of the display unit.
  10. 外部機器との間でデータ通信を行う通信手段をさらに備え、
    上記制御手段は、上記通信手段により受信した情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる請求項1に記載の表示装置。
    It further comprises a communication means for performing data communication with an external device,
    The display device according to claim 1, wherein the control unit displays an image based on information received by the communication unit in the image display area of the display unit.
  11. 現在位置情報を検出する位置検出手段をさらに備え、
    上記制御手段は、上記アプリケーションプログラムの起動によって上記位置検出手段で検出された現在位置情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる請求項1に記載の表示装置。
    It further comprises position detecting means for detecting current position information,
    The display device according to claim 1, wherein the control unit displays an image based on the current position information detected by the position detection unit when the application program is activated in the image display area of the display unit.
  12. 上記現在位置情報に基づく画像とは、地図画像である請求項11に記載の表示装置。   The display device according to claim 11, wherein the image based on the current position information is a map image.
  13. 使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより上記表示画面の透過率を変化させることのできる表示手段を備えた表示装置の表示方法として、
    上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に制御し、上記画像表示領域の透過率を画像表示領域以外とは異なる透過率とするステップと、
    上記画像表示領域において画像表示を実行するステップと、
    使用者の挙動又は状況としての使用者情報を検出する使用者情報検出ステップと、
    を備え、
    上記使用者情報検出ステップで検出された使用者情報によるアプリケーションプログラムの起動基づいて上記画像表示領域に対する制御を行い、上記使用者情報検出ステップで検出された使用者情報に基づいて上記画像表示領域の位置及びサイズを可変制御し、上記画像表示領域を上記使用者情報に基づいて算出した透過率に制御するとともに、起動する上記アプリケーションプログラムに応じた透過率に制御して、上記画像表示領域において上記アプリケーションプログラムに基づく画像表示を実行させる
    表示方法。
    A display device comprising a display means for displaying an image on a display screen arranged so as to be positioned in front of a user's eyes and capable of changing the transmittance of the display screen by a liquid crystal shutter having a variable transmittance. As a display method,
    A partial area of the display screen is set as an image display area, and the area other than the image display area is controlled to be transparent or translucent, and the transmittance of the image display area is set to be different from that other than the image display area. Steps,
    Executing image display in the image display area;
    A user information detection step for detecting user information as a user's behavior or situation; and
    With
    The image display area is controlled based on the activation of the application program by the user information detected in the user information detection step, and the image display area is based on the user information detected in the user information detection step. The position and size of the image display area are variably controlled, the image display area is controlled to the transmittance calculated based on the user information, and the transmittance is controlled according to the application program to be activated. A display method for executing image display based on the application program.
JP2007016406A 2007-01-26 2007-01-26 Display device and display method Expired - Fee Related JP5309448B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007016406A JP5309448B2 (en) 2007-01-26 2007-01-26 Display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007016406A JP5309448B2 (en) 2007-01-26 2007-01-26 Display device and display method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013094153A Division JP2013210643A (en) 2013-04-26 2013-04-26 Display device and display method

Publications (2)

Publication Number Publication Date
JP2008185609A JP2008185609A (en) 2008-08-14
JP5309448B2 true JP5309448B2 (en) 2013-10-09

Family

ID=39728736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007016406A Expired - Fee Related JP5309448B2 (en) 2007-01-26 2007-01-26 Display device and display method

Country Status (1)

Country Link
JP (1) JP5309448B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164838A (en) * 2014-04-08 2016-11-23 日立麦克赛尔株式会社 Method for information display and Message Display Terminal
US10509268B2 (en) 2017-04-10 2019-12-17 Japan Display Inc. Display device

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010164784A (en) * 2009-01-15 2010-07-29 Brother Ind Ltd Head mounted display
JP5375481B2 (en) * 2009-09-24 2013-12-25 ブラザー工業株式会社 Head mounted display
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
JP5715842B2 (en) * 2011-02-08 2015-05-13 新日鉄住金ソリューションズ株式会社 Information providing system, information providing method, and program
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP2013024953A (en) * 2011-07-19 2013-02-04 Systec:Kk Transmissive display and perspective image observation apparatus using the same
CN103018905A (en) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 Head-mounted somatosensory manipulation display system and method thereof
KR20140066258A (en) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 Video display modification based on sensor input for a see-through near-to-eye display
JP6160020B2 (en) * 2011-12-12 2017-07-12 セイコーエプソン株式会社 Transmission type display device, display method, and display program
JP5958689B2 (en) * 2012-03-22 2016-08-02 セイコーエプソン株式会社 Head-mounted display device
JP6060512B2 (en) * 2012-04-02 2017-01-18 セイコーエプソン株式会社 Head-mounted display device
US20150168724A1 (en) * 2012-06-18 2015-06-18 Sony Corporation Image display apparatus, image display program, and image display method
JP5351311B1 (en) 2012-06-29 2013-11-27 株式会社ソニー・コンピュータエンタテインメント Stereoscopic image observation device and transmittance control method
JP6015223B2 (en) * 2012-08-09 2016-10-26 株式会社ニコン Electronic device and display device
JP5694257B2 (en) * 2012-08-27 2015-04-01 株式会社東芝 Display device, display method, and program
US9976867B2 (en) * 2013-09-04 2018-05-22 Essilor International Navigation method based on a see-through head-mounted device
US9760898B2 (en) 2014-01-06 2017-09-12 The Nielsen Company (Us), Llc Methods and apparatus to detect engagement with media presented on wearable media devices
EP2998779A1 (en) * 2014-09-22 2016-03-23 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Head mounted display
JP2015212828A (en) * 2015-06-17 2015-11-26 セイコーエプソン株式会社 Head mounted display and method for controlling head mounted display
JP6183625B2 (en) * 2015-07-06 2017-08-23 株式会社システック Transparent display and fluoroscopic image observation apparatus using the same
JP6844216B2 (en) * 2015-11-25 2021-03-17 株式会社リコー Visualization system
JP6143242B1 (en) * 2016-02-15 2017-06-07 株式会社菊池製作所 Image display device
JP6350705B2 (en) * 2017-03-16 2018-07-04 セイコーエプソン株式会社 Display device and control method of display device
JP2019152794A (en) * 2018-03-05 2019-09-12 ソニー株式会社 Information processing apparatus, information processing method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3326820B2 (en) * 1992-08-28 2002-09-24 ソニー株式会社 Visual device
JPH09211382A (en) * 1996-02-07 1997-08-15 Canon Inc Optical device
JPH10142552A (en) * 1996-11-12 1998-05-29 Nec Corp Head mounted display
JP3877366B2 (en) * 1997-01-20 2007-02-07 本田技研工業株式会社 Head mounted display device for vehicle
JPH10301055A (en) * 1997-04-25 1998-11-13 Sony Corp Image display device
JPH11161190A (en) * 1997-11-25 1999-06-18 Seiko Epson Corp Head mounted display device
JP2001285676A (en) * 2000-03-30 2001-10-12 Minolta Co Ltd Display device
JP2005172851A (en) * 2003-12-05 2005-06-30 Sony Corp Image display apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164838A (en) * 2014-04-08 2016-11-23 日立麦克赛尔株式会社 Method for information display and Message Display Terminal
CN106164838B (en) * 2014-04-08 2020-03-03 麦克赛尔株式会社 Information display method and information display terminal
US10509268B2 (en) 2017-04-10 2019-12-17 Japan Display Inc. Display device

Also Published As

Publication number Publication date
JP2008185609A (en) 2008-08-14

Similar Documents

Publication Publication Date Title
US10915180B2 (en) Systems and methods for monitoring a user&#39;s eye
US10725556B2 (en) Wearable glasses and method of providing content using the same
US20180081451A1 (en) Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US10444833B2 (en) Methods and apparatus for vision enhancement
JP6569707B2 (en) Image control apparatus and image control method
EP3410264B1 (en) Image display device and image display method
CN105474302B (en) Head-mounted display device and image display method
US9438806B2 (en) Photographing apparatus and photographing method for displaying combined avatar and map information related to a subject
CN104076512B (en) The control method of head-mount type display unit and head-mount type display unit
US20170111723A1 (en) Personal Area Network Devices System and Method
RU2638004C2 (en) Device for information processing, method for managing display and program
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
US10318028B2 (en) Control device and storage medium
US20170257564A1 (en) Systems and Methods for Environment Content Sharing
US9179057B2 (en) Imaging apparatus and imaging method that acquire environment information and information of a scene being recorded
JP6051605B2 (en) Display device, display control method, and program
TWI461960B (en) Method and system for adaptive viewport for a mobile device based on viewing angle
US8706170B2 (en) Miniature communications gateway for head mounted display
JP5136669B2 (en) Image processing apparatus, image processing method, and program
US9270901B2 (en) Display control device, display control method, program, and recording medium
JP5176311B2 (en) Image display system, display device, and display method
US9219901B2 (en) Reactive user interface for head-mounted display
US9245389B2 (en) Information processing apparatus and recording medium
CN101286196B (en) Image storage processing apparatus and method, image search apparatus, and image search method
KR20150026336A (en) Wearable display device and method of outputting content thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130426

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130617

R151 Written notification of patent or utility model registration

Ref document number: 5309448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees