KR20150047481A - 화상 표시 장치 및 화상 표시 방법, 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템 - Google Patents
화상 표시 장치 및 화상 표시 방법, 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템 Download PDFInfo
- Publication number
- KR20150047481A KR20150047481A KR1020157003165A KR20157003165A KR20150047481A KR 20150047481 A KR20150047481 A KR 20150047481A KR 1020157003165 A KR1020157003165 A KR 1020157003165A KR 20157003165 A KR20157003165 A KR 20157003165A KR 20150047481 A KR20150047481 A KR 20150047481A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- image display
- sensor
- display apparatus
- Prior art date
Links
- 230000006854 communication Effects 0.000 title claims abstract description 190
- 238000004891 communication Methods 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims description 102
- 238000012937 correction Methods 0.000 claims abstract description 163
- 230000003287 optical effect Effects 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims description 124
- 230000008569 process Effects 0.000 claims description 41
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000035900 sweating Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000003702 image correction Methods 0.000 description 25
- 230000007613 environmental effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000001413 cellular effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 230000004075 alteration Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000006996 mental state Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
- G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
관찰자에게 관찰시키는 2차원 화상을, 화상 표시 장치측의 개체 차에 따라서 적절하게 처리하여 제시한다. 화상 표시 장치(10)는 ROM(201A) 내에 보정 정보를 저장하고 있고, 판독한 보정 정보를 화상 제공 장치(20)에 송신한다. 이에 비해, 정보 통신 단말기(20)는 수신한 보정 정보에 따라서 색 불균일 보정 연산을 행한 후에, 화상 정보를 화상 표시 장치(10)에 송신한다. 이 결과, 화상 표시 장치(10) 측에서는, 수신한 화상 정보를 표시 패널(209)에 표시하고, 색 불균일이 캔슬된 확대 허상을 허상 광학부(210)에 의해 관찰자에게 관찰시킨다.
Description
본 명세서에서 개시하는 기술은, 화상을 관찰자에게 관찰시키는 화상 표시 장치 및 화상 표시 방법, 화상 표시 장치에 접속되어 화상 데이터를 송수신 가능한 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 장치와 정보 통신 단말기를 포함한 화상 표시 시스템에 관한 것이며, 예를 들어, 관찰자가 헤드부에 장착하여 사용되고, 화상을 허상 광학계에 의해 확대 허상으로서 관찰자에게 관찰시키는 화상 표시 장치 및 화상 표시 방법, 헤드부 장착형 화상 표시 장치에 접속되어 화상 정보 데이터를 송수신 가능한 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템에 관한 것이다.
헤드부에 장착하여 화상의 시청에 이용되는 헤드부 장착형 화상 표시 장치, 즉, 헤드 마운트 디스플레이가 알려져 있다. 헤드부 장착형 화상 표시 장치는, 예를 들어 좌우의 눈마다의 화상 표시부를 갖고, 또한, 헤드폰과 병용함으로써, 시각 및 청각을 제어할 수 있도록 구성되어 있다. 또한, 헤드부 장착형 화상 표시 장치는, 좌우의 눈에 다른 화상을 비추는 것도 가능하고, 좌우의 눈에 시차가 있는 화상을 표시하면 3차원 화상을 제시할 수 있다.
헤드부 장착형 화상 표시 장치를, 차광성 타입과 투과성 타입으로 분류할 수도 있다. 차광성의 헤드부 장착형 화상 표시 장치는, 헤드부에 장착했을 때에, 유저의 눈을 직접 덮도록 구성되어, 화상 시청 시에 몰입감이 증가한다(예를 들어, 특허문헌 1을 참조). 한편, 투과성의 헤드부 장착형 화상 표시 장치의 경우, 유저가 헤드부에 장착하여 화상을 표시하고 있는 사이에도, 화상 너머로 외경을 바라보는 것(즉, 시쓰루 함)이 가능하므로(예를 들어, 특허문헌 2를 참조), 옥외에서의 사용 시나 보행 중의 사용 시에 있어서, 유저는 장해물과의 충돌 등의 위험을 피할 수 있다.
차광성 및 투과성 어느 타입이든, 헤드부 장착형 화상 표시 장치는, 좌우 양쪽 눈(또는 한쪽 눈)의 표시부로서, 예를 들어 액정이나 유기 EL(Electro-Luminescence) 소자 등을 포함하는 고해상도의 마이크로 디스플레이를 장비하고, 마이크로 디스플레이에 표시된 2차원 화상을 허상 광학계에 의해 확대 허상으로서 관찰자에게 관찰시킨다는 점에서는 공통된다.
차광성의 헤드부 장착형 화상 표시 장치의 경우, 예를 들어 접안 광학 렌즈를 사용하여 2차원 화상의 확대 허상을 형성한다. 여기서, 광의 굴절에는 파장 의존 특성이 있기 때문에, 광학 렌즈에는 배율 색수차가 있는 것이 알려져 있다. 이로 인해, 어떤 위치로부터 출사한 백색광은, 렌즈를 거치면, R, G, B의 파장 성분마다 다른 장소에 결상되기 때문에(도 13을 참조), 관찰자에 있어서는 색 불균일이 관찰된다. 색수차에 의해 발생하는 색 불균일 등의 광학적인 원인에 의한 화상 열화를, 표시 패널에 공급하는 RGB 각 색의 화상 신호에 대하여 개별로 보정을 행한다는 전기적인 처리에 의해 캔슬하는 방법이 제안되어 있다(예를 들어, 특허문헌 3을 참조).
또한, 투과성의 헤드부 장착형 화상 표시 장치의 경우, 홀로그램으로 대표되는 회절 광학 소자를 사용하여 화상의 확대 허상을 형성하는 방법이 알려져 있다. 회절 광학 소자는, 파장에 의해 회절 각도가 상이한 점에서, 백색광이 회절 광학 소자를 통과하면, R, G, B의 파장 성분마다 분산되는 색 깨짐이 발생해서, 관찰자가 관찰하는 확대 허상이 희미해져 버린다. 따라서, 동일한 회절 광학 소자를 2장 조합하고, 1매째의 회절 광학 소자에서 반사했을 때에 발생하는 파장 분산을 2매째의 회절 광학 소자에서 반사할 때에 원상태로 돌리는(즉, 색 깨짐을 캔슬하는) 방법(도 14를 참조)이 제안되어 있다. 또한, 색 깨짐을 광학적으로 캔슬했다고 해도, 회절 광학 소자에의 입사각에 따라서 회절 효율이 상이하다는 문제가 있다. 도 14에 도시한 구성예에서는, 표시 패널로부터 특정 파장(특정한 대역폭)의 광(예를 들어 G)을 출사할 경우, 1매째의 회절 격자에의 입사각(바꿔 말하면, 콜리메이트 광학 렌즈를 통과하는 장소)에 따라서 회절 효율이 좋은 파장이 변화하기 때문에(도 15를 참조), 최종적인 확대 허상은 수평 위치에 따라서 파장이 변화하는 상이 된다(도 16을 참조). 특정 파장 G에 대하여 설명했지만, R, G, B를 겹치면 색 불균일이 관찰되게 된다. 이렇게 광학계에 의해 발생하는 색 불균일 등의 화상 열화를, 표시 패널에 공급하는 RGB 각 색의 화상 신호에 대하여 개별로 보정을 행한다는 전기적인 처리에 의해 캔슬하는 방법이 제안되어 있다(예를 들어, 특허문헌 2를 참조).
정리하면, 확대 허상에 발생하는 색 불균일은, 허상 광학계의 특성에 기인 한다. 개개의 렌즈마다 광학 특성이 상이하다는 관점에서, 색 불균일을 보정하기 위하여 사용하는 보정 계수는, 개개의 렌즈마다 각기 다른 값이며, 장치마다의 고유 정보라고 할 수 있다. 색 불균일을 전기적인 처리에 의해 캔슬할 때에는, 렌즈마다 상이한 보정 계수를 사용할 필요가 있다.
부언하면, 차광성 및 투과성 어느 타입의 헤드부 장착형 화상 표시 장치이어도, 마이크로 디스플레이에 표시 출력하기 전에, 콘트라스트 조정이나 휘도 조정, 감마 보정 처리, 디더링 처리, 블랭킹 시간 조정, 화상 반전과 같은 화상 보정 처리를 실시하는 것이 일반적이다.
본 명세서에서 개시하는 기술의 목적은, 관찰자에게 관찰시키는 화상을, 화상 표시 장치 측의 고유한 특성에 따라서 적절하게 처리하여 제시할 수 있는, 우수한 화상 표시 장치 및 화상 표시 방법, 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템을 제공하는 데 있다.
본원은, 상기 과제를 참작하여 이루어진 것이며, 청구항 1에 기재된 기술은,
화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치로서,
화상을 표시하는 표시부와,
상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 유지하는 특성 정보 유지부와,
상기 정보 통신 단말기에 상기 특성 정보를 송신하는 송신부와, 상기 정보 통신 단말기 측에서 상기 특성 정보에 기초하여 화상 처리된 화상 또는 정보를 수신하는 수신부를 갖고, 상기 화상 처리된 화상을 상기 표시부에 표시 출력시키는 제어부를 구비하는, 화상 표시 장치이다.
본원의 청구항 2에 기재된 기술에 의하면, 청구항 1에 기재된 화상 표시 장치로서, 상기 센서는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나이다. 또한, 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보는, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보이다.
또한, 본원의 청구항 3에 기재된 기술은,
화상을 표시하는 표시부와, 상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 구비하고, 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치에 있어서의 화상 표시 방법으로서,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 유지하는 특성 정보 유지 스텝과,
상기 정보 통신 단말기에 상기 특성 정보를 송신하는 송신 스텝과,
상기 정보 통신 단말기 측에서 상기 특성 정보에 기초하여 화상 처리된 화상 또는 정보를 수신하는 수신 스텝과,
상기 화상 처리된 화상을 상기 표시부에 표시 출력하는 표시 스텝을 갖는, 화상 표시 방법이다.
또한, 본원의 청구항 4에 기재된 기술은,
화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치로서,
화상을 표시하는 표시부와,
상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와,
상기 화상 표시 장치의 고유한 식별 정보를 유지하는 식별 정보 유지부와,
상기 정보 통신 단말기에 상기 식별 정보를 송신하는 송신부와, 상기 정보 통신 단말기 측에서 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 화상 처리된 화상 또는 정보를 수신하는 수신부를 갖고, 상기 화상 처리된 화상을 상기 표시부에 표시 출력시키는 제어부를 구비하는, 화상 표시 장치이다.
또한, 본원의 청구항 5에 기재된 기술은,
화상을 표시하는 표시부와, 상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 구비하고, 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치에 있어서의 화상 표시 방법으로서,
상기 화상 표시 장치의 고유한 식별 정보를 유지하는 식별 정보 유지 스텝과,
상기 정보 통신 단말기에 상기 식별 정보를 송신하는 송신 스텝과,
상기 정보 통신 단말기 측에서 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 화상 처리된 화상 또는 정보를 수신하는 수신 스텝과,
상기 화상 처리된 화상을 상기 표시부에 표시 출력하는 표시 스텝을 갖는, 화상 표시 방법이다.
또한, 본원의 청구항 6에 기재된 기술은,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기로서,
상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하는 특성 정보 취득부와,
상기 화상 표시 장치에 제공하는 화상을, 상기 특성 정보에 기초하여 처리하는 화상 처리부와,
상기 화상 처리부에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신부를 구비하는, 정보 통신 단말기이다.
본원의 청구항 7에 기재된 기술에 의하면, 상기 화상 표시 장치는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나를 갖고 있다. 그리고, 본원의 청구항 6에 관한 정보 통신 단말기의 상기 특성 정보 취득부는, 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보를 상기 특성 정보로서 취득하도록 구성되어 있다.
또한, 본원의 청구항 8에 기재된 기술은,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기의 정보 통신 방법으로서,
상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하는 특성 정보 취득 스텝과,
상기 화상 표시 장치에 제공하는 화상을, 상기 특성 정보에 기초하여 처리하는 화상 처리 스텝과,
상기 화상 처리 스텝에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신 스텝을 갖는, 정보 통신 방법이다.
또한, 본원의 청구항 9에 기재된 기술은,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기로서,
상기 화상 표시 장치의 고유한 식별 정보를 상기 화상 표시 장치로부터 취득하는 식별 정보 취득부와,
상기 화상 표시 장치에 제공하는 화상을, 상기 식별 정보에 기초하여 취득한 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리하는 화상 처리부와,
상기 화상 처리부에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신부를 구비하는, 정보 통신 단말기이다.
또한, 본원의 청구항 10에 기재된 기술은,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기의 정보 통신 방법으로서,
상기 화상 표시 장치의 고유한 식별 정보를 취득하는 식별 정보 취득 스텝과,
상기 화상 표시 장치에 제공하는 화상을, 상기 식별 정보에 기초하여 취득한 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리하는 화상 처리 스텝과,
상기 화상 처리 스텝에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신 스텝을 갖는, 정보 통신 방법이다.
또한, 본원의 청구항 11은,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와, 상기 광학계 또는 상기 센서에 관한 특성 정보를 갖는 화상 표시 장치와,
상기 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기를 구비하고,
상기 정보 통신 단말기는, 상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하고, 상기 특성 정보에 기초하여 처리한 후의 화상을 상기 화상 표시 장치에 송출하는, 화상 표시 시스템이다.
단, 여기에서 말하는 「시스템」이란, 복수의 장치(또는 특정한 기능을 실현하는 기능 모듈)가 논리적으로 집합된 사물을 말하고, 각 장치나 기능 모듈이 단일의 하우징 내에 있는지 여부는 특별히 상관없다(이하, 마찬가지).
본원의 청구항 12에 기재된 기술에 의하면, 청구항 11에 관한 화상 표시 시스템으로서, 상기 화상 표시 장치는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나를 갖고 있다. 그리고, 상기 정보 통신 단말기는, 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보를 상기 특성 정보로서 취득하도록 구성되어 있다.
또한, 본원의 청구항 13에 기재된 기술은,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와, 상기 광학계 또는 상기 센서에 관한 특성 정보를 갖는 화상 표시 장치와,
상기 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기를 구비하고,
상기 정보 통신 단말기는, 상기 화상 표시 장치의 고유한 식별 정보를 상기 화상 표시 장치로부터 취득함과 함께, 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리한 후의 화상을 상기 화상 표시 장치에 송출하는, 화상 표시 시스템이다.
본 명세서에서 개시하는 기술에 의하면, 관찰자에게 관찰시키는 2차원 화상을, 화상 표시 장치 측의 고유한 특성에 따라서 적절하게 처리하여 제시할 수 있는, 우수한 화상 표시 장치 및 화상 표시 방법, 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템을 제공할 수 있다.
본 명세서에서 개시하는 기술의 또 다른 목적, 특징이나 이점은, 후술하는 실시 형태나 첨부하는 도면에 기초하여 보다 상세한 설명에 의해 밝혀질 것이다.
도 1은 2차원 화상을 관찰자에게 관찰시키기 위한 화상 표시 장치(10)와, 화상 표시 장치(10)에 화상 정보를 제공하는 정보 통신 단말기(20)를 포함한 화상 표시 시스템(1)의 구성을 모식적으로 도시한 도면이다.
도 2는 헤드부 장착형의 화상 표시 장치(10)의 내부 구성예를 도시한 도면이다.
도 3은 정보 통신 단말기(20)로서의 다기능 휴대 단말기의 내부 구성예를 도시한 도면이다.
도 4는 휴대 전화 기능 탑재 헤드 마운트 디스플레이의 내부 구성예를 도시한 도면이다.
도 5는 화상 표시 시스템(1)에 있어서의 화상 제공 방법을 설명하기 위한 도면이다.
도 6은 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 도시한 도면이다.
도 7은, 도 5의 변형예를 도시한 도면이다.
도 8은, 화상 표시 시스템(1)에 있어서의 화상 제공 방법을 설명하기 위한 도면이다.
도 9는, 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 도시한 도면이다.
도 10은, 도 8의 변형예를 도시한 도면이다.
도 11a는, 화상 표시 시스템(1)에 있어서의 화상 제공 방법을 설명하기 위한 도면이다.
도 11b는, 화상 표시 시스템(1)에 있어서의 화상 제공 방법의 변형예를 설명하기 위한 도면이다.
도 12는, 도 11a에 대응하는, 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 도시한 도면이다.
도 13은, 광학 렌즈의 배율 색수차를 설명하기 위한 도면이다.
도 14는, 투과성의 헤드부 장착형 화상 표시 장치의 구성예를 도시한 도면이다.
도 15는, 도 14에 도시한 화상 표시 장치에 있어서, 특정 파장의 광을 출사했을 때의 입사각에 따른 회절 효율의 상이를 도시한 도면이다.
도 16은, 도 14에 도시한 화상 표시 장치에 있어서의 관찰 화상을 도시한 도면이다.
도 17은, 화상 보정 처리의 수순을 모식적으로 도시한 도이다.
도 2는 헤드부 장착형의 화상 표시 장치(10)의 내부 구성예를 도시한 도면이다.
도 3은 정보 통신 단말기(20)로서의 다기능 휴대 단말기의 내부 구성예를 도시한 도면이다.
도 4는 휴대 전화 기능 탑재 헤드 마운트 디스플레이의 내부 구성예를 도시한 도면이다.
도 5는 화상 표시 시스템(1)에 있어서의 화상 제공 방법을 설명하기 위한 도면이다.
도 6은 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 도시한 도면이다.
도 7은, 도 5의 변형예를 도시한 도면이다.
도 8은, 화상 표시 시스템(1)에 있어서의 화상 제공 방법을 설명하기 위한 도면이다.
도 9는, 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 도시한 도면이다.
도 10은, 도 8의 변형예를 도시한 도면이다.
도 11a는, 화상 표시 시스템(1)에 있어서의 화상 제공 방법을 설명하기 위한 도면이다.
도 11b는, 화상 표시 시스템(1)에 있어서의 화상 제공 방법의 변형예를 설명하기 위한 도면이다.
도 12는, 도 11a에 대응하는, 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 도시한 도면이다.
도 13은, 광학 렌즈의 배율 색수차를 설명하기 위한 도면이다.
도 14는, 투과성의 헤드부 장착형 화상 표시 장치의 구성예를 도시한 도면이다.
도 15는, 도 14에 도시한 화상 표시 장치에 있어서, 특정 파장의 광을 출사했을 때의 입사각에 따른 회절 효율의 상이를 도시한 도면이다.
도 16은, 도 14에 도시한 화상 표시 장치에 있어서의 관찰 화상을 도시한 도면이다.
도 17은, 화상 보정 처리의 수순을 모식적으로 도시한 도이다.
이하, 도면을 참조하면서 본 명세서에서 개시하는 기술의 실시 형태에 대하여 상세하게 설명한다.
도 1에는, 2차원 화상을 관찰자에게 관찰시키기 위한 화상 표시 장치(10)와, 화상 표시 장치(10)에 화상 정보를 제공하는 정보 통신 단말기(20)를 포함한 화상 표시 시스템(1)의 구성을 모식적으로 도시하고 있다.
화상 표시 장치(10)와 정보 통신 단말기(20)는 소정의 통신로(30)를 통해 상호접속 된다. 예를 들어, MHL(Mobile High-definition Link)이나 USB(Universal Serial Bus), HDMI(등록 상표)(High Definition Multimedia Interface), Wi-Fi 등의 무선 LAN(Local Area Network), Bluetooth(등록 상표) 통신, 적외선 통신 등 중 어느 한쪽의 통신 규격에 기초하는 통신로(30)를 상호접속에 사용할 수 있다.
또한, 정보 통신 단말기(20)는 인터넷에 접속하여, 각종 서버로부터 필요한 정보를 취득할 수 있다. 또한, 화상 표시 장치(10)도 인터넷의 접속 기능을 장비하고 있어도 되지만, 본 명세서에서 개시하는 기술을 실현하는 데 있어서 필수적이지 않다.
화상 표시 장치(10)는 화상의 관찰자가 장착하여 사용하는, 차광성 또는 투과성의 헤드부 장착형 화상 표시 장치이다. 화상 표시 장치(10)는 정보 통신 단말기(20)로부터 제공된 화상 정보에 기초하여 2차원 화상을 형성함과 함께, 허상 광학계를 통해 2차원 화상의 확대 허상을 관찰자에게 관찰시킨다.
또한, 정보 통신 단말기(20)는 스마트폰 등의 다기능 정보 단말기이다. 다기능 정보 단말기로서의 정보 통신 단말기(20)는 예를 들어 Android OS와 같은 오퍼레이팅 시스템이 제공하는 실행 환경 하에서, 각종 애플리케이션을 실행시킬 수 있다. 또한, 다기능 정보 단말기로서의 정보 통신 단말기(20)를 인터넷에 접속하고, 예를 들어 Android 마켓과 같은 다운 로드 사이트(40)로부터, 다양한 애플리케이션을 취득할 수 있다.
정보 통신 단말기(20)가 화상 표시 장치(10)에 제공하는 화상 정보로서, 내장 카메라를 사용하여 촬영한 화상, 원세그 튜너로 수신한 방송 화상, 네트워크로부터 수신한 스트리밍 화상, 기억부(장전한 메모리 카드를 포함함)에서 재생하는 화상 등을 들 수 있다. 본 실시 형태에서는, 정보 통신 단말기(20)는 화상 표시 장치(10) 측의 고유한 특성 정보에 기초하여 필요한 처리를 화상 정보에 적용하고 나서, 화상 표시 장치(10)에 송출한다. 정보 통신 단말기(20)는 화상 표시 장치(10)의 특성 정보를, 화상 표시 장치(10) 자체로부터 직접 취득하는 경우가 있는 것 외에, 인터넷상의 특성 정보 관리 서버(50)에 조회하여 취득하는 경우도 상정된다. 특성 정보에 기초하는 화상 제공 처리의 상세에 대해서는 후술한다.
도 2에는, 헤드부 장착형의 화상 표시 장치(10)의 내부 구성예를 나타내고 있다. 이하, 각 부에 대하여 설명한다.
제어부(201)는 ROM(Read Only Memory)(201A)이나 RAM(Random Access Memory)(201B)을 구비하고 있다. ROM(201A) 내에는, 제어부(201)에서 실행하는 프로그램 코드나 각종 데이터를 저장하고 있다. 제어부(201)는 RAM(201B)에 로드한 프로그램을 실행함으로써, 화상의 표시 제어를 비롯하여, 당해 장치(10) 전체의 동작을 통괄적으로 컨트롤한다. ROM(201A)에 저장하는 데이터로서, 당해 장치(10)를 식별하는 식별 정보나, 허상 광학부(210)의 광학 특성 등 장치마다의 고유 특성 정보, 광학 특성에 따라서 화상 신호를 보정할 때에 사용하는 보정 정보(캘리브레이션 정보나 보정 계수, 보정 알고리즘을 포함함), 화상 보정에 사용하는 보정 정보(감마 보정에 사용하는 감마 보정 계수나, 디더링 처리에 사용하는 디더링 계수, 보정 알고리즘을 포함함) 등을 들 수 있다. 또한, 후술하는 화상 표시 장치(10) 밖의 주변 환경에 관한 환경 정보를 취득하는 각종 환경 센서나, 화상 표시 장치(10)를 이용하는 유저의 상태에 관한 상태 정보를 취득하는 각종 상태 센서를 화상 표시 장치(10) 내에 장비할 경우에는, 이 센서의 출력 정보를 보정할 때에 사용하는 보정 정보도, ROM(201A) 내에 저장해 두어도 된다.
입력 조작부(202)는 키나 버튼, 스위치 등, 유저가 입력 조작을 행하는 1 이상의 조작자를 구비하고, 조작자를 개재한 유저의 지시를 접수하여, 제어부(201)에 출력한다. 또한, 입력 조작부(202)는 리모콘 수신부(203)에서 수신한 리모콘 커맨드를 포함하는 유저의 지시를 마찬가지로 접수하여, 제어부(201)에 출력한다.
환경 정보 취득부(204)는 화상 표시 장치(10) 밖의 주변 환경에 관한 환경 정보를 취득하여, 제어부(201)에 출력한다. 환경 정보 취득부(204)는 환경 정보로서, 예를 들어, 환경광 강도, 음향 강도, 위치 또는 장소, 온도, 날씨, 시각, 주위 화상 등을 취득한다. 또한, 환경 정보 취득부(204)는 이 환경 정보를 취득하기 위해서, 광량 센서나, 마이크로폰, GPS(Global Positioning System) 센서, 온도 센서, 습도 센서, 시계, 이미지 센서(카메라), 방사선 센서 등의 각종 환경 센서(모두 도 2에는 도시하지 않음)를 구비하고 있어도 된다. 또는, 화상 표시 장치(10) 자체는 환경 센서를 구비하지 않고, 환경 센서를 장비하는 외부의 장치(도시 생략)로부터 환경 정보 취득부(204)가 환경 정보를 취득하도록 구성해도 된다. 취득된 환경 정보는, 당해 장치(10)의 설치 장소 등에 의존하는 값이며, 특성 정보로서, 예를 들어 RAM(201B) 내에 일시적으로 유지된다.
상태 정보 취득부(205)는 화상 표시 장치(10)를 이용하는 유저의 상태에 관한 상태 정보를 취득하고, 제어부(201)에 출력한다. 상태 정보 취득부(505)는 상태 정보로서, 예를 들어, 유저의 작업 상태(유저의 장착 유무)나, 유저의 행동 상태(장착 중의 유저의 헤드부 자세, 보행 등의 이동, 눈꺼풀의 개폐 상태), 정신 상태(내부 화상을 관찰 중에 몰두 또는 집중하고 있는지 등의 흥분도, 각성도, 감정이나 정서 등), 나아가 생리 상태를 취득한다. 또한, 상태 정보 취득부(205)는 이 상태 정보를 유저로부터 취득하기 위해서, 기계 스위치 등을 포함하는 장착 센서나, 자이로 센서, 가속도 센서, 속도 센서, 압력 센서, 체온 센서, 발한 센서, 근전위 센서, 안전위 센서, 뇌파 센서 등의 각종 상태 센서(모두 도 2에는 도시하지 않음)를 구비하고 있어도 된다. 또는, 화상 표시 장치(10) 자체는 상태 센서를 구비하지 않고, 상태 센서를 장비하는 외부의 장치(도시 생략)로부터 상태 정보 취득부(205)가 상태 정보를 취득하도록 구성해도 된다. 취득된 상태 정보는, 당해 장치(10)를 장착한 유저의 개인차에 기인하는 특성 정보로서, 예를 들어 RAM(201B) 내에 일시적으로 유지된다.
시스템내 통신부(206)는 화상 표시 시스템(1) 내에서, 정보 통신 단말기(20) 등 다른 장치와의 통신 처리, 및 통신 신호의 변복조 및 부호화 복호 처리를 행한다. 예를 들어, 시스템내 통신부(206)는 표시 출력하기 위한 화상 신호를 정보 통신 단말기(20)로부터 수신한다. 시스템내 통신부(206)에서 수신하여 복조 및 복호 처리된 화상 또는 기타의 수신 데이터는 제어부(201)에 공급된다. 또한, 제어부(201)는 정보 통신 단말기(20) 등 시스템(1) 내의 다른 장치에의 송신 데이터를, 시스템내 통신부(206)를 통해 송출한다.
시스템내 통신부(206)의 구성은 임의이다. 예를 들어, 화상 표시 시스템(1) 내의 통신로(30)에 사용되는 통신 규격에 따라, 시스템내 통신부(206)가 구성되어, 정보 통신 단말기(20)와 쌍방향 통신을 행할 수 있다. 통신 규격은, 유선, 무선 어느 쪽의 형태이어도 된다. 여기에서 말하는 통신 규격으로서, MHL이나 USB, HDMI(등록 상표), 무선 LAN, Bluetooth(등록 상표) 통신, 적외선 통신 등을 들 수 있다.
영상 처리부(207)는 제어부(201)로부터 출력되는 화상 신호에 대하여 화질 보정 등의 신호 처리를 또한 행함과 함께, 표시 패널(209)의 화면에 맞춘 해상도로 변환한다. 그리고, 표시 구동부(208)는 표시 패널(209)의 화소를 행마다 순차 선택함과 함께 선 순차 주사하고, 신호 처리된 화상 신호에 기초하는 화소 신호를 공급한다.
표시 패널(209)은 예를 들어 유기 EL 소자나 액정 디스플레이 등의 마이크로 디스플레이로 구성된다. 허상 광학부(210)는 표시 패널(209)의 표시 화상을 확대 투영하고, 유저에게는 확대 허상으로서 관찰시킨다. 또한, 도 2 중에서는, 도면의 간소화를 위해, 표시 패널(209) 및 이것에 대응하는 허상 광학부(210)를 각각 하나밖에 그리지 않았지만, 화상 표시 장치(10)가 양안식의 헤드 마운트 디스플레이일 경우에는, 좌우의 눈마다 표시 패널(209)과 허상 광학부(210)가 배치된다.
화상 표시 장치(10)가 차폐형의 헤드 마운트 디스플레이인 경우, 허상 광학부(210)는 접안 광학 렌즈로 구성된다. 광학 렌즈는 배율 색수차가 있기 때문에, 관찰자가 관찰하는 확대 허상에 색 불균일을 발생시키는 원인이 된다. 표시 패널(209)에 공급하는 R, G, B 각 색의 화상 신호에 대하여 개별로 보정을 행하는 전기적인 처리에 의해, 색 불균일을 캔슬할 수 있다(전술). 보정 처리 시에 사용하는 R, G, B의 색마다의 보정 계수는, 허상 광학부(210)로서 사용하는 광학 렌즈의 고유한 값이며, 본 실시 형태에서는, 화상 표시 장치(10)의 특성 정보로서 취급한다. 또한, 이러한 종류의 특성 정보에는, 보정 계수 외에, 보정을 위한 캘리브레이션 정보나 보정 알고리즘을 포함할 수 있다.
또한, 화상 표시 장치(10)가 투과형의 헤드 마운트 디스플레이인 경우, 허상 광학부(210)는 회절 광학 소자 등으로 구성된다. 회절 광학 소자는 입사각에 따라서 회절 효율이 변화되기 때문에, 관찰자가 관찰하는 확대 허상에 색 불균일을 발생시키는 원인이 된다. 표시 패널(209)에 공급하는 R, G, B 각 색의 화상 신호에 대하여 개별로 보정을 행하는 전기적인 처리에 의해, 색 불균일을 캔슬할 수 있다(전술). 보정 처리 시에 사용하는 R, G, B의 색마다의 보정 계수는, 허상 광학부(210)로서 사용하는 광학 렌즈의 고유한 값이며, 본 실시 형태에서는, 화상 표시 장치(10)의 특성 정보로서 취급한다. 또한, 이러한 종류의 특성 정보에는, 보정 계수 외에, 보정을 위한 캘리브레이션 정보나 보정 알고리즘을 포함할 수 있다.
화상 표시 장치(10)가 차광형 또는 투과형 중 어느 헤드 마운트 디스플레이이든, 허상 광학부(210)가 갖는 광학 특성에 기인한 보정 정보(캘리브레이션 정보나 보정 계수, 보정 알고리즘을 포함함)는 특성 정보로서 ROM(201B) 내에 저장되어 있다.
또한, 표시 패널(209)로서 사용되는 마이크로 디스플레이의 구동 방법에 적합하면서도 자연스러운 표시 화상이 되도록, 화상 신호를 보정 또는 조정하는 각종 화상 보정 처리를 행할 필요가 있다. 도 17에는, 이러한 종류의 화상 보정 처리의 수순을 모식적으로 도시하고 있다. 이하, 각 처리에 대하여 설명해 둔다. 콘트라스트 조정(1701)은 색의 명암 차이를 변화시키는 처리이다. 휘도 조정(1702)은 휘도, 즉 명암을 조정하는 처리이다. 감마 보정 처리(1703, 1704)는, 표시계의 차이나 유저의 기호에 따른 감마 곡선에 의한 흑색 영역 및 백색 영역을 각각 조정하는 처리이다. 디더링 처리(1705)는 계조 조정이며, 예를 들어 화소의 주위 화소를 사용하여 외관상의 계조 표현을 현실의 비트수(8비트)보다 풍부하게 한다. 블랭킹 시간 조정(1706)은 프레임 간의 블랭킹(화상을 출력하고 있지 않음) 시간을 조정하는 처리이며, 블랭킹 시간에 흑색 신호를 삽입한다. 화상 반전 처리(1707)는 입력 화상을 경면 처리하여 경면 화상을 생성한다.
일반적으로는, 상기 처리(1701 내지 1707) 중 적어도 하나는 실시된다. 도 1에 도시한 화상 표시 시스템(1)에 대입하면, 상기 처리(1701 내지 1707) 등의 화상 보정 처리를, 화상 표시 장치(10) 내의 제어부(201), 영상 처리부(207), 또는 표시 구동부(208) 중 어느 하나에서 행하는 것도 가능하다. 그러나, 특히 감마 처리(1703, 1704)나 디더링 처리(1705)는 계산 부하가 크고, 화상 표시 장치(10) 내에서 행하는 부담은 과대해진다. 이와는 달리, 화상 표시 장치(10)에 화상 정보를 제공하는 정보 통신 단말기(20) 측에서 상기 처리(1701 내지 1707) 등의 화상 보정 처리를 행하는 방법도 생각할 수 있다.
도 3에는, 정보 통신 단말기(20)로서의 다기능 휴대 단말기의 내부 구성예를 나타내고 있다. 이하, 각 부에 대하여 설명한다.
CPU(Central Processing Unit)(301)는, ROM(302)에 기억되어 있는 프로그램, 또는 기억부(1004)로부터 RAM(303)에 로드된 프로그램을 실행한다. RAM(303)에는, CPU(301)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.
본 실시 형태에서는, CPU(301)가 실행하는 애플리케이션으로서, 내장 카메라를 사용한 동화상 또는 정지 화상의 촬영 처리, 원세그 방송의 수신 처리, 네트워크 경유한 스트리밍 화상의 수신 처리, 기억부(304)에 축적한 화상의 재생 처리, 내비게이션 정보의 표시 처리, 화상 표시 장치(10) 등 시스템(1) 내의 다른 기기에의 화상 정보의 송신 처리, 화상 데이터 등 화상 표시 장치(10)에의 송신 정보를 화상 표시 장치(10)의 특성 정보에 기초하여 보정 등의 처리 등을 각각 행하는 애플리케이션을 들 수 있다. 또한, 2 이상의 처리 기능을 맞춘 단일의 애플리케이션이 존재하는 것도 상정된다.
화상 표시 장치(10)에의 송신 정보에 대한 보정 등 처리를, CPU(201) 등 정보 통신 단말기(20) 측의 리소스를 사용하지 않고, 화상 표시 장치(10) 내부에서 실행하는 방법도 있다. 본 실시 형태에 있어서, 이러한 종류의 처리에 정보 통신 단말기(20) 측의 리소스를 사용하는 것은, 스마트폰 등의 다기능 정보 단말기는, 최첨단의 패전 프로세스 기술로 제조된, 저소비 전력으로 높은 연산 능력을 갖는 프로세서를 탑재하고 있어, 화상 보정 등의 고부하의 처리에 적합하다고 생각되기 때문이다.
또한, CPU(301)가 실행하는 프로그램은, 예를 들어, Android OS와 같은 오퍼레이팅 시스템이나, 오퍼레이팅 시스템이 제공하는 실행 환경 하에서 동작하는 애플리케이션을 들 수 있다. 또한, 실행하는 애플리케이션은, 당해 장치(20)에 사전 설치되어 있는 것 외에, Android 마켓과 같은 다운 로드 사이트로부터 취득할 수 있다.
CPU(301), ROM(302), 및 RAM(303)은, 버스(304)를 통해 서로 접속되어 있다. 또한, 버스(304)에는, 기억부(305), 휴대 전화 송수신부(306), 시스템내 통신부(307), 원세그 튜너부(308), 조작부(309), LED(Light Emitting Diode)(310), 바이브레이터(311), 음성 입출력 제어부(312), 디스플레이(315), 촬상부(316) 등이 접속되어 있다.
기억부(305)는 SSD(Solid State Drive)나 HDD(Hard Disc Drive) 등의 비교적 대용량의 기억 장치로 구성되고, CPU(301)에서 실행하는 애플리케이션이나, 원세그 튜너부(308)에서 수신한 원세그 방송 콘텐츠, 촬상부(316)에서 촬영한 동화상이나 정지 화상 등의 화상 콘텐츠 등, 각종 데이터를 저장하는 데도 사용된다. 또한, 도면의 간소화를 위해 도시를 생략했지만, 외부로부터 장전되는 메모리 카드도 기억부(305)에 포함되는 것으로 한다.
휴대 전화 송수신부(306)는 완전히 기능하는 셀룰러 무선 송수신기로서, 예를 들어 W-CDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution) 등의 표준 규격을 포함하는 임의의 기지의 표준 규격에 따라서 동작할 수 있다.
외부 네트워크 통신부(317)는 인터넷 등의 화상 표시 시스템(1) 밖의 네트워크와의 접속을 행한다. 외부 네트워크 통신부(317)는 예를 들어 Wi-Fi 등의 무선 LAN에 의해 가장 가까운 액세스 포인트(도시 생략)를 통해, 인터넷에 접속한다. 물론, 외부 네트워크 통신부(317)는 무선이 아닌, 유선 LAN을 사용해도 된다. 또한, 상기의 휴대 전화 송수신부(306)가 외부 네트워크 통신부(317)를 겸하고 있어도 된다.
시스템내 통신부(307)는 화상 표시 시스템(1) 내에서 통신로(30)를 개재한 통신 처리를 행한다. 시스템내 통신부(307)의 구성은 임의이다. 예를 들어, 화상 표시 시스템(1) 내의 통신로(30)에서 사용되는 통신 규격에 따라, 시스템내 통신부(307)가 구성되어, 화상 표시 장치(10)와 쌍방향 통신을 행할 수 있다. 통신 규격은, 유선, 무선 중 어느 형태이어도 된다. 여기에서 말하는 통신 규격으로서, MHL이나 USB, HDMI(등록 상표), 무선 LAN, Bluetooth(등록 상표) 통신, 적외선 통신 등을 들 수 있다. 또는, 외부 네트워크 통신부(317)가 시스템내 통신부(307)에서도 기능하고, 휴대 전화망을 통해 시스템내 통신을 행하도록 해도 된다.
원세그 튜너부(308)는 지상 디지털 텔레비전 방송에 1세그먼트가 할당된 QVGA(Quarter Video Graphic Array)의 방송 신호를 수신한다.
조작부(309)는 버튼류나 조그다이얼 등에 의해 구성되고, 당해 장치(20)의 유저로부터의 조작을 접수한다. 유저 조작으로서는, 전화 번호 입력이나 각종 설정 외에, 애플리케이션의 기동이나 화상 표시 장치(10)에의 송신 지시 등을 들 수 있다. LED(310)는, 예를 들어, 유저에 정보를 제시할 때, 당해 정보 기기에 유저의 주의를 기울이게 하기 위하여 발광한다. 또한, 바이브레이터(311)는 전화 또는 메일의 착신 시 등에 유저의 주의를 기울이게 하기 위한 진동을 당해 장치(20) 본체에 첨가한다.
마이크로폰(313)은 유저의 음성을 전기 오디오 신호로 변환하고, 스피커(314)는 오디오 신호를, 유저가 들을 수 있는 가청 신호로 변환한다. 음성 입출력 제어부(312)는 기본적인 아날로그 출력 신호를 스피커(314)에 공급함과 함께, 마이크로폰(313)으로부터 아날로그 오디오 입력을 받아들인다.
디스플레이(315)는 통상의 휴대 전화로서 사용할 때에는, 오퍼레이터가 다이얼된 숫자나 이미지, 호출 상황, 메뉴 옵션, 및 다른 서비스 정보를 보는 것을 가능하게 한다. 또한, 촬상부(316)에 의한 촬영 시에는, 디스플레이(315)를 스루 화상이나 촬영 화상의 표시 재생 출력에 이용할 수 있다.
촬상부(316)는 광학계 및 CCD(Charge Coupled Device) 등의 이미지 센서를 포함하는 내장 카메라와, 내장 카메라에 의한 촬상 신호를 처리하는 이미지 프로세서(모두 도시하지 않음)를 구비하고 있다. 광학계는 단일 렌즈 또는 복수의 렌즈를 포함하고, 이미지 센서는, 광학계에 의해 결상된 이미지를 도입한다. 이미지 프로세서는, 이미지 센서에 의해 도입된 압축 화상 데이터 또는 RAW 화상 데이터를, 기억부(305)에의 보관, 디스플레이(315)에의 표시 출력, 또는 휴대 전화 송수신부(306), 시스템내 통신부(307)에 의한 송신을 위하여 처리한다.
또한, 화상 표시 장치(10)가 시장에 출하되는 제품의 형태로서, 휴대 전화 기능 탑재 헤드 마운트 디스플레이도 상정된다. 휴대 전화 기능 탑재 헤드 마운트 디스플레이는, 개념적으로는, 화상 표시 장치(10)와 정보 통신 단말기(20)를 단일의 장치로서 구성한 것이다.
도 4에는, 휴대 전화 기능 탑재 헤드 마운트 디스플레이의 내부 구성예를 나타내고 있다. 도 3에 도시한 장치에 있어서, 디스플레이(315)의 표시면의 전방에 허상 광학부(210)를 배치한 구성이며, 허상 광학부(210)는 표시 화상을 확대 투영하고, 유저에는 확대 허상으로서 관찰된다. 또한, 허상 광학부(210)의 광학 특성에 기인하는 화상의 색 불균일 보정을 행하기 위한 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘)나, 기타의 장치 고유의 특성 정보, 장치를 식별하는 장치 ID는, ROM(302) 내에 저장된다.
이미 설명한 바와 같이, 화상 표시 장치(10)가 차광형 또는 투과형 중 어느 헤드 마운트 디스플레이이든, 허상 광학부(210)가 갖는 광학 특성에 기인하여, 관찰자가 관찰하는 확대 허상에 색 불균일이 발생한다. 이 색 불균일은, 표시 패널(209)에 공급하는 R, G, B 각 색의 화상 신호에 대하여 개별로 보정을 행하는 전기적인 처리에 의해, 색 불균일을 캔슬할 수 있다.
색 불균일의 보정 처리의 연산량은 방대하다. 예를 들어, 투과형의 헤드 마운트 디스플레이의 경우에는, 수평 방향의 화소마다 산출된 3행×1열의 매트릭스를 포함하는 보정 계수를, 각 화소에 승산해야만 한다(예를 들어, 특허문헌 2를 참조).
또한, 표시 패널(209)로서 사용되는 마이크로 디스플레이의 구동 방법에 적합한 동시에, 자연스러운 표시 화상이 되도록, 화상 신호를 보정 또는 조정하는 각종 화상 보정 처리를 행할 필요가 있다(전술 및 도 17을 참조). 이러한 종류의 화상 보정은, 예를 들어 감마 보정이나 디더링 처리 등의 연산 부하가 높은 처리를 포함하고 있다.
따라서, 본 실시 형태에서는, 정보 통신 단말기(20)가 화상 표시 장치(10)의 허상 광학부(210)에 있어서의 보정 정보나 화상 보정을 위한 보정 정보를 취득하고, 저소비 전력으로 높은 연산 능력을 갖는 프로세서를 탑재하는 정보 통신 단말기(20) 측에서 색 불균일 보정의 연산 처리나 화상 보정을 행하고 나서, 보정 후의 화상 정보를 화상 표시 장치(10)에 제공하도록 하고 있다.
또한, 정보 통신 단말기(20)는 CPU(301)가 애플리케이션을 실행함으로써 화상의 보정 처리를 행하도록 해도 되고, 화상 보정 처리용의 전용 하드웨어를 장비하고 있어도 된다.
예를 들어, 도 5에 도시한 바와 같이, 화상 표시 장치(10)는 ROM(201A) 내에 보정 계수를 저장하고 있고, 정보 통신 단말기(20)에 화상을 요구할 때에는, ROM(201A)으로부터 판독한 보정 정보(허상 광학부(210)에서 발생하는 색 불균일을 보정하기 위한 캘리브레이션 정보나 보정 계수, 보정 알고리즘, 또는 화상 보정에 사용하는 보정 계수(감마 보정 계수나 디더링 계수 등)나 보정 알고리즘을 포함함)를 통신로(30)를 통해 송신한다(참조 번호(501)). 이에 비해, 정보 통신 단말기(20)는 수신한 보정 정보에 따라서 색 불균일 보정이나 화상 보정의 연산을 행한 후에, 화상 정보를 통신로(30) 경유로 화상 표시 장치(10)에 송신한다(참조 번호(502)). 화상 표시 장치(10) 측에서는, 수신한 화상 정보를 표시 패널(209)에 표시하고, 허상 광학부(210)에 의해 그 확대 허상을 관찰자에게 관찰시킨다. 이 확대 허상으로부터 색 불균일은 캔슬되어 있다. 또한, 표시 패널(209)로서 사용되는 마이크로 디스플레이의 구동 방법에 적합한 화상 신호가 제공되고, 표시 패널(209)로부터 보다 자연스러운 화상이 표시되게 된다.
도 6에는, 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 나타내고 있다. 도시의 예에서는, 화상 표시 장치(10)와 정보 통신 단말기(20)는 시스템내 통신로(30) 상에서 접속이 이미 확립되어 있는 것으로 한다.
정보 통신 단말기(20)는 화상 표시 장치(10)로부터 화상 요구를 수신하면(SEQ601), 화상 표시 장치(10)에 대하여 보정 정보를 요구한다(SEQ602).
화상 표시 장치(10)의 예를 들어 출하 시에 있어서, 허상 광학부(210)에서 발생하는 색 불균일을 보정하기 위한 캘리브레이션 정보나 보정 계수, 보정 알고리즘, 또는 화상 보정에 사용하는 보정 계수(감마 보정 계수나 디더링 계수 등)나 보정 알고리즘 등의 보정 정보가 ROM(201A) 내에 기입된다. 화상 표시 장치(10)는 보정 정보의 요구에 응답하여, ROM(201A)으로부터 보정 정보를 판독해서(SEQ603), 정보 통신 단말기(20)에 송신한다(SEQ604).
그리고, 정보 통신 단말기(20)는 수신한 보정 정보를 사용하여, 요구되고 있는 화상에 대하여 상 광학부(210)에서 발생하는 색 불균일을 보정하기 위한 보정 처리, 또는 마이크로 디스플레이의 구동 방법에 적합한 화상 신호로 하기 위한 보정 처리를 행하고 나서(SEQ605), 화상 표시 장치(10)에 송신한다(SEQ606).
색 불균일을 보정하기 위하여 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘)는 허상 광학부(210)에서 사용되는 광학 렌즈나 회절 광학 소자의 광학 특성에 기인하는 화상 표시 장치(10)의 고유한 특성 정보이다. 또한, 화상 보정을 위한 보정 정보(사용하는 보정 계수(감마 보정 계수나 디더링 계수 등)나 보정 알고리즘)는 표시 패널(209)에서 사용되는 마이크로 디스플레이에 대응한(바꿔 말하면, 제품 형번(型番)에 대응한) 특성 정보이다. 정보 통신 단말기(20)는 다른 화상 표시 장치로부터 화상 요구된 경우에도, 그때마다, 색 불균일을 보정하기 위하여 보정 정보 또는 화상 보정을 위한 보정 정보를 수취할 수 있으므로, 어떠한 화상 표시 장치에 대해서도, 색 불균일이 발생하지 않는 화상을 항상 제공할 수 있다.
또한, 도 4에 도시한 바와 같이 화상 표시 장치(10)와 정보 통신 단말기(20)를 단일의 장치로 한, 휴대 전화 기능 탑재 헤드 마운트 디스플레이의 경우에는, 예를 들어, 도 7에 도시한 바와 같이, 화상 표시를 행하는 애플리케이션을 실행 중인 CPU(301)는, 허상 광학부(210)의 광학 특성에 기인하는 색 불균일을 보정하기 위한 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘), 또는, 화상 보정에 사용하는 보정 정보(감마 보정 계수나 디더링 계수 등의 보정 계수나 보정 알고리즘)를 버스(304) 경유로 ROM(302)으로부터 판독해서(참조 번호(701)), 화상에 대하여 색 불균일 보정 연산을 행한다. 그리고, 보정 후의 화상을 버스(304) 경유로 디스플레이(315)로부터 표시 출력한다(참조 번호(702)). 이 경우에도, 허상 광학부(210)에 의해 관찰자에게 관찰시키는 확대 허상으로부터, 색 불균일은 캔슬된다. 또한, 표시 패널(209)로서 사용되는 마이크로 디스플레이의 구동 방법에 적합한 화상 신호가 제공되고, 표시 패널(209)로부터 보다 자연스러운 화상이 표시되게 된다.
도 5 및 도 6에 나타낸 처리 시퀀스에서는, 화상 표시 장치(10)의 허상 광학부(210)에 대응한 보정 정보를, 화상 표시 장치(10) 내에서 관리하는 것을 전제로 하고 있다. 이와는 달리, 허상 광학부(210)의 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘) 등의 장치마다의 고유 특성 정보나, 화상 보정에 사용하는 보정 정보(감마 보정 계수나 디더링 계수 등의 보정 계수나 보정 알고리즘) 등의 제품 형번마다의 고유 특성 정보를, 예를 들어 인터넷상의 특성 정보 관리 서버(50) 등으로 집중 관리하는 경우도 상정된다.
도 8에는, 화상 표시 장치(10)의 보정 정보를 특성 정보 관리 서버(50)에서 집중 관리할 경우의 동작예를 나타내고 있다. 화상 표시 장치(10)의 제조업자는, 장치마다 고유의 보정 정보 또는 제품 형번마다 고유의 보정 정보를, 출하시에 ROM(201A) 내에 기입하는 것이 아니고, 특성 정보 관리 서버(50) 상에 업해 둔다(참조 번호(801)). 그리고, 특성 정보 관리 서버(50)는 수취한 보정 정보를 대응하는 화상 표시 장치(10)의 장치 식별 정보(장치 ID) 또는 제품 형번과 결부시켜 관리한다.
화상 표시 장치(10)는 정보 통신 단말기(20)에 화상을 요구할 때에는, ROM(201A)으로부터 판독한 장치 ID 또는 제품 형번을, 통신로(30)를 통해 송신한다(참조 번호(802)). 정보 통신 단말기(20)는 화상 표시 장치(10)로부터 취득한 장치 ID 또는 제품 형번을 특성 관리 서버(50)에 조회해서(참조 번호(803)), 해당하는 보정 정보를 취득할 수 있다(참조 번호(804)). 그리고, 정보 통신 단말기(20)는 화상 표시 장치(10)에 송신하는 화상에 대하여 색 불균일 보정 또는 화상 보정의 연산을 행한 후에, 화상 정보를 통신로(30) 경유로 화상 표시 장치(10)에 송신한다(참조 번호(805)). 화상 표시 장치(10) 측에서는, 수신한 화상 정보를 표시 패널(209)에 표시하고, 허상 광학부(210)에 의해 그 확대 허상을 관찰자에게 관찰시킨다. 이 확대 허상으로부터 색 불균일은 캔슬되어 있다. 또한, 표시 패널(209)로서 사용되는 마이크로 디스플레이의 구동 방법에 적합한 화상 신호가 제공되어, 표시 패널(209)로부터 보다 자연스러운 화상이 표시되게 된다.
도 9에는, 정보 통신 단말기(20)가 특성 정보 관리 서버(50)를 이용하여, 화상 표시 장치(10)에 보정 후의 화상을 제공할 때의 처리 시퀀스 예를 나타내고 있다.
정보 통신 단말기(20)는 통신로(30)에 적용되는 통신 프로토콜에 따라, 기기 발견이나 인증 등의 수순을 거쳐, 화상 표시 장치(10)와의 사이의 접속을 확립한다(SEQ901). 그리고, 정보 통신 단말기(10)는 접속 처리를 통해서, 화상 표시 장치(10)의 장치 ID나 제품 형번을 취득한다.
정보 통신 단말기(20)는 접속 중의 화상 표시 장치(10)로부터 화상 요구를 수신하면(SEQ902), 화상 표시 장치(10)의 장치 ID나 제품 형번을 특성 정보 관리 서버(50)에 송신하고, 색 불균일 보정이나 화상 보정의 보정 정보를 조회한다(SEQ903). 특성 정보 관리 서버(50)는 장치 ID나 제품 형번에 대응하는 보정 정보를 유지하고 있는 경우에는, 이를 반신(返信)한다(SEQ904).
정보 통신 단말기(20)는 특성 정보 관리 서버(50)로부터 취득한 보정 정보를 사용하여, 화상 표시 장치(10)가 요구하고 있는 화상에 대하여 색 불균일 보정이나 화상 보정의 보정 처리를 행한다(SEQ905). 그리고, 정보 통신 단말기(20)는 보정 후의 화상을 화상 표시 장치(10)에 송신한다(SEQ906).
색 불균일 보정의 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘)는 허상 광학부(210)에서 사용되는 광학 렌즈나 회절 광학 소자의 광학 특성에 기인하는 화상 표시 장치(10)의 고유한 정보이다. 또한, 화상 보정의 보정 정보 감마 보정 계수나 디더링 계수 등의 보정 계수나 보정 알고리즘)은 동일한 마이크로 디스플레이를 사용하는 동일 제품(즉, 동일한 제품 형번)마다 고유의 정보이다. 정보 통신 단말기(20)는 다른 화상 표시 장치로부터 화상 요구된 경우에도, 그때마다, 특성 정보 관리 서버(50)에 조회하여 장치마다 또는 제품 형번마다의 보정 정보를 수취할 수 있으므로, 어떠한 화상 표시 장치에 대해서도, 색 불균일이 발생하지 않는 화상이나 마이크로 디스플레이의 구동 방법에 적합한 자연스러운 화상을 항상 제공할 수 있다.
또한, 도 10에는, 도 4에 도시한 바와 같이 화상 표시 장치(10)와 정보 통신 단말기(20)를 단일의 장치로 한, 휴대 전화 기능 탑재 헤드 마운트 디스플레이의 보정 정보를 특성 정보 관리 서버(50)에서 집중 관리할 경우의 동작예를 나타내고 있다. 헤드 마운트 디스플레이의 제조업자는, 장치마다 고유의 보정 정보 또는 제품 형번마다 고유의 보정 정보를, 출하 시에 ROM(302) 내에 기입하는 것이 아니고, 특성 정보 관리 서버(50) 상에 업해 둔다(참조 번호(1001)). 그리고, 특성 정보 관리 서버(50)는 수취한 보정 정보를 대응하는 화상 표시 장치(10)의 장치 식별 정보(장치 ID) 또는 제품 형번과 결부시켜 관리한다(참조 번호(1001)).
화상 표시를 행하는 애플리케이션을 실행 중인 CPU(301)는, ROM(201A)으로부터 당해 장치의 장치 ID 또는 제품 형번을 판독하면(참조 번호(1002)), 인터넷상의 특성 정보 관리 서버(50)에 장치 ID 또는 제품 형번을 송신하고(참조 번호(1003)), 허상 광학부(210)의 광학 특성에 기인하는 색 불균일 등을 보정하기 위한 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘) 또는 화상 보정에 사용하는 보정 정보(감마 보정 계수나 디더링 계수 등의 보정 계수나 보정 알고리즘)를 조회한다(참조 번호(1004)). 그리고, CPU(301)는, 취득한 보정 정보를 사용하여 색 불균일 보정 연산을 행하고, 디스플레이(315)로부터 화상을 표시 출력하게 된다(참조 번호(1005)). 이 경우에도, 허상 광학부(210)에 의해 관찰자에게 관찰시키는 확대 허상으로부터, 색 불균일은 캔슬된다. 또한, 표시 패널(209)로서 사용되는 마이크로 디스플레이의 구동 방법에 적합한 화상 신호가 제공되어, 표시 패널(209)로부터 보다 자연스러운 화상이 표시되게 된다.
색 불균일 보정의 보정 정보는, 주로 허상 광학부(210)의 광학 특성에 기초하여 산출되는, 화상 표시 장치(10)의 고유한 특성 정보이다. 또한, 감마 보정이나 디더링 등의 화상 보정의 보정 정보는, 동일한 마이크로 디스플레이를 사용하는 동일 제품(즉, 동일한 제품 형번)마다 고유의 특성 정보이다. 또한 본 실시 형태에서는, 화상 표시 장치(10)는 허상 광학부(210)의 광학 특성에 기인하는 색 불균일 보정의 보정 정보나 마이크로 디스플레이에 대응하는 화상 보정의 보정 정보의 이외에, 광량 센서나, 마이크로폰, GPS 센서, 온도 센서, 습도 센서, 시계, 이미지 센서(카메라) 등의 환경 센서로부터 취득한 장치(10) 주변의 환경 정보나, 체온 센서, 발한 센서, 근전위 센서, 안전위 센서, 뇌파 센서 등의 유저의 작업 상태나 행동 상태, 정신 상태, 생리 상태 등 유저의 상태를 계측하는 상태 센서로부터 취득한 상태 정보를 위한 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘), 및 환경 센서나 상태 센서의 센서 출력 정보를 보정하기 위한 보정 정보(캘리브레이션 정보, 보정 계수, 보정 알고리즘)도, 화상 표시 장치(10)의 고유한 특성 정보로서 취급하도록 구성되어 있다.
따라서, 정보 통신 단말기(20) 측에서도, 이하에서 예시한 바와 같이, 다양한 종류의 특성 정보에 대응한 화상 정보의 서비스를 제공할 수 있다.
(1) 촬상부(316)에서 촬영한 동화상 또는 정지 화상을, 송신처의 화상 표시 장치(10) 측의 환경 정보나 상태 정보에 따른 장식을 실시하는 등의 화상 처리를 행하고 나서, 화상 표시 장치(10)에 송신한다.
(2) 원세그 튜너부(308)에서 수신한 원세그 방송 콘텐츠에 대하여 송신처의 화상 표시 장치(10) 측의 환경 정보나 상태 정보에 따른 장식을 실시하는 등의 화상 처리를 행하고 나서, 화상 표시 장치(10)에 전송한다.
(3) 외부 네트워크 통신부(317)가 네트워크 경유로 수신한 스트리밍 화상에 대하여 송신처의 화상 표시 장치(10) 측의 환경 정보나 상태 정보에 따른 장식을 실시하는 등의 화상 처리를 행하고 나서, 화상 표시 장치(10)에 전송한다.
(4) CPU(301)가 실행하는 내비게이션 애플리케이션이 작성한 내비게이션 정보에 대하여 송신처의 화상 표시 장치(10) 측의 환경 정보나 상태 정보에 따른 장식을 실시하는 등의 화상 처리를 행하고 나서, 화상 표시 장치(10)에 전송한다. 내비게이션 정보는 각양각색의 카테고리로 분류되지만, 예를 들어 기온이나 습도 등 화상 표시 장치(10)가 설치되어 있는 장소의 환경 정보, 또는, 화상 표시 장치(10)를 장착하고 있는 유저의 정신 상태나 건강 상태에 따른 내비게이션 정보의 가중치 부여 선택 처리를 행한다.
예를 들어, 도 11a에 도시한 바와 같이, 화상 표시 장치(10)는 각종 환경 센서를 포함하는 환경 정보 취득부(204)에서 취득한 환경 정보나, 각종 상태 센서를 포함하는 상태 정보 취득부(205)에서 취득한 유저의 상태 정보를, 당해 장치(10)의 고유한 특성 정보로서, RAM(201B) 내에 일시적으로 저장한다(참조 번호(1101)). 또한, 화상 표시 장치(10)는 환경 센서나 상태 센서를 화상 표시 장치(10) 내에 장비할 경우에는, 이 센서의 출력 정보를 보정할 때에 사용하는 보정 정보(캘리브레이션 정보나 보정 계수, 보정 알고리즘을 포함함)를 특성 정보로서 ROM(201A) 내에 저장하고 있다.
그리고, 화상 표시 장치(10)는 정보 통신 단말기(20)에 화상을 요구할 때에는, RAM(201B)으로부터 환경 센서나 상태 센서의 출력 정보를 포함하는 특성 정보를 판독하고, 통신로(30)를 통해 송신한다(참조 번호(1102)). 또한, 화상 표시 장치(10)는 필요에 따라, 센서의 출력 정보를 보정할 때에 사용하는 보정 정보를 포함하는 특성 정보도, ROM(201A)으로부터 판독하여 송신한다.
이에 비해, 정보 통신 단말기(20)는 요구된 화상을, 수신한 특성 정보에 따라서 화상 처리를 행하고, 또한 필요에 따라 화상에 대한 보정 처리를 행한 후에, 통신로(30)를 통해 화상 표시 장치(10)에 송신한다(참조 번호(1103)). 이 결과, 화상 표시 장치(10) 측에서는, 특성 정보에 따라서 처리된 화상을 표시하고, 유저는, 현재 자신이 놓여 있는 환경이나 자신의 상태에 따른 화상을 이용할 수 있다. 예를 들어, 상술한 바와 같은 화상 정보의 서비스 (1) 내지 (4)를 제공할 수 있다.
도 12에는, 화상 표시 시스템(1) 내에서 정보 통신 단말기(20)로부터 화상 표시 장치(10)에 화상을 제공할 때의 처리 시퀀스 예를 나타내고 있다. 도시의 예에서는, 화상 표시 장치(10)와 정보 통신 단말기(20)는 시스템내 통신로(30) 상에서 접속이 이미 확립되어 있는 것으로 한다.
화상 표시 장치(10) 측에서는, 소정의 타이밍에, 환경 정보 취득부(204)가 환경 정보를 취득함과 함께, 상태 정보 취득부(205)가 상태 정보를 취득하고, 특성 정보로서 RAM(201B) 내에 기입한다(SEQ1201).
정보 통신 단말기(20)는 화상 표시 장치(10)로부터 화상 요구를 수신하면(SEQ1202), 화상 표시 장치(10)에 대하여 특성 정보를 요구한다(SEQ1203).
화상 표시 장치(10)는 특성 정보의 요구에 응답하여, RAM(201B)으로부터 특성 정보를 판독해서(SEQ1204), 정보 통신 단말기(20)에 송신한다(SEQ1205). 또한, 화상 표시 장치(10)는 필요에 따라, 센서의 출력 정보를 보정할 때에 사용하는 보정 정보를 포함하는 특성 정보도, ROM(201A)으로부터 판독하여 송신한다.
그리고, 정보 통신 단말기(20)는 수신한 특성 정보를 사용하여, 요구되고 있는 화상에 대하여 화상 표시 장치(10) 측의 특성 정보에 적합시킨 처리를 행한 후에(SEQ1206), 처리 후의 화상을 화상 표시 장치(10)에 송신한다(SEQ1207).
특성 정보는, 각종 환경 센서를 포함하는 환경 정보 취득부(204)에서 취득한 환경 정보나, 각종 상태 센서를 포함하는 상태 정보 취득부(205)에서 취득한 유저의 상태 정보이다. 또한, 센서의 출력 정보를 보정할 때에 사용하는 보정 정보도 특성 정보에 포함되므로, 정보 통신 단말기(20) 측에서는, 화상 표시 장치(10)로부터 수신한 환경 정보나 상태 정보에 대하여, 필요에 따라 캘리브레이션이나 보정을 행할 수 있다. 정보 통신 단말기(20)는 특성 정보에 따라서 처리를 행한 화상을 제공하므로, 화상 표시 장치(10) 측에서는 특성 정보에 따라서 처리된 화상을 표시하고, 유저는, 현재 자신이 놓여 있는 환경이나 자신의 상태에 따른 화상을 이용할 수 있다. 예를 들어, 상술한 바와 같은 화상 정보의 서비스 (1) 내지 (4)를 제공할 수 있다.
또한, 도 11b에는, 도 4에 도시한 바와 같이 화상 표시 장치(10)와 정보 통신 단말기(20)를 단일의 장치로 한, 휴대 전화 기능 탑재 헤드 마운트 디스플레이의 경우의, 상태 정보나 환경 정보에 따른 화상 제공 서비스의 변형예를 나타내고 있다. 각종 환경 센서를 포함하는 환경 정보 취득부(204)에서 취득한 환경 정보나, 각종 상태 센서를 포함하는 상태 정보 취득부(205)에서 취득한 유저의 상태 정보를, 당해 장치(10)의 고유한 특성 정보로서, RAM(201B) 내에 일시적으로 저장한다(참조 번호(1111)). 또한, 환경 센서나 상태 센서의 출력 정보를 보정할 때에 사용하는 보정 정보(캘리브레이션 정보나 보정 계수, 보정 알고리즘을 포함함)를 특성 정보로서 ROM(201A) 내에 저장하고 있다.
그리고, 화상 표시를 행하는 애플리케이션을 실행 중인 CPU(301)는, RAM(201B)으로부터 환경 센서나 상태 센서의 출력 정보를 포함하는 특성 정보를 버스(304) 경유로 판독한다(참조 번호(1112)). 또한, CPU(301)는, 필요에 따라, 센서의 출력 정보를 보정할 때에 사용하는 보정 정보를 포함하는 특성 정보도, 버스(304) 경유로 ROM(201A)으로부터 판독하여 송신한다.
계속해서, CPU(301)는, 요구된 화상을, 수신한 특성 정보에 따라서 화상 처리를 행하고, 또한 필요에 따라 화상에 대한 보정 처리를 행한 후에, 버스(304) 경유로 디스플레이(315)로부터 표시 출력한다(참조 번호(1113)). 이 결과, 디스플레이(315)에서는, 특성 정보에 따라서 처리된 화상을 표시하고, 유저는, 현재 자신이 놓여 있는 환경이나 자신의 상태에 따른 화상을 이용할 수 있다. 예를 들어, 상술한 바와 같은 화상 정보의 서비스 (1) 내지 (4)를 제공할 수 있다.
또한, 본 명세서의 개시 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치로서,
화상을 표시하는 표시부와,
상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 유지하는 특성 정보 유지부와,
상기 정보 통신 단말기에 상기 특성 정보를 송신하는 송신부와, 상기 정보 통신 단말기 측에서 상기 특성 정보에 기초하여 화상 처리된 화상 또는 정보를 수신하는 수신부를 갖고, 상기 화상 처리된 화상.
(2) 상기 센서는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나이며,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보는, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보인, 상기 (1)에 기재된 화상 표시 장치.
(3) 화상을 표시하는 표시부와, 상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 구비하고, 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치에 있어서의 화상 표시 방법으로서,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 유지하는 특성 정보 유지 스텝과,
상기 정보 통신 단말기에 상기 특성 정보를 송신하는 송신 스텝과,
상기 정보 통신 단말기 측에서 상기 특성 정보에 기초하여 화상 처리된 화상 또는 정보를 수신하는 수신 스텝과,
상기 화상 처리된 화상을 상기 표시부에 표시 출력하는 표시 스텝을 갖는, 화상 표시 방법.
(4) 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치로서,
화상을 표시하는 표시부와,
상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와,
상기 화상 표시 장치의 고유한 식별 정보를 유지하는 식별 정보 유지부와,
상기 정보 통신 단말기에 상기 식별 정보를 송신하는 송신부와, 상기 정보 통신 단말기 측에서 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 화상 처리된 화상 또는 정보를 수신하는 수신부를 갖고, 상기 화상 처리된 화상을 상기 표시부에 표시 출력시키는 제어부를 구비하는, 화상 표시 장치.
(5) 화상을 표시하는 표시부와, 상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 구비하고, 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치에 있어서의 화상 표시 방법으로서,
상기 화상 표시 장치의 고유한 식별 정보를 유지하는 식별 정보 유지 스텝과,
상기 정보 통신 단말기에 상기 식별 정보를 송신하는 송신 스텝과,
상기 정보 통신 단말기 측에서 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 화상 처리된 화상 또는 정보를 수신하는 수신 스텝과,
상기 화상 처리된 화상을 상기 표시부에 표시 출력하는 표시 스텝을 갖는, 화상 표시 방법.
(6) 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기로서,
상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하는 특성 정보 취득부와,
상기 화상 표시 장치에 제공하는 화상을, 상기 특성 정보에 기초하여 처리하는 화상 처리부와,
상기 화상 처리부에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신부를 구비하는, 정보 통신 단말기.
(7) 상기 화상 표시 장치는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나를 갖고,
상기 특성 정보 취득부는, 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보를 상기 특성 정보로서 취득하는, 상기 (6)에 기재된 정보 통신 단말기.
(8) 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기의 정보 통신 방법으로서,
상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하는 특성 정보 취득 스텝과,
상기 화상 표시 장치에 제공하는 화상을, 상기 특성 정보에 기초하여 처리하는 화상 처리 스텝과,
상기 화상 처리 스텝에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신 스텝을 갖는, 정보 통신 방법.
(9) 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기로서,
상기 화상 표시 장치의 고유한 식별 정보를 상기 화상 표시 장치로부터 취득하는 식별 정보 취득부와,
상기 화상 표시 장치에 제공하는 화상을, 상기 식별 정보에 기초하여 취득한 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리하는 화상 처리부와,
상기 화상 처리부에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신부를 구비하는, 정보 통신 단말기.
(10) 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기의 정보 통신 방법으로서,
상기 화상 표시 장치의 고유한 식별 정보를 취득하는 식별 정보 취득 스텝과,
상기 화상 표시 장치에 제공하는 화상을, 상기 식별 정보에 기초하여 취득한 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리하는 화상 처리 스텝과,
상기 화상 처리 스텝에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신 스텝을 갖는, 정보 통신 방법.
(11) 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와, 상기 광학계 또는 상기 센서에 관한 특성 정보를 갖는 화상 표시 장치와,
상기 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기를 구비하고,
상기 정보 통신 단말기는, 상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하고, 상기 특성 정보에 기초하여 처리한 후의 화상을 상기 화상 표시 장치에 송출하는, 화상 표시 시스템.
(12) 상기 화상 표시 장치는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나를 갖고,
상기 정보 통신 단말기는, 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보를 상기 특성 정보로서 취득하는, 상기 (11)에 기재된 화상 표시 시스템.
(13) 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와, 상기 광학계 또는 상기 센서에 관한 특성 정보를 갖는 화상 표시 장치와,
상기 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기를 구비하고,
상기 정보 통신 단말기는, 상기 화상 표시 장치의 고유한 식별 정보를 상기 화상 표시 장치로부터 취득함과 함께, 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리한 후의 화상을 상기 화상 표시 장치에 송출하는, 화상 표시 시스템.
이상, 특정한 실시 형태를 참조하면서, 본 명세서에서 개시하는 기술에 대하여 상세하게 설명해 왔다. 그러나, 본 명세서에서 개시하는 기술의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시 형태의 수정이나 대용을 할 수 있음은 자명하다.
헤드부 장착형 화상 표시 장치는, 차광성 타입과 투과성 타입으로 분류할 수 있지만, 본 명세서에서 개시하는 기술은 이들 중 어느 타입에도 적용할 수 있다. 또한, 헤드부 장착형 화상 표시 장치는, 좌우 양쪽 눈에 표시부를 구비한 양안 타입과, 좌우 어느 한쪽에만 표시부를 구비한 한쪽 눈 타입으로 분류할 수 있지만, 본 명세서에서 개시하는 기술은 이들 중 어느 타입에도 적용할 수 있다.
또한, 정보 통신 단말기의 일례로서, 스마트폰 등의 다기능 휴대 단말기를 들었지만, 화상 정보를 외부에 출력 가능한 다른 각양각색의 정보 기기를 정보 통신 단말기로서 사용할 수 있다.
요컨대, 이상은 예시라고 하는 형태에 의해 본 명세서에서 개시하는 기술에 대하여 설명한 것이며, 본 명세서의 기재 내용을 한정적으로 해석해서는 안된다. 본 명세서에서 개시하는 기술의 요지를 판단하기 위해서는, 특허 청구 범위를 참작해야 한다.
1: 화상 표시 시스템
10: 화상 표시 장치(헤드 마운트 디스플레이)
20: 정보 통신 단말기(다기능 휴대 단말기)
201: 제어부
201A: ROM
201B: RAM
202: 입력 조작부
203: 리모콘 수신부
204: 환경 정보 취득부
205: 상태 정보 취득부
206: 통신부
207: 영상 처리부
208: 표시 구동부
209: 표시 패널
210: 허상 광학부
301: CPU
302: ROM
303: RAM
304: 버스
305: 기억부
306: 휴대 전화 송수신부
307: 시스템내 통신부
308: 원세그 튜너부
309: 조작부
310: LED
311: 바이브레이터
312: 음성 입출력 제어부
313: 마이크로폰
314: 스피커
315: 디스플레이
316: 촬상부
10: 화상 표시 장치(헤드 마운트 디스플레이)
20: 정보 통신 단말기(다기능 휴대 단말기)
201: 제어부
201A: ROM
201B: RAM
202: 입력 조작부
203: 리모콘 수신부
204: 환경 정보 취득부
205: 상태 정보 취득부
206: 통신부
207: 영상 처리부
208: 표시 구동부
209: 표시 패널
210: 허상 광학부
301: CPU
302: ROM
303: RAM
304: 버스
305: 기억부
306: 휴대 전화 송수신부
307: 시스템내 통신부
308: 원세그 튜너부
309: 조작부
310: LED
311: 바이브레이터
312: 음성 입출력 제어부
313: 마이크로폰
314: 스피커
315: 디스플레이
316: 촬상부
Claims (13)
- 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치로서,
화상을 표시하는 표시부와,
상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 유지하는 특성 정보 유지부와,
상기 정보 통신 단말기에 상기 특성 정보를 송신하는 송신부와, 상기 정보 통신 단말기 측에서 상기 특성 정보에 기초하여 화상 처리된 화상 또는 정보를 수신하는 수신부를 갖고, 상기 화상 처리된 화상을 상기 표시부에 표시 출력시키는 제어부를 구비하는, 화상 표시 장치. - 제1항에 있어서,
상기 센서는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나이며,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보는, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보인, 화상 표시 장치. - 화상을 표시하는 표시부와, 상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 구비하고, 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치에 있어서의 화상 표시 방법으로서,
상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 유지하는 특성 정보 유지 스텝과,
상기 정보 통신 단말기에 상기 특성 정보를 송신하는 송신 스텝과,
상기 정보 통신 단말기 측에서 상기 특성 정보에 기초하여 화상 처리된 화상 또는 정보를 수신하는 수신 스텝과,
상기 화상 처리된 화상을 상기 표시부에 표시 출력하는 표시 스텝을 갖는, 화상 표시 방법. - 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치로서,
화상을 표시하는 표시부와,
상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와,
상기 화상 표시 장치의 고유한 식별 정보를 유지하는 식별 정보 유지부와,
상기 정보 통신 단말기에 상기 식별 정보를 송신하는 송신부와, 상기 정보 통신 단말기 측에서 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 화상 처리된 화상 또는 정보를 수신하는 수신부를 갖고, 상기 화상 처리된 화상을 상기 표시부에 표시 출력시키는 제어부를 구비하는, 화상 표시 장치. - 화상을 표시하는 표시부와, 상기 표시부로부터 출력되는 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 구비하고, 화상 데이터를 송수신 가능한 정보 통신 단말기에 접속되는 화상 표시 장치에 있어서의 화상 표시 방법으로서,
상기 화상 표시 장치의 고유한 식별 정보를 유지하는 식별 정보 유지 스텝과,
상기 정보 통신 단말기에 상기 식별 정보를 송신하는 송신 스텝과,
상기 정보 통신 단말기 측에서 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 화상 처리된 화상 또는 정보를 수신하는 수신 스텝과,
상기 화상 처리된 화상을 상기 표시부에 표시 출력하는 표시 스텝을 갖는, 화상 표시 방법. - 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기로서,
상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하는 특성 정보 취득부와,
상기 화상 표시 장치에 제공하는 화상을, 상기 특성 정보에 기초하여 처리하는 화상 처리부와,
상기 화상 처리부에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신부를 구비하는, 정보 통신 단말기. - 제6항에 있어서,
상기 화상 표시 장치는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나를 갖고,
상기 특성 정보 취득부는, 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보를 상기 특성 정보로서 취득하는, 정보 통신 단말기. - 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기의 정보 통신 방법으로서,
상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하는 특성 정보 취득 스텝과,
상기 화상 표시 장치에 제공하는 화상을, 상기 특성 정보에 기초하여 처리하는 화상 처리 스텝과,
상기 화상 처리 스텝에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신 스텝을 갖는, 정보 통신 방법. - 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기로서,
상기 화상 표시 장치의 고유한 식별 정보를 상기 화상 표시 장치로부터 취득하는 식별 정보 취득부와,
상기 화상 표시 장치에 제공하는 화상을, 상기 식별 정보에 기초하여 취득한 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리하는 화상 처리부와,
상기 화상 처리부에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신부를 구비하는, 정보 통신 단말기. - 화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서를 갖는 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기의 정보 통신 방법으로서,
상기 화상 표시 장치의 고유한 식별 정보를 취득하는 식별 정보 취득 스텝과,
상기 화상 표시 장치에 제공하는 화상을, 상기 식별 정보에 기초하여 취득한 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리하는 화상 처리 스텝과,
상기 화상 처리 스텝에 의해 처리한 후의 화상을 상기 화상 표시 장치에 송출하는 화상 송신 스텝을 갖는, 정보 통신 방법. - 화상 표시 시스템으로서,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와, 상기 광학계 또는 상기 센서에 관한 특성 정보를 갖는 화상 표시 장치와,
상기 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기를 구비하고,
상기 정보 통신 단말기는, 상기 화상 표시 장치로부터 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 취득하고, 상기 특성 정보에 기초하여 처리한 후의 화상을 상기 화상 표시 장치에 송출하는, 화상 표시 시스템. - 제11항에 있어서,
상기 화상 표시 장치는, 가속도 센서, GPS 센서, 자이로 센서, 속도 센서, 압력 센서, 온도 센서, 발한 센서, 근전위 센서, 안전위 센서, 또는 방사선 센서 중 적어도 하나를 갖고,
상기 정보 통신 단말기는, 상기 화상 표시 장치의 상기 표시부, 상기 광학계, 또는 상기 센서에 관한, 캘리브레이션 정보, 보정 계수, 보정 알고리즘, 또는 상기 센서의 출력 정보를 상기 특성 정보로서 취득하는, 화상 표시 시스템. - 화상 표시 시스템으로서,
화상을 표시하는 표시부, 상기 표시부의 표시 화상을 광학 처리하는 광학계, 또는, 상기 화상 표시 장치 또는 상기 화상 표시 장치의 사용자에 관한 정보를 검출하는 센서와, 상기 광학계 또는 상기 센서에 관한 특성 정보를 갖는 화상 표시 장치와,
상기 화상 표시 장치에 접속되어, 화상 데이터를 송수신 가능한 정보 통신 단말기를 구비하고,
상기 정보 통신 단말기는, 상기 화상 표시 장치의 고유한 식별 정보를 상기 화상 표시 장치로부터 취득함과 함께, 상기 식별 정보에 기초하여 취득한 상기 표시부, 상기 광학계, 또는 상기 센서에 관한 특성 정보를 사용하여 처리한 후의 화상을 상기 화상 표시 장치에 송출하는, 화상 표시 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012187028 | 2012-08-27 | ||
| JPJP-P-2012-187028 | 2012-08-27 | ||
| PCT/JP2013/070978 WO2014034378A1 (ja) | 2012-08-27 | 2013-08-02 | 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150047481A true KR20150047481A (ko) | 2015-05-04 |
Family
ID=50183196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157003165A KR20150047481A (ko) | 2012-08-27 | 2013-08-02 | 화상 표시 장치 및 화상 표시 방법, 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20150213573A1 (ko) |
| EP (1) | EP2889873B1 (ko) |
| JP (1) | JPWO2014034378A1 (ko) |
| KR (1) | KR20150047481A (ko) |
| CN (1) | CN104584115B (ko) |
| MY (1) | MY174590A (ko) |
| RU (1) | RU2649950C2 (ko) |
| WO (1) | WO2014034378A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104483754A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对视觉障碍患者的头戴式多媒体终端辅助观看系统 |
| JP6638325B2 (ja) * | 2015-10-30 | 2020-01-29 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| US20160165220A1 (en) * | 2014-12-08 | 2016-06-09 | Seiko Epson Corporation | Display apparatus and method of controlling display apparatus |
| JP6514089B2 (ja) * | 2015-11-02 | 2019-05-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| EP3399364A4 (en) * | 2015-12-31 | 2019-09-11 | Shenzhen Royole Technologies Co., Ltd. | DISPLAY DEVICE ATTACHED TO HEAD AND DISPLAY SYSTEM ATTACHED TO HEAD |
| US10176785B2 (en) * | 2016-05-17 | 2019-01-08 | International Business Machines Corporation | System and method of adjusting a device display based on eyewear properties |
| GB2557569B (en) * | 2016-09-09 | 2022-07-06 | Displaylink Uk Ltd | Adjusting display data |
| US10354573B2 (en) * | 2017-07-25 | 2019-07-16 | Lenovo (Singapore) Pte Ltd | Screen color calibration |
| CN107633792B (zh) * | 2017-08-31 | 2023-07-21 | 北京集创北方科技股份有限公司 | 一种显示设备和显示控制方法 |
| CN107517332A (zh) * | 2017-09-25 | 2017-12-26 | 四川长虹电器股份有限公司 | 基于电视机的自动gamma数据校正系统 |
| CN108282664B (zh) | 2018-01-30 | 2020-12-29 | 深圳创维－Rgb电子有限公司 | 图像处理方法、装置、系统及计算机可读存储介质 |
| US10559276B2 (en) * | 2018-02-03 | 2020-02-11 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
| WO2020065792A1 (ja) * | 2018-09-26 | 2020-04-02 | Ｎｅｃディスプレイソリューションズ株式会社 | 映像再生システム、映像再生機器、及び映像再生システムのキャリブレーション方法 |
| CN114682524B (zh) * | 2020-12-31 | 2023-07-28 | 合肥美亚光电技术股份有限公司 | 一种信号校正方法、装置及分选设备 |
| CN113538733B (zh) * | 2021-07-09 | 2023-03-14 | 江苏金海星导航科技有限公司 | 一种基于卫星通信和云计算技术的黑匣子系统 |
| CN117572647B (zh) * | 2024-01-15 | 2024-04-26 | 北京晟启光芯科技有限公司 | 一种微显示器、智能显示装置及其画面防抖方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032212A (ja) * | 2000-07-14 | 2002-01-31 | Toshiba Corp | コンピュータシステムおよびヘッドセット型表示装置 |
| GB0121584D0 (en) * | 2001-09-06 | 2001-10-24 | Sockatyes Ltd | A display device |
| CN100350792C (zh) * | 2004-04-14 | 2007-11-21 | 奥林巴斯株式会社 | 摄像装置 |
| JP2006189476A (ja) * | 2004-12-28 | 2006-07-20 | Konica Minolta Photo Imaging Inc | 表示システム |
| JP4693552B2 (ja) * | 2005-08-30 | 2011-06-01 | キヤノン株式会社 | 表示装置、制御装置、及び制御方法 |
| JP5074777B2 (ja) * | 2006-05-22 | 2012-11-14 | キヤノン株式会社 | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
| JP2008258802A (ja) | 2007-04-03 | 2008-10-23 | Canon Inc | 画像表示システム |
| JP4689639B2 (ja) * | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | 画像処理システム |
| JP5092609B2 (ja) | 2007-08-01 | 2012-12-05 | ソニー株式会社 | 画像表示装置及びその駆動方法 |
| US8248509B2 (en) * | 2008-08-01 | 2012-08-21 | Canon Kabushiki Kaisha | Information registration system, information registration method, registration apparatus, and image pickup apparatus |
| EP2637078B1 (en) * | 2010-11-02 | 2020-04-08 | NEC Corporation | Information processing system and information processing method |
| JP2012141461A (ja) * | 2010-12-29 | 2012-07-26 | Sony Corp | ヘッド・マウント・ディスプレイ |
| US10083639B2 (en) * | 2011-02-04 | 2018-09-25 | Seiko Epson Corporation | Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device |
| US9285871B2 (en) * | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Personal audio/visual system for providing an adaptable augmented reality environment |
| US20130248691A1 (en) * | 2012-03-23 | 2013-09-26 | Google Inc. | Methods and Systems for Sensing Ambient Light |
-
2013
- 2013-08-02 JP JP2014532898A patent/JPWO2014034378A1/ja active Pending
- 2013-08-02 MY MYPI2015700045A patent/MY174590A/en unknown
- 2013-08-02 EP EP13833653.2A patent/EP2889873B1/en not_active Not-in-force
- 2013-08-02 RU RU2015105987A patent/RU2649950C2/ru not_active IP Right Cessation
- 2013-08-02 US US14/422,545 patent/US20150213573A1/en not_active Abandoned
- 2013-08-02 KR KR1020157003165A patent/KR20150047481A/ko not_active Application Discontinuation
- 2013-08-02 CN CN201380043754.9A patent/CN104584115B/zh not_active Expired - Fee Related
- 2013-08-02 WO PCT/JP2013/070978 patent/WO2014034378A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP2889873A1 (en) | 2015-07-01 |
| US20150213573A1 (en) | 2015-07-30 |
| EP2889873A4 (en) | 2016-03-09 |
| CN104584115B (zh) | 2019-04-05 |
| MY174590A (en) | 2020-04-28 |
| EP2889873B1 (en) | 2018-07-11 |
| WO2014034378A1 (ja) | 2014-03-06 |
| RU2649950C2 (ru) | 2018-04-05 |
| CN104584115A (zh) | 2015-04-29 |
| JPWO2014034378A1 (ja) | 2016-08-08 |
| RU2015105987A (ru) | 2016-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150047481A (ko) | 화상 표시 장치 및 화상 표시 방법, 정보 통신 단말기 및 정보 통신 방법, 및 화상 표시 시스템 | |
| US10437060B2 (en) | Image display device and image display method, image output device and image output method, and image display system | |
| US9448625B2 (en) | Head-mounted display device, control method for head-mounted display device, and image display system | |
| US6900778B1 (en) | Display apparatus and method with detecting elements allocated on side facing face of user and on lower side of display windows | |
| CN110060614B (zh) | 头部佩戴型显示装置及其控制方法、显示系统 | |
| JP2010050645A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP6464729B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP5464130B2 (ja) | 情報表示システム、装置、方法及びプログラム | |
| US7940295B2 (en) | Image display apparatus and control method thereof | |
| JP2009251428A (ja) | 情報表示システム | |
| JP6561606B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP2009192583A (ja) | 頭部装着式映像表示装置 | |
| CN114860062A (zh) | 图像的显示方法、装置、可读介质和电子设备 | |
| JP6609920B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP2008113317A (ja) | 遠隔作業支援システム | |
| US20230324988A1 (en) | Display calibration | |
| JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
| JP6932526B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
| WO2021140711A1 (ja) | 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法 | |
| US20130100262A1 (en) | Low-noise bioccular digital vision device | |
| JP7503908B2 (ja) | 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法 | |
| JP2021110825A (ja) | 表示制御装置、ヘッドマウントディスプレイ、および画像表示方法 | |
| JP6686697B2 (ja) | 送信制御プログラム、送信制御方法および送信制御システム | |
| JP2006319406A (ja) | カメラモジュール |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |