JP6591667B2 - 画像処理システム、画像処理装置、及びプログラム - Google Patents
画像処理システム、画像処理装置、及びプログラム Download PDFInfo
- Publication number
- JP6591667B2 JP6591667B2 JP2018518083A JP2018518083A JP6591667B2 JP 6591667 B2 JP6591667 B2 JP 6591667B2 JP 2018518083 A JP2018518083 A JP 2018518083A JP 2018518083 A JP2018518083 A JP 2018518083A JP 6591667 B2 JP6591667 B2 JP 6591667B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- display device
- image
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 103
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 14
- 238000009877 rendering Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Geometry (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Digital Computer Display Output (AREA)
Description
なお、ここまでの説明では、画像処理装置10は表示部Dの中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成することとしたが、歪像画像データの中心は、表示装置40の表示部Dの中心でなくてもよい。一例として、本実施の形態の表示装置40は、着用しているユーザの瞳孔を撮影して、その向きを検出する視線検出部を有し、表示部D中の画素であってユーザの視線の中心の画素C(視線中心画素Cと呼ぶ)の位置を特定する情報を出力する。
また、本実施の形態の例において、画像処理装置10は、表示装置40の表示部Dの中心近傍の画像データを、中心部以外の画像データとは別に生成してもよい。この場合画像処理装置10は、中心近傍外の画像データを、上述の歪像画像データとする。具体的に、この例では、画像生成部21は、図7に例示するように、表示部D内の所定の領域として、表示部Dの中心と、その中心(対角線が交差する点)とが一致し、一辺の長さがdであるような正方形状の部分に表示される正方形状の部分画像データ(左目用と右目用とのそれぞれ)をレンダリング処理により生成する(S11)。また画像生成部21は、少なくともd≦r≦Rの範囲の歪像画像データ(左目用と右目用とのそれぞれ)をレンダリング処理により生成する(S12)。
なお、部分画像データも表示部Dの中心部の画像データではなく、視線中心画素Cの中心から上下左右にd/2の範囲の画像データとしてもよい。この例では、画像処理装置10は、表示装置40から表示部D中の視線中心画素Cの位置を特定する情報を、部分画像データが対応する表示部内の領域に係る指示として受け入れる。
なお、部分画像データのサイズ(d)は、可変となっていてもよい。具体的に画像生成部21は、視線中心画素C近傍の範囲を部分画像データとして生成する場合、視線中心画素Cが表示部Dの中心から離れるほどサイズdを小さくするなどとしてもよい。またこのサイズdは、画像生成装置10が実行するゲームのプログラムの指示に従って変更してもよい。
また本実施の形態では、歪像画像データはレンダリング処理により生成することとしていたが、本実施の形態はこれに限られない。例えば、画像処理装置10は、カメラ等で撮像された画像に基づいて歪像画像データを生成してもよい。この例では、画像処理装置10は、歪像画素配列の各画素を順次選択し、カメラが有する各撮像素子のうち、歪像画素配列から選択した画素に対応する位置にある撮像素子が得ている画素値(例えばRGB色空間中の各色の輝度情報)を取得して、選択した画素の画素値を定め、歪像画像データを生成すればよい。
ここまでに述べた本発明の実施の形態は一例であり、本実施の形態はここに述べた例に限られない。例えば、画像データを配信するサーバが、矩形格子状に配列された画素により表される配信対象の画像データを受け入れ、当該受け入れた画像データの少なくとも一部(例えば当該画像データの中心から所定半径の円内)を、所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データに変換し、この変換により得られた歪像画像データを、ネットワークを介して配信してもよい。ここで配信される画像データは静止画像の画像データに限られず、複数の静止画像を含む動画像の画像データであってもよい。動画像データが例えばMPEG(Motion Picture Experts Group)の規定により符号化されている場合は、Iフレーム(フレーム間予測を用いないで符号化されるフレーム)のみ、その少なくとも一部をこの歪像画像データに変換してもよい。また、歪像画像データに変換されていない部分がある場合は当該部分については従来通りの符号化方法で符号化して残差画像データとして配信する。
本発明によると、ユーザに高精細な画像を視認させつつ、伝送する画像データのデータ量を低減できる。
Claims (9)
- 表示装置と、
当該表示装置に接続される画像処理装置とを含み、
前記画像処理装置は、
表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
前記生成した歪像画像データを出力する出力手段と、
を有し、
前記表示装置は、
前記画像処理装置が出力した歪像画像データを、前記表示部における画素配列を有する画像データに変換する表示装置である、
画像処理システム。 - 表示部を備えた表示装置に接続され、
表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
前記生成した歪像画像データを出力する出力手段と、
を有し、
前記歪像画像データを、前記表示装置における、前記表示部の画素配列を有する画像データに変換する処理に供する画像処理装置。 - 表示装置に接続され、
表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
前記生成した歪像画像データを出力する出力手段と、
を有し、
前記画像生成手段は、
前記表示装置において動径方向に配列して表示される画素を、互いに交差する第1、第2の軸を有する座標系内の前記第1の軸に沿って配列し、前記表示装置において角度方向に配列して表示される画素を、前記座標系内の前記第2の軸に沿って配列した歪像画像データであって、前記表示装置において表示される各画素を、前記表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する手段と、
前記生成した歪像画像データを出力する出力手段と、
を含む画像処理装置。 - 請求項3記載の画像処理装置であって、
前記座標系は、前記第1、第2の軸が互いに直交する直交座標系である画像処理装置。 - 請求項2から4のいずれか一項に記載の画像処理装置であって、
前記画像生成手段は、さらに、前記表示装置の表示部内の所定の領域内に表示される部分画像データを、前記歪像画像データとは別に生成し、
前記出力手段は、当該部分画像データと歪像画像データとを出力する画像処理装置。 - 請求項5記載の画像処理装置であって、
前記画像生成手段は、前記部分画像データが対応する表示部内の領域に係る指示を受け入れて、当該受け入れた指示に従って、前記部分画像データを生成する画像処理装置。 - 矩形格子状に配列された画素により表される画像データを受け入れる手段と、
前記受け入れた画像データの少なくとも一部を、所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データに変換する手段と、
当該変換により得られた歪像画像データを出力する手段と、
を含む画像処理装置。 - 所定の中心点から所定角度ごとに動径方向に配列した画素により表される歪像画像データを受け入れる手段と、
前記受け入れた歪像画像データを、矩形格子状に配列された画素により表される画像データの少なくとも一部に変換する手段と、
当該変換により得られた画像データを出力する手段と、
を含む画像処理装置。 - 表示部を備えた表示装置に接続される画像処理装置を、
表示の対象となる画像データを生成する画像生成手段であって、前記表示装置において表示される前記画像データの各画素を、前記表示装置の表示部における画素配列とは異なる、前記表示部の中心からの距離が短いほど画素の密度が高くなる配列に並べ替えた歪像画像データを生成する画像生成手段と、
前記生成した歪像画像データを出力する出力手段と、
として機能させ、
前記歪像画像データを、前記表示装置における、前記表示部の画素配列を有する画像データに変換する処理に供するプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101638 | 2016-05-20 | ||
JP2016101638 | 2016-05-20 | ||
PCT/JP2017/005743 WO2017199495A1 (ja) | 2016-05-20 | 2017-02-16 | 画像処理システム、画像処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017199495A1 JPWO2017199495A1 (ja) | 2018-09-20 |
JP6591667B2 true JP6591667B2 (ja) | 2019-10-16 |
Family
ID=60326478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018518083A Active JP6591667B2 (ja) | 2016-05-20 | 2017-02-16 | 画像処理システム、画像処理装置、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10679589B2 (ja) |
JP (1) | JP6591667B2 (ja) |
WO (1) | WO2017199495A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7372061B2 (ja) * | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | 遠隔作業支援システム |
US11069028B2 (en) * | 2019-09-24 | 2021-07-20 | Adobe Inc. | Automated generation of anamorphic images for catoptric anamorphosis |
US12046475B2 (en) | 2021-01-14 | 2024-07-23 | Taiwan Semiconductor Manufacturing Co., Ltd. | Surface oxidation control of metal gates using capping layer |
GB2610557B (en) * | 2021-09-02 | 2023-09-06 | Cooke Optics Ltd | Apparatuses, methods and computer programmes for use in modelling images captured by anamorphic lenses |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3263278B2 (ja) | 1995-06-19 | 2002-03-04 | 株式会社東芝 | 画像圧縮通信装置 |
US7495638B2 (en) * | 2003-05-13 | 2009-02-24 | Research Triangle Institute | Visual display with increased field of view |
JP2010283567A (ja) | 2009-06-04 | 2010-12-16 | Alpine Electronics Inc | 撮像装置及び車両周囲画像提供装置 |
US9406166B2 (en) * | 2010-11-08 | 2016-08-02 | Seereal Technologies S.A. | Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles |
JP6391423B2 (ja) | 2014-10-24 | 2018-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法 |
-
2017
- 2017-02-16 US US16/300,306 patent/US10679589B2/en active Active
- 2017-02-16 WO PCT/JP2017/005743 patent/WO2017199495A1/ja active Application Filing
- 2017-02-16 JP JP2018518083A patent/JP6591667B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20190122643A1 (en) | 2019-04-25 |
US10679589B2 (en) | 2020-06-09 |
JPWO2017199495A1 (ja) | 2018-09-20 |
WO2017199495A1 (ja) | 2017-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108292489B (zh) | 信息处理装置和图像生成方法 | |
JP6563043B2 (ja) | 映像表示システム | |
CA2928248C (en) | Image display device and image display method, image output device and image output method, and image display system | |
JP6591667B2 (ja) | 画像処理システム、画像処理装置、及びプログラム | |
JP6474278B2 (ja) | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 | |
EP3333808B1 (en) | Information processing device | |
JP6228640B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
KR102204212B1 (ko) | 실감형 콘텐츠 제공 장치 및 방법 | |
US11960086B2 (en) | Image generation device, head-mounted display, and image generation method | |
US10650507B2 (en) | Image display method and apparatus in VR device, and VR device | |
US20220113543A1 (en) | Head-mounted display and image display method | |
JP6682624B2 (ja) | 画像処理装置 | |
JP2021039444A (ja) | 画像処理装置及びその制御方法及びプログラム | |
CN108572450B (zh) | 头戴式显示器、其视野校正方法以及混合现实显示系统 | |
JP2017046065A (ja) | 情報処理装置 | |
US20210400234A1 (en) | Information processing apparatus, information processing method, and program | |
WO2017191703A1 (ja) | 画像処理装置 | |
CN112925430A (zh) | 实现悬浮触控的方法、3d显示设备和3d终端 | |
JP6333893B2 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
WO2022255058A1 (ja) | 情報処理装置および画像生成方法 | |
US12099649B2 (en) | Display device and image display method | |
WO2013146385A1 (ja) | 表示装置及びプログラム | |
US20220113794A1 (en) | Display device and image display method | |
JP2018040822A (ja) | ヘッドマウントディスプレイ、制御プログラムおよび制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6591667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |