JP7188440B2 - 画像処理装置、画像処理方法及び記録媒体 - Google Patents

画像処理装置、画像処理方法及び記録媒体 Download PDF

Info

Publication number
JP7188440B2
JP7188440B2 JP2020511605A JP2020511605A JP7188440B2 JP 7188440 B2 JP7188440 B2 JP 7188440B2 JP 2020511605 A JP2020511605 A JP 2020511605A JP 2020511605 A JP2020511605 A JP 2020511605A JP 7188440 B2 JP7188440 B2 JP 7188440B2
Authority
JP
Japan
Prior art keywords
variable
image processing
image
video data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020511605A
Other languages
English (en)
Other versions
JPWO2019193807A1 (ja
Inventor
徹 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019193807A1 publication Critical patent/JPWO2019193807A1/ja
Application granted granted Critical
Publication of JP7188440B2 publication Critical patent/JP7188440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本開示は、画像処理装置、画像処理方法及び記録媒体に関する。詳しくは、映像データのダイナミックレンジの変換に関する。
ＶＲ（Virtual Reality）技術の広まりに伴い、３６０度全方位を撮影できる全天球カメラが広く利用されている。また、全天球カメラで撮影された全天球画像や全天球動画等の全天球コンテンツの視聴環境として、ＨＭＤ（Head Mounted Display）等が普及し始めている。
ここで、全天球コンテンツをＨＭＤで視聴する際の視認性を向上させるため、ユーザの視線方向に合わせて動的に映像の明るさを調整し、撮像時のダイナミックレンジを疑似的に上げる技術が知られている。
特開２０１７－２２６６５号公報
しかしながら、上記の従来技術では、画像の明暗を明瞭に表現することができるとは限らない。例えば、従来技術は、映像データのうち所定範囲の画素の明るさの平均値を算出し、算出後の明るさの平均値を一定範囲の明るさに調整する。しかしながら、画像の明るさを一様に調整するのみでは、単に画像全体の明るさが変化するに過ぎず、画像内の明暗を明瞭に表現することができない場合がある。例えば、画像の明るさを一様に調整するのみでは、変換後の画像に黒潰れや白とびが発生することを防止できない場合がある。
なお、上記のような問題は、全天球コンテンツをＨＭＤで視聴するという状況以外でも生じうる。例えば、ユーザの視聴環境が、本来のダイナミックレンジでコンテンツを再生することのできない場合、ダイナミックレンジを変換してコンテンツの再生が行われる。このように、コンテンツ再生時に、コンテンツが記録された際のダイナミックレンジの変換が生じる場合には、変換後の画像における明暗が明瞭に表現されないおそれがある。
そこで、本開示では、画像の明暗を明瞭に表現することができる画像処理装置、画像処理方法及び記録媒体を提案する。
上記の課題を解決するために、本開示に係る一形態の画像処理装置は、第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部とを具備する。
（作用）本開示の画像処理装置は、第１の映像データ全体の画素情報ではなく、ユーザの動作に応じて決定される所定領域に含まれる画素を選択的に用いて画像処理を行う。具体的には、本開示の画像処理装置は、所定領域に含まれる各画素の輝度値の分布に基づいて、映像データを変換する際に用いる変数を動的に決定する。このように、本開示の画像処理装置は、ユーザの動作に応じて選択される画素情報を用いることで、映像データの変換処理をユーザの動作に応じてインタラクティブに変化させる。
本開示に係る画像処理装置、画像処理方法及び記録媒体によれば、画像の明暗を明瞭に表現することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の実施形態に係る画像処理システムの一例を示す図である。 画像に含まれる画素の輝度値の分布を示すヒストグラムである。 本開示の第１の実施形態に係る画像処理の一例を説明するための図である。 本開示の第１の実施形態に係る画像処理の一例を示す図（１）である。 本開示の第１の実施形態に係る画像処理の一例を示す図（２）である。 本開示の第１の実施形態に係る処理の流れを示すフローチャートである。 本開示の第１の実施形態の変形例に係る画像処理の一例を示す図である。 本開示の第２の実施形態に係る画像処理システムの一例を示す図である。 本開示の第２の実施形態に係る画像処理の一例を示す図である。 本開示の第２の実施形態に係る画像処理の一例を説明するための図である。 本開示の第２の実施形態に係る処理の流れを示すフローチャートである。 本開示の第３の実施形態に係る画像処理システムの一例を示す図である。 画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．第１の実施形態に係る画像処理システムの構成
１－２．第１の実施形態に係る画像処理の一例
１－３．第１の実施形態に係る画像処理の手順
２．第１の実施形態の変形例
３．第２の実施形態
３－１．第２の実施形態に係る画像処理システムの構成
３－２．第２の実施形態に係る画像処理の一例
３－３．第２の実施形態に係る画像処理の手順
４．第３の実施形態
４－１．第３の実施形態に係る画像処理システムの構成
５．その他の実施形態
６．ハードウェア構成
（１．第１の実施形態）
［１－１．第１の実施形態に係る画像処理システムの構成］
図１は、本開示の第１の実施形態に係る画像処理システム１の一例を示す図である。図１に示すように、画像処理システム１は、ＨＭＤ１０と、画像処理装置１００とを含む。
ＨＭＤ１０は、ユーザの頭部に装着されるディスプレイ装置であり、いわゆるウェアラブルコンピュータ（wearable computer）である。ＨＭＤ１０は、ユーザの身体の向きや動き、移動速度等に応じた表示処理を実現する。
画像処理装置１００は、本開示に係る画像処理を実行する情報処理装置である。画像処理装置１００は、例えばＨＭＤ１０から送信されるリクエストに応じて、保持するコンテンツをＨＭＤ１０に送信する。
画像処理装置１００は、コンテンツとして、例えば３６０度全方位を撮影できる全天球カメラで撮影された全天球コンテンツを送信する。一般に、全天球コンテンツは、ＨＭＤ１０のような表示装置が一度に表示可能な情報量（画像の大きさ）と比較して、より多くの情報量を有する。すなわち、ＨＭＤ１０は、同時に全天球コンテンツの全領域を表示することができないため、表示装置のディスプレイの大きさ（言い換えれば、ユーザの視野画角）に応じて切り取られた一部領域のみを表示する。
ここで、全天球コンテンツは、３６０度全方位を撮影して作成されるという特性上、１枚の画像内に明るい場所と暗い場所とが同時に映り込んでしまうことが避けられない。このため、全天球コンテンツは、撮影範囲の制限された通常のコンテンツ（例えば、露光を調整可能な環境下で作成されるコンテンツ）よりも広いダイナミックレンジで記録されることが望ましい。例えば、全天球コンテンツは、一般的なダイナミックレンジであるＳＤＲ（Standard Dynamic Range）で記録されるよりも、より広いダイナミックレンジであるＨＤＲ（High Dynamic Range）等で記録される方が望ましい。
しかしながら、ＨＭＤ１０のような全天球コンテンツの視聴環境は、ＨＤＲで記録されたコンテンツの再生に対応していない場合もある。この場合、ＨＤＲで記録された全天球コンテンツは、ＨＭＤ１０等の視聴環境に合わせて、再生時にＳＤＲ等のより低いダイナミックレンジに変換される。このとき、全天球コンテンツの全領域に対して一様にＳＤＲへの変換を行うと、明暗の混在する領域に対して変換処理を行うことになるため、明瞭な画像が得られない場合がある。具体的には、全天球コンテンツの全領域に対して一様にＳＤＲへの変換が行われると、白とびや黒潰れが発生してしまう箇所が出てきたり、明暗混ざった領域を無理に表現することによって不自然な画像に変換されたりするおそれがある。
そこで、本開示に係る画像処理システム１は、全天球コンテンツから、ＨＭＤ１０を利用するユーザの視野画角に応じた領域を抽出するとともに、抽出した領域に含まれる画素の輝度値の分布に応じたインタラクティブな変換処理を行う。これにより、本開示に係る画像処理システム１は、ユーザの視覚特性に合わせ、明暗が適切に表現された変換後の画像をユーザに提供する。以下、図１を用いて、本開示に係る画像処理システム１を構成する各装置について説明する。
まず、ＨＭＤ１０について説明する。図１に示すように、ＨＭＤ１０は、検知部１５と、送信部１６と、受信部１７と、表示制御部１８といった各処理部を有する。各処理部は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、ＨＭＤ１０内部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
検知部１５は、ＨＭＤ１０が備えるセンサ１５Ａを制御することにより、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する。具体的には、検知部１５は、ユーザの動作に関する情報として、ユーザの頭部や姿勢に関する情報、ユーザの頭部や身体の動き（加速度や角速度）、視野の方向や視点移動の速度等を検知する。例えば、検知部１５は、センサ１５Ａとして、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサを制御し、ユーザの動作に関する情報を検知する。なお、センサ１５Ａは、必ずしもＨＭＤ１０内部に備えられることを要せず、例えば、ＨＭＤ１０と有線もしくは無線で接続された外部センサであってもよい。
送信部１６は、有線又は無線ネットワーク等を介して各種情報を送信する。例えば、送信部１６は、検知部１５によって検知されたユーザの動作に関する情報を画像処理装置１００に送信する。また、送信部１６は、全天球コンテンツをＨＭＤ１０に送信する旨のリクエストを画像処理装置１００に送信する。
受信部１７は、有線又は無線ネットワーク等を介して各種情報を受信する。例えば、受信部１７は、表示制御部１８で表示する画像（より正確には、画像として表示される画素情報等のデータ）を受信する。具体的には、受信部１７は、全天球コンテンツのうち、画像処理装置１００によって一部領域がＳＤＲに変換された画像を受信する。
表示制御部１８は、受信部１７によって受信された画像の表示処理を制御する。具体的には、表示制御部１８は、全天球コンテンツのうち、画像処理装置１００によって一部領域がＳＤＲに変換された画像を表示する処理を制御する。具体的には、表示制御部１８は、ＳＤＲに変換された画像をディスプレイ１８Ａに表示する処理を制御する。なお、ディスプレイ１８Ａは、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや、液晶ディスプレイ等によって実現される。
また、図１での図示は省略するが、ＨＭＤ１０は、ユーザからの操作を受け付けるための入力部や、受信した全天球コンテンツを記憶する記憶部や、音声出力機能を有する出力部等を有していてもよい。
続いて、画像処理装置１００について説明する。図１に示すように、画像処理装置１００は、コンテンツ記憶部１２１という記憶部と、取得部１３１と、領域決定部１３２と、解析部１３３と、変数決定部１３４と、変換部１３５と、送信部１３６といった各処理部を有する。
コンテンツ記憶部１２１は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。コンテンツ記憶部１２１は、例えば、ＨＤＲで記録された全天球コンテンツを記憶する。全天球コンテンツは、全天球カメラで撮影されたり、複数の画像をつなぎ合わせたり（スティッチ）することによって作成される静止画や動画等の映像コンテンツ等である。
取得部１３１等の各処理部は、例えば、ＣＰＵやＭＰＵ等によって、画像処理装置１００内部に記憶されたプログラム（例えば、本開示に係る記録媒体に記録された画像処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
取得部１３１は、有線又は無線ネットワーク等を介して各種情報を取得する。例えば、取得部１３１は、ＨＭＤ１０から送信されるユーザの動作に関する情報を取得する。また、取得部１３１は、ＨＭＤ１０から送信されるリクエストであって、全天球コンテンツをＨＭＤ１０に送信する旨の要求を含むリクエストを受信する。
領域決定部１３２は、取得部１３１によって取得されたユーザの動作に関する情報に基づいて、ＨＭＤ１０に送信する全天球コンテンツのうち、ＨＭＤ１０の表示制御部１８において表示される所定領域（以下、区別のため「処理領域」と称する）を決定する。
例えば、領域決定部１３２は、ＨＭＤ１０を装着するユーザの頭部姿勢に関する情報に基づいて、全天球コンテンツにおいてユーザが視聴しようとする領域を特定する。具体的には、領域決定部１３２は、ＨＭＤ１０が備えるセンサ１５Ａによって検知された情報に基づいて、全天球コンテンツにおいて、ユーザの視野に対応する領域（以下、区別のため「表示領域」と称する）を特定する。なお、このような表示領域の特定処理については、種々の公知技術が適宜利用されてもよい。また、ユーザの動作に関する情報とは、ＨＭＤ１０から送信された情報（例えばユーザの頭部や姿勢から推定される視野方向、あるいはユーザの動作速度等）のみならず、ＨＭＤ１０から送信された情報に基づいて算出もしくは推定される情報であってもよい。例えば、領域決定部１３２は、ＨＭＤ１０から送信された情報に基づいて、全天球コンテンツのうち、表示領域を特定するための座標情報を算出してもよい。この場合、ユーザに動作に関する情報とは、表示領域を特定するための座標情報と読み替えてもよい。
続いて、領域決定部１３２は、全天球コンテンツにおいて特定した表示領域から、実際の視聴環境に応じた処理領域を決定する。例えば、領域決定部１３２は、全天球コンテンツを構成する画像（例えば正距円筒画像やキューブマップ画像、魚眼レンズ画像等）において特定した表示領域を、ＨＭＤ１０の視野画角に合わせた透視投影画像に変換する。そして、領域決定部１３２は、変換後の透視投影画像をＨＭＤ１０における処理領域と決定する。言い換えれば、領域決定部１３２は、ユーザの動作に関する情報に基づき特定された全天球コンテンツの一部である表示領域を投影変換し、投影変換後の画像を生成する。そして、領域決定部１３２は、投影変換によって生成された投影変換後の画像に対応する領域を処理領域として決定する。
解析部１３３は、領域決定部１３２によって決定された処理領域（すなわち、表示領域を投影変換した後の画像）に含まれる各画素の情報を解析する。具体的には、解析部１３３は、処理領域に含まれる画素の総数を算出する。また、解析部１３３は、処理領域に含まれる各画素の輝度値を取得する。
ここで、画像をＨＤＲからＳＤＲへと変換する際には、所定の輝度値を基準としてＨＤＲの画素の輝度値に重みを付けて丸めるトーンマッピング（Tone mapping）と呼ばれる処理が行われる。以下、トーンマッピングの処理について順を追って説明する。
まず、解析部１３３は、処理領域内の画素を解析することで、トーンマッピングに用いられる基準となる輝度値（以下、「基準輝度」と称する）を算出する。トーンマッピングの手法には種々の従来技術が存在するが、一般に、低輝度に多くの情報量を割り当て、高輝度の圧縮を強めるような非線形な変換関数によるもののほうが人間の視覚特性に近いとされる。このような視覚特性に対応したトーンマッピングの変換式として、例えば式（１）が知られている。
Figure 0007188440000001
式（１）において、Ｌω（ｘ，ｙ）は、処理領域に含まれる任意の画素ω（ｘ，ｙ）における輝度値を示す。また、Ｎは、処理領域中の総画素数を示す。また、δは、例えば画像中に黒画素が存在した場合の特異点を避けるための任意の定数である。式（１）に示されるように、Ｌ－ ωは、処理領域における総画素の輝度値の対数平均であり、かかるＬ－ ωが、当該処理領域におけるトーンマッピングの基準輝度となる。
トーンマッピングは、式（１）で算出された基準輝度を用いて、ＨＤＲで記録された各画素の輝度値をスケーリングすることにより行われる。例えば、スケーリングは、式（２）を用いて行われる。
Figure 0007188440000002
式（２）において、Ｌ（ｘ，ｙ）は、任意の画素ω（ｘ，ｙ）のスケーリング後の輝度を示す。すなわち、式（２）による処理を経て、ＨＤＲで記録された画素の輝度値Ｌωは、ＳＤＲで表示される画素の輝度値Ｌにスケーリングされる。
式（２）における「ａ」は、一般にキー値と呼ばれる変数であり、画像全体の明るさを決定する変数である。キー値には、慣習的に「０．０４５」、「０．０９」、「０．１８」、「０．３６」、「０．７２」等の値が設定される。キー値が大きいほど、処理領域に表示される画像の輝度値が上がるため、画像が明るく表示される。なお、詳細は後述するが、本開示の画像処理では、式（２）のキー値ａは、慣習的な値ではなく、処理領域が含む各画素の輝度値の分布に基づいて変数決定部１３４によって決定される。
式（２）を用いてスケーリングされた輝度値は、さらに高輝度値の圧縮を強める為の制約が加えられる。例えば、スケーリングされた輝度値Ｌ（ｘ，ｙ）について、さらに式（３）が適用される。
Figure 0007188440000003
式（３）において、Ｌｄ（ｘ，ｙ）は、画素（ｘ，ｙ）のＳＤＲ変換後の輝度値を示す。なお、本開示において、輝度値は、浮動小数点等の表現手法を用いて、ＨＤＲ及びＳＤＲのいずれにおいても０から１までの間の任意の数値で表現されるものとする。
このように、解析部１３３は、ユーザの動作に関する情報に基づき表示領域を特定し、さらに表示領域を透視投影して得られた処理領域に含まれる各画素から、トーンマッピングの基準輝度Ｌ－ ωを決定する。
変数決定部１３４は、第１のダイナミックレンジで記録された第１の映像データのうち、処理領域が含む各画素の輝度値の分布に基づいて、第１のダイナミックレンジを変換した際の各画素の輝度値の算出に用いられる変数を決定する。本開示において、第１のダイナミックレンジは、ＨＤＲを示す。また、第１の映像データとは、全天球コンテンツを示す。
すなわち、変数決定部１３４は、処理領域に含まれる各画素の輝度値の分布に基づいて、ＨＤＲをＳＤＲに変換した際の各画素の輝度値の算出に用いられる変数を決定する。本開示において、変数決定部１３４が決定する変数とは、式（２）に示されるキー値ａである。
例えば、変数決定部１３４は、処理領域に含まれる各画素の分布に基づいて、処理領域内の輝度値の最頻値を特定する。そして、変数決定部１３４は、変換後の画像において、最頻値の輝度近傍の画素がより正確に表現されるよう、キー値ａを決定する。言い換えれば、変数決定部１３４は、変換後の画像において、最頻値近傍の明暗がより詳細なコントラストによって表現されるようにキー値ａを決定する。
一例として、変数決定部１３４は、最頻値に対応する画素の変換後の輝度値Ｌｄが「０．５」となるよう、キー値ａを動的に決定する。これは、Ｌｄ（ｘ，ｙ）を「０．５」に設定することにより、最頻値付近における輝度値を表現するビット割り当て（情報量）が増加するからである。
この点について、図２及び図３を用いて説明する。図２は、画像に含まれる画素の輝度値の分布を示すヒストグラムである。図２では、画像（処理領域）に含まれる画素の輝度値の分布を概念的に示している。図２に示したヒストグラムは、縦軸が画素数に対応し、横軸が輝度値に対応する。図２に示すように、一般に輝度値の最頻値Ｌｍの付近には、処理領域に含まれる全画素のうち比較的多くの画素が分布する場合が多い。
そして、図２で示された各画素を、最頻値Ｌｍに対応する画素の変換後の値（式（３）のＬｄ（ｘ，ｙ））が「０．５」となるよう、変数を動的に決定した場合、式（３）は、図３に示すグラフとして描画される。図３は、本開示の第１の実施形態に係る画像処理の一例を説明するための図である。図３のグラフは、縦軸が式（３）によって算出される最終的な画素の輝度値Ｌｄに対応し、横軸が式（２）によってスケーリングされた直後の画素の輝度値Ｌに対応する。図３に示すように、最頻値Ｌｍにおいて式（３）の左辺を「０．５」と仮定すると、最頻値Ｌｍ近傍に、比較的多くの情報量が割り当てられることになる。
例えば、図３に示した例では、式（３）による変換前の輝度値の範囲Ｅ０１と範囲Ｅ０２とは同一の輝度値の範囲（幅）を示す。一方で、範囲Ｅ０１に対応した変換後の輝度値の範囲Ｆ０１は、範囲Ｅ０２に対応した変換後の輝度値の範囲Ｆ０２と比較して、広い輝度値の範囲を含む。このことは、最頻値Ｌｍ近傍の輝度値を有する画素が、ＳＤＲ変換においてより細かい階調に割り当てられることにより、変換後の画像において明暗が明瞭に表現されることを意味している。
なお、上記のように、式（３）のＬｄ（ｘ，ｙ）を「０．５」と仮定すると、式（２）及び（３）から、キー値ａは、以下のように表される。
Figure 0007188440000004
式（４）において、「Ｌｍ」は、処理領域が含む各画像の輝度値の最頻値を示す。このように、変数決定部１３４は、変換後の画像の明るさを決定する変数であるキー値ａを、処理領域が含む各画素の輝度値の分布に基づいて動的に決定することができる。具体的には、変数決定部１３４は、各画素の対数平均輝度値（基準輝度Ｌ－ ω）を、処理領域に含まれる各画素の輝度値の最頻値Ｌｍで除して算出した値を、キー値ａと決定する。
なお、式（４）では、最頻値Ｌｍの変換後の輝度値Ｌｄ（ｘ，ｙ）が「０．５」となるよう仮定した場合のキー値ａを算出する手法を示したが、Ｌｄ（ｘ，ｙ）は必ずしも「０．５」であることを要しない。例えば、変数決定部１３４は、変換の対象となる処理領域に含まれる各画素の分布や、変換後の画像全体の明るさを適宜調整するため、最頻値Ｌｍの変換後の輝度値Ｌｄ（ｘ，ｙ）を「０．５」以外の数値と設定してもよい。
また、変数決定部１３４は、ユーザの動作に関する情報が所定の条件を満たす場合に、キー値ａを決定するようにしてもよい。なお、変数決定部１３４は、ユーザの動作に関する情報が所定の条件を満たさない場合には、キー値ａを新たに決定する処理をスキップしてもよい。
ユーザの動作に関する情報とは、処理領域を決定するための情報であり、例えば、ユーザの頭部姿勢に関する情報や、ユーザの動作速度等である。また、所定の条件とは、例えば、ユーザの動作速度等が満たすべき条件である。
例えば、変数決定部１３４は、所定の条件を満たす場合として、ユーザの動作速度が所定閾値以下である場合に、キー値ａを新たに決定すると判定してもよい。具体的には、変数決定部１３４は、ユーザの動作速度が所定閾値以下である場合に、ユーザの動作に関する情報に応じて決定された処理領域に含まれる各画素の輝度値の分布に基づいて、キー値ａを決定する。ユーザの動作速度とは、例えばＨＭＤ１０自体の動作速度や、ユーザの頭部の角速度等、様々な値であってもよい。例えば、ユーザの動作速度とは、全天球コンテンツのうち、ユーザがある領域を注視していると推定される任意の速度であってもよい。すなわち、ユーザの動作速度が所定の閾値を超えている場合は、ユーザは、全天球コンテンツのうちどの領域を視聴するかを迷っている状態と想定される。一方で、ユーザの動作速度が所定の閾値以下である場合は、ユーザは、全天球コンテンツのうち、視線を向けた領域を注視している状態と想定される。そして、変数決定部１３４は、ユーザが注視している領域がある程度定まったと判定可能な状態において、キー値ａを決定する処理を実行する。
一方、変数決定部１３４は、ユーザの動作速度が所定閾値を超える場合には、ユーザが注視する領域が定まっていないと想定されることから、キー値ａを新たに決定しなくてもよい。なお、キー値ａを新たに決定する処理がスキップされた場合、後述する変換部１３５は、所定の条件を満たした処理領域に含まれる各画素の輝度値の分布に基づいて決定された既存のキー値ａを利用して変換処理を行う。例えば、変換部１３５は、直前に決定されていたキー値ａや、予め設定された所定値（初期値等）を利用して変換処理を行う。言い換えれば、変換部１３５は、上述した所定の条件の判定時点以前に決定された既存のキー値ａを利用して変換処理を行う。
これは、所定閾値を超えた速度が観測される場合、ユーザが激しく動きまわっていたり、全天球コンテンツを様々に見回していたりする状況が想定されることによる。かかる状況に関わらず、画像処理装置１００が新たにキー値ａを算出し、ユーザの視線に合わせてリアルタイムに変換処理を行い続けると、ＨＭＤ１０で表示される画像にちらつきが発生する可能性がある。このため、変数決定部１３４は、ユーザの動作速度が所定閾値を超える場合にはキー値ａを新たに決定せず、トーンマッピング処理の切り替えを抑えることで、ちらつきが発生することを防止できる。なお、動作速度の閾値は、必ずしも一定値ではなく、例えば全天球コンテンツで再生されているシーンや、コンテンツの内容に応じて、適宜変化してもよい。
また、変数決定部１３４は、ユーザの動作速度以外を条件として、キー値ａを新たに決定するか否かを判定してもよい。例えば、変数決定部１３４は、処理領域に含まれる各画素の画素情報が所定の条件を満たす場合、キー値ａを新たに決定してもよい。具体的には、変数決定部１３４は、所定の条件を満たす場合として、処理領域に含まれる各画素の画素情報の所定時間における変化量が所定閾値以下である場合に、当該処理領域に含まれる各画素の輝度値の分布に基づいてキー値ａを決定してもよい。なお、変数決定部１３４は、処理領域に含まれる各画素の画素情報が所定の条件を満たさない場合には、キー値ａを新たに決定する処理をスキップしてもよい。キー値ａの決定処理がスキップされた場合、後述する変換部１３５は、処理領域に含まれる各画素の画素情報に関する所定の条件の判定時点以前に決定された既存のキー値ａを利用して変換処理を行う。
例えば、全天球コンテンツが動画である場合、所定時間（例えば数秒）のうちに、処理領域内の各画素の画素情報（輝度や色情報）が頻繁に変化することが想定される。このような場合、キー値ａや基準輝度を頻繁に更新すると、上記と同様、ちらつきが発生する可能性がある。このため、変数決定部１３４は、例えば、処理領域が含む各画素の画素情報の所定時間中の変化量が所定閾値以下であるか否かを判定し、変化量が所定閾値以下である場合に、キー値ａを新たに決定するようにしてもよい。
変換部１３５は、変数決定部１３４によって決定された変数に基づいて、第１の映像データを第２のダイナミックレンジで表示される第２の映像データに変換する。本開示において、第２のダイナミックレンジは、例えばＳＤＲを示す。また、第２の映像データとは、処理領域に対応する画像であって、ＳＤＲでＨＭＤ１０等に表示される画像を示す。
具体的には、変換部１３５は、解析部１３３によって決定された基準輝度Ｌ－ ω、及び、変数決定部１３４によって決定されたキー値ａに基づいて、ＨＤＲで記録された全天球コンテンツをＳＤＲで表示される画像に変換する。
上記のように、基準輝度Ｌ－ ω及びキー値ａは、ユーザの動作に応じて決定された処理領域ごとに、動的に決定される。このため、例えば相対的に明るい被写体が映っている領域（全体的な輝度値が高い領域）が視野画角となった場合、基準輝度Ｌ－ ωが高くなることから、高輝度側に多くビットが割り当てられてトーンマッピングが実行される。この場合、変換部１３５は、ＨＤＲで記録された画像を、白とびの抑えられたＳＤＲ画像に変換することができる。
一方、暗い被写体が映っている領域（全体的な輝度値が低い領域）が視野画角となった場合、基準輝度Ｌ－ ωが低くなることから、低輝度側に多くビットが割り当てられてトーンマッピングが実行される。この場合、変換部１３５は、ＨＤＲで記録された画像を、黒潰れが抑えられたＳＤＲ画像に変換することができる。
送信部１３６は、変換部１３５によってＳＤＲに変換された全天球コンテンツをＨＭＤ１０に送信する。例えば、送信部１３６は、全天球コンテンツのうち、ユーザの動作に応じて決定された処理領域に対応する箇所の画像データをＨＭＤ１０に送信する。
［１－２．第１の実施形態に係る画像処理の一例］
図１で示した画像処理システム１によって実行される画像処理について、図４を用いて具体的に説明する。図４は、本開示の第１の実施形態に係る画像処理の一例を示す図（１）である。図４に示す正距円筒画像５０は、ＨＤＲで記録された全天球コンテンツに含まれる画像の一例を示す。
まず、ＨＭＤ１０は、ＨＭＤ１０を装着したユーザの動作を検知する。そして、ＨＭＤ１０は、検知したユーザの動作に関する情報を画像処理装置１００に送信する。画像処理装置１００は、ＨＭＤ１０から取得したユーザの動作に関する情報に基づいて、表示領域５１を特定する（ステップＳ１１）。
画像処理装置１００は、表示領域５１に対応する画像を透視投影変換して、表示領域５１に対応する処理領域を決定する（ステップＳ１２）。図４の例では、画像処理装置１００は、表示領域５１に対応する表示領域として、処理領域５２を決定する。処理領域５２は、ＨＭＤ１０において、実際にユーザが画像を視聴する際の視野画角に対応する領域を示す。
さらに、画像処理装置１００は、処理領域５２に含まれる各画素の分布に基づいて、処理領域５２の画像をＳＤＲに変換する（ステップＳ１３）。すなわち、画像処理装置１００は、正距円筒画像５０から切り出された表示領域５１ではなく、投影変換された後の画像に対応する処理領域５２に含まれる各画素の情報を用いて、変換処理を行う。このように、画像処理装置１００は、実際にユーザがＨＭＤ１０で視聴する領域（処理領域）が含む画素情報を用いて変換処理を行うことで、ユーザにとってより自然な表現と感じられる変換画像を提供することができる。具体的には、画像処理装置１００は、実際にユーザが視聴する領域が含む画素情報を用いて動的にキー値ａを決定し、決定したキー値ａで変換を行うことで、人間の視覚特性に合わせて明暗が表現された画像を提供することができる。
ここで、図４の例では、処理領域５２に含まれる各画素の輝度値の対数平均値や最頻値は、正距円筒画像５０全体に含まれる各画素の輝度値の対数平均値や最頻値と比較して、高い値であるとする。言い換えれば、処理領域５２は、正距円筒画像５０全体と比較して明るい画像である。画像処理装置１００は、処理領域５２が含む各画素の対数平均輝度値や最頻値に基づき決定されたキー値ａを用いてトーンマッピングを行い、ＳＤＲへの変換を行う。結果として、図４に示すように、画像処理装置１００は、処理領域５２で白とびしていた画素の明暗が明確にわかるように変換された変換画像５３を生成することができる。
続いて、ユーザが表示領域５１以外の領域を視聴するよう視野を動かした場合、ＨＭＤ１０は、ユーザの視野の動きを検知する。そして、ＨＭＤ１０は、ＨＭＤ１０を装着したユーザの動作に関する情報を画像処理装置１００に送信する。画像処理装置１００は、ＨＭＤ１０から取得したユーザの動作に関する情報に基づいて、表示領域６１を特定する（ステップＳ２１）。
画像処理装置１００は、表示領域５１における処理と同様、表示領域６１に対応する画像を透視投影変換して、表示領域６１に対応する処理領域を決定する（ステップＳ２２）。図４の例では、画像処理装置１００は、表示領域６１に対応する処理領域として、処理領域６２を決定する。
さらに、画像処理装置１００は、処理領域６２に含まれる各画素の分布に基づいて、処理領域６２に対応する画像をＳＤＲに変換する（ステップＳ２３）。図４の例では、処理領域６２に含まれる各画素の輝度値の対数平均値や最頻値は、正距円筒画像５０全体に含まれる各画素の輝度値の対数平均値や最頻値と比較して、低い値であるとする。言い換えれば、処理領域６２は、正距円筒画像５０全体と比較して暗い画像である。画像処理装置１００は、処理領域６２が含む各画素の対数平均輝度値や最頻値に基づき決定されたキー値ａを用いてトーンマッピングを行い、ＳＤＲへの変換を行う。結果として、図４に示すように、画像処理装置１００は、処理領域６２で黒潰れしていた画素の明暗が明確にわかるように変換された変換画像６３を生成することができる。
上記処理について、図５を用いて詳細に説明する。図５は、本開示の第１の実施形態に係る画像処理の一例を示す図（２）である。図４に係るステップＳ１３において、式（３）に対応するグラフは、例えば図５に示す曲線５４により示される。また、図４に係るステップＳ２３において、式（３）に対応するグラフは、例えば図５に示す曲線６４により示される。図４の例では、処理領域５２と処理領域６２とを比較した場合、処理領域６２の方が全体的に低い輝度の分布を有すると仮定している。このため、処理領域６２における輝度値の最頻値Ｌｍ１は、処理領域５２における輝度値の最頻値Ｌｍ２よりも低い値をとる。図３で説明したように、最頻値Ｌｍ１及び最頻値Ｌｍ２は、変換後の輝度値として「０．５」の値をとることから、図５に示すように、曲線６４は、曲線５４と比べて、輝度値Ｌが相対的に低い範囲において上昇率（傾き）が大きい。
このことは、ステップＳ２３の変換処理では、ステップＳ１３の変換処理に比べて、相対的に低い輝度値の範囲に、より多くの情報量（ビット）が割り当てられていることを意味する。すなわち、画像処理装置１００は、処理領域６２において暗く表示されていた（輝度値の低い）箇所に対して、より重みを置いた変換処理を行う。これにより、画像処理装置１００は、処理領域６２において暗く表示されていた箇所の明暗が明瞭に表示された変換画像６３を生成することができる。一方で、ステップＳ１３の変換処理では、ステップＳ２３の変換処理に比べて、相対的に高い輝度値の範囲により多くの情報量が割り当てられる。すなわち、画像処理装置１００は、処理領域５２において明るく表示されていた（輝度値の高い）箇所に対して、より重みを置いた変換処理を行う。これにより、画像処理装置１００は、処理領域５２において明るく表示されていた箇所（例えば、白とびしそうな輝度値を有する箇所）の明暗が明瞭に表示された変換画像５３を生成することができる。
［１－３．第１の実施形態に係る画像処理の手順］
次に、図６を用いて、第１の実施形態に係る画像処理の手順について説明する。図６は、本開示の第１の実施形態に係る処理の流れを示すフローチャートである。
図６に示すように、画像処理装置１００は、ＨＭＤ１０からユーザの動作に関する情報を取得する（ステップＳ１０１）。そして、画像処理装置１００は、ユーザの動作に関する情報に基づいて、全天球コンテンツの一画像のうち、ユーザの動作（例えば、ユーザの視野方向）に対応する領域を特定する（ステップＳ１０２）。ステップＳ１０２で特定される領域とは、例えば、図４で示した表示領域５１や表示領域６１である。
続けて、画像処理装置１００は、ＨＤＲで記録された全天球コンテンツをコンテンツ記憶部１２１から読み出す（ステップＳ１０３）。さらに、画像処理装置１００は、ステップＳ１０２において特定した領域を投影変換し、当該領域に対応する処理領域を決定する（ステップＳ１０４）。ステップＳ１０４で決定される処理領域とは、例えば、図４で示した処理領域５２や処理領域６２に対応する。
その後、画像処理装置１００は、ステップＳ１０１で取得したユーザの動作に関する情報に基づいて、ユーザの動作速度が所定閾値以下であるか否かを判定する（ステップＳ１０５）。ユーザの動作速度が所定閾値以下である場合（ステップＳ１０５；Ｙｅｓ）、画像処理装置１００は、処理領域内の各画素の画素情報を解析する（ステップＳ１０６）。そして、画像処理装置１００は、各画素の解析結果に基づいて、トーンマッピングに用いる変数（キー値ａ）を決定する（ステップＳ１０７）。
一方、ユーザの動作速度が所定閾値を超える場合（ステップＳ１０５；Ｎｏ）、画像処理装置１００は、既に決定済みの基準輝度及び変数を読み出す（ステップＳ１０８）。言い換えれば、画像処理装置１００は、新たに基準輝度や変数を決定（算出）する処理をスキップする。この場合、画像処理装置１００は、直前の処理において決定した基準輝度及び変数を利用するか、あるいは、予め設定された規定値の基準輝度及び変数を利用する。すなわち、画像処理装置１００は、変数決定を行うか否かを判定する時点（図６の例では、ステップＳ１０５）の以前に決定されていた既存の変数を利用する。
画像処理装置１００は、ステップＳ１０７もしくはステップＳ１０８において決定された基準輝度及び変数に基づいて、処理領域の画像をＨＤＲからＳＤＲに変換する（ステップＳ１０９）。そして、画像処理装置１００は、変換済みの画像をＨＭＤ１０に送信する（ステップＳ１１０）。
このように、第１の実施形態に係る画像処理装置１００は、全天球コンテンツ全体の画素情報ではなく、ユーザの動作に応じて決定された処理領域に含まれる画素を選択的に用いた画像処理を行う。具体的には、第１の実施形態に係る画像処理装置１００は、処理領域に含まれる各画素の輝度値の分布に基づいて、映像データを変換する際に用いるキー値ａ及び基準輝度を動的に決定する。これにより、第１の実施形態に係る画像処理装置１００は、ユーザが視聴しようとする画像に即した変換処理を行うことができるため、画像の明暗が明瞭に表現された変換画像を生成することができる。また、第１の実施形態に係る画像処理装置１００は、ユーザの動作速度が閾値以下である場合に新たに変数を決定する処理を行うので、ちらつき等が発生することを防止できる。
（２．第１の実施形態の変形例）
上記第１の実施形態では、画像処理装置１００は、ユーザの動作に関する情報に基づき、ユーザの動作速度が所定の閾値以下となった場合に、処理領域における基準輝度及びキー値ａを決定する処理を行う例を示した。ここで、画像処理装置１００は、動作速度が閾値以下となった場合に、即座に新たな基準輝度及びキー値ａを決定するのではなく、直前に決定した基準輝度及びキー値ａから、徐々に新たな基準輝度及びキー値ａに変化させる処理を行ってもよい。すなわち、画像処理装置１００は、処理領域を即座に変換するのではなく、徐々に変換後の画像に近づけるように、時間に応じた変換処理を行う。これにより、画像処理装置１００は、人間が明るい場所から暗い場所へ移動した場合等における人間の視覚の順応（暗順応もしくは明順応）を模した変換処理を行うことができるので、より現実感のある自然な画像をユーザに提供することができる。
すなわち、第１の実施形態の変形例に係る変数決定部１３４は、第１の変数（変化前の処理領域に基づくキー値ａ）を決定した後に第２の変数（変化後の処理領域に基づくキー値ａ）を決定した場合に、第１の変数から第２の変数に段階的に近付く値を決定する。また、第１の実施形態の変形例に係る変換部１３５は、変数決定部１３４によって決定された、第１の変数から第２の変数に段階的に近付く値を順に用いて、第１の映像データを変換する。
上記の処理について、図７を用いて説明する。図７は、本開示の第１の実施形態の変形例に係る画像処理の一例を示す図である。図７では、画像処理装置１００が、直前に決定した基準輝度及びキー値ａから、徐々に新たな基準輝度及びキー値ａに変化させることで、時間経過に応じたトーンマッピングを行う例を示している。
図４で示した例と同様に、図７において、画像処理装置１００は、ＨＭＤ１０が検知したユーザの動作に関する情報に基づいて、表示領域５１を特定する（ステップＳ３１）。
画像処理装置１００は、表示領域５１に対応する画像を透視投影変換して、表示領域５１に対応する処理領域５２を決定する（ステップＳ３２）。
続けて、画像処理装置１００は、図４と同様、処理領域５２における基準輝度及びキー値ａを決定する。このとき、画像処理装置１００は、例えば、式（５）及び式（６）を用いて、時間経過に応じた基準輝度及びキー値ａを動的に決定する。
Figure 0007188440000005
Figure 0007188440000006
式（５）において、Ｌ－ ｐｒｅは、直前の決定処理において決定された対数平均輝度値、すなわち前回の基準輝度を示す。また、式（５）において、ｔは、時刻を示す。また、式（５）において、ΔＬ（ｔ）は、時間に応じて変化する輝度値の値を示す関数である。また、式（６）において、Ｌ－ ｃｕｒは、現時点のユーザの動作に関する情報に基づき決定された処理領域５２に対応する対数平均輝度値、すなわち今回の基準輝度を示す。また、式（６）において、Ｔは、時間方向における変化量を決定するための任意の定数である。
式（５）に示すように、変形例に係る基準輝度Ｌ－ ωは、直前に決定された基準輝度Ｌ－ ｐｒｅと、時間に応じた変化量ΔＬ（ｔ）に基づいて決定される。そして、画像処理装置１００は、式（５）に示される基準輝度Ｌ－ ωを用いて処理領域５２の画像を変換する（ステップＳ３３）。これにより、処理領域５２の画像は、基準輝度が決定された場合に、即座に変換画像５３に変換されるのではなく、図７に示すように、経過画像５７や経過画像５８を経て、変換画像５３に変換される。なお、この場合、上記した式（４）に示されるように、基準輝度の変化に伴いキー値ａも変化する。
このように、第１の実施形態の変形例では、画像処理装置１００は、時間に応じて変化する基準輝度及びキー値ａを用いてトーンマッピングを行う。これにより、画像処理装置１００は、人間の視覚における明順応及び暗順応特性を模した、自然な表現によるＨＤＲからＳＤＲへの変換処理を行うことができる。
なお、人間の視覚は、明順応にかかる時間と比較して、暗順応にかかる時間の方が長いことが知られている。このため、画像処理装置１００は、Ｌ－ ｐｒｅとＬ－ ｃｕｒとの関係に応じて、式（６）のＴの値を変化させてもよい。具体的には、画像処理装置１００は、Ｌ－ ｐｒｅ＞Ｌ－ ｃｕｒの関係が成立する場合、すなわち暗順応を模すときには、Ｔの値を相対的に大きく設定してもよい。この場合、画像処理装置１００は、式（５）で示すＬ－ ωが最終的にＬ－ ｃｕｒの値に収束するまでの時間も、相対的に長く設定してもよい。また、画像処理装置１００は、Ｌ－ ｐｒｅ＜Ｌ－ ｃｕｒの関係が成立する場合、すなわち明順応を模すときには、暗順応を模すときに採用される値よりも、Ｔの値を小さく設定してもよい。この場合、画像処理装置１００は、式（５）で示すＬ－ ωが最終的にＬ－ ｃｕｒの値に収束するまでの時間も、暗順応を模すときに採用される値よりも小さく（すなわち、短時間でＬ－ ｃｕｒの値に収束するように）設定してもよい。
また、式（６）では、ΔＬ（ｔ）を単純に線形な時間方向の変化関数で示しているが、人間の視覚特性や、コンテンツにおいて再現される種々の状況に応じて、非線形な時間方向の変化関数として示されてもよい。
上記のように、画像処理装置１００は、新たにキー値ａが決定された場合には、新たに決定されたキー値ａと、キー値ａが決定される前に決定されていた既存のキー値ａとの間に含まれる値であって時間経過に応じて決定される値に基づいて、変換処理を行う。
上記のような時間経過に応じた変換処理を行う契機として、種々の状況が想定される。例えば、画像処理装置１００は、ユーザの動作速度が所定閾値以下になった場合に、上記の変数決定処理及び変換処理を行ってもよい。また、画像処理装置１００は、ユーザの動作に関わらず、表示しているシーンの移り変わりに合わせて、上記変数決定処理及び変換処理を行ってもよい。例えば、全天球コンテンツが動画である場合、ＨＭＤ１０を装着するユーザの動作がなくても、シーンが移り変わる（画像が変化する）ことで、ＨＭＤ１０に表示される画像の画素情報が変化する場合がある。この場合、画像処理装置１００は、シーンの移り変わりに合わせてキー値ａや基準輝度を新たに算出し、上記のような明順応もしくは暗順応を模した変換処理を行うことで、より自然な画像をユーザに提供することができる。画像処理装置１００は、例えば、直前の画像に含まれる画素情報が所定の閾値を超えて変化したこと等に基づいて、シーンが移り変わったか否か（言い換えれば、変形例に係る変換処理を行うか否か）を判定してもよい。すなわち、画像処理装置１００は、処理領域に含まれる各画素の画素情報の変化量が所定時間のうちに所定閾値を超えて変化したこと等に基づいて、上記の変換処理を行ってもよい。
このように、画像処理装置１００に係る変数決定部１３４は、ユーザの動作に関する情報が所定の条件を満たす場合、もしくは、処理領域に含まれる各画素の画素情報の変化量が所定の条件を満たす場合に、キー値ａを新たに決定する。そして、変数決定部１３４は、新たにキー値ａを決定する場合に、時間経過とともに段階的に変化する値であって、新たに決定されるキー値ａに収束する値を決定する。この値は、例えば、式（５）で算出された基準輝度を式（４）に代入することで算出される。具体的には、変数決定部１３４は、新たなキー値ａが決定される前に決定されていた既存のキー値ａとの間に含まれる値であって、時間経過に応じて決定される値を決定する。そして、画像処理装置１００に係る変換部１３５は、新たに決定されるキー値ａに収束する値に基づいて、処理領域に対応する画像を変換する。
これにより、第１の実施形態の変形例に係る画像処理装置１００は、ＨＤＲで記録された画像をＳＤＲに変換して表示する際に、人間の視覚の明順応及び暗順応の特性に近い、自然な変換処理を行うことができる。
（３．第２の実施形態）
［３－１．第２の実施形態に係る画像処理システムの構成］
次に、第２の実施形態について説明する。第２の実施形態では、ＨＭＤ１０のディスプレイ１８Ａにおいて、全天球コンテンツ以外に仮想オブジェクトが表示される場合に実行される画像処理について説明する。
まず、第２の実施形態に係る画像処理システム２について説明する。図８は、本開示の第２の実施形態に係る画像処理システム２の一例を示す図である。図８に示すように、画像処理システム２は、第１の実施形態と比較して、コントローラ２０をさらに含む。また、第２の実施形態に係る画像処理装置２００は、解析部２３３と、変数決定部２３４と、描画部２３５とを含む。なお、第１の実施形態に係る画像処理装置１００と同様の構成については、説明を省略する。
コントローラ２０は、画像処理装置２００及びＨＭＤ１０と有線又は無線ネットワークで接続される情報機器である。コントローラ２０は、例えば、ＨＭＤ１０を装着したユーザが手に持って操作する情報機器であり、ユーザの手の動きや、ユーザからコントローラ２０に入力された情報を検知する。具体的には、コントローラ２０に係る検知部２１は、センサ２１Ａ（例えば、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサ）を制御して、コントローラ２０の三次元位置や速度等を検知する。そして、検知部２１は、検知した三次元位置や速度等を画像処理装置２００に送信する。なお、検知部２１は、外部カメラ等の外部センサによって検知された自装置の三次元位置等を送信してもよい。
画像処理装置２００に係る描画部２３５は、コントローラ２０に係る検知部２１によって検知された情報に基づいて、ＨＭＤ１０に表示される画像に仮想オブジェクトを重畳させて描画する。描画部２３５は、例えば、ユーザの現実の動作（例えば手の動き）に合わせて、ユーザの手を模した仮想オブジェクトを描画する。また、描画部２３５は、例えばＨＭＤ１０で表示するコンテンツがゲームである場合には、ゲーム内で使用される道具等を模した仮想オブジェクトを描画してもよい。なお、このような仮想オブジェクトの描画処理については、種々の公知技術が適宜利用されてもよい。
第２の実施形態に係る解析部２３３や変数決定部２３４は、処理領域において仮想オブジェクトが含まれる場合には、仮想オブジェクトに設定された輝度値を用いて、解析及び変数決定を行う。具体的には、解析部２３３や変数決定部２３４は、処理領域において元の画像における画素が仮想オブジェクトによって隠れる（重畳される）場合には、仮想オブジェクトの画素情報（輝度値等）を用いて処理を行う。
例えば、変数決定部２３４は、処理領域に含まれる各画素の輝度値、及び、処理領域に含まれる仮想オブジェクトの輝度値の分布に基づいて、キー値ａを算出する。なお、変数決定部２３４は、仮想オブジェクトを構成する画素の輝度値については、予め設定された所定の輝度値を用いる。また、変数決定部２３４は、仮想オブジェクトが重畳される全天球コンテンツの一画像全体の輝度値に基づいて、仮想オブジェクトを構成する画素の輝度値を決定してもよい。これにより、変数決定部２３４は、全天球コンテンツが全体的に明るい場合には仮想オブジェクトも明るく描画されるよう調整したり、全天球コンテンツが全体的に暗い場合には仮想オブジェクトも暗く描画されるよう調整したりすることができる。
また、変数決定部２３４は、仮想オブジェクトの挙動が所定の条件を満たす場合にはキー値ａを算出し、仮想オブジェクトの挙動が所定の条件を満たさない場合にはキー値ａを新たに算出しないようにしてもよい。具体的には、変数決定部２３４は、ユーザが所定閾値を超える速度でコントローラ２０を操作することにより、仮想オブジェクトが所定速度を超える速度で描画されるような場合には、画面のちらつき等を防止するため、キー値ａの算出処理を行わなくてもよい。一方、変数決定部２３４は、仮想オブジェクトが所定速度以下で描画される場合、新たなキー値ａを用いてトーンマッピングが行えるように、キー値ａを新たに決定してもよい。
［３－２．第２の実施形態に係る画像処理の一例］
図８で示した画像処理システム２によって実行される画像処理について、図９を用いて具体的に説明する。図９は、本開示の第２の実施形態に係る画像処理の一例を示す図である。図９では、一度ＨＤＲからＳＤＲに変換された画像に対して、仮想オブジェクトが後から重畳された場合を例に挙げて、第２の実施形態に係る画像処理を説明する。なお、図９に示す正距円筒画像５０は、図４で示したものと同一の画像である。
図４で示した例と同様に、画像処理装置２００は、ＨＭＤ１０が検知したユーザの動作に関する情報に基づいて、表示領域７１を特定する（ステップＳ４１）。
画像処理装置２００は、表示領域７１に対応する画像を透視投影変換して、表示領域７１に対応する処理領域７２を決定する（ステップＳ４２）。
さらに、画像処理装置２００は、処理領域７２に含まれる各画素の分布に基づいて、処理領域７２に対応する画像をＳＤＲに変換する（ステップＳ４３）。図９に示す処理領域７２は、中央上部に白とびの箇所があり、その他の箇所は輝度値が相対的に低く、全体的に暗い画像である。一方、ＳＤＲの変換後、変換画像７３は、輝度値が低く、コントラストが明確でなかった中央下部等の箇所が、若干明るく見やすいものに変化している。
ここで、ユーザがコントローラ２０を介して、仮想オブジェクトである手を変換画像７３に重畳させる操作を行ったとする。画像処理装置２００は、コントローラ２０によって検知された情報に基づいて、仮想オブジェクト８０が変換画像７３に重畳される箇所を導出する。
そして、画像処理装置２００は、変換画像７３と、仮想オブジェクト８０を構成する画素とが含まれる画像を処理対象として解析を行う。具体的には、画像処理装置２００は、仮想オブジェクト８０を構成する各画素の輝度値と、変換画像７３に含まれる各画素の輝度値とに基づいて、トーンマッピングの基準輝度を算出する。また、画像処理装置２００は、仮想オブジェクト８０を構成する各画素の輝度値と、変換画像７３に含まれる各画素の輝度値の分布（輝度値の最頻値等）とに基づいて、トーンマッピングにおけるキー値ａを決定する。
そして、画像処理装置２００は、変換画像７３に対して仮想オブジェクト８０を重畳して描画するとともに、仮想オブジェクト８０を含んだ場合の各画素の輝度情報に基づいて、トーンマッピングを行う（ステップＳ４４）。これにより、画像処理装置２００は、変換画像７４をＨＭＤ１０に表示するとともに、変換画像７４に重畳した仮想オブジェクト８０を表示することができる。
図９に示す変換画像７４では、変換画像７３において白とびしていた中央上部が仮想オブジェクト８０に隠されたことにより、画像全体の輝度値の分布が平滑になったため、仮想オブジェクト８０以外の箇所のコントラストがより明確に表示される。すなわち、変換画像７４は、例えば現実世界で光を手で遮ったことによって、光の影響で視認性が悪くなっていた箇所の視認性が向上した状況を画面上で模したものといえる。
なお、図９に示した例では、説明のため仮想オブジェクト８０を白色で描いているが、実際には、仮想オブジェクト８０を構成する画素の輝度値は、白色で表現されるような高い輝度値でなくてもよい。例えば、第２の実施形態に係る変数決定部２３４は、キー値ａの決定に際して、正距円筒画像５０に含まれる各画素の輝度値に基づいて、仮想オブジェクト８０を構成する各画素に設定される輝度値を算出してもよい。例えば、仮想オブジェクト８０を構成する画素の輝度値は、正距円筒画像５０に含まれる各画素の輝度値の平均値や中央値や対数平均輝度値等であってもよい。これにより、画像処理装置２００は、仮想オブジェクト８０を構成する画素の輝度値について、処理対象となる全天球コンテンツに応じた値を適宜設定することができるため、仮想オブジェクト８０の重畳によって不自然な変換処理が行われることを防止できる。なお、仮想オブジェクト８０を構成する各画素の輝度値は、必ずしも同一の輝度値でなく、互いに異なる輝度値であってもよい。
図９に示した処理について、図１０を用いて概念的に説明する。図１０は、本開示の第２の実施形態に係る画像処理の一例を説明するための図である。図１０では、図２で示したヒストグラムと同様、処理領域に含まれる各画素の画素数と輝度値の分布を示す。
例えば、図１０に示す曲線８１は、図９に示す変換画像７３における画素数と輝度値の分布を示す。図９に示したように、変換画像７３は、中央上部に輝度値の高い（図９において白く表現される箇所）画素を比較的多く含む。このため、曲線８１は、輝度値の高い範囲に比較的多くの画素が分布することを示す形状となる。
ここで、図９に示したように、ユーザがコントローラ２０を操作し、変換画像７３の中央上部に対して仮想オブジェクト８０を重畳させたとする（ステップＳ５１）。この場合、変換画像７３に含まれる画素のうち、仮想オブジェクト８０に重畳された箇所の画素は、仮想オブジェクト８０の画素の輝度値に置き換えられる。
例えば、図１０に示す曲線８２は、図９に示す変換画像７３に仮想オブジェクト８０が重畳された際の画素数と輝度値の分布を示す。曲線８２が示すように、仮想オブジェクト８０が重畳されたのちには、曲線８１と比較して輝度値の高い画素数が減少する。また、仮想オブジェクト８０が重畳されたことにより、輝度値の最頻値が、曲線８１における輝度値の最頻値Ｌｍ３から、最頻値Ｌｍ４に変化する。
この場合、画像処理装置２００は、仮想オブジェクト８０が重畳されたのちの各画素の輝度値の分布に基づいて基準輝度及びキー値ａを算出し、基準輝度及びキー値ａを新たに決定する。そして、画像処理装置２００は、新たに決定した基準輝度及びキー値ａに基づいて、変換画像７３にトーンマッピングを施し、変換画像７４を生成する。
［３－３．第２の実施形態に係る画像処理の手順］
次に、図１１を用いて、第２の実施形態に係る画像処理の手順について説明する。図１１は、本開示の第２の実施形態に係る処理の流れを示すフローチャートである。
図１１に示すように、画像処理装置２００は、ＨＭＤ１０からユーザの動作に関する情報を取得するとともに、コントローラ２０からコントローラの操作情報を取得する（ステップＳ２０１）。ステップＳ２０２～ステップ２０４の処理は、図６に示したステップＳ１０２～１０４と同様であるため、説明を省略する。ステップＳ２０４に続けて、画像処理装置２００は、コントローラの動作情報に基づいて、処理領域における仮想オブジェクトの表示位置を決定する（ステップＳ２０５）。そして、画像処理装置２００は、図６に示したステップＳ１０５と同様、ユーザの動作速度が所定閾値以下であるか否かを判定する（ステップＳ２０６）。
ステップＳ２０６において、ユーザの動作速度が所定閾値以下である場合（ステップＳ２０６；Ｙｅｓ）、画像処理装置２００は、仮想オブジェクトの動作速度が所定閾値以下であるかをさらに判定する（ステップＳ２０７）。仮想オブジェクトの動作速度が所定閾値以下である場合（ステップＳ２０７；Ｙｅｓ）、画像処理装置２００は、仮想オブジェクトを含めた処理領域内の画素情報を解析する（ステップＳ２０８）。
一方、仮想オブジェクトの動作速度が所定閾値を超える場合（ステップＳ２０７；Ｎｏ）、画像処理装置２００は、仮想オブジェクトを含めずに処理領域内の画素情報を解析する（ステップＳ２０９）。
そして、画像処理装置２００は、処理領域内の各画素の解析結果に基づいて、トーンマッピングに用いる変数を決定する（ステップＳ２１０）。なお、ステップＳ２０６において、ユーザの動作速度が所定閾値を超える場合（ステップＳ２０６；Ｎｏ）、画像処理装置２００は、既に決定済みの基準輝度及び変数を読み出す（ステップＳ２１１）。
その後、画像処理装置２００は、仮想オブジェクトの三次元位置等に基づいて、仮想オブジェクトを処理領域の画像に重畳して描画する（ステップＳ２１２）。さらに、画像処理装置２００は、ステップＳ２１０もしくはステップＳ２１１において決定された基準輝度及び変数に基づいて、処理領域の画像をＨＤＲからＳＤＲに変換する（ステップＳ２１３）。そして、画像処理装置２００は、変換済みの画像をＨＭＤ１０に送信する（ステップＳ２１４）。
このように、第２の実施形態に係る画像処理装置２００は、仮想オブジェクトが重畳される画像においては、画像に含まれる各画素と、仮想オブジェクトを構成する各画素の分布に基づいて、本開示に係る画像処理を行う。これにより、第２の実施形態に係る画像処理装置２００は、手で太陽の光を遮った場合の明暗の変化等を反映させた、より現実に即した自然な画像変換を行うことができる。
（４．第３の実施形態）
［４－１．第３の実施形態に係る画像処理システムの構成］
次に、第３の実施形態について説明する。第３の実施形態では、画像処理装置１００のようなサーバ側で本開示に係る画像処理が行われるのではなく、ＨＭＤ３０のような表示装置側で本開示に係る画像処理が行われる。
図１２を用いて、第３の実施形態に係る画像処理システム３について説明する。図１２は、本開示の第３の実施形態に係る画像処理システム３の一例を示す図である。図１２に示すように、画像処理システム３は、第１の実施形態に係る画像処理装置１００や第２の実施形態に係る画像処理装置２００が有していた各処理部を有するＨＭＤ３０と、コンテンツ記憶部３２１を有するストレージサーバ３００を含む。
ＨＭＤ３０は、動画や静止画等の各種コンテンツを表示するディスプレイ１８Ａを有するとともに、ディスプレイ１８Ａに表示するＳＤＲ画像への変換処理を実行する情報機器である。例えば、ＨＭＤ３０は、ゴーグル形状の筐体にスマートフォン等を差し込んで実現される、いわゆるスマートフォン用ＶＲゴーグルであってもよい。
取得部３１は、第１の実施形態で示した検知部１５及び取得部１３１に対応し、ＨＭＤ３０におけるユーザの動作に関する情報を取得する。領域決定部３２は、第１の実施形態で示した領域決定部１３２に対応する。解析部３３は、第１の実施形態で示した解析部１３３に対応する。解析部３３は、ストレージサーバ３００が記憶する全天球コンテンツを取得し、全天球コンテンツのうち、領域決定部３２によって決定された処理領域における各画素の情報を解析する。
変数決定部３４は、第１の実施形態で示した変数決定部１３４に対応する。変換部３５は、第１の実施形態で示した変換部１３５に対応する。表示制御部３６は、変換部３５によって変換された画像をディスプレイ１８Ａに表示する処理を制御する。
このように、第３の実施形態に係るＨＭＤ３０は、本開示に係る画像処理を実行する画像処理装置として機能する。すなわち、ＨＭＤ３０は、サーバ装置等によらず、スタンドアロンで本開示に係る画像処理を実行することができる。さらに、ＨＭＤ３０によれば、本開示に係る画像処理によってＳＤＲに変換された画像をディスプレイ１８Ａに表示するといった、表示制御処理までを含めてスタンドアロンで実現することができる。これにより、第３の実施形態に係るＨＭＤ３０は、簡易なシステム構成で本開示に係る画像処理を実現することができる。なお、第３の実施形態では、全天球コンテンツがストレージサーバ３００に保持される例を示したが、ＨＭＤ３０は、自装置に全天球コンテンツを保持していてもよい。
（５．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
例えば、上記各実施形態では、コンテンツの例として、全天球コンテンツを示した。しかし、本開示に係る画像処理は、全天球コンテンツ以外にも適用可能である。例えば、本開示に係る画像処理は、表示装置のディスプレイに表示可能な領域よりも広い領域を有する、いわゆるパノラマ画像やパノラマ動画にも適用可能である。また、１８０度の範囲で構成されたＶＲ画像やＶＲ動画にも適用可能である。また、全天球コンテンツは、静止画や動画に限らず、例えばＣＧ（Computer Graphics）で作成されたゲームコンテンツ等であってもよい。
また、上記各実施形態では、ＨＤＲで記録された第１の映像データを、ＳＤＲで表示される第２の映像データに変換する例を示した。しかし、本開示に係る画像処理は、ＨＤＲをＳＤＲに変換する処理に限られない。例えば、本開示に係る画像処理は、相対的に高いダイナミックレンジで記録された画像を、相対的に低いダイナミックレンジに変換する種々の処理に適用可能である。
また、上記各実施形態では、表示領域を透視投影変換した後の画像に対応する処理領域が含む各画素の情報に基づいて、本開示に係る画像処理が実行される例を示した。しかし、本開示に係る画像処理は、必ずしも処理領域が含む各画素の情報のみならず、例えば、処理領域から数ピクセルや数十ピクセルだけ広い範囲を含む領域の各画素の情報を用いて実行されてもよい。
また、本開示に係る画像処理では、必ずしも処理領域に対応する画像のみに対して変換処理を行うのではなく、例えば、処理領域から数ピクセルや数十ピクセルだけ広い範囲を含む領域に対応する画像に対して変換処理を行ってもよい。すなわち、画像処理の対象となる所定領域とは、必ずしも投影変換後の画像そのものの領域を示すのではなく、投影変換後の画像に対応する領域から任意のピクセル分を拡張した領域等を含んでもよい。
また、上記各実施形態では、式（１）～式（３）等に基づいて、ＨＤＲからＳＤＲへのトーンマッピングを行う例を示した。しかし、ＨＤＲからＳＤＲへの輝度値の変換を行う、いわゆるトーンマッピングの変換関数は、式（１）～式（３）に限られない。例えば、トーンマッピングの変換関数は、トーンマッピングに利用される既知の対数関数、べき関数、Ｈｉｌｌ関数など、種々の関数が用いられてもよい。いずれの関数においても、投影変換後の処理領域に含まれる各画素に基づいて基準輝度を決定すること、また、処理領域に含まれる各画素の分布に基づいてキー値を決定することにより、本開示に係る画像処理が実現される。
また、上記各実施形態では、式（４）に基づき、処理領域内に含まれる各画素の輝度値の最頻値を用いてキー値ａが算出される例を示した。しかし、キー値ａは、必ずしも最頻値を用いて算出されなくてもよい。例えば、キー値ａは、処理領域内に含まれる各画素の輝度値の中央値や、平均値や、標準偏差など、統計的に有意な各種の数値を用いて算出されてもよい。
また、本開示に係る画像処理では、ＨＭＤ１０等を装着したユーザの動作に関する情報（頭部姿勢の傾きや視線方向に関する情報等）に基づいて表示領域が特定される処理を示した。しかし、ユーザの動作に関する情報は、上記に限られない。例えば、全天球コンテンツをスマートフォンやタブレット端末等で表示する場合、ユーザは、画面に対するタッチ操作や、入力デバイス（マウスやトラックパッドなど）を利用して、表示領域を選択する場合がある。この場合、ユーザの動作に関する情報とは、タッチ操作に対応する情報や、入力デバイスを介して入力される情報を含む。また、ユーザの動作速度とは、タッチ操作に対応する指の動きの速度（言い換えれば、タブレット端末におけるポインタの移動速度等）や、入力デバイスを介したポインタの移動速度等の情報を含む。また、ユーザの動作に関する情報には、ユーザがタブレット端末自体を動かしたり傾けたりした際に、タブレット端末が備えるセンサによって検知される情報等を含む。また、センサによって検知される情報には、例えば、タブレット端末内の画面（言い換えれば処理領域）がスクロールする速度等の情報が含まれてもよい。
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した解析部１３３及び変数決定部１３４は統合されてもよい。
また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
（６．ハードウェア構成）
上述してきた各実施形態に係る画像処理装置、ＨＭＤ、コントローラ等の情報機器は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る画像処理装置１００を例に挙げて説明する。図１３は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が第１の実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、取得部１３１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、コンテンツ記憶部１２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
を有する画像処理装置。
（２）
前記変数決定部は、前記ユーザの動作に関する情報が所定の条件を満たす場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（１）に記載の画像処理装置。
（３）
前記変数決定部は、前記ユーザの動作に関する情報が前記所定の条件を満たす場合として、前記ユーザの動作速度が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（２）に記載の画像処理装置。
（４）
前記変換部は、前記ユーザの動作に関する情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
前記（２）又は（３）に記載の画像処理装置。
（５）
前記変数決定部は、前記所定領域に含まれる各画素の画素情報が所定の条件を満たす場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（１）～（４）のいずれかに記載の画像処理装置。
（６）
前記変数決定部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たす場合として、前記所定領域に含まれる各画素の画素情報の所定時間における変化量が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
前記（５）に記載の画像処理装置。
（７）
前記変換部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
前記（５）又は（６）に記載の画像処理装置。
（８）
前記変数決定部は、第１の変数を決定した後に第２の変数を決定した場合、前記第１の変数から前記第２の変数に段階的に近付く値を決定し、
前記変換部は、前記変数決定部によって決定された、前記第１の変数から前記第２の変数に段階的に近付く値を順に用いて、前記第１の映像データを前記第２の映像データに変換する
前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
前記変数決定部は、前記所定領域に含まれる各画素の対数平均輝度値を、前記所定領域に含まれる各画素の輝度値の最頻値で除した値に基づいて、前記変数を決定する
前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）
前記変数決定部は、前記所定領域に重畳された仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて、前記変数を決定する
前記（１）～（９）のいずれかに記載の画像処理装置。
（１１）
前記変数決定部は、前記第１の映像データに含まれる各画素の輝度値に基づいて、前記仮想オブジェクトを構成する各画素に設定される輝度値を算出する
前記（１０）に記載の画像処理装置。
（１２）
前記変数決定部は、前記仮想オブジェクトの挙動が所定の条件を満たす場合には、前記所定領域に重畳される仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて前記変数を決定し、前記仮想オブジェクトの挙動が所定の条件を満たさない場合には、前記仮想オブジェクトの重畳に関わらず、前記所定領域に含まれる各画素の輝度値の分布に基づいて前記変数を決定する
前記（１０）又は（１１）に記載の画像処理装置。
（１３）
前記第１の映像データは全天球コンテンツであり、
前記ユーザの動作に基づき特定された前記全天球コンテンツの一部領域を投影変換し、投影変換後の画像に対応する領域を前記所定領域として決定する領域決定部をさらに有する
前記（１）～（１２）のいずれかに記載の画像処理装置。
（１４）
前記変換部によって変換された前記第２の映像データの表示を制御する表示制御部をさらに有する
前記（１）～（１３）のいずれかに記載の画像処理装置。
（１５）
コンピュータが、
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定し、
決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する
画像処理方法。
（１６）
コンピュータを、
第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
として機能させるための画像処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体。
１、２、３ 画像処理システム
１０、３０ ＨＭＤ
２０ コントローラ
１００、２００ 画像処理装置
３００ ストレージサーバ
１５、２１ 検知部
１６ 送信部
１７ 受信部
１８、３６ 表示制御部
１２１、３２１ コンテンツ記憶部
３１、１３１ 取得部
３２、１３２ 領域決定部
３３、１３３、２３３ 解析部
３４、１３４、２３４ 変数決定部
３５、１３５ 変換部
１３６ 送信部
２３５ 描画部

Claims (12)

  1. 第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
    前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
    を有し、
    前記変数決定部は、前記ユーザの動作に関する情報が所定の条件を満たす場合として、前記ユーザの動作速度が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
    画像処理装置。
  2. 前記変換部は、前記ユーザの動作に関する情報が前記所定の条件を満たさない場合、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
    請求項１に記載の画像処理装置。
  3. 第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
    前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
    を有し、
    前記変数決定部は、前記所定領域に含まれる各画素の画素情報が所定の条件を満たす場合に、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定し、
    前記変換部は、前記所定領域に含まれる各画素の画素情報が前記所定の条件を満たさない場合には、前記所定の条件の判定時点以前に決定された既存の変数に基づいて、前記第１の映像データを前記第２の映像データに変換する
    画像処理装置。
  4. 前記変数決定部は、第１の変数を決定した後に第２の変数を決定した場合、前記第１の変数から前記第２の変数に段階的に近付く値を決定し、
    前記変換部は、前記変数決定部によって決定された、前記第１の変数から前記第２の変数に段階的に近付く値を順に用いて、前記第１の映像データを前記第２の映像データに変換する
    請求項１に記載の画像処理装置。
  5. 第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
    前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
    を有し、
    前記変数決定部は、前記所定領域に含まれる各画素の対数平均輝度値を、前記所定領域に含まれる各画素の輝度値の最頻値で除した値に基づいて、前記変数を決定する
    画像処理装置。
  6. 第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
    前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
    を有し、
    前記変数決定部は、前記所定領域に重畳された仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて、前記変数を決定する
    画像処理装置。
  7. 前記変数決定部は、前記第１の映像データに含まれる各画素の輝度値に基づいて、前記仮想オブジェクトを構成する各画素に設定される輝度値を算出する
    請求項６に記載の画像処理装置。
  8. 前記変数決定部は、前記仮想オブジェクトの挙動が所定の条件を満たす場合には、前記所定領域に重畳される仮想オブジェクトに含まれる各画素、及び、前記所定領域のうち前記仮想オブジェクトに重畳されない各画素の輝度値の分布に基づいて前記変数を決定し、前記仮想オブジェクトの挙動が所定の条件を満たさない場合には、前記仮想オブジェクトの重畳に関わらず、前記所定領域に含まれる各画素の輝度値の分布に基づいて前記変数を決定する
    請求項６に記載の画像処理装置。
  9. 前記第１の映像データは全天球コンテンツであり、
    前記ユーザの動作に基づき特定された前記全天球コンテンツの一部領域を投影変換し、投影変換後の画像に対応する領域を前記所定領域として決定する領域決定部
    をさらに有する請求項１に記載の画像処理装置。
  10. 前記変換部によって変換された前記第２の映像データの表示を制御する表示制御部
    をさらに有する請求項１に記載の画像処理装置。
  11. コンピュータが、
    第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定し、
    決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換し、
    さらに、前記ユーザの動作に関する情報が所定の条件を満たす場合として、前記ユーザの動作速度が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
    画像処理方法。
  12. コンピュータを、
    第１のダイナミックレンジで記録された第１の映像データのうち、ユーザの動作に関する情報に応じて決定された所定領域に含まれる各画素の輝度値の分布に基づいて、前記第１のダイナミックレンジを第２のダイナミックレンジに変換した際の前記各画素の輝度値の算出に用いられる変数を決定する変数決定部と、
    前記変数決定部によって決定された変数に基づいて、前記第１の映像データを前記第２のダイナミックレンジで表示される第２の映像データに変換する変換部と
    として機能させるための画像処理プログラムを記録した、コンピュータが読み取り可能な非一時的な記録媒体であって、
    前記変数決定部は、前記ユーザの動作に関する情報が所定の条件を満たす場合として、前記ユーザの動作速度が所定閾値以下である場合、前記所定領域に含まれる各画素の輝度値の分布に基づいて、前記変数を決定する
    非一時的な記録媒体。
JP2020511605A 2018-04-06 2019-01-15 画像処理装置、画像処理方法及び記録媒体 Active JP7188440B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018073580 2018-04-06
JP2018073580 2018-04-06
PCT/JP2019/000959 WO2019193807A1 (ja) 2018-04-06 2019-01-15 画像処理装置、画像処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019193807A1 JPWO2019193807A1 (ja) 2021-04-30
JP7188440B2 true JP7188440B2 (ja) 2022-12-13

Family

ID=68100419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020511605A Active JP7188440B2 (ja) 2018-04-06 2019-01-15 画像処理装置、画像処理方法及び記録媒体

Country Status (4)

Country Link
US (1) US11354790B2 (ja)
JP (1) JP7188440B2 (ja)
CN (1) CN111971953B (ja)
WO (1) WO2019193807A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7711404B2 (ja) * 2021-03-18 2025-07-23 株式会社Ｊｖｃケンウッド 表示装置、表示方法およびプログラム
EP4430579A4 (en) 2021-11-14 2025-04-16 Bria Artificial Intelligence Ltd FACILITATING THE GENERATION AND USE OF VISUAL CONTENT

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004313A (ja) 2014-06-13 2016-01-12 大日本印刷株式会社 画像処理装置および輝度調整方法
JP2016109828A (ja) 2014-12-04 2016-06-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017116952A1 (en) 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170236260A1 (en) 2016-02-12 2017-08-17 Samsung Electronics Co., Ltd Method and apparatus for creating, streaming, and rendering hdr images
JP2018117276A (ja) 2017-01-19 2018-07-26 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100521788C (zh) * 1997-11-05 2009-07-29 索尼公司 数字信号转换方法
JP5397059B2 (ja) * 2009-07-17 2014-01-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2013106333A (ja) * 2011-11-17 2013-05-30 Sony Corp 画像処理装置および方法
JP6344723B2 (ja) 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
JP2017069914A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 画像処理装置
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
AU2016427777B2 (en) * 2016-10-31 2022-12-15 Victoria Link Limited A rendering process and system
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004313A (ja) 2014-06-13 2016-01-12 大日本印刷株式会社 画像処理装置および輝度調整方法
JP2016109828A (ja) 2014-12-04 2016-06-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2017116952A1 (en) 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170236260A1 (en) 2016-02-12 2017-08-17 Samsung Electronics Co., Ltd Method and apparatus for creating, streaming, and rendering hdr images
JP2018117276A (ja) 2017-01-19 2018-07-26 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム

Also Published As

Publication number Publication date
CN111971953A (zh) 2020-11-20
CN111971953B (zh) 2023-07-18
WO2019193807A1 (ja) 2019-10-10
US20210073958A1 (en) 2021-03-11
US11354790B2 (en) 2022-06-07
JPWO2019193807A1 (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
JP6388673B2 (ja) 携帯端末及びその撮像方法
US10692197B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
US9781356B1 (en) Panoramic video viewer
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
US11170578B1 (en) Occlusion detection
US8237730B1 (en) Tone mapping for motion pictures
JP6610535B2 (ja) 画像処理装置および画像処理方法
US10531040B2 (en) Information processing device and information processing method to improve image quality on a large screen
KR20190018914A (ko) 서버, 디스플레이장치 및 그 제어방법
JP7581019B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20230282183A1 (en) Luminance adaption to minimize discomfort and improve visibility
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
CN112396705A (zh) 使用过渡视觉内容缓解小视场显示
JP7188440B2 (ja) 画像処理装置、画像処理方法及び記録媒体
TWI592903B (zh) Image processing device, image processing method and program
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
CN110870304A (zh) 向用户提供信息以观察多视图内容的方法和装置
JP4876058B2 (ja) 色処理装置およびその方法
CN111711811A (zh) Vr图像处理方法、装置、系统、vr设备及存储介质
US20130342712A1 (en) Photographing control apparatus and photographing control method
JP2016109828A (ja) 画像処理装置、画像処理方法及びプログラム
JP2023097997A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018109740A (ja) 表示装置、プログラム、表示方法
JP2023007716A (ja) 画像表示システムおよび画像表示方法
CN121367819A (zh) 拍摄预览方法及其装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R151 Written notification of patent or utility model registration

Ref document number: 7188440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151