JP6040042B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP6040042B2
JP6040042B2 JP2013024993A JP2013024993A JP6040042B2 JP 6040042 B2 JP6040042 B2 JP 6040042B2 JP 2013024993 A JP2013024993 A JP 2013024993A JP 2013024993 A JP2013024993 A JP 2013024993A JP 6040042 B2 JP6040042 B2 JP 6040042B2
Authority
JP
Japan
Prior art keywords
image
information
unit
output
physical characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013024993A
Other languages
English (en)
Other versions
JP2014154046A (ja
Inventor
近藤　哲二郎
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Cubed Research Center Inc
Original Assignee
I Cubed Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Cubed Research Center Inc filed Critical I Cubed Research Center Inc
Priority to JP2013024993A priority Critical patent/JP6040042B2/ja
Priority to TW102148479A priority patent/TWI592903B/zh
Priority to KR1020157019961A priority patent/KR102273331B1/ko
Priority to CN201480003727.3A priority patent/CN104885119B/zh
Priority to US14/766,118 priority patent/US9672650B2/en
Priority to EP14752082.9A priority patent/EP2958073A4/en
Priority to PCT/JP2014/053021 priority patent/WO2014126032A1/ja
Publication of JP2014154046A publication Critical patent/JP2014154046A/ja
Application granted granted Critical
Publication of JP6040042B2 publication Critical patent/JP6040042B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0266—Reduction of sub-frame artefacts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、受け付けた画像に対して処理を施し、適切な出力画像を得る画像処理装置等に関するものである。
従来、実在する入力画像データと対応する画素間の所定の画素の画像データを実在する入力画像データによって補間生成するためのデジタル画像信号の補間装置において、実在する入力画像データを受け取り、所定の画素の周辺位置に存在する所定数の実在する画素データを抽出する手段と、係数を求めるための画素データを用いて、補間値と真値との誤差の自乗和が最小となるように最小自乗法により予め定められた所定数の係数と、抽出された上記所定数の実在する画素データとの線形１次結合により、所定の画素の画素データを補間生成する手段とからなることを特徴とするデジタル画像信号の補間装置があった（特許文献１参照）。
また、第１のディジタルビデオ信号から上記第１のディジタルビデオ信号より画素数の多い第２のディジタルビデオ信号を生成するディジタルビデオ信号変換装置があった（特許文献２参照）。
特許第２８２５４８２号公報（第１頁、第１図等） 特許第３０７２３０６号公報（第１頁、第１図等）
しかしながら、従来技術においては、物理的な対象を撮影等して画像に変換したり、当該画像をデジタル処理したりした場合に、オブジェクトの大きさや雄大さ等の物理的な特性が失われ、画像を視るユーザに画像内の対象の物理的な特性が伝わらない、という課題があった。
本第一の発明の画像処理装置は、１または２以上の画像を受け付ける画像受付部と、画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理部と、画像受付部が受け付けた１または２以上の画像において、画像内に含まれる対象が有する１以上の物理的特性と比較して失われた物理的特性に関する情報である物理特性情報を取得する物理特性情報取得部と、１または２以上の処理画像を用いて、物理特性情報に対応する物理的特性を付加するための処理である物理的特性処理を行う物理的特性処理部と、前記物理的特性処理を施した処理画像を出力する出力部とを具備する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第二の発明の画像処理装置は、第一の発明に対して、デジタル処理部は、物理的特性処理部が物理的特性処理を行った後に得られる情報である処理後情報を用いて、画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得する画像処理装置である。
かかる構成により、物理的特性処理部を考慮したデジタル処理を行うことができ、画像内に含まれている対象の失われた物理的特性をより精度高く再現できる。
また、本第三の発明の画像処理装置は、第一の発明に対して、デジタル処理部は、物理特性情報を用いて、画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得する画像処理装置である。
かかる構成により、物理的特性処理部を考慮したデジタル処理を行うことができ、画像内に含まれている対象の失われた物理的特性をより精度高く再現できる。
また、本第四の発明の画像処理装置は、第一から第三のいずれかの発明に対して、物理特性情報取得部は、画像受付部が受け付けた１または２以上の画像または１または２以上の処理画像を用いて、物理特性情報を取得する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第五の発明の画像処理装置は、第一から第四のいずれかの発明に対して、１または２以上の画像の全部または一部分と、画像と同一の対象についての画像である処理画像の全部または一部分との対応を取るための情報であり、物理特性情報を取得するための情報を含む情報である１または２以上の対応情報を有するルックアップテーブルを格納し得る格納部をさらに具備し、デジタル処理部は、１または２以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、物理特性情報取得部は、１または２以上の対応情報のうちのいずれかの対応情報を用いて、物理特性情報を取得する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第六の発明の画像処理装置は、第一または第四の発明に対して、１または２以上の画像の全部または一部分と、画像と同一の対象についての画像である処理画像の全部または一部分との対応を取るための情報であり、物理特性情報を取得するための情報を含む情報である１または２以上の対応情報を有する２以上のルックアップテーブルを格納し得る格納部をさらに具備し、デジタル処理部は、 ２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、物理特性情報取得部は、２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、物理特性情報を取得する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第七の発明の画像処理装置は、第五または第六の発明に対して、画像受付部が受け付けた１以上の画像の全部または一部分を解析し、解析結果を取得し、解析結果に対応する対応情報を選択する画像解析部をさらに具備し、デジタル処理部は、画像解析部が選択した対応情報を用いて、画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、物理特性情報取得部は、画像解析部が選択した対応情報を用いて、物理特性情報を取得する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第八の発明の画像処理装置は、第一から第三のいずれかの発明に対して、画像受付部は、１または２以上の画像に対応付けられた物理特性情報をも受け付け、物理特性情報取得部は、１または２以上の画像に対応付けられた物理特性情報を取得する画像処理装置である。
かかる構成により、撮影現場等で取得できる対象の物理的特性であり、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第九の発明の画像処理装置は、第一から第三のいずれかの発明に対して、物理特性情報を受け付ける物理特性情報受付部をさらに具備し、物理特性情報取得部は、物理特性情報受付部が受け付けた物理特性情報を取得する画像処理装置である。
かかる構成により、ユーザにより入力された物理的特性であり、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
また、本第十の発明の画像処理装置は、第一から第九いずれかの発明に対して、物理的特性処理部は、１または２以上の処理画像を光出力する場合に、物理特性情報に従って光出力のための制御を行い、出力部は、物理的特性処理部が行った光出力のための制御に基づいて、１または２以上の処理画像に対して光出力のための制御が施された１または２以上の処理画像を出力する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現するために、光出力の制御ができる。
また、本第十一の発明の画像処理装置は、第十の発明に対して、物理特性情報は、光量に関する情報であり、物理的特性処理部は、物理特性情報に従って、光出力する場合の光量を設定し、出力部は、設定された光量に従って、１または２以上の処理画像を出力する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現するために、光量の制御ができる。
また、本第十二の発明の画像処理装置は、第十の発明に対して、物理特性情報は、視野角に関する情報であり、物理的特性処理部は、物理特性情報に従って、視野角を設定し、出力部は、設定された視野角に従って、１または２以上の処理画像を出力する画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現するために、光出力の際の視野角の制御ができる。
また、本第十三の発明の画像処理装置は、第九から第十二いずれかの発明に対して、画像処理装置は、複数の出力部を具備し、物理特性情報取得部は、複数の出力部の光出力を制御する情報である物理特性情報を取得し、物理的特性処理部は、物理特性情報に従って、複数の出力部の光出力のための制御を行う画像処理装置である。
かかる構成により、画像内に含まれている対象の失われた物理的特性をできる限り再現するために、複数の出力部の光出力制御ができる。
また、本第十四の発明の画像処理装置は、第二から第十三いずれかの発明に対して、出力部が出力した１または２以上の処理画像に関する情報である出力画像情報を取得する出力画像情報取得部をさらに具備し、処理後情報は、出力画像情報である画像処理装置である。
かかる構成により、出力された画像から得られる情報を用いたフィードバック制御により、画像内に含まれている対象の失われた物理的特性をより精度高く再現できる。
また、本第十五の発明の画像処理装置は、第二、第四から第十三いずれかの発明に対して、処理画像を視るユーザの反応に関する情報であるユーザ反応情報を取得するユーザ反応情報取得部をさらに具備し、処理後情報は、ユーザ反応情報である画像処理装置である。
かかる構成により、出力された画像を視ているユーザの反応を用いたフィードバック制御により、画像内に表れている対象の失われた物理的特性をより精度高く再現できる。
また、本第十六の発明の画像処理装置は、第二、第四から第十五いずれかの発明に対して、処理後情報は、表示画面面積に関する情報であり、デジタル処理部は、表示画面面積に応じて時空間輝度アクティビティを調整させる処理を、画像受付部が受け付けた１または２以上の画像に対して行う画像処理装置である。
また、本第十七の発明の画像処理装置は、第一から第十六いずれかの発明に対して、デジタル処理部は、画像が有する画素および領域に関する１以上の拘束条件を格納し得る拘束条件格納手段と、画像受付部が受け付けた１または２以上の画像が、１以上の拘束条件を満たすように、１または２以上の画像が有する画素および領域を変更し、１または２以上の処理画像を取得するデジタル処理手段とを具備する画像処理装置である。
また、本第十八の発明の画像処理装置は、第一から第十七いずれかの発明に対して、物理特性処理部は、物理特性情報に関する１以上の拘束条件を格納し得る物理特性拘束条件格納手段と、出力部が出力する１または２以上の画像が、１以上の拘束条件を満たすように、物理特性情報を変更し、１または２以上の処理画像を取得する物理特性処理手段とを具備する画像処理装置である。
また、本第十九の発明の画像処理装置は、第十七または第十八の発明に対して、拘束条件は、画像が有する画素および領域の輝度値に関する条件であり、デジタル処理手段は、１以上の拘束条件を満たすように、画像受付部が受け付けた１または２以上の画像が有する画素および領域の輝度値を変更し、１または２以上の処理画像を取得する画像処理装置である。
また、本第二十の発明の画像処理装置は、第十七または第十八の発明に対して、拘束条件は、画像が有する２以上の画素間および領域間の関係に関する条件であり、デジタル処理部は、視野の範囲に関する情報である視野範囲情報を格納し得る視野範囲情報格納手段をさらに具備し、デジタル処理手段は、画像内の範囲であり、視野範囲情報が示す視野の範囲において、１以上の拘束条件を満たすように、画像受付部が受け付けた１または２以上の画像が有する画素および領域の輝度値を変更し、１または２以上の処理画像を取得する画像処理装置である。
また、本第二十一の発明の画像処理装置は、第一から第二十いずれかの発明に対して、出力部は、出力に関する１以上の拘束条件を格納し得る出力拘束条件格納手段と、出力する１または２以上の画像が、前記１以上の拘束条件を満たすように、処理画像を変更し、当該変更した１または２以上の処理画像を出力する出力手段とを具備する画像処理装置である。
また、本第二十二の発明の画像処理装置は、第一から第二十一いずれかの発明に対して、物理特性情報取得部は、画像受付部が受け付けた１または２以上の画像に含まれる対象の大きさに対応する表示画面面積に関する情報を取得し、物理的特性処理部は、表示画面面積に関する情報を設定し、出力部は、表示画面面積に関する情報に応じて、１または２以上の処理画像を出力する画像処理装置である。
また、本第二十三の発明の画像処理装置は、第一から第二十一いずれかの発明に対して、画像処理装置は、解像度が異なる複数の出力部を具備し、物理特性情報取得部は、処理画像を構成する部分の画像であり、複数の各出力部により出力される画像である部分画像を特定する部分特定情報を、複数の出力部ごとに取得し、複数の各出力部は、自身の部分特定情報で特定される部分画像を出力する画像処理装置である。
また、本第二十四の発明の画像処理装置は、第一から第二十一いずれかの発明に対して、画像処理装置は、複数の出力部を具備し、画像受付部は、一の対象を異なる環境で撮影した２種類以上の画像を受け付け、デジタル処理部は、２種類以上の画像に対してデジタル処理を行い、２種類以上の処理画像を取得し、物理特性情報取得部は、２種類以上の各処理画像の全部または一部を特定する情報である物理特性情報を取得し、物理的特性処理部は、複数の各出力部に対して、物理特性情報に従って、２以上の処理画像の全部または一部を重畳して出力するように指示をする画像処理装置である。
本発明による画像処理装置によれば、画像内に含まれている対象の失われた物理的特性をできる限り再現できる。
実施の形態１における画像処理装置１のブロック図 同画像処理装置１の動作について説明するフローチャート 同画像解析処理について説明するフローチャート 同デジタル処理について説明するフローチャート 同種類識別子取得処理の例について説明するフローチャート 同画像処理装置１の概念図 同画像処理装置１の具体的処理例を説明する図 同画像処理装置１の具体的処理例を説明する図 同画像処理装置１の具体的処理例を説明する図 同画像処理装置１の具体的処理例を説明する図 同画像処理装置１の具体的処理例を説明する図 同画像処理装置１の具体的処理例を説明する図 実施の形態２における画像処理装置２のブロック図 同、画像処理装置２の動作について説明するフローチャート 実施の形態３における画像処理装置３のブロック図 同画像処理装置３の動作について説明するフローチャート 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
本実施の形態において、受け付けた画像に対して、デジタル処理を行った後、画像内の対象に対して失われた物理的な性質に関する情報である物理特性情報を取得し、当該物理特性情報に対応する物理的特性を再現するための物理的特性処理を行い、出力画像を得る画像処理装置について説明する。なお、物理的な性質とは、物理的特性とも言い、画像内の対象（画像全体でも良い）が本来持っている物理的な性質であり、例えば、画像内の対象等の大きさ、動き、明るさ、色等である。
また、本実施の形態において、物理的特性処理後に得られる情報を用いて、デジタル処理を行う画像処理装置について説明する。
また、本実施の形態において、入力画像、処理途中の画像、または出力画像を用いて、物理特性情報を取得する画像処理装置について説明する。
また、本実施の形態において、ルックアップテーブル（以下、適宜、「ＬＵＴ」と言う。）を用いて、デジタル処理、および物理的特性処理を行う画像処理装置について説明する。
また、本実施の形態において、複数のＬＵＴから適切なＬＵＴを選択し、当該選択したＬＵＴを用いて、デジタル処理、および物理的特性処理を行う画像処理装置について説明する。
また、本実施の形態において、デジタル処理の具体例として、時空間輝度アクティビティの変更、拘束条件を用いた時空間輝度補正、拘束条件を用いた画素間および領域間の関係を保つ処理等について説明する。
また、本実施の形態において、物理的特性処理の例として、光出力制御を行う画像処理装置について説明する。
また、本実施の形態において、物理的特性処理の具体例として、画像の大きさを視野角の大きさに近づける処理、空間解像度を適切に不均一にする処理、同一の対象に対する２以上の撮影画像を重畳して出力する処理等について説明する。
なお、本実施の形態において、画像は、動画でも静止画でも良い。画像が動画の場合、画像は２以上のフィールドを有する。なお、１フィールドは、１画面であり、１フレームと言っても良い。
図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、格納部１０、画像受付部１１、画像解析部１２、デジタル処理部１３、物理特性情報取得部１４、物理的特性処理部１５、１または２以上の出力部１６、出力画像情報取得部１７、出力パラメータ取得部１８、ユーザ情報取得部１９を備える。
デジタル処理部１３は、例えば、拘束条件格納手段１３１、視野範囲情報格納手段１３２、デジタル処理手段１３３を備える。
物理的特性処理部１５は、例えば、物理特性拘束条件格納手段１５１、物理的特性処理手段１５２を備える。
出力部１６は、例えば、出力拘束条件格納手段１６１、出力手段１６２を備える。
ここで、画像処理装置１が有する出力部１６は、例えば、プロジェクタ、有機ＥＬ等の光出力を行う装置であることは好適である。但し、出力部１６は、液晶、ブラウン管等の出力装置でも良い。つまり、画像処理装置１が有するディスプレイの種類は問わない。
格納部１０は、１または２以上のルックアップテーブル（以下、適宜、「ＬＵＴ」と言う。）を格納し得る。格納部１０は、ＬＵＴの種類を識別する種類識別子と種類識別子に対応するＬＵＴとの組を２組以上格納していても良い。なお、ＬＵＴのデータ構造は、テーブル構造とは限らない。つまり、ＬＵＴのデータ構造は、問わない。また、ＬＵＴの種類とは、ＬＵＴそのものであっても良いことは言うまでもない。
ここで、ＬＵＴは、１または２以上の対応情報を有する。対応情報は、１または２以上の画像（画像受付部１１が受け付けた画像）の全部または一部分と、当該画像と同一の対象についての画像である処理画像（デジタル処理部１３が出力した画像）の全部または一部分との対応を取るための情報である。また、対応情報は、物理特性情報を取得するための情報を含む。なお、対象とは、画像内の一部のオブジェクトでも良いし、画像全体が示す景色、情景などでも良い。また、オブジェクトとは、人、山、川、風に揺らぐ木、自動車等の有体物である。また、物理特性情報は、物理的特性を示す情報でも良いが、失われた物理的特性を再現するための情報であっても良い。物理特性情報は、例えば、光量、視野角、ズームの倍率、２以上の出力部１６の光出力制御の情報、ユーザ反応情報である。光出力制御の情報とは、光出力する際の光量、視野角、出力する画像の範囲等の情報である。ユーザ反応情報とは、例えば対象を見るときの人の目の動き、瞳孔の状態、顔の動き等である。また、ここで物理的特性とは、対象の大きさ、明るさ、動き、色等、対象の物理的な特性であれば何でも良い。また、物理特性情報を取得するための情報とは、物理特性情報そのものでも良く、例えば、画像を出力する際の光量、画像を出力する際の視野角を示す情報、光量を算出するための演算式、視野角を算出するための演算式等である。ここで、物理特性情報は、例えば、画像を出力する際の光量に関する情報である。また、物理特性情報は、例えば、画像を出力する際の視野角に関する情報である。
ここで、対応情報またはＬＵＴは出力装置の種類によって変化することがあるのは言うまでもない。例えば、プロジェクタと有機ＥＬでは発光原理、画素形状などが異なるため、物理特性を再現するための画像の出力内容は異なることがありうる。
また、ＬＵＴが有する対応情報が一つの場合、かかる対応情報は、例えば、画像を変換する演算式や、画像を変換する演算式に与える１以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。
また、対応情報は、例えば、第一画像関連情報と第二画像関連情報と物理特性情報を有する情報である。第一画像関連情報は、１または２以上の画像の全部または一部分に関する情報である。第二画像関連情報は、１または２以上の処理画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、１以上の画像の全部または一部分から抽出される１以上の特徴量である。また、第二画像関連情報は、例えば、１以上の処理画像の全部または一部分である。また、第二画像関連情報は、例えば、１以上の処理画像の全部または一部分を生成する演算式である。また、第二画像関連情報は、例えば、１以上の処理画像の全部または一部分を生成する演算式に与えるパラメータ群の対である。かかる場合、演算式は、例えば、デジタル処理部１３が保持している。また、画像から抽出される１以上の特徴量には、例えば、１以上の画像の一部の特徴量である近傍特徴量と、１以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報（ＰｉｎＰであるか否か、ＰｏｕｔＰであるか否か、テロップの有無など）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。
また、上述した１以上の画像の全部または一部分および１以上の処理画像の全部または一部分は、出力される一画面の画像でも良いし、一画面の一部のブロックの画像でも良いし、一画素でも良いし、時間的に連続する複数画面でも良いし、時間的に連続する複数画面の空間上の一部分（後述する時空間ブロック）でも良いし、時間的に連続する複数画面の連続する一画素の集合などでも良い。つまり、画像および処理画像の情報量の単位は問わない。なお、時空間ブロックとは、通常、映像を、空間的、または時間的、または空間的かつ時間的に分割した一部分をいう。ただし、時空間ブロックは、画素の集合であれば良い。つまり、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、画像を分割されて取得された複数の時空間ブロックは、一部に重複した画素を有するものでも良い。
格納部１０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。格納部１０にＬＵＴが記憶される過程は問わない。例えば、記録媒体を介してＬＵＴが格納部１０で記憶されるようになってもよく、通信回線等を介して送信されたＬＵＴが格納部１０で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたＬＵＴが格納部１０で記憶されるようになってもよい。
画像受付部１１は、１または２以上の画像を受け付ける。また、画像受付部１１は、一の対象を異なる２以上の環境で撮影した２種類以上の画像を受け付けても良い。ここで、画像は、通常、カメラで撮影された撮影画像であるが、必ずしも撮影画像とは限らない。画像は、例えば、ＣＧ画像等でも良い。また、ここで異なる環境とは、時間、天気、気温、カメラ、カメラパラメータ等が異なることである。また、２種類以上の画像とは、例えば、暗い画像と明るい画像、解像度が異なる画像、色数が異なる画像、視野角が異なる画像等である。また、ここでの受け付けとは、通常、通信手段や放送受信手段を用いた受信であるが、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付け、スキャナやカメラ等の入力デバイスから入力された画像の受け付けなどを含む概念である。画像受付部１１は、例えば、放送受信手段、または通信手段等により実現され得る。
画像解析部１２は、画像受付部１１が受け付けた１以上の画像の全部または一部分を解析し、解析結果を取得し、当該解析結果に対応する対応情報を選択する。画像解析部１２は、画像受付部１１が受け付けた１以上の画像の全部または一部分を解析し、解析結果を取得し、当該解析結果に対応するＬＵＴを選択し、当該ＬＵＴ内から、対応情報を選択しても良い。ここで、対応情報の選択とは、対応情報を取得することでも良いし、対応情報に含まれる一部の情報（例えば、第二画像関連情報、または物理特性情報）を取得することでも良いし、対応情報を識別する情報を取得すること等でも良い。
また、画像解析部１２は、例えば、画像受付部１１が受け付けた１以上の画像の全部または一部分を解析し、第一画像関連情報を取得し、当該第一画像関連情報に対応する対応情報を取得する。なお、第一画像関連情報は、上述した通り、例えば、画像の近傍特徴量、または全体特徴量等である。
なお、画像解析部１２が、画像受付部１１が受け付けた１以上の画像の一部分を解析する場合、画像解析部１２は、通常、画像受付部１１が受け付けた１以上の画像を分割し、２以上の時空間ブロックを取得する。ここで、時空間ブロックは、一画像を空間的に分割したブロックも含むし、複数画像を時間的に分割した時間ブロックも含むと考える。
デジタル処理部１３は、画像受付部１１が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得する。ここで、デジタル処理とは、解像度を上げる処理、画素値を変更する処理、輝度を変更する処理、明るさを変更する処理等、何でも良い。
また、デジタル処理部１３は、後述する物理特性情報取得部１４が取得する物理特性情報を用いて、画像受付部１１が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得してもよい。ここで、物理特性情報とは、例えば、表示画面面積に関する情報、時空間解像度に関する情報、光量に関する情報、表示位置に関する情報、光軸の向きに関する情報などである。
また、デジタル処理部１３は、後述する物理的特性処理部１５が物理的特性処理を行った後に得られる情報である処理後情報を用いて、画像受付部１１が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得しても良い。ここで、処理後情報とは、例えば、出力画像情報、ユーザ反応情報等である。出力画像情報とは、出力部１６が出力した１または２以上の処理画像に関する情報であり、例えば、処理画像、または処理画像を撮影した画像の近傍特徴量や全体特徴量、画面上の明るい領域または暗い領域を示す情報、輝度ムラの有無、輝度ムラが存在する領域を示す情報、ピントの合い具合、時間応答（フリッカ、反応速度）、スクリーン面に関する情報（スクリーンとの距離、スクリーンの向き）等である。また、ユーザ反応情報とは、処理画像を視るユーザに関する情報であり、例えば、ユーザの目の動き（眼球運動）に関する情報、瞳孔反応に関する情報、姿勢変化に関する情報、ユーザの脳波に関する情報、ユーザの性別や年齢等のユーザ属性等である。ユーザの目の動きに関する情報とは、例えば、ユーザの目の動きを示す情報そのもの、または、ユーザの目の動きが、学習されている目の動きと均等の範囲にあるか否かを示す情報等である。なお、学習されている目の動きは、例えば、デジタル処理部１３が保持している。また、学習されている目の動きは、例えば、画像受付部１１が画像とともに受け付けた情報である。
また、具体的には、例えば、デジタル処理部１３は、１または２以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部１１が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得する。
また、デジタル処理部１３は、画像解析部１２が選択した対応情報を用いて、画像受付部１１が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得しても良い。
また、デジタル処理部１３は、表示画面面積に応じて時空間輝度アクティビティを調整する処理を、画像受付部１１が受け付けた１または２以上の画像に対して行っても良い。なお、ここで、表示画面面積が大きい場合ほど時空間輝度アクティビティを増加させるような処理を行うことは好適である。つまり、デジタル処理部１３は、例えば、表示画面面積と時空間輝度アクティビティとの対応を示す２以上のレコードを有する対応表を保持しており、かかる対応表を用いて、取得した表示画面面積から時空間輝度アクティビティを決定し、当該時空間輝度アクティビティとなるように処理対象の画像に対して処理を施す。また、デジタル処理部１３は、例えば、表示画面面積をパラメータとする演算式であり、時空間輝度アクティビティを決定する演算式を保持しており、かかる演算式に取得した表示画面面積を代入し、時空間輝度アクティビティを決定し、当該時空間輝度アクティビティとなるように処理対象の画像に対して処理を施しても良い。
さらに、デジタル処理部１３は、２種類以上の画像に対してデジタル処理を行い、２種類以上の処理画像を取得しても良い。２種類以上の画像とは、一の対象を異なる環境で撮影した２以上の画像である。
デジタル処理部１３を構成する拘束条件格納手段１３１は、画像が有する画素および領域に関する１以上の拘束条件を格納し得る。拘束条件は、例えば、出力される画像に適用される条件であり、被写体から取得される条件である。また、拘束条件は、通常、画像を自然法則に合致させるための条件である。また、拘束条件は、通常、デジタル処理および物理的特性処理（アナログ補償処理と言っても良い）により変化した情報を修復する処理である。また、拘束条件は、例えば、画像が有する画素の輝度値に関する条件である。また、拘束条件は、例えば、画像が有する２以上の画素間の関係に関する条件である。
ここで、自然法則に合致させるための条件とは、例えば対象に含まれる複数のオブジェクト間の関係を崩さないことである。オブジェクト間の関係とは、例えばオブジェクトの奥行きの差、明るさの差などである。
ここで、画素間の関係とは、例えば、画素間の輝度の差、画素間の画素値の差等である。また、拘束条件とは、例えば、輝度の時空間アクティビティの最大範囲、画素値の時空間アクティビティの最大範囲、明るさの時空間アクティビティの最大範囲などである。また、拘束条件は、例えば、画像が有する領域の輝度値に関する条件である。ここで、領域の輝度値とは、画像のある時空間ブロックの平均輝度、最大輝度、最小輝度などである。また、拘束条件は、例えば、画像が有する領域のアクティビティに関する条件である。ここで、領域のアクティビティとは、画像のある時空間ブロックの周波数分布、ダイナミックレンジなどである。また、拘束条件は、具体的には、例えば、視聴者から見て、手前の画面領域の輝度が大きく、奥の画面領域の輝度が小さいことを保証する条件である。また、拘束条件は、例えば、視聴者から見て、手前のオブジェクトの解像度感が高く、奥のオブジェクトの解像度感が低いことを保証する条件である。なお、解像度感とは、きめ細かい画像の感じ、または美しい画像の感じ、または高品質な画像の感じ、またはノイズが少ない画像の感じ、または自然に近い画像の感じ等である。
なお、解像度感は、例えば、周波数分析を行うことにより判定できる。具体的には、例えば、画像または画像の一部（例えば、時空間ブロック等）に対して周波数分析を行い、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定され得る。さらに具体的には、第一の閾値以上の高周波成分の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。つまり、閾値以上の高周波成分の割合が大きいほど、高い解像度感とする。また、周波数分析を行い、周波数分布を取得し、周波数分布に応じて、解像度感を定量的に決定しても良い。なお、かかる場合も、通常、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定される。
また、解像度感は、例えば、空間の画素値のアクティビティ（空間的アクティビティという）を用いて判定できる。具体的には、例えば、空間的アクティビティが第一の閾値以上の画素の割合が多いほど、解像度感が高いと判定され得る。また、空間アクティビティが第一の閾値以上の画素の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。その他、解像度感の判定、または解像度感の取得方法は問わない。
また、拘束条件は、例えば、フィールドが有する画素の画素値をパラメータとする条件である。また、拘束条件は、例えば、時間的に連続する２以上のフィールドが有する画素の画素値の変化量である画素値の時間的アクティビティをパラメータとする条件である。また、拘束条件は、例えば、一のフィールドが有する２以上の画素の画素値の差異である画素値の空間的アクティビティをパラメータとする条件である。さらに具体的には、拘束条件は、例えば、画素値の時間的アクティビティが一定の予め決められた範囲（時間ｔによる関数で規定できる範囲でも良い）にあることを保証する条件である。また、具体的には、拘束条件は、例えば、画素値の空間的アクティビティが一定の予め決められた範囲（基準点からの距離ｘによる関数で規定できる範囲でも良い）にあることを保証する条件である。
拘束条件格納手段１３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納手段１３１に拘束条件が記憶される過程は問わない。
視野範囲情報格納手段１３２は、視野の範囲に関する情報である視野範囲情報を格納し得る。視野範囲情報は、例えば、視野角（画角と言っても良い。）、ズームの倍率、視野の範囲の領域や大きさを示す情報（例えば、「縦：９ｍ，横：１６ｍ」）等である。視野範囲情報格納手段１３２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。視野範囲情報格納手段１３２に視野範囲情報が記憶される過程は問わない。
デジタル処理手段１３３は、画像受付部１１が受け付けた１または２以上の画像に対してデジタル処理を施す。なお、上述したようにデジタル処理の内容は問わない。また、デジタル処理手段１３３は、画像受付部１１が受け付けた１または２以上の画像が、１以上の拘束条件を満たすように、１または２以上の画像が有する画素を変更し、１または２以上の処理画像を取得することは好適である。ここで、画素の変更とは、画素値等の変更である。 また、デジタル処理手段１３３は、画像受付部１１が受け付けた１または２以上の画像が、１以上の拘束条件を満たすように、１または２以上の画像が有する領域を変更し、１または２以上の処理画像を取得することは好適である。ここで、領域の変更とは、時空間ブロックにおける画素値等の変更である。また、この際に時空間ブロックの時空間解像度、階調を変更することは好適である。
また、デジタル処理手段１３３は、拘束条件格納手段１３１に格納されている１以上の拘束条件を満たすように、画像受付部１１が受け付けた１または２以上の画像が有する画素の輝度値を変更し、１または２以上の処理画像を取得しても良い。
また、デジタル処理手段１３３は、画像内の範囲であり、視野範囲情報格納手段１３２に格納されている視野範囲情報が示す視野の範囲において、１以上の拘束条件を満たすように、画像受付部１１が受け付けた１または２以上の画像が有する画素および領域を変更し、１または２以上の処理画像を取得しても良い。かかる場合、デジタル処理手段１３３は、視野範囲情報が示す視野の範囲を変化させながら、画像内の各視野範囲情報が示す視野の範囲の画像が１以上の拘束条件を満たすように、画素を変更し、１または２以上の処理画像を取得する。
物理特性情報取得部１４は、画像受付部１１が受け付けた１または２以上の画像において、失われた物理的特性に関する情報である物理特性情報を取得する。失われた物理的特性とは、画像内に含まれる対象が有する１以上の物理的特性と比較して失われた物理的な特性である。 また、物理特性情報取得部１４は、１または２以上の画像または１または２以上の処理画像を用いて、物理特性情報を取得しても良い。
物理特性情報取得部１４は、１または２以上の対応情報のうちのいずれかの対応情報を用いて、物理特性情報を取得しても良い。また、さらに具体的には、物理特性情報取得部１４は、１または２以上の対応情報のうちのいずれかの対応情報が有する物理特性情報を取得するための情報を用いて、物理特性情報を取得しても良い。なお、この対応情報は、通常、画像解析部１２が選択した対応情報である。
また、物理特性情報取得部１４は、２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、物理特性情報を取得しても良い。なお、このルックアップテーブルと対応情報は、通常、画像解析部１２が選択したルックアップテーブルと対応情報である。
また、物理特性情報取得部１４は、複数の出力部１６の光出力を制御する情報である物理特性情報を取得しても良い。
また、物理特性情報取得部１４は、画像受付部１１が受け付けた１または２以上の画像に含まれる対象の大きさに対応する表示画面面積に関する情報を取得しても良い。ここで、表示画面面積に関する情報とは、視野角でも良いし、ズームの程度等でも良い。
また、物理特性情報取得部１４は、処理画像を構成する部分の画像であり、複数の各出力部１６により出力される画像である部分画像を特定する部分特定情報を、複数の出力部１６ごとに取得しても良い。解像度が必要な部分に対して、解像度の高い部分画像が出力されるように部分特定情報が決定されることは好適である。なお、ここで、複数の各出力部１６とは、自身の部分特定情報で特定される部分画像を出力する。また、ここで、解像度が必要な部分とは、例えば画像の中でアクティビティが高い部分や、視聴者にとって重要な部分である。
さらに、物理特性情報取得部１４は、２種類以上の各処理画像の全部または一部を特定する情報である物理特性情報を取得しても良い。
物理的特性処理部１５は、１または２以上の処理画像を用いて、物理特性情報で示される物理的特性処理を行う。物理的特性処理は、物理的特性を付加するための処理である。また、物理的特性処理は、失われた物理的特性を再現する処理である、と言っても良い。物理的特性処理とは、例えば、出力画像である処理画像の大きさの設定、視野角の設定等である。
また、物理的特性処理部１５は、１または２以上の処理画像を光出力する場合に、物理特性情報に従って光出力のための制御を行うことは好適である。ここで、光出力のための制御とは、例えば、光量の制御、出力時の視野角の制御等である。
また、物理的特性処理部１５は、物理特性情報に従って、光出力する場合の光量を設定しても良い。
また、物理的特性処理部１５は、物理特性情報に従って、視野角を設定しても良い。
また、物理的特性処理部１５は、物理特性情報に従って、複数の出力部１６の光出力のための制御を行っても良い。
また、物理的特性処理部１５は、表示画面面積に関する情報を設定しても良い。
また、物理的特性処理部１５は、複数の各出力部１６に対して、物理特性情報に従って、２以上の処理画像の全部または一部を重畳して出力するように指示しても良い。
物理的特性処理部１５を構成する物理特性拘束条件格納手段１５１は、物理特性情報に関する１以上の拘束条件を格納し得る。この拘束条件は、物理特性拘束条件であり、例えば、明るさを拘束するためのランプの光量の最大値、やランプの光量の変化の最大値（光量の時空間アクティビティの最大値）、複数の出力部の間のランプの光量の関係等である。物理特性拘束条件格納手段１５１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。物理特性拘束条件格納手段１５１に拘束条件が記憶される過程は問わない。
また、物理特性処理手段１５２は、出力部１６が出力する１または２以上の画像が、１以上の物理特性拘束条件を満たすように、物理特性情報を変更し、１または２以上の処理画像を取得する。
出力部１６は、物理的特性処理が施された処理画像を出力する。物理的特性処理を施した処理画像の出力とは、物理的特性処理により設定されたパラメータ（例えば、光量、視野角等）に従って、処理画像を出力することでも良い。
また、出力部１６は、物理的特性処理部１５が行った光出力のための制御に基づいて、光出力のための制御が施された１または２以上の処理画像を出力しても良い。
また、出力部１６は、設定された光量に従って、１または２以上の処理画像を出力しても良い。
また、出力部１６は、設定された視野角に従って、１または２以上の処理画像を出力しても良い。
また、出力部１６は、表示画面面積に関する情報に応じて、１または２以上の処理画像を出力しても良い。
また、複数の各出力部１６は、自身の部分特定情報で特定される部分画像を出力しても良い。
また、複数の各出力部１６は、物理的特性処理部１５の指示に従って、前記２以上の処理画像の全部または一部を重畳して出力しても良い。物理的特性処理部１５の指示とは、物理特性情報に従って、２以上の処理画像の全部または一部を重畳して出力するための指示である。
ここで、出力とは、プロジェクタを用いた投影、ディスプレイへの表示等である。また、出力部１６は、プロジェクタ、有機ＥＬ等のディスプレイにより実現され得る。また、出力部１６は、ディスプレイデバイスのドライバーソフトとディスプレイデバイス等で実現される、と考えても良い。
また、出力拘束条件格納手段１６１は、出力に関する１以上の拘束条件を格納し得る。この拘束条件は、出力に関する拘束条件であり、出力拘束条件と言っても良い。出力拘束条件格納手段１６１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。出力拘束条件格納手段１６１に拘束条件が記憶される過程は問わない。
出力手段１６２は、出力する１または２以上の画像が、出力拘束条件格納手段１６１に格納されている１以上の拘束条件を満たすように、処理画像を変更し、当該変更した１または２以上の処理画像を出力する。ここでの出力とは上述した意味である。
出力画像情報取得部１７は、出力部１６が出力した１または２以上の処理画像に関する情報である出力画像情報を取得する。出力画像情報は、例えば、出力された画像を撮影して得られる情報である。出力画像情報は、例えば、上述したように、出力された画像を撮影して得られる画像の近傍特徴量、全体特徴量等である。出力画像情報取得部１７は、例えば、カメラとソフトウェア等により実現され得る。
出力パラメータ取得部１８は、出力部１６が処理画像を出力する際の１以上のパラメータを取得する。ここで、パラメータとは、上述したように、出力部１６が保持している光量、視野角などである。
ユーザ反応情報取得部１９は、処理画像を視るユーザの反応に関する情報であるユーザ反応情報を取得する。ここで、ユーザ反応情報とは、上述したように、例えば、目の動きを示す情報、目の動きの特徴量、目の瞳孔の状態情報、顔の動きを示す情報等である。目の動きは、例えば、アイトラッキングを用いて取得された情報である。目の瞳孔の状態情報は、例えば目の瞳孔の径などである。
ユーザ反応情報取得部１９は、カメラ、アイトラッキングを実施するための装置等で実現され得る。
画像解析部１２、デジタル処理部１３、物理特性情報取得部１４、物理的特性処理部１５、出力パラメータ取得部１８、デジタル処理手段１３３、および物理特性処理手段１５２は、通常、ＭＰＵやメモリ等から実現され得る。画像解析部１２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ２０１）画像受付部１１は、１以上の画像を受け付けたか否かを判断する。１以上の画像を受け付ければステップＳ２０２に行き、１以上の画像を受け付けなければステップＳ２０１に戻る。なお、ここでの画像は、通常、２以上の静止画から構成される映像である。
（ステップＳ２０２）画像解析部１２は、ステップＳ２０１で受け付けられた画像を、空間的、または時間的、または空間的かつ時間的に２以上に分割し、２以上の時空間ブロックを取得する。
（ステップＳ２０３）画像解析部１２は、カウンタｉに１を代入する。
（ステップＳ２０４）画像解析部１２は、ステップＳ２０２で取得された時空間ブロックのうち、ｉ番目のブロックが存在するか否かを判断する。ｉ番目のブロックが存在すればステップＳ２０５に行き、ｉ番目のブロックが存在しなければステップＳ２０８に行く。
（ステップＳ２０５）画像解析部１２は、ｉ番目の時空間ブロックに対して、画像解析処理する。かかる画像解析処理について、図３のフローチャートを用いて説明する。なお、画像解析処理において、ステップＳ２１１で取得された処理後情報を使用しても良い。
（ステップＳ２０６）デジタル処理部１３は、ｉ番目の時空間ブロックに対して、デジタル処理を行い、ｉ番目の時空間ブロックに対応する処理画像の一部または全部を取得する。かかるデジタル処理について、図４のフローチャートを用いて説明する。なお、デジタル処理において、ステップＳ２１１で取得された処理後情報を使用しても良い。
（ステップＳ２０７）画像解析部１２は、カウンタｉを１、インクリメントし、ステップＳ２０４に戻る。
（ステップＳ２０８）物理特性情報取得部１４は、画像受付部１１が受け付けた画像において、失われた物理的特性に関する物理特性情報を取得する。物理特性情報の取得方法の例は上述した通りである。
（ステップＳ２０９）物理的特性処理部１５は、処理画像を用いて、ステップＳ２０８で取得された物理特性情報に従って物理的特性処理を行う。
（ステップＳ２１０）出力部１６は、物理的特性処理が施された処理画像を出力する。
（ステップＳ２１１）出力画像情報取得部１７、出力パラメータ取得部１８、ユーザ情報取得部１９のうちの１以上の手段が、処理後情報を取得する。処理後情報とは、例えば、出力画像情報、出力部１６が処理画像を出力する際の１以上のパラメータ、ユーザ情報等である。ステップＳ２０１に戻る。
なお、図２のフローチャートにおいて、ステップＳ２０２において画像を分割する処理を行ったか、画像を分割する処理は行わなくても良い。かかる場合、ブロックは一つとなる。
また、図２のフローチャートにおいて、ステップＳ２０８、Ｓ２０９の物理特性情報の取得処理、および物理的特性処理は、画像受付部１１が受け付けた画像の単位で行ったが、分割された時空間ブロックの単位で行っても良い。
また、図２のフローチャートにおいて、デジタル処理の後に物理的特性処理が行われた。しかし、物理的特性処理の後にデジタル処理が行われても良いし、並行してデジタル処理と物理的特性処理とが行われても良い。
また、図２のフローチャートにおいて、ステップＳ２１１の処理後情報の取得処理は存在しなくても良い。
さらに、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップＳ２０５の画像解析処理について、図３のフローチャートを用いて説明する。
（ステップＳ３０１）画像解析部１２は、上記のｉ番目の時空間ブロックに対して、画像解析し、１以上の特徴量である特徴量ベクトル（第一特徴量ベクトルという）を取得する。ここで、画像解析部１２は、処理後情報を取得し、特徴量ベクトルに含めるようにしても良い。なお、１以上の特徴量は、例えば、上述した近傍特徴量または／および全体特徴量のうちの１以上の特徴量である。また、例えば、１以上の特徴量は、例えば、複数の画素の最大値（ＭＡＸ）および最小値（ＭＩＮ）、ダイナミックレンジ（ＤＲ＝ＭＡＸ−ＭＩＮ）、輝度度数分布、時間方向の差分値などである。また、画像から、かかる１以上の特徴量を取得する技術は公知技術であるので詳細な説明を省略する。なお、特徴量は上述した特徴量に限らないことは言うまでもない。
（ステップＳ３０２）画像解析部１２は、カウンタｉに１を代入する。
（ステップＳ３０３）画像解析部１２は、格納部１０のＬＵＴの中に、ｉ番目の対応情報が存在するか否かを判断する。ｉ番目の対応情報が存在すればステップＳ３０４に行き、ｉ番目の対応情報が存在しなければステップＳ３０７に行く。なお、格納部１０に２以上のＬＵＴが存在する場合、本ステップでは、いずれかの一のＬＵＴを使用することで良い。また、後述する種類識別子取得処理を行ってから、当該種類識別子取得処理で取得された種類識別子に対応するＬＵＴを使用しても良い。
（ステップＳ３０４）画像解析部１２は、ｉ番目の対応情報が有する特徴量ベクトル（第二特徴量ベクトルという）を取得する。
（ステップＳ３０５）画像解析部１２は、ステップＳ３０１で取得した第一特徴量ベクトルと、ステップＳ３０４で取得した第二特徴量ベクトルの距離を算出し、当該距離をｉ（ｉ番目の対応情報）に対応付けて、バッファに一時蓄積する。
（ステップＳ３０６）画像解析部１２は、カウンタｉを１、インクリメントし、ステップＳ３０３に戻る。
（ステップＳ３０７）画像解析部１２は、バッファに蓄積されている距離が最も小さい対応情報を選択する。上位処理にリターンする。なお、対応情報を選択する処理は、処理画像の全部または一部分を決定する処理である。
なお、図３のフローチャートにおいて、対応情報は、ＩＤ（アドレスでも良い）を保持しており、例えば、１以上の特徴量を予め格納している演算式に代入して、ＩＤ（アドレスでも良い）を取得するようにしても良い。つまり、画像解析処理の方法は問わない。
次に、ステップＳ２０６のデジタル処理の例について、図４のフローチャートを用いて説明する。
（ステップＳ４０１）デジタル処理部１３を構成するデジタル処理手段１３３は、利用するルックアップテーブルの種類を識別する種類識別子を取得する。かかる種類識別子取得処理の例について、図５のフローチャートを用いて説明する。
（ステップＳ４０２）デジタル処理手段１３３は、ステップＳ４０１で取得された種類識別子に対応するルックアップテーブルの中の対応情報であって、画像解析部１２が決定した第一の画像の全部または一部分に対応する対応情報中のパラメータ群を取得する。
（ステップＳ４０３）デジタル処理手段１３３は、ステップＳ４０２で取得したパラメータ群を用いて、画像解析部１２が決定した画像の全部または一部分に対応する処理画像の全部または一部分を生成する。さらに具体的には、例えば、デジタル処理手段１３３は、予め格納している演算式に、ステップＳ４０２で取得したパラメータ群を代入し、演算式を実行する。そして、デジタル処理手段１３３は、処理画像の全部または一部分を取得する。
（ステップＳ４０４）デジタル処理手段１３３は、拘束条件格納手段１３１から、拘束条件を読み出す。
（ステップＳ４０５）デジタル処理手段１３３は、ステップＳ４０２で取得された処理画像の全部または一部分が、ステップＳ４０３で読み出した拘束条件を満たすか否かを判断し、判断結果をバッファに代入する。
（ステップＳ４０６）ステップＳ４０４における判断結果が「拘束条件を満たす（合致）」である場合はステップＳ４０７に行き、「拘束条件を満たさない（合致しない）」である場合は、ステップＳ４０８に行く。
（ステップＳ４０７）デジタル処理手段１３３は、最終的な処理画像の全部または一部分として、ステップＳ４０３で取得された処理画像の全部または一部分を得る。上位処理にリターンする。
（ステップＳ４０８）デジタル処理手段１３３は、ステップＳ４０３で取得された第二の画像の全部または一部分を、拘束条件を満たすように変更して、新しい処理画像を取得する。
（ステップＳ４０９）デジタル処理手段１３３は、最終的な処理画像の全部または一部分として、ステップＳ４０８で取得された処理画像を得る。上位処理にリターンする。
なお、図４のフローチャートにおいて、処理画像の全部または一部分を生成する方法や、処理画像の全部または一部分を取得する方法は、他の方法でも良い。
また、図４のフローチャートにおいて、格納部１０のルックアップテーブルが一つである場合、ステップＳ４０１の処理は不要であることは言うまでもない。
次に、ステップＳ４０１の種類識別子取得処理の例について、図５のフローチャートを用いて説明する。
（ステップＳ５０１）デジタル処理手段１３３は、上記のｉ番目のブロック（第一画像）の特徴量ベクトルを取得する。
（ステップＳ５０２）デジタル処理手段１３３は、カウンタｉに１を代入する。
（ステップＳ５０３）デジタル処理手段１３３は、格納部１０に、ｉ番目の種類識別子が存在するか否かを判断する。ｉ番目の種類識別子が存在すればステップＳ５０４に行き、ｉ番目の種類識別子が存在しなければステップＳ５０７に行く。
（ステップＳ５０４）デジタル処理手段１３３は、ｉ番目の種類識別子に対応する特徴量ベクトルを取得する。
（ステップＳ５０５）デジタル処理手段１３３は、ステップＳ５０１で取得した特徴量ベクトルと、ステップＳ５０４で取得した特徴量ベクトルとの距離を算出し、ｉ番目の種類識別子に対応付けて、バッファに一時蓄積する。
（ステップＳ５０６）デジタル処理手段１３３は、カウンタｉを１、インクリメントし、ステップＳ５０３に戻る。
（ステップＳ５０７）デジタル処理手段１３３は、ステップＳ５０５で算出した最も小さい距離に対応する種類識別子を取得する。上位処理にリターンする。
なお、図５のフローチャートにおいて、種類識別子取得処理は、上述したような他の方法でも良い。つまり、図５のフローチャートにおいて、ブロックの特徴量ベクトル（１以上の近傍特徴量）を用いて種類識別子を決定したが、上述したように、全体特徴量や近傍特徴量を用いて種類識別子を決定しても良いし、電子番組表の情報等を用いて種類識別子を決定しても良いし、ユーザからの指示によって種類識別子を決定しても良い。
以下、本実施の形態における画像処理装置１の具体的な動作について説明する。画像処理装置１の概念図は図６である。図６において、画像処理装置１は、撮影された画像を受け付け、デジタル処理、およびアナログ処理（上記の物理的特性処理と同様）を行い、撮影やデジタル処理で失われた撮影対象の物理的特性を再現する、ことを示す。また、図６のデジタル処理において、アナログ処理の結果を用いたフィードバック、出力デバイス（スクリーン面）の情報を用いたフィードバック、または視聴者の反応のフィードバックが行われても良いことを示す。また、図６において、アナログ処理とは、プロジェクタ等の出力部１６の光出力制御の処理である。さらに、画像処理装置１は、受け付けられた画像をデジタル処理した後、デジタル処理により失われた物理的特性を再現するためのアナログ処理を行っている、と言える。
以下、５つの具体例について述べる。
（具体例１）
具体例１において、画像処理装置１は、アナログ処理（アナログ補償処理と言っても良い。）によって、画像内の対象（例えば、山）が、ユーザの認識の上で、実世界の大きさに近づくように、画像が大きく投影されるように光制御を行う。また、具体例１において、画像処理装置１は、物理的特性処理によって付加される物理的特性に応じて、時空間輝度アクティビティを調整するデジタル処理（デジタル補償処理と言っても良い。）を行う。さらに、具体例１において、画像処理装置１は、デジタル補償処理において、ＬＵＴを用いて、時空間輝度アクティビティを調整する。なお、ここで、ＬＵＴは格納部１０に格納されており、ＬＵＴが有する対応情報は、ここでは、第二特徴量ベクトルと画像処理を行うためのパラメータ群と物理特性情報とを有する、とする。
かかる状況において、まず、画像受付部１１は、１以上の画像（映像とも言う。）を受け付ける。次に、画像解析部１２は、受け付けられた映像を、空間的、または時間的、または空間的かつ時間的に１または２以上に分割し、１または２以上の時空間ブロックを取得する。なお、時空間ブロックが１つの場合は、分割は行われない。
次に、画像解析部１２は、２以上の各時空間ブロックの輝度に関する情報を有する特徴量ベクトルである第一特徴量ベクトルを、各時空間ブロックごとに取得する。
次に、画像解析部１２は、格納部１０のＬＵＴの中から、対応情報が有する第二特徴量ベクトルと、第一特徴量ベクトルとの距離が最も小さい第二特徴量ベクトルに対応する対応情報を、各時空間ブロックごとに取得する。
次に、デジタル処理部１３は、取得された対応情報が有するパラメータ群を、各時空間ブロックごとに取得する。
次に、デジタル処理部１３は、各時空間ブロックごとに、取得したパラメータ群を用いて、時空間ブロックを画像処理し、処理画像の部分または全体を取得する。
次に、物理特性情報取得部１４は、物理特性情報（例えば、表示画面面積）を取得する。ここで、物理特性情報取得部１４は、１または２以上の各時空間ブロックに対応する１または２以上の対応情報が有する１または２以上の物理特性情報を取得する。そして、物理特性情報取得部１４は、例えば、１または２以上の物理特性情報の平均値（例えば、表示画面面積）を取得する。なお、ここで、特性情報取得部１４が取得する情報は、物理特性情報の平均値でなく、例えば、物理特性情報の中央値等でも良い。
次に、物理的特性処理部１５は、物理特性情報で示される物理的特性処理を行う。ここで、例えば、物理的特性処理部１５は、物理特性情報の平均値（例えば、表示画面面積）を、出力部１６のパラメータとして設定する。
次に、出力部１６は、設定されたパラメータ（例えば、表示画面面積）を用いて、処理画像を出力する。
次に、画像受付部１１は、新たな映像を受け付ける。次に、画像解析部１２は、受け付けられた映像を分割し、１または２以上の時空間ブロックを取得する。
次に、画像解析部１２は、２以上の各時空間ブロックの輝度に関する情報を有する特徴量ベクトルである第一特徴量ベクトルを、各時空間ブロックごとに取得する。
次に、画像解析部１２は、格納部１０のＬＵＴの中の対応情報の中で、対応情報に対応する第二特徴量ベクトルと、第一特徴量ベクトルとの距離が最も小さい第二特徴量ベクトルに対応する対応情報を、各時空間ブロックごとに取得する。
次に、デジタル処理部１３は、取得された対応情報が有するパラメータ群を、各時空間ブロックごとに取得する。なお、このパラメータ群は、図７に示すように、カメラで撮影された映像（受け付けられた映像）に対して、表示画面面積に応じて時空間輝度アクティビティを調整するパラメータを含む。
次に、デジタル処理部１３は、各時空間ブロックごとに、取得したパラメータ群を用いて、時空間ブロックを画像処理し、処理画像の部分または全体を取得する。ここで、画像処理前と比較して、処理画像の部分または全体の時空間輝度アクティビティは、表示画面面積で出力した時に適切になるように調整されている。
次に、例えば、物理的特性処理部１５は、物理特性情報の平均値（例えば、表示画面面積）を、出力部１６のパラメータとして設定する。
次に、出力部１６は、設定されたパラメータを用いて、処理画像を出力する。そして、以上の処理を、映像が受け付けられている間、繰り返す。
以上、具体例１によれば、アナログ補償処理によって表示画面面積を設定して画像出力を行う際に、表示画面面積に応じた時空間輝度アクティビティを修復するデジタル補償処理を行う場合について説明した。
なお、かかるデジタル補償処理は、例えば、図８に示すように、ＬＵＴの対応情報を用いて時空間ブロックの画像パターンを置き換える処理により実現する。図８において左側の９１が画像受付部１１で受け付けられた画像（入力画像と言っても良い。）を時空間で分割した時空間ブロックの集合である。この時空間ブロックの情報と、物理特性情報を用いて、格納部１０に格納されたＬＵＴから、時空間ブロックに対応した処理画像の一部分を求める。ここで、ＬＵＴから求められる情報とは、例えば画像そのものでもよいし、画像を処理するパラメータ、例えばフィルタ係数のようなものでもよい。フィルタ係数が格納されている場合は、これを入力された画像の一部分である時空間ブロックに施すことによって処理画像の一部分を求める。
例えば、ＬＵＴには物理特性情報である表示画面面積に応じて、画像の時空間アクティビティを増加させるようなフィルタ係数が格納されていてもよい。また、入力画像と処理画像とで、時空間の解像度および階調が異なってもよい。図８の事例では、入力画像で空間方向に３×３、時間方向に３フレームの時空間ブロック（９１）を、処理画像９２では空間方向に４×４分割、時間方向に４フレームで置き換えている。このようにして求められた処理画像に対して、画像出力デバイスで表示画面面積という物理特性情報を反映した光出力を行うことにより、物理特性を再現した画像を出力することが可能になる。また、これをユーザが見ることにより、実際に対象を直接見た場合と同様のユーザ反応が引き起こされ、ユーザは、例えば、山の雄大さ、壮大さ等を感じ取ることができる。
（具体例２）
具体例２では、複数の出力部１６を具備する画像処理装置１であり、アナログ補償処理により、映像の中の解像度が必要な箇所が他の箇所と比較して、高い解像度となるように、複数の出力部１６の出力を制御する画像処理装置１について説明する。なお、ここでの出力部１６は、例えば、プロジェクタである。
ここで、画像の中の解像度が必要な個所とは、例えば画像の中においてアクティビティが高い部分や、視聴者にとって重要な部分である。
また、具体例２では、空間解像度が不均一な画像の弊害を低減または除去するために、時空間ブロックにおける輝度の変化がなめらかな変化となるようにデジタル補償処理を行う画像処理装置１について説明する。なお、かかるデジタル補償処理は、通常、輝度アクティビティの範囲の情報を有する拘束条件を用いて行われる。かかる拘束条件は、拘束条件格納手段１３１に格納されている。
かかる状況において、まず、画像受付部１１は、映像を受け付ける。次に、画像解析部１２は、受け付けられた映像を分割し、１または２以上の時空間ブロックを取得する。
次に、画像解析部１２は、２以上の各時空間ブロックの輝度に関する情報を有する特徴量ベクトルである第一特徴量ベクトルを、各時空間ブロックごとに取得する。なお、ここでは、第一特徴量ベクトルは、画素値の空間アクティビティの情報を含む。また、画素値の空間アクティビティが大きい空間ブロックほど、ブロック内の画像の変化が大きく、重要な箇所であると判断可能である、とする。
次に、画像解析部１２は、格納部１０のＬＵＴの中の対応情報の中で、対応情報に対応する第二特徴量ベクトルと、第一特徴量ベクトルとの距離が最も小さい第二特徴量ベクトルに対応する対応情報を、各時空間ブロックごとに取得する。
次に、物理特性情報取得部１４は、各時空間ブロックごとに、対応する対応情報に含まれる物理特性情報（ここでは、解像度）を取得する。
次に、物理的特性処理部１５は、物理特性情報で示される物理的特性処理を行う。ここで、例えば、物理的特性処理部１５は、２以上の出力部１６のうちのいずれかの１以上の出力部１６であり、各時空間ブロックに対応する出力部１６の解像度を、物理特性情報取得部１４が取得した解像度に設定する。または、例えば、物理的特性処理部１５は、各時空間ブロックに対応する解像度と同一の解像度の画像を出力できる出力部１６に、各時空間ブロックの処理画像およびその領域を示す情報（画面内の空間領域を示す情報）を渡し、当該処理画像の出力を指示する。
次に、デジタル処理部１３は、取得された対応情報が有するパラメータ群を、各時空間ブロックごとに取得する。
次に、デジタル処理部１３は、各時空間ブロックごとに、取得したパラメータ群を用いて、時空間ブロックを画像処理し、処理画像の部分または全体を取得する。
次に、デジタル処理部１３のデジタル処理手段１３３は、拘束条件格納手段１３１から、拘束条件を読み出す。
次に、デジタル処理手段１３３は、取得された処理画像の全部または一部分が、読み出した拘束条件を満たすか否かを判断する。そして、拘束条件を満たさない場合、デジタル処理手段１３３は、取得された処理画像の全部または一部分を、拘束条件を満たすように変更して、新しい処理画像を取得する。なお、ここで、拘束条件を満たさない場合とは、例えば、画像全体の明るさが一定でない場合、隣接する画素間での解像度の変化が連続的な変化でない場合（隣接する画素間の解像度の差が閾値以上である場合）等である。
次に、２以上の各出力部１６は、物理的特性処理、およびデジタル処理がなされた処理画像を出力する。
具体例２について、さらに具体的に説明する。複数のプロジェクタを用いて映像を出力する場合、図９に示すように、通常、複数のプロジェクタは同じ解像度で同じ面積の画像を出力し、空間解像度が均一の画像出力が得られる。しかし、均一な空間解像度の画像は、重要な箇所でも重要でない箇所でも同じ解像度であり、視聴者（ユーザと同意義）にとって好ましくはない。具体例２の画像処理装置１では、重要な箇所の解像度が大きくなるように、図１０に示すように、不均一な解像度の映像を作り出す。また、不均一な解像度の映像を作り出した場合に、通常、図１１に示すように、画面全体の明るさが不均一になったり（図１１（ａ）の１２１参照）、解像度の連続性が崩れたり（図１１（ａ）の１２３参照）して、視にくい画像になってしまう。しかし、具体例２の画像処理装置１では、拘束条件やＵＬＴを用いたデジタル処理により、画面の明るさを均一にし、かつ解像度の連続性を保つことができる。なお、解像度の連続性について、デジタル処理手段１３３は、視野の範囲で保つ処理を行うことでも良い。なお、かかる場合、視野範囲情報格納手段１３２は、視野範囲情報を保持している。そして、デジタル処理手段１３３は、視野範囲情報が示す視野の範囲で、拘束条件を適用し、拘束条件を満たすか否かを判断する。
（具体例３）
具体例３では、例えば、広い範囲を撮影した映像に対して、視野の範囲では階調不足となり、物理的特性が失われる場合に、当該物理的特性をできる限り再現できる画像処理装置１について説明する。
具体例３では、例えば、画像処理装置１は、２つのプロジェクタを具備する。また、画像受付部１１は、前記広い範囲の全体を適正露出で撮影した映像（以下、映像Ａ）と、暗い範囲に対して適正な露出で撮影した映像（以下、映像Ｂ）とを受け付ける、とする。例えば、映像Ａを撮影したシャッタースピードが１／２００ｓ、映像Ｂを撮影したシャッタースピードはその4倍遅い１／５０ｓであったとする。
ここで、映像Ａ全体の階調は８ｂｉｔであり、画素値は０から２５５までのほぼ全ての範囲で存在する。ただし、映像Ａのうち暗い部分を見た場合、視野に入る範囲（図１２の１３１）においては、例えば画素値は０から６３の範囲にしか存在しなかったとする。この場合、この映像Ａにおいて、映像全体の階調は８ｂｉｔ（２５６段階）あるが、この視野の範囲での階調は６ｂｉｔ（６４段階）しかないと言える。
一方で、映像Ｂにおいては、シャッタースピードが４倍遅いため、この視野の範囲に対応する領域の画素値分布は０から２５５となり８ｂｉｔの階調があると言える。ただし、映像Ｂにおいては他の領域においては露出オーバーとなり、画素値が２５５になるようなところも数多く発生する。
そして、物理特性情報取得部１４は、一のプロジェクタ（以下、プロジェクタＡ）と映像Ａとを対応付け、他のプロジェクタと映像Ｂとを対応付ける。ここにおいて、物理的特性情報は、映像Ａと映像Ｂの明るさの関係となる。すなわち、ここで映像Ｂは映像Ａに比べて４倍遅いシャッタースピードで撮影されているため、同じ明るさの対象が映像Ａに対して４倍の画素値で観測されるということである。言い換えると、映像Ｂは映像Ａに対して１／４の明るさで再現すべきであるということになる。
次に、物理的特性処理部１５は、物理特性情報取得部１４が行った対応付けに従って、一のプロジェクタに映像Ａの出力を指示し、他のプロジェクタに映像Ｂの出力を指示する。ここで、物理的特性処理部１５は、物理特性情報取得部１４で求めた物理的特性情報に基づき、プロジェクタＡに対しては光量４での出力を、プロジェクタＢに対しては光量１での出力を指示する。
次に、デジタル処理手段１３３は、例えば、映像Ａおよび映像Ｂに、拘束条件格納手段１３１に格納されている拘束条件を適用し、拘束条件を満たすか否かを判断する。拘束条件を満たさない場合、デジタル処理手段１３３は、拘束条件を満たすように、映像Ａおよび映像Ｂを変更する。なお、ここでの拘束条件は、例えば、視野の範囲での画素間の関係を保つこと、広い範囲の全体の画像でのバランスを保つこと等である。
ここで、画素間の関係とは、例えば、隣接する画素の明るさの違いが、最終的な出力結果（光を重畳した結果）として輝度の違いとして表現されることである。また、画像全体のバランスとは、例えば、最終的な出力結果（画像を重畳した結果）として、画像全体の明るさ分布が適正露出で撮影した映像（映像Ａ）と大きく異ならないことである。
次に、一のプロジェクタは、拘束条件を満たした映像Ａを出力し、他のプロジェクタは、拘束条件を満たした映像Ｂを、映像Ａに重畳して出力する。
これにより、ユーザは視野の範囲で常に十分な階調情報を得ることができ、実際に対象を直接見た場合と同様の感覚を得ることができる。また、その結果として、目の動き・顔の動き等の反応が、実際に対象を直接見たときと同様の反応となる。
なお、ここではカメラおよびプロジェクタの画素値と出力する明るさの関係は線形であると仮定して説明したが、実際にはこの関係はガンマ特性等により非線形となる。この場合でも、画素値−光出力特性を演算式やＬＵＴで補正することにより、上記と同等の処理が可能となる。
（具体例４）
具体例４において、プロジェクタ等の投影画像を別のセンサー等でセンシングし、その結果からデジタル処理およびアナログ処理を調整する機能を有する画像処理装置１について説明する。具体例４の主たる処理は、デジタル処理およびアナログ処理が行われた後の処理であり、上述した具体例１〜３の処理に付随して行われても良い。
出力画像情報取得部１７は、プロジェクタの投影結果の測定結果を取得する。測定結果は、処理後情報の一例である。測定結果は、例えば、輝度に関する情報（明るい領域を特定する情報、暗い領域を特定する情報）、輝度ムラの存在の有無、輝度ムラが存在する箇所の情報、ピントの合い具合、時間応答（フリッカ、反応速度）等である。
次に、画像解析部１２は、各時空間ブロックに対して、処理後情報を含む第一特徴量ベクトルを取得する。そして、画像解析部１２は、ＬＵＴを参照し、第一特徴量ベクトルに最も近似する第二特徴量ベクトルを有する対応情報を選択する。
次に、デジタル処理部１３は、選択された対応情報を用いて、各時空間ブロックを画像処理し、時空間ブロックごとに処理画像を取得する。
次に、物理特性情報取得部１４は、デジタル処理された処理画像において、失われた物理的特性に関する物理特性情報を取得する。
次に、物理的特性処理部１５は、処理画像を用いて、物理特性情報に従った物理的特性処理を行う。そして、出力部１６は、物理的特性処理が施された処理画像を出力する。
以上の処理により、現実世界の物理的特性を再現できるような画像を出力できる。なお、具体例４において、現実世界の物理的特性を再現できるように、デジタル処理のパラメータを、ＬＵＴを用いて調整した。
また、アナログ処理で最適化された画像の出力をおこなっても、外乱（例えば、外光、気温湿度）などの影響を受け、実際に投影される光が想定通りにならないことが起こり得る。そこで、具体例４において、実際に投影された光の状態をセンシングして、もともと想定されていた画像の出力になるように、デジタル処理、アナログ処理を変更する。投影画像のセンシングは画像出力中、随時おこなっても良いし、画像出力前にセンシングしておいた環境情報を使い続けても良い。
（具体例５）
具体例５において、視聴者からの反応をセンシングし、その結果からデジタル処理およびアナログ処理を調整する機能を有する画像処理装置１について説明する。
ユーザ情報取得部１９は、視聴者の反応を示すユーザ情報を取得する。ここで、ユーザ情報は、例えば、眼球運動を示す情報、瞳孔反応を示す情報、姿勢変化を示す情報、脳波情報などである。
次に、画像解析部１２は、各時空間ブロックに対して、ユーザ情報を含む第一特徴量ベクトルを取得する。そして、画像解析部１２は、ＬＵＴを参照し、第一特徴量ベクトルに最も近似する第二特徴量ベクトルを有する対応情報を選択する。
次に、デジタル処理部１３は、選択された対応情報を用いて、各時空間ブロックを画像処理し、時空間ブロックごとに処理画像を取得する。
次に、物理特性情報取得部１４は、画像受付部１１が受け付けた画像において、失われた物理的特性に関する物理特性情報を取得する。
次に、物理的特性処理部１５は、処理画像を用いて、物理特性情報で示される物理的特性処理を行う。そして、出力部１６は、物理的特性処理が施された処理画像を出力する。
以上の処理により、現実世界の物理的特性を再現できるような画像を出力できる。なお、具体例５において、現実世界の物理的特性を再現できるように、デジタル処理、およびアナログ処理のパラメータを、ＬＵＴを用いて取得した。
具体例５において、映像投影時の視聴者の反応の差異を検出して、ターゲットとする視聴者の反応に近づけるように、デジタル処理とアナログ処理とを変更する。ここで、ターゲットとなる視聴者反応は、映像取得時に、映像取得の現場にいる人間の反応から取得することもできるし、過去に蓄積された人間の反応のデータベース（ＬＵＴ）を用いて、映像情報等から推定することもできる。過去に蓄積された人間の反応のデータベースとは、例えば、画像の内容、種類、大きさ、明るさなどによって引き起こされる人間の反応である。具体的には、明るさによる瞳孔の拡大縮小や、画像に含まれる物体の距離や個数による視線移動、画像に含まれる動きによって起こる人間の反応である。
以上、本実施の形態によれば、画像内に表れている対象の失われた物理的特性をできる限り再現できる。
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、１または２以上の画像を受け付ける画像受付部と、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理部と、前記画像受付部が受け付けた１または２以上の画像において、前記画像内に含まれる対象が有する１以上の物理的特性と比較して失われた物理的特性に関する情報である物理特性情報を取得する物理特性情報取得部と、前記１または２以上の処理画像を用いて、前記物理特性情報に対応する物理的特性を付加するための処理である物理特性処理を行う物理特性処理部と、前記物理特性処理を施した処理画像を出力する出力部として機能させるためのプログラムである。
また、上記プログラムにおいて、前記デジタル処理部は、前記物理特性処理部が前記物理特性処理を行った後に得られる情報である処理後情報を用いて、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記デジタル処理部は、前記物理特性情報を用いて、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記物理特性情報取得部は、前記画像受付部が受け付けた１または２以上の画像、または前記１または２以上の処理画像を用いて、物理特性情報を取得するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、１または２以上の画像の全部または一部分と、前記画像と同一の対象についての画像である処理画像の全部または一部分との対応を取るための情報であり、物理特性情報を取得するための情報を含む情報である１または２以上の対応情報を有するルックアップテーブルを格納しており、前記デジタル処理部は、前記１または２以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、前記物理特性情報取得部は、前記１または２以上の対応情報のうちのいずれかの対応情報を用いて、物理特性情報を取得するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、１または２以上の画像の全部または一部分と、前記画像と同一の対象についての画像である処理画像の全部または一部分との対応を取るための情報であり、物理特性情報を取得するための情報を含む情報である１または２以上の対応情報を有する２以上のルックアップテーブルを格納しており、前記デジタル処理部は、前記２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、前記物理特性情報取得部は、前記２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、物理特性情報を取得するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記画像受付部が受け付けた１以上の画像の全部または一部分を解析し、解析結果を取得し、当該解析結果に対応する対応情報を選択する画像解析部をさらに具備し、前記デジタル処理部は、前記画像解析部が選択した対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、前記物理特性情報取得部は、前記画像解析部が選択した対応情報を用いて、物理特性情報を取得するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記物理特性処理部は、前記１または２以上の処理画像を光出力する場合に、前記物理特性情報に従って光出力のための制御を行い、前記出力部は、前記物理特性処理部が行った光出力のための制御に基づいて、光出力のための制御が施された１または２以上の処理画像を出力するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記物理特性情報は、光量に関する情報であり、前記物理特性処理部は、
前記物理特性情報に従って、光出力する場合の光量を設定し、前記出力部は、前記設定された光量に従って、前記１または２以上の処理画像を出力する
ものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記物理特性情報は、視野角に関する情報であり、前記物理特性処理部は、
前記物理特性情報に従って、視野角を設定し、前記出力部は、前記設定された視野角に従って、前記１または２以上の処理画像を出力する
ものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、複数の出力部を具備し、前記物理特性情報取得部は、前記複数の出力部の光出力を制御する情報である物理特性情報を取得し、
前記物理特性処理部は、前記物理特性情報に従って、前記複数の出力部の光出力のための制御を行うものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記出力部が出力した前記１または２以上の処理画像に関する情報である出力画像情報を取得する出力画像情報取得部をさらに具備し、前記処理後情報は、前記出力画像情報であるものとして、コンピュータを機能させることは好適である。
さらに、上記プログラムにおいて、前記処理画像を視るユーザに関する情報であるユーザ情報を取得するユーザ情報取得部をさらに具備し、前記処理後情報は、前記ユーザ情報であるものとして、コンピュータを機能させることは好適である。
（実施の形態２）
本実施の形態において、画像を受け付ける場合に、当該画像に対応付けられた物理特性情報も受け付ける画像処理装置について説明する。つまり、本実施の形態における画像処理装置の処理は、実施の形態１の画像処理装置１と比較して、物理特性情報の取得方法が異なるだけである。
図１３は、本実施の形態における画像処理装置２のブロック図である。画像処理装置２は、画像受付部２１、画像解析部１２、デジタル処理部１３、物理特性情報取得部２４、物理的特性処理部１５、出力部１６、出力画像情報取得部１７、出力パラメータ取得部１８、ユーザ情報取得部１９を備える。
画像受付部２１は、１または２以上の画像を受け付ける。また、画像受付部２１は、１または２以上の画像に対応付けられた物理特性情報をも受け付ける。さらに、画像受付部２１は、一の対象を異なる環境で撮影した２種類以上の画像を受け付けても良い。なお、画像受付部２１が受け付ける物理特性情報は、例えば、画像が撮影された現場で入力された情報である。また、画像受付部２１が受け付ける物理特性情報は、例えば、画像が撮影された現場で自動取得された情報である。また、ここでの受け付けとは、通常、通信手段や放送受信手段を用いた受信であるが、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付け、スキャナやカメラ等の入力デバイスから入力された画像の受け付けなどを含む概念である。画像受付部２１は、例えば、放送受信手段、または通信手段等により実現され得る。
物理特性情報取得部２４は、画像受付部２１が受け付けた物理特性情報を取得する。物理特性情報取得部２４が取得する物理特性情報は、物理特性情報取得部１４が取得する物理特性情報と同じである。物理特性情報取得部２４は、通常、ＭＰＵやメモリ等から実現され得る。物理特性情報取得部２４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、画像処理装置２の動作の例について、図１４のフローチャートを用いて説明する。図１４のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。
（ステップＳ１５０１）画像受付部１１は、１以上の画像および物理特性情報を受け付けたか否かを判断する。１以上の画像等を受け付ければステップＳ２０２に行き、１以上の画像等を受け付けなければステップＳ２０１に戻る。
（ステップＳ１５０２）物理特性情報取得部１４は、ステップＳ１５０１で受け付けられた情報から、物理特性情報を取得する。
なお、図１４のフローチャートにおいて、ステップＳ２０２において画像を分割する処理を行ったか、画像を分割する処理は行わなくても良い。かかる場合、ブロックは一つとなる。
また、図１４のフローチャートにおいて、ステップＳ１５０２、Ｓ２０９の物理特性情報の取得処理、および物理的特性処理は、画像受付部２１が受け付けた画像等の単位で行ったが、分割された時空間ブロックの単位で行っても良い。
また、図１４のフローチャートにおいて、デジタル処理の後に物理的特性処理が行われた。しかし、物理的特性処理の後にデジタル処理が行われても良いし、並行してデジタル処理と物理的特性処理とが行われても良い。
さらに、図１４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以上、本実施の形態によれば、画像内に表れている対象の失われた物理的特性をできる限り再現できる。
なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、１または２以上の画像を受け付ける画像受付部と、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理部と、前記画像受付部が受け付けた１または２以上の画像において、前記画像内に含まれる対象が有する１以上の物理的特性と比較して失われた物理的特性に関する情報である物理特性情報を取得する物理特性情報取得部と、前記１または２以上の処理画像を用いて、前記物理特性情報に対応する物理的特性を付加するための処理である物理特性処理を行う物理特性処理部と、前記物理特性処理を施した処理画像を出力する出力部として機能させるためのプログラムである。
また、上記プログラムにおいて、前記画像受付部は、前記１または２以上の画像に対応付けられた物理特性情報をも受け付け、前記物理特性情報取得部は、前記１または２以上の画像に対応付けられた物理特性情報を取得するものとして、コンピュータを機能させることは好適である。
（実施の形態３）
本実施の形態において、視聴者から入力された物理特性情報を取得し、当該物理特性情報を用いて画像処理を行う画像処理装置について説明する。つまり、本実施の形態における画像処理装置の処理は、実施の形態１の画像処理装置１および実施の形態２の画像処理装置２と比較して、物理特性情報の取得方法が異なるだけである。
図１５は、本実施の形態における画像処理装置３のブロック図である。画像処理装置３は、画像受付部１１、物理特性情報受付部３１、画像解析部１２、デジタル処理部１３、物理特性情報取得部３４、物理的特性処理部１５、出力部１６、出力画像情報取得部１７、出力パラメータ取得部１８、ユーザ情報取得部１９を備える。
物理特性情報受付部３１は、画像の視聴者が入力した物理特性情報を受け付ける。ここで、物理特性情報は、例えば、画像内の被写体の大きさ（例えば、「１ｍ」など）、画像内の被写体の明るさ（例えば「１０００ｌｘ」など）等である。物理特性情報の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。物理特性情報受付部３１は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
物理特性情報取得部３４は、物理特性情報受付部３１が受け付けた物理特性情報を取得する。物理特性情報取得部３４が取得する物理特性情報は、物理特性情報取得部１４や物理特性情報取得部２４が取得する物理特性情報と同じである。物理特性情報取得部３４は、通常、ＭＰＵやメモリ等から実現され得る。物理特性情報取得部３４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、画像処理装置３の動作について、図１６のフローチャートを用いて説明する。図１６のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。
（ステップＳ１７０１）物理特性情報受付部３１は、物理特性情報を受け付けたか否かを判断する。物理特性情報を受け付ければステップＳ２０８に行き、物理特性情報を受け付けなければステップＳ２１０に行く。なお、図１６のステップＳ２１０において、物理特性情報を受け付けない場合、出力部１６が出力する処理画像は、デジタル処理だけが施された処理画像である。
なお、図１６のフローチャートにおいて、ステップＳ２０２において画像を分割する処理を行ったか、画像を分割する処理は行わなくても良い。かかる場合、ブロックは一つとなる。
また、図１６のフローチャートにおいて、デジタル処理の後に物理的特性処理が行われた。しかし、物理的特性処理の後にデジタル処理が行われても良いし、並行してデジタル処理と物理的特性処理とが行われても良い。
さらに、図１６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における画像処理装置３の具体的な動作について説明する。本具体例において、視聴者が画像を見て、現実世界の物理的特性を推定し、物理特性情報を画像処理装置３に入力する場合について説明する。ここで、物理特性情報は、例えば、画像内の被写体の大きさ（例えば、「１ｍ」など）等の指示等である。
物理特性情報受付部３１は、画像の視聴者が入力した物理特性情報を受け付ける。そして、物理特性情報取得部３４は、物理特性情報受付部３１が受け付けた物理特性情報を取得する。そして、物理特性情報取得部３４が取得した物理特性情報に従って、物理的特性処理部１５は、アナログ処理を行う。なお、ここでのアナログ処理は、例えば、プロジェクタの光量を増加させる指示をプロジェクタに対して行う処理、プロジェクタの投影の大きさを大きくする（ズームする）指示をプロジェクタに対して行う処理等である。
また、デジタル処理部１３は、アナログ処理に応じて、拘束条件を満たさなくなった画像を変換し、拘束条件を満たす処理画像を取得する。
次に、出力部１６（プロジェクタ）は、物理的特性処理部１５による指示に従って、かつ拘束条件を満たすようにデジタル処理された処理画像を出力する。
以上、本実施の形態によれば、画像内に表れている対象の失われた物理的特性をできる限り再現できる。
また、本実施の形態によれば、視聴者が考える物理的特性に従った画像を得ることができる。
なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、１または２以上の画像を受け付ける画像受付部と、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理部と、前記画像受付部が受け付けた１または２以上の画像において、前記画像内に含まれる対象が有する１以上の物理的特性と比較して失われた物理的特性に関する情報である物理特性情報を取得する物理特性情報取得部と、前記１または２以上の処理画像を用いて、前記物理特性情報に対応する物理的特性を付加するための処理である物理特性処理を行う物理特性処理部と、前記物理特性処理を施した処理画像を出力する出力部として機能させるためのプログラムである。
また、上記プログラムにおいて、コンピュータを、物理特性情報を受け付ける物理特性情報受付部としてさらに機能させ、前記物理特性情報取得部は、前記物理特性情報受付部が受け付けた物理特性情報を取得するものとして、コンピュータを機能させることは好適である。
また、図１７は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の画像処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３００の概観図であり、図１８は、システム３００のブロック図である。
図１７において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
図１８において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、バス３０１４と、ＲＯＭ３０１５と、ＲＡＭ３０１６と、ハードディスク３０１７とを含む。なお、バス３０１４は、ＭＰＵ３０１３やＣＤ−ＲＯＭドライブ３０１２に接続されている。また、ＲＯＭ３０１５には、ブートアッププログラム等のプログラムが記憶されている。また、ＲＡＭ３０１６は、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのものである。また、ハードディスク３０１７は、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのものである。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム３００に、上述した実施の形態の画像処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３０１に、上述した実施の形態の画像処理装置の機能を実行させるオペレーティングシステム、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる画像処理装置は、画像内に表れている対象の失われた物理的特性をできる限り再現できる、という効果を有し、テレビジョン装置等として有用である。
１、２、３ 画像処理装置
１０ 格納部
１１、２１ 画像受付部
１２ 画像解析部
１３ デジタル処理部
１４、２４、３４ 物理特性情報取得部
１４ 特性情報取得部
１５ 物理的特性処理部
１６ 出力部
１７ 出力画像情報取得部
１８ 出力パラメータ取得部
１９ ユーザ情報取得部
３１ 物理特性情報受付部
１３１ 拘束条件格納手段
１３２ 視野範囲情報格納手段
１３３ デジタル処理手段
１５１ 物理特性拘束条件格納手段
１５２ 物理的特性処理手段

Claims (22)

  1. １または２以上の画像を受け付ける画像受付部と、
    前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理部と、
    前記画像受付部が受け付けた１または２以上の画像内に含まれる対象の大きさ、対象の大きさに対応する表示画面面積に関する情報、光量、視野角、光出力制御の情報のうちの１以上の情報である物理特性情報を取得する物理特性情報取得部と、
    前記１または２以上の処理画像を用いて、前記物理特性情報に対応する物理的特性を付加するための処理である物理特性処理を行う物理的特性処理部と、
    前記物理的特性処理を施した処理画像を出力する出力部とを具備し、
    前記物理的特性処理部は、
    前記物理特性情報取得部が取得した対象の大きさに基づいて処理画像の大きさを設定する、前記表示画面面積に関する情報を設定する、前記物理特性情報取得部が取得した光量に基づいて光出力する場合の光量を設定する処理、前記物理特性情報取得部が取得した視野角に基づいて視野角を設定する処理、前記物理特性情報取得部が取得した光出力制御の情報に基づいて光出力のための制御を行う処理、のうちの１以上の処理を行い、
    前記出力部は、
    前記物理的特性処理部が設定した処理画像の大きさ、光量、視野角のうちの１以上のパラメータに従って処理画像を出力する、または前記物理的特性処理部が行った光出力のための制御に従って処理画像を出力する画像処理装置。
  2. 前記デジタル処理部は、
    前記物理的特性処理部が前記物理的特性処理を行った後に得られる情報である処理後情報を用いて、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得する請求項１記載の画像処理装置。
  3. 前記デジタル処理部は、
    前記物理特性情報を用いて、前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得する請求項１記載の画像処理装置。
  4. 前記物理特性情報取得部は、
    前記画像受付部が受け付けた１または２以上の画像、または前記１または２以上の処理画像を用いて、物理特性情報を取得する請求項１から請求項３いずれか一項に記載の画像処理装置。
  5. １または２以上の画像の全部または一部分と、前記画像と同一の対象についての画像である処理画像の全部または一部分との対応を取るための情報であり、物理特性情報を取得するための情報を含む情報である１または２以上の対応情報を有するルックアップテーブルを格納し得る格納部をさらに具備し、
    前記デジタル処理部は、
    前記１または２以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、
    前記物理特性情報取得部は、
    前記１または２以上の対応情報のうちのいずれかの対応情報を用いて、物理特性情報を取得する請求項１から請求項４いずれか一項に記載の画像処理装置。
  6. １または２以上の画像の全部または一部分と、前記画像と同一の対象についての画像である処理画像の全部または一部分との対応を取るための情報であり、物理特性情報を取得するための情報を含む情報である１または２以上の対応情報を有する２以上のルックアップテーブルを格納し得る格納部をさらに具備し、
    前記デジタル処理部は、
    前記２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、
    前記物理特性情報取得部は、
    前記２以上のルックアップテーブル中の一のルックアップテーブルの対応情報の中のうちのいずれかの対応情報を用いて、物理特性情報を取得する請求項１から請求項４いずれか一項に記載の画像処理装置。
  7. 前記画像受付部が受け付けた１以上の画像の全部または一部分を解析し、解析結果を取得し、当該解析結果に対応する対応情報を選択する画像解析部をさらに具備し、
    前記デジタル処理部は、
    前記画像解析部が選択した対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１または２以上の処理画像の全部または一部分を取得し、
    前記物理特性情報取得部は、
    前記画像解析部が選択した対応情報を用いて、物理特性情報を取得する請求項５または請求項６記載の画像処理装置。
  8. 前記画像受付部は、
    前記１または２以上の画像に対応付けられた物理特性情報をも受け付け、
    前記物理特性情報取得部は、
    前記１または２以上の画像に対応付けられた物理特性情報を取得する請求項１から請求項３いずれか一項に記載の画像処理装置。
  9. 物理特性情報を受け付ける物理特性情報受付部をさらに具備し、
    前記物理特性情報取得部は、
    前記物理特性情報受付部が受け付けた物理特性情報を取得する請求項１から請求項３いずれか一項に記載の画像処理装置。
  10. 前記画像処理装置は、
    複数の出力部を具備し、
    前記物理特性情報取得部は、
    前記複数の出力部の光出力を制御する情報である物理特性情報を取得し、
    前記物理的特性処理部は、
    前記物理特性情報に従って、前記複数の出力部の光出力のための制御を行う請求項１から請求項９いずれか一項に記載の画像処理装置。
  11. 前記出力部が出力した前記１または２以上の処理画像に関する情報である出力画像情報を取得する出力画像情報取得部をさらに具備し、
    前記処理後情報は、前記出力画像情報である請求項２、または請求項４から請求項１０いずれか一項に記載の画像処理装置。
  12. 前記処理画像を視るユーザに関する情報であるユーザ情報を取得するユーザ情報取得部をさらに具備し、
    前記処理後情報は、前記ユーザ情報である請求項２、または請求項４から請求項１０いずれか一項に記載の画像処理装置。
  13. 前記処理後情報は、
    表示画面面積に関する情報であり、
    前記デジタル処理部は、
    前記表示画面面積に応じて時空間輝度アクティビティを調整する処理を、前記画像受付部が受け付けた１または２以上の画像に対して行う請求項２、または請求項４から請求項１２いずれか一項に記載の画像処理装置。
  14. 前記デジタル処理部は、
    画像が有する画素に関する１以上の拘束条件を格納し得る拘束条件格納手段と、
    前記画像受付部が受け付けた１または２以上の画像が、前記１以上の拘束条件を満たすように、前記１または２以上の画像が有する画素を変更し、１または２以上の処理画像を取得するデジタル処理手段とを具備する請求項１から請求項１３いずれか一項に記載の画像処理装置。
  15. 前記物理特性処理部は、
    物理特性情報に関する１以上の拘束条件を格納し得る物理特性拘束条件格納手段と、
    前記出力部が出力する１または２以上の画像が、前記１以上の拘束条件を満たすように、前記物理特性情報を変更し、１または２以上の処理画像を取得する物理特性処理手段とを具備する請求項１から請求項１４いずれか一項に記載の画像処理装置。
  16. 前記拘束条件は、
    画像が有する画素の輝度値に関する条件であり、
    前記デジタル処理手段または前記物理特性処理手段は、
    前記１以上の拘束条件を満たすように、前記画像受付部が受け付けた１または２以上の画像が有する画素の輝度値を変更し、１または２以上の処理画像を取得する請求項１４または請求項１５記載の画像処理装置。
  17. 前記拘束条件は、
    画像が有する２以上の画素間の関係に関する条件であり、
    前記デジタル処理部または前記物理特性処理部は、
    視野の範囲に関する情報である視野範囲情報を格納し得る視野範囲情報格納手段をさらに具備し、
    前記デジタル処理手段または前記物理特性処理手段は、
    画像内の範囲であり、前記視野範囲情報が示す視野の範囲において、前記１以上の拘束条件を満たすように、前記画像受付部が受け付けた１または２以上の画像が有する画素の輝度値を変更し、１または２以上の処理画像を取得する請求項１４または請求項１５記載の画像処理装置。
  18. 前記出力部は、
    出力に関する１以上の拘束条件を格納し得る出力拘束条件格納手段と、
    出力する１または２以上の画像が、前記１以上の拘束条件を満たすように、前記処理画像を変更し、当該変更した１または２以上の処理画像を出力する出力手段とを具備する請求項１から請求項１７いずれか一項に記載の画像処理装置。
  19. 前記画像処理装置は、
    解像度が異なる複数の出力部を具備し、
    前記物理特性情報取得部は、
    前記処理画像を構成する部分の画像であり、前記複数の各出力部により出力される画像である部分画像を特定する部分特定情報を、前記複数の出力部ごとに取得し、
    前記複数の各出力部は、
    自身の部分特定情報で特定される部分画像を出力する請求項１から請求項１８いずれか一項に記載の画像処理装置。
  20. 前記画像処理装置は、
    複数の出力部を具備し、
    前記画像受付部は、
    一の対象を異なる環境で撮影した２種類以上の画像を受け付け、
    前記デジタル処理部は、
    前記２種類以上の画像に対してデジタル処理を行い、２種類以上の処理画像を取得し、
    前記物理特性情報取得部は、
    前記２種類以上の各処理画像の全部または一部を特定する情報である物理特性情報を取得し、
    物理的特性処理部は、
    前記複数の各出力部に対して、前記物理特性情報に従って、２以上の処理画像の全部または一部を重畳して出力するように指示をする請求項１から請求項１８いずれか一項に記載の画像処理装置。
  21. 画像受付部、デジタル処理部、物理特性情報取得部、物理特性処理部、および出力部を用いて実現される画像処理方法であって、
    前記画像受付部が、１または２以上の画像を受け付ける画像受付ステップと、
    前記デジタル処理部が、前記画像受付ステップで受け付けられた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理ステップと、
    前記物理特性情報取得部が、前記画像受付部が受け付けた画像内に含まれる対象の大きさ、対象の大きさに対応する表示画面面積に関する情報、光量、視野角、光出力制御の情報のうちの１以上の情報である物理特性情報を取得する物理特性情報取得ステップと、
    前記物理特性処理部が、前記１または２以上の処理画像を用いて、前記物理特性情報に対応する物理的特性を付加するための処理である物理特性処理を行う物理特性処理ステップと、
    前記出力部が、前記物理特性処理を施した処理画像を出力する出力ステップとを具備し、
    前記物理的特性処理ステップにおいて、
    前記物理特性情報取得ステップで取得された対象の大きさに基づいて処理画像の大きさを設定する、前記表示画面面積に関する情報を設定する、前記物理特性情報取得ステップで取得された光量に基づいて光出力する場合の光量を設定する処理、前記物理特性情報取得ステップで取得された視野角に基づいて視野角を設定する処理、前記物理特性情報取得ステップで取得された光出力制御の情報に基づいて光出力のための制御を行う処理、のうちの１以上の処理を行い、
    前記出力ステップにおいて、
    前記物理的特性処理ステップで設定された処理画像の大きさ、光量、視野角のうちの１以上のパラメータに従って処理画像を出力する、または前記物理的特性処理ステップで行われた光出力のための制御に従って処理画像を出力する画像処理方法。
  22. コンピュータを、
    １または２以上の画像を受け付ける画像受付部と、
    前記画像受付部が受け付けた１または２以上の画像に対してデジタル処理を行い、１または２以上の処理画像を取得するデジタル処理部と、
    前記画像受付部が受け付けた１または２以上の画像内に含まれる対象の大きさ、対象の大きさに対応する表示画面面積に関する情報、光量、視野角、光出力制御の情報のうちの１以上の情報である物理特性情報を取得する物理特性情報取得部と、
    前記１または２以上の処理画像を用いて、前記物理特性情報に対応する物理的特性を付加するための処理である物理特性処理を行う物理特性処理部と、
    前記物理特性処理を施した処理画像を出力する出力部として機能させるためのプログラムであって、
    前記物理的特性処理部は、
    前記物理特性情報取得部が取得した対象の大きさに基づいて処理画像の大きさを設定する、前記表示画面面積に関する情報を設定する、前記物理特性情報取得部が取得した光量に基づいて光出力する場合の光量を設定する処理、前記物理特性情報取得部が取得した視野角に基づいて視野角を設定する処理、前記物理特性情報取得部が取得した光出力制御の情報に基づいて光出力のための制御を行う処理、のうちの１以上の処理を行い、
    前記出力部は、
    前記物理的特性処理部が設定した処理画像の大きさ、光量、視野角のうちの１以上のパラメータに従って処理画像を出力する、または前記物理的特性処理部が行った光出力のための制御に従って処理画像を出力するものとして、コンピュータを機能させるためのプログラム。
JP2013024993A 2013-02-12 2013-02-12 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP6040042B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013024993A JP6040042B2 (ja) 2013-02-12 2013-02-12 画像処理装置、画像処理方法、およびプログラム
TW102148479A TWI592903B (zh) 2013-02-12 2013-12-26 Image processing device, image processing method and program
CN201480003727.3A CN104885119B (zh) 2013-02-12 2014-02-10 图像处理装置、图像处理方法以及记录介质
US14/766,118 US9672650B2 (en) 2013-02-12 2014-02-10 Image processing apparatus, image processing method, and storage medium
KR1020157019961A KR102273331B1 (ko) 2013-02-12 2014-02-10 화상 처리 장치, 화상 처리 방법 및 기록 매체
EP14752082.9A EP2958073A4 (en) 2013-02-12 2014-02-10 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM
PCT/JP2014/053021 WO2014126032A1 (ja) 2013-02-12 2014-02-10 画像処理装置、画像処理方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013024993A JP6040042B2 (ja) 2013-02-12 2013-02-12 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014154046A JP2014154046A (ja) 2014-08-25
JP6040042B2 true JP6040042B2 (ja) 2016-12-07

Family

ID=51354035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013024993A Expired - Fee Related JP6040042B2 (ja) 2013-02-12 2013-02-12 画像処理装置、画像処理方法、およびプログラム

Country Status (7)

Country Link
US (1) US9672650B2 (ja)
EP (1) EP2958073A4 (ja)
JP (1) JP6040042B2 (ja)
KR (1) KR102273331B1 (ja)
CN (1) CN104885119B (ja)
TW (1) TWI592903B (ja)
WO (1) WO2014126032A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6530904B2 (ja) * 2014-10-22 2019-06-12 スタンレー電気株式会社 映像投射システム
US10636125B2 (en) * 2015-05-08 2020-04-28 Sony Corporation Image processing apparatus and method
EP3481074A4 (en) * 2016-06-30 2020-01-08 I-Cubed Research Center Inc. VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, AND PROGRAM
WO2018003939A1 (ja) * 2016-06-30 2018-01-04 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
US10764632B2 (en) * 2016-06-30 2020-09-01 I-Cubed Research Center Inc. Video signal processing apparatus, video signal processing method, and program
US11055989B2 (en) * 2017-08-31 2021-07-06 Nec Corporation Viewpoint invariant object recognition by synthesization and domain adaptation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2825482B2 (ja) 1986-08-02 1998-11-18 ソニー株式会社 ディジタル画像信号の補間装置
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
JP3072306U (ja) 1999-08-06 2000-10-13 秀一 井上 タッチスクリーンによるコミュニケーション支援システム
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US6888564B2 (en) * 2002-05-24 2005-05-03 Koninklijke Philips Electronics N.V. Method and system for estimating sharpness metrics based on local edge kurtosis
JP2005210208A (ja) * 2004-01-20 2005-08-04 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
JP2006190259A (ja) * 2004-12-06 2006-07-20 Canon Inc 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム
JP4510853B2 (ja) * 2007-07-05 2010-07-28 シャープ株式会社 画像データ表示装置、画像データ出力装置、画像データ表示方法、画像データ出力方法及びプログラム
US8213052B2 (en) * 2009-07-31 2012-07-03 Eastman Kodak Company Digital image brightness adjustment using range information
CN102236883A (zh) * 2010-04-27 2011-11-09 株式会社理光 图像增强方法和装置、物体检测方法和装置
JP6110592B2 (ja) * 2011-05-11 2017-04-05 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラム
KR101961968B1 (ko) * 2011-05-11 2019-03-25 아이큐브드 연구소 주식회사 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체
JP6058257B2 (ja) * 2011-07-06 2017-01-11 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
JP2014222447A (ja) * 2013-05-14 2014-11-27 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
CN104885119B (zh) 2018-11-27
EP2958073A4 (en) 2016-11-16
US9672650B2 (en) 2017-06-06
CN104885119A (zh) 2015-09-02
JP2014154046A (ja) 2014-08-25
TWI592903B (zh) 2017-07-21
WO2014126032A1 (ja) 2014-08-21
EP2958073A1 (en) 2015-12-23
TW201439981A (zh) 2014-10-16
US20160019705A1 (en) 2016-01-21
KR102273331B1 (ko) 2021-07-05
KR20150116826A (ko) 2015-10-16

Similar Documents

Publication Publication Date Title
JP6040042B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN102724400B (zh) 图像处理设备及其控制方法
JP6381215B2 (ja) 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
CN104980652B (zh) 图像处理设备和图像处理方法
JP6317577B2 (ja) 映像信号処理装置及びその制御方法
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
US10582122B2 (en) Image processing apparatus, image processing method, and image pickup apparatus
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
JP5089783B2 (ja) 画像処理装置及びその制御方法
JP2015231118A (ja) 画像合成装置、画像合成システム及び画像合成方法
US10861420B2 (en) Image output apparatus, image output method, for simultaneous output of multiple images
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019110430A (ja) 制御装置、撮像装置、制御方法およびプログラム
JP6513309B2 (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
KR20160068463A (ko) 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
JP5202190B2 (ja) 画像処理方法及び画像処理装置
JP2010062673A (ja) 画像処理装置およびその方法
JP6582994B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017011676A (ja) 画像処理装置及び画像処理方法
KR20110095556A (ko) 영상투사장치 및 그 영상보정방법
JP6244396B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017135600A (ja) 画像処理装置、およびプログラム
JP2016025447A (ja) 画像処理装置、その制御方法、および制御プログラム
JP6270448B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015138108A (ja) 表示装置及び画質調整装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R150 Certificate of patent or registration of utility model

Ref document number: 6040042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees