KR20130041297A - 화상 처리 장치, 화상 처리 방법 및 정보 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 정보 기록 매체 Download PDF

Info

Publication number
KR20130041297A
KR20130041297A KR1020137005454A KR20137005454A KR20130041297A KR 20130041297 A KR20130041297 A KR 20130041297A KR 1020137005454 A KR1020137005454 A KR 1020137005454A KR 20137005454 A KR20137005454 A KR 20137005454A KR 20130041297 A KR20130041297 A KR 20130041297A
Authority
KR
South Korea
Prior art keywords
image
product
central axis
angle
normalized
Prior art date
Application number
KR1020137005454A
Other languages
English (en)
Other versions
KR101477937B1 (ko
Inventor
히로미 히라노
Original Assignee
라쿠텐 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라쿠텐 인코포레이티드 filed Critical 라쿠텐 인코포레이티드
Publication of KR20130041297A publication Critical patent/KR20130041297A/ko
Application granted granted Critical
Publication of KR101477937B1 publication Critical patent/KR101477937B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

상품의 전체 주위 화상열을, 유저가 용이하게 촬영할 수 있는 상품 촬영 장치(121)를 제공한다. 화상 센서부(201)는, 상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력한다. 지시 접수부(202)는, 유저로부터의 촬영 지시를 접수한다. 촬영 지시가 접수되면, 보존부(203)는, 화상 센서부(201)에 의해 감지되고 있는 화상을 보존한다. 파인더 표시부(204)는, 보존부(203)에 의해 보존된 화상과, 화상 센서부(201)에 의해 감지되고 있는 화상을 합성해서 파인더 화면에 표시한다.

Description

화상 처리 장치, 화상 처리 방법 및 정보 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND INFORMATION RECORDING MEDIUM}
본 발명은, 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체에 관한 것으로, 상품의 전체 주위 화상열을, 유저가 용이하게 촬영할 수 있게 하는 것이다.
물체의 주위로부터 그 물체를 순서대로 촬영해서 얻어지는 복수의 화상으로 이루어지는 전체 주위 화상열은, 해당 물체의 3차원 형상 모델을 생성하는 것 외에(예를 들면, 비특허 문헌 1을 참조.), 상품의 외관을 알기 쉽게 소비자에게 보이는 등, 여러 가지의 응용이 가능하다.
여기서, 전체 주위 화상은, 물체를 중심으로 하는 원주 상에서, 카메라의 촬영 방향이 해당 물체를 향하도록 이동시키면서, 해당 물체를 포함하는 현실 세계의 모습을 순차적으로 촬영함으로써 얻어진다.
이 때문에, 전체 주위 화상의 촬영에는, 카메라의 위치나 방향을 상기한 설정에 맞추기 위해서, 특수한 기구를 필요로 하는 것이 일반적이었다.
한편, 최근에는, 저렴한 디지털 카메라가 보급되고 있다. 디지털 카메라에서는, 촬영용의 렌즈가 피사체를 포함하는 외계의 광을 모아서 CCD(Charge Coupled Device) 등의 화상 센서에 외계의 모습을 결상한다.
유저가 셔터를 누르면, 그 후의 임의의 단시간 동안에 화상 센서가 감지한 광의 강도나 파장 등에 기초하여, 전자 파일의 형식의 화상이 얻어진다. 이 전자 파일이, 종래의 광학식 카메라에 있어서의 감광된 필름이나 현상된 인화지에 상당한다.
또한, 라이브 프리뷰, 혹은, 라이브뷰라고 불리는 기술도 보급되고 있다. 라이브 프리뷰에서는, 화상 센서가 현재 검지하고 있는 화상을, 그대로 리얼타임으로 액정 디스플레이 등의 화면에 표시한다(예를 들면, 비특허 문헌 2를 참조). 즉, 라이브 프리뷰에서는, 액정 디스플레이 등에 의한 전자 파인더가 이용되는 것이다.
라이브 프리뷰에서 파인더 화면에 표시되는 화상은, 「유저가 지금, 이 순간에 셔터를 눌렀다고 가정한 경우에 얻어질 화상」에 상당하는 것이다.
따라서, 라이브 프리뷰를 이용하면, 유저는, 촬영 전에, 피사체에 대한 구도나 노광 등을 확인할 수 있다.
[비특허문헌]
비특허 문헌 1 : 야쓰다 카즈타카, 미기타 타케시, 아오야마 마사토, 무쿠노키 마사유키, 아사다 나오키, 성긴 전체 주위 화상열로부터의 빽빽한 3차원 형상 모델의 생성, 사단 법인 정보 처리 학회 연구 보고, CVIM, 컴퓨터 비전과 이미지 미디어, 2003-CVIM-138(11), 73페이지～80페이지, http://harp.lib.hiroshima-u.ac.jp/bitstream/harp/6507, 2003년 5월 8일
비특허 문헌 2 : Wikipedia, The Free Encyclopedia, Live preview, http://en.wikipedia.org/wiki/Live_preview, 2010년 6월 15일
그러나, 중소의 상점주나 경매의 개인 출품자가 상품을 소개하기 위한 전체 주위 화상을 촬영하고 싶은 경우에는, 상기한 바와 같은 특수한 기구를 준비하지 못하는 경우가 대부분이다.
따라서, 전체 주위 화상열, 혹은, 촬영 후에, 전체 주위 화상열로 용이하게 변환이 가능한 화상열을 간이하게 촬영할 수 있는 기술이 요구되고 있다.
본 발명은, 상기한 바와 같은 과제를 해결하는 것으로, 상품의 전체 주위 화상열을, 유저가 용이하게 촬영할 수 있게 하는 데에 적합한 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 제1 관점에 따른 상품 촬영 장치는,
상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력하는 화상 센서부,
유저로부터의 촬영 지시를 접수하는 지시 접수부,
상기 촬영 지시가 접수되면, 상기 화상 센서부에 의해 감지되고 있는 화상을 보존하는 보존부,
상기 보존부에 의해 보존된 화상과, 상기 화상 센서부에 의해 감지되고 있는 화상을 합성해서 파인더 화면에 표시하는 파인더 표시부를 구비하도록 구성한다.
또한, 상기 상품 촬영 장치에 있어서,
상기 파인더 표시부는, 상기 보존부에 의해 보존된 화상과, 상기 화상 센서부에 의해 감지되고 있는 화상을, 교대로 상기 파인더 화면에 표시하도록 구성할 수 있다.
또한, 상기 상품 촬영 장치에 있어서,
상기 파인더 표시부는, 상기 보존부에 의해 보존된 화상에 소정의 화상 필터를 실시한 결과를 반투명하게 해서, 상기 화상 센서부에 의해 감지되고 있는 화상에 겹쳐서 합성하도록 구성할 수 있다.
또한, 상기 상품 촬영 장치에 있어서,
상기 파인더 표시부는, 상기 보존부에 의해 보존된 화상이 복수 존재하는 경우, 최초로 보존된 화상과, 상기 화상 센서부에 의해 감지되고 있는 화상을 합성하도록 구성할 수 있다.
또한, 상기 상품 촬영 장치는, 상기 상품 촬영 장치의 기울기를 감지하는 기울기 센서부를 더 구비하고,
상기 보존부는, 상기 촬영 지시가 접수되면, 상기 화상 센서부에 의해 감지되고 있는 화상을 상기 기울기 센서부에 의해 감지되고 있는 기울기에 대응지어 보존하고,
상기 표시부는, 상기 보존부에 의해 보존된 화상에 대응지어져 보존된 기울기와, 상기 기울기 센서부에 의해 감지되고 있는 기울기를, 상기 파인더 화면에 표시하도록 구성할 수 있다.
본 발명의 제2 관점에 따른 화상 변환 장치는,
상품을 그 주위로부터 상기한 상품 촬영 장치에 의해 촬영해서 보존된 복수의 화상과, 해당 화상에 대응지어지는 기울기를 접수하는 화상 접수부,
상기 접수된 복수의 화상을, 해당 화상에 대응지어지는 기울기에 기초하여, 상기 상품의 전체 주위 화상열로 변환하는 변환부를 구비하도록 구성한다.
본 발명의 제3 관점에 따른 화상 처리 장치는,
소정의 회전축 주위의 각도를 접수하는 각도 접수부,
상기 접수된 각도에 기초하여, 상기한 화상 변환 장치에 의해 얻어진 상품의 전체 주위 화상열을 보간하여, 해당 상품을 상기 접수된 각도에서 본 모습을 나타내는 보간된 화상을 얻는 보간부를 구비하도록 구성한다.
또한, 상기 화상 처리 장치는,
상기 화상 처리 장치의 소정의 축 주위의 각도를 감지하는 각도 센서부,
상기 얻어진 보간된 화상을 모니터 화면에 표시하는 모니터 표시부를 더 구비하고,
상기 각도 접수부는, 상기 감지된 각도를 접수하도록 구성할 수 있다.
본 발명의 제4 관점에 따른 화상 처리 시스템은,
상기한 화상 처리 장치와, 해당 화상 처리 장치와 통신 가능하게 접속되는 단말 장치를 구비한다.
여기서, 상기 단말 장치는,
상기 단말 장치의 소정의 축 주위의 각도를 감지하는 각도 센서부,
상기 감지된 각도를 상기 화상 처리 장치로 송신하는 각도 송신부를 구비한다.
한편, 상기 화상 처리 장치는,
상기 단말 장치로부터 송신된 각도를 수신하여, 상기 각도 접수부에 접수시키는 각도 수신부, 상기 얻어진 보간된 화상을 상기 단말기 장치로 송신하는 화상 송신부를 구비한다.
또한, 상기 단말 장치는,
상기 화상 처리 장치로부터 송신된 보간된 화상을 수신하는 화상 수신부,
상기 수신된 보간된 화상을 모니터 화면에 표시하는 모니터 표시부를 구비한다.
본 발명의 제5 관점에 따른 상품 촬영 방법은, 화상 센서부, 지시 접수부, 보존부, 표시부를 구비하는 상품 촬영 장치가 실행하고,
상기 화상 센서부가, 상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력하는 화상 센서 공정,
상기 지시 접수부가, 유저로부터의 촬영 지시를 접수하는 지시 접수 공정,
상기 촬영 지시가 접수되면, 상기 보존부가, 상기 화상 센서부에 의해 감지되고 있는 화상을 보존하는 보존 공정,
상기 표시부가, 상기 보존부에 의해 보존된 화상과, 상기 화상 센서부에 의해 감지되고 있는 화상을 합성해서 파인더 화면에 표시하는 파인더 표시 공정을 구비하도록 구성한다.
본 발명의 제6 관점에 따른 프로그램은, 컴퓨터를,
상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력하는 화상 센서부,
유저로부터의 촬영 지시를 접수하는 지시 접수부,
상기 촬영 지시가 접수되면, 상기 화상 센서부에 의해 감지되고 있는 화상을 보존하는 보존부,
상기 보존부에 의해 보존된 화상과, 상기 화상 센서부에 의해 감지되고 있는 화상을 합성해서 파인더 화면에 표시하는 파인더 표시부로서 기능시키도록 구성한다.
본 발명의 제7 관점에 따른 컴퓨터 판독 가능한 정보 기록 매체는, 컴퓨터를,
상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력하는 화상 센서부,
유저로부터의 촬영 지시를 접수하는 지시 접수부,
상기 촬영 지시가 접수되면, 상기 화상 센서부에 의해 감지되고 있는 화상을 보존하는 보존부,
상기 보존부에 의해 보존된 화상과, 상기 화상 센서부에 의해 감지되고 있는 화상을 합성해서 파인더 화면에 표시하는 파인더 표시부로서 기능시키는 것을 특징으로 하는 프로그램을 기록하도록 구성한다.
즉, 본 발명의 프로그램은, 컴팩트 디스크, 플렉시블 디스크, 하드디스크, 광 자기 디스크, 디지털 비디오 디스크, 자기 테이프, 반도체 메모리 등의 컴퓨터 판독 가능한 정보 기록 매체에 기록할 수 있다.
상기 프로그램은, 프로그램이 실행되는 컴퓨터와는 독립해서, 컴퓨터 통신망을 개재해서 배포·판매할 수 있다. 또한, 상기 정보 기록 매체는, 컴퓨터와는 독립해서 배포·판매할 수 있다.
본 발명에 따르면, 상품의 전체 주위 화상열을, 유저가 용이하게 촬영할 수 있게 하는 데에 적합한 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체를 제공할 수 있다.
도 1은 본 발명의 하나의 실시 형태에 따른 화상 처리 시스템의 개요 구성을 도시하는 설명도.
도 2는 본 발명의 하나의 실시 형태에 따른 상품 촬영 장치의 개요 구성을 설명하는 설명도.
도 3은 촬영된 화상과, 라이브 프리뷰 화상과, 파인더 화면에 표시되는 화상의 관계를 도시하는 설명도.
도 4는 촬영된 화상과, 라이브 프리뷰 화상과, 파인더 화면에 표시되는 화상의 관계를 도시하는 설명도.
도 5는 본 발명의 하나의 실시 형태에 따른 상품 촬영 장치에서 실행되는 상품 촬영 처리의 제어의 흐름을 설명하는 플로우차트.
도 6은 본 발명의 하나의 실시 형태에 따른 화상 변환 장치의 개요 구성을 도시하는 설명도.
도 7은 본 실시 형태에 따른 화상 변환 장치에서 실행되는 화상 변환 처리의 제어의 흐름을 설명하는 플로우차트.
도 8은 본 실시 형태에 따른 화상 처리 장치의 각 요소와, 단말 장치의 각 요소의 관계를 도시하는 설명도.
도 9는 화상 처리 장치의 각 요소와, 단말 장치의 각 요소에 있어서 실행되는 화상 처리의 제어의 흐름을 설명하는 플로우차트.
이하에 본 발명의 실시 형태를 설명한다. 본 실시 형태는 설명을 위한 것이고, 본원 발명의 범위를 제한하는 것은 아니다. 따라서, 당업자이면 이들의 각 요소 혹은 전체 요소를 이것과 균등한 것으로 치환한 실시 형태를 채용하는 것이 가능하지만, 이들의 실시 형태도 본 발명의 범위에 포함된다.
(1. 화상 처리 시스템)
도 1은, 본 실시 형태에 따른 화상 처리 시스템의 개요 구성을 도시하는 설명도이다. 이하, 본 도면을 참조하여 설명한다.
본 실시 형태에 따른 화상 처리 시스템(101)은, 상품 촬영 장치(121), 화상 변환 장치(141), 화상 처리 장치(161), 단말 장치(181)로 구성된다.
상품 촬영 장치(121)는, 상품의 소개를 행하려고 하는 상점주나 경매 출품자 등이, 해당 상품을 촬영할 때에 사용하는 것이다. 전형적으로는, 상품 촬영 장치(121)는, 정보 처리 기능을 갖는 디지털 카메라나 휴대 전화, 스마트 폰 등에 의해 구성되지만, USB(Universal Serial Bus) 카메라가 접속된 퍼스널 컴퓨터 등에 의해 구성하는 것도 가능하다.
촬영자는, 상품 촬영 장치(121)를 이용하여, 그 상품이 시야의 가능한 한 중앙에 배치되고, 상품과 상품 촬영 장치(121)의 거리가 가능한 한 일정하도록 한다. 그리고, 촬영자는, 그 상품의 주위를 한바퀴 빙 돌면서, 혹은, 상품 자체를 회전시키면서, 촬영을 반복하여, 복수의 상품 화상을 얻는다.
화상 변환 장치(141)는, 상품 촬영 장치(121)에 의한 촬영에 의해 얻어진 복수의 상품 화상을, 해당 상품에 대한 전체 주위 화상열로 변환하는 것이다. 여기서, 전체 주위 화상열이란, 해당 상품을 관통하는 회전축을 중심으로 하는 원주 상을 이동하는 카메라로부터, 해당 상품을 향하는 광축 방향에서, 해당 상품을 촬영하였다고 상정하였을 때에 얻어지는 화상의 집합체이다.
따라서, 회전축으로부터 상품을 거쳐서 카메라에 이르는 각도는 일정하고, 회전축과 카메라의 거리도 일정하며, 상품과 카메라의 거리가 일정한 상황에서 촬영되었다고 상정한 화상이 전체 주위 화상이다.
상기한 바와 같이, 상품 촬영 장치(121)를 이용하는 촬영자는, 이러한 특수한 촬영법에 숙달되어 있을 리도 없고, 특수한 기구를 갖고 있을 리도 없다. 그래서, 본 실시 형태에서는, 상품 촬영 장치(121)를 이용할 때에, 가능한 한 전체 주위 화상의 열이 얻어지기 쉬워지도록, 여러 가지의 보조를 행한다.
즉, 촬영 시에는, 본 실시 형태에서는, 라이브 프리뷰용에, 액정 디스플레이 등의 전자 파인더를 이용한다. 전자 파인더의 파인더 화면에는, 상품 촬영 장치(121)로부터 본 상품의 현재의 모습이 표시되는 것 외에, 과거에 촬영된 상품의 모습도 겹쳐서 표시된다.
따라서, 촬영자는, 상품이 어떤 크기이고, 어떤 각도에서 촬영되는지를, 과거의 이력과 대비하면서 촬영할 수 있다. 이 때문에, 회전축으로부터 상품을 거쳐서 상품 촬영 장치(121)에 이르는 각도나, 상품과 상품 촬영 장치(121)의 거리를 가능한 한 일정하게 할 수 있는 것이다.
화상 변환 장치(141)는, 복수의 상품 화상을 전체 주위 화상열로 변환하지만, 본 실시 형태에서 얻어지는 변환 결과는, 어떤 종류의 근사이며, 비특허 문헌 1에 개시되는 바와 같은 복잡한 계산을 필요로 하지 않는 점에도, 본 실시 형태의 특징이 있다.
화상 변환 장치(141)는, 상품 화상으로부터 전체 주위 화상열을 얻는 것이며, 화상 처리 장치(161)는, 상품의 전체 주위 화상열을 관리하는 것이지만, 전형적으로는, 양자는, 해당 상품의 네트 판매를 행하는 1개의 서버 장치에 의해 구성된다.
즉, 상점주 등은, 자신이 디지털 카메라 등의 상품 촬영 장치(121)에 의해 촬영한 복수의 상품 화상을, 서버 장치에 업 로드한다.
그러면, 서버 장치는, 화상 변환 장치(141)로서 기능하여, 상품 화상을 전체 주위 화상열로 변환한다.
또한, 서버 장치는, 화상 처리 장치(161)로서 기능하여, 이 전체 주위 화상열을, 해당 상품을 네트 통신 판매나 네트 경매로 구입할지를 검토하고 있는 유저에게 열람시킨다. 이때에, 전체 주위 화상열을 그대로 유저에게 제공하는 것은 아니고, 유저의 흥미를 끄는 적절한 화상 처리를 행하는 것도, 본 실시 형태의 특징이 있다.
웹 서버로서 기능하는 화상 처리 장치(161)에 대하여, 단말 장치(181)는, 웹 단말기로서 기능하여, 화상 처리 장치(161)에 전체 주위 화상열의 적절한 제공을 요구한다. 즉, 단말 장치(181)는, 웹 등의 컴퓨터 통신망에 접속이 가능한 퍼스널 컴퓨터나 휴대 전화, 스마트 폰 등에 의해 구성된다.
전체 주위 화상열은, 상품의 주위를 한바퀴 빙 돌았을 때에 보이는 모습을 화상으로 해서, 이것을 순차 배열한 열이다.
본 실시 형태에서는, 단말 장치(181)로부터, 이 일주 중의 어느 각도일 때의 화상이 보고 싶은지를, 화상 처리 장치(161)에 통지한다.
그러면, 화상 처리 장치(161)는, 전체 주위 화상에 대하여 적절히 보간 처리를 실시하여, 그 각도에 따른 상품의 외관을 나타내는 보간 화상을 생성한다.
그리고, 화상 처리 장치(161)로부터 보간 화상이 단말 장치(181)에 송신되고, 단말 장치(181)의 모니터 화면에 해당 보간 화상이 표시된다.
단말 장치(181)로부터는, 키보드나 터치 패널을 이용하여, 유저가 직접 각도를 입력하도록 구성하는 것도 가능하다. 단, 휴대 전화나 스마트 폰 등에는, 컴퍼스 기능이나 GPS(Global Positioning System) 기능, 가속도 센서 등을 이용한 기울기 검지 기능을 갖는 것이 있다.
따라서, 이러한 기능에 의해 얻어진 각도를 그대로, 혹은 해당 각도를 상수배 한 것을 이용하면, 단말 장치(181)의 방향을 바꾸기만 하면, 보간 화상에 표현되는 상품의 방향을 변화시킬 수 있다. 이렇게, 유저가 간이한 조작으로 상품의 외관을 한바퀴 빙 돌아서 관찰할 수 있는 점에도, 본 실시 형태의 특징이 있다.
또한, 본 실시 형태에서는, 화상 처리 장치(161)와 단말 장치(181)를 다른 기기에 의해 구성하고 있지만, 양자를 하나의 퍼스널 컴퓨터나 스마트 폰, 휴대 전화 등에 의해 일체로 구성하는 것으로 해도 된다. 이 경우, 단말 장치(181)와 화상 처리 장치(161)의 정보의 송신 및 수신은, 1개의 기기의 전자 회로 내에 있어서의 전기 신호의 송수에 의해 실현된다.
예를 들면, 화상 변환 장치(141)를 구성하는 웹 서버로부터, 스마트 폰에, 상품의 전체 주위 화상열을 다운로드한다. 그리고, 스마트 폰이 화상 처리 장치(161)로서 기능하여, 그 기울기에 따라서, 스마트 폰이 전체 주위 화상열로부터 보간 화상을 생성하여, 모니터 화면에 표시한다고 말하는 것이다.
이와 같이, 본 발명에 따른 화상 처리의 각 기능을, 각종 서버·클라이언트 방식에 의해 분산시켜 실현하거나, 아니면 일체의 장치에 의해 실현하거나 하는 것은, 화상 처리를 실현하는 컴퓨터 등의 정보 처리 장치의 용도나 성능에 따라서, 적절히 변경이 가능하다.
이하, 본 실시 형태에 따른 화상 처리 시스템(101)의 각 부에 대해서, 더욱 상세하게 설명한다.
(2. 상품 촬영 장치)
도 2는, 본 실시 형태에 따른 상품 촬영 장치(121)의 개요 구성을 설명하는 설명도이다. 이하, 본 도면을 참조하여 설명한다.
상품 촬영 장치(121)는, 화상 센서부(201), 지시 접수부(202), 보존부(203), 파인더 표시부(204)를 구비한다. 또한, 기울기 센서부(205)를 구비하도록 구성해도 된다.
즉, 화상 센서부(201)는, 상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력한다.
전형적으로는, 화상 센서부(201)는, CCD 등의 화상 센서에 의해 구성된다. 화상 센서부(201)에 감지되는 광은, 렌즈나 각종 조리개를 거쳐서 도달한 것이다.
한편, 지시 접수부(202)는, 유저로부터의 촬영 지시를 접수한다. 지시 접수부(202)는, 소위 셔터 버튼에 상당하는 것이다.
또한, 보존부(203)는, 촬영 지시가 접수되면, 화상 센서부(201)에 의해 감지되고 있는 화상을 보존한다.
보존부(203)는, EEPROM(Electrically Erasable Programmable Read Only Memory) 등에 의해 구성되는 플래시 메모리 카드나 하드디스크 등의 불휘발성의 정보 기억 매체에, 촬영된 화상 파일을 기록하는 것이 일반적이다.
그리고, 파인더 표시부(204)는, 화상 센서부(201)에 의해 감지되고 있는 화상을 파인더 화면에 표시한다.
촬영자는, 파인더 화면에 표시되는 화상을 참조하면서, 상품 촬영 장치(121)의 위치나 방향의 조정, 핀트 맞춤이나 조리개의 조정을 행한다.
지금까지의 각 부의 기능은, 라이브 프리뷰 기능이 탑재된 디지털 카메라와 마찬가지이다.
본 실시 형태에서는, 파인더 표시부(204)는, 화상 센서부(201)에 의해 감지되고 있는 화상을 파인더 화면에 표시할 때에, 보존부(203)에 의해 보존된 화상과 합성하는 점에 특징이 있다.
이 합성에 있어서는, 과거에 촬영된 시야를 나타내는 화상과, 현재 촬영하려고 시야를 나타내는 화상이, 파인더 화면에 겹쳐져 표시된다. 따라서, 촬영자는, 양자의 화상을 리얼타임으로 대비하면서, 상품 촬영 장치(121)의 위치나 방향의 조정을 행할 수 있다.
2개의 화상을 겹치기 위한 합성의 방법으로서 가장 단순한 것은, 보존부(203)에 의해 보존된 화상(촬영된 화상)을 반투명하게 해서, 화상 센서부(201)에 의해 감지되고 있는 화상(라이브 프리뷰 화상)에 라이브 프리뷰의 화상에 겹쳐서 합성해서 파인더 화면에 표시하는 방법이다.
도 3, 도 4는, 촬영된 화상과, 라이브 프리뷰 화상과, 파인더 화면에 표시되는 화상의 관계를 도시하는 설명도이다. 이하, 이들의 도면을 참조하여 설명한다. 또한, 이들의 도면에서는, 반투명을 표현하기 위해서, 적절히 점선을 이용하는 것으로 한다.
도 3에는, 상품(301)이 거의 중앙에 배치하는 촬영된 화상(311)과, 마찬가지로 상품(301)이 거의 중앙에 배치하는 라이브 프리뷰 화상(321)이 나타내져 있다. 양자에서는, 상품(301)의 각도가 미묘하게 상이하다.
촬영된 화상(311)을 반투명하게 해서 라이브 프리뷰 화상(321)에 겹쳐서 합성한 결과 얻어지는 파인더 화상(331)에서는, 2개의 상품(301)의 화상이, 거의 동일한 크기로 겹쳐서 표시되어 있다. 따라서, 현재의 상태에서 셔터를 절단하면, 전체 주위 화상열로 변환할 때에, 오차를 작게 할 수 있다.
한편, 도 4에서는, 촬영된 화상(311)에서는 상품(301)이 거의 중앙에 배치되어 있지만, 라이브 프리뷰 화상(321)에서는, 상품(301)의 위치나 크기는, 촬영된 화상(311)과는 크게 상이하다.
그러면, 촬영된 화상(311)을 반투명하게 해서 라이브 프리뷰 화상(321)에 겹쳐서 합성한 결과 얻어지는 파인더 화상(331)에서는, 2개의 상품(301)의 화상은, 대부분 겹쳐 있지 않다. 따라서, 현재의 상태에서 셔터를 절단해서 라이브 프리뷰 화상(321)과 동일한 모습을 나타내는 새로운 촬영된 화상(311)을 얻었다고 해도, 전체 주위 화상열로 변환할 때에, 오차가 커진다고 생각된다.
즉, 촬영자는, 도 3과 같이, 과거에 촬영한 상품(301)의 화상과, 현재 보이고 있는 상품(301)의 화상이, 가능한 한 동일한 크기이고, 조금만 보이는 각도가 다르도록 상품 촬영 장치(121)의 위치를 조정하고나서, 촬영을 위한 지시 입력을 부여하면 되게 된다.
또한, 촬영자가 상품 촬영 장치(121)를 움직였다고 해도, 촬영된 화상(311) 내의 상품(301)이나 그 배경의 위치는 변화하지 않지만, 라이브 프리뷰 화상(321) 내의 상품(301)이나 그 배경의 위치는, 촬영자의 움직임에 연동해서 변화한다.
따라서, 촬영자는, 파인더 화상(331) 중, 어느 것이 촬영된 화상(311)에 유래하는 화상이며, 어느 것이 라이브 프리뷰 화상(321)에 유래하는 화상인지를, 용이하게 구별할 수 있다.
또한, 양자의 구별을 한층 더 명확하게 하기 위해서는, 촬영된 화상(311)에 대하여 색채 필터나, 윤곽선 추출 필터를 실시하고나서, 라이브 프리뷰 화상(321)에 합성한다고 하는 방법도 있다.
이 이외의 방법으로서는, 촬영된 화상(311)과, 라이브 프리뷰 화상(321)을, 교대로 파인더 화면에 표시하는 형태가 생각된다. 상기한 바와 같이, 파인더 화면에 표시되어 있는 화상이 라이브 프리뷰 화상(321)인지 촬영된 화상(311)인지는, 촬영자의 움직임에 파인더 화면의 표시가 추종하는지 아니면 고정되어 있는지에 따라 구별할 수 있다.
따라서, 양쪽 화상을 표시하는 시간 길이는, 임의로 설정할 수 있다. 단, 일반적으로는, 라이브 프리뷰 화상(321)의 표시 시간이, 촬영된 화상(311)의 표시 시간보다도 길어지도록, 양자의 표시 전환 시간을 설정한다.
합성의 대상으로 되는 촬영된 화상(311)은, 해당 상품(301)의 촬영을 개시한 시점의 화상을 채용하는 것이 일반적이지만, 촬영자가 적절히 선택할 수 있도록 해도 된다. 또한, 직전에 촬영한 화상을 촬영된 화상(311)으로서 채용해서 합성하는 것도 가능하다.
그런데, 기울기 센서부(205)는, 상품 촬영 장치(121)의 기울기를 감지하고, 보존부(203)는, 촬영 지시가 접수되면, 화상 센서부(201)에 의해 감지되고 있는 화상을 기울어 센서부에 의해 감지되고 있는 기울기에 대응지어 보존한다.
상품의 주위를 한바퀴 빙 돌아서 촬영할 때에는, 그 회전축은, 중력의 방향으로 하는 것이 일반적이다. 이 경우에는, 기울기 센서부(205)는, 가속도 센서에 의해 구성할 수 있다. 이것에 맞추어, GPS나 컴퍼스 등의 기능에 의해, 기울기를 검지하는 것으로 해도 된다.
가속도 센서에 의해, 상품 촬영 장치(121)의 중력 방향의 축에 대한 기울기를 검지함과 함께, GPS나 컴퍼스 등을 이용하여, 상품 촬영 장치(121)의 중력 방향의 축 주위의 회전량을 검지하면, 기울기 센서부(205)에서, 상품 촬영 장치(121)의 3축 방향의 기울기를 전부 검지할 수 있다. 이에 의해, 현실 세계에 있어서의 상품 촬영 장치(121)의 자세를 전부 파악할 수 있다. 이들의 3축 방향의 기울기의 정보는, 후술하는 화상 변환 장치(141)에서, 촬영된 화상(311)을 정규화해서 전체 주위 화상열을 얻을 때에 참조된다.
상기한 바와 같이, 적절한 전체 주위 화상을 얻기 위해서는, 회전축으로부터 상품(301)을 거쳐서 상품 촬영 장치(121)에 이르는 각도가 일정한 것, 즉, 중력에 대한 기울기가 일정한 것이 바람직하다.
따라서, 파인더 화상(331)에, 보조 정보로서, 현재 검지되고 있는 상품 촬영 장치(121)의 기울기, 즉, 라이브 프리뷰 화상(321)의 기울기의 정보와, 촬영된 화상(311)의 촬영시의 기울기의 정보를 표시하면, 촬영자는, 가능한 한 일정한 각도로 상품(301)을 촬영할 수 있어, 전체 주위 화상열로의 변환 시의 오차를 작게 할 수 있다.
본 실시 형태에서는, 도 3, 도 4에 도시하는 바와 같이, 파인더 화상(331) 내에, 라이브 프리뷰 화상(321)의 기울기를 나타내는 막대 그래프(322)와, 촬영된 화상(311)의 기울기를 나타내는 막대 그래프(312)가 표시된다. 촬영자는, 양쪽 막대 그래프(312, 322)의 길이가 일치하도록 하고나서 촬영을 행하도록 주의하면 된다.
또한, 기울기를 나타내는 방법으로서는, 막대 그래프(312, 322)에 한하지 않고, 일치와 불일치의 정도를 표현할 수 있는 임의의 도형을 채용할 수 있다. 또한, 기울기의 수치를 문자 정보에 의해 표시하는 것으로 해도 된다.
도 5는, 본 실시 형태에 따른 상품 촬영 장치(121)에서 실행되는 상품 촬영 처리의 제어의 흐름을 설명하는 플로우차트이다. 이하, 본 도면을 참조하여 설명한다.
본 처리는, 상품 촬영 장치(121)를 구성하는 디지털 카메라 등에 있어서, 상품의 전체 주위 화상열의 소재가 되는 화상의 촬영을 개시한다는 취지의 유저가 선택함으로써 개시된다.
우선, 상품 촬영 장치(121)에 있어서, 화상 센서부(201)가, 상품이 배치된 외계로부터 투사된 광을 감지하여, 해당 감지의 결과를 나타내는 화상을 출력한다(스텝 S501). 여기서 출력되는 화상이, 라이브 프리뷰 화상(321)이다.
이어서, 기울기 센서부(205)가, 상품 촬영 장치(121)의 현재의 기울기를 취득한다(스텝 S502).
이어서, 지시 접수부(202)에 있어서, 유저로부터의 촬영 지시가 이루어졌는지의 여부를 판정한다(스텝 S503).
유저로부터의 촬영 지시가 이루어진 경우(스텝 S503; '예'), 보존부(203)가, 라이브 프리뷰 화상(321)과, 스텝 S502에 있어서 검지된 기울기를, 대응지어 보존한다(스텝 S504). 이 후, 제어는 스텝 S501로 되돌아간다.
한편, 유저로부터의 촬영 지시가 이루어져 있지 않은 경우(스텝 S502; '아니오'), 본 처리가 개시되어 이후에 보존부(203)에 보존된 화상, 즉, 촬영된 화상(311)이 있는지의 여부를 조사한다(스텝 S505).
촬영된 화상(311)이 존재하는 경우(스텝 S505; '예'), 어느 하나의 촬영된 화상(311)을 선택한다(스텝 S506). 이 선택은, 상기한 바와 같이, 최초로 촬영된 화상으로 해도 되고, 처리의 도중에 적절히 유저를 변경할 수 있는 것으로 해도 되며, 직전에 촬영된 화상으로 해도 된다.
그리고, 선택된 촬영된 화상(311)을 반투명하게 해서, 라이브 프리뷰 화상(321)과 합성한다(스텝 S507). 이때는, 상기한 바와 같이, 촬영된 화상(311)에 색채 필터나 윤곽 추출 필터 등을 실시하고나서 합성하는 것으로 해도 된다. 또한, 상기한 바와 같이, 시분할로 어느 하나의 화상을 선택하고, 해당 선택된 화상을 합성의 결과로 하는 것으로 해도 된다.
또한, 선택된 촬영된 화상(311)에 대응지어지는 기울기와, 스텝 S502에 있어서 취득된 상품 촬영 장치(121)의 현재의 기울기를 나타내는 막대 그래프(312, 322)를 스텝 S506의 합성 결과에 묘화하여, 파인더 화상(331)을 얻는다(스텝 S508).
그리고, 파인더 표시부(204)가, 파인더 화상(331)을, 액정 디스플레이 등에 의해 구성되는 파인더 화면에 표시하고(스텝 S509), 스텝 S501로 되돌아간다.
한편, 촬영된 화상이 존재하지 않는 경우(스텝 S505; '아니오'), 라이브 프리뷰 화상(321)에 스텝 S502에 있어서 취득된 상품 촬영 장치(121)의 현재의 기울기를 나타내는 막대 그래프(322)를 묘화하여, 파인더 화상(331)을 얻는다(스텝 S510).
그리고, 파인더 표시부(204)가, 파인더 화상(331)을, 액정 디스플레이 등에 의해 구성되는 파인더 화면에 표시하고(스텝 S511), 스텝 S501로 되돌아간다.
또한, 기울기 센서부(205)를 생략한 양태에서는, 기울기에 따른 처리도 적절히 생략된다.
본 실시 형태에서는, 상품 촬영 장치(121)의 중력에 대한 기울기를 막대 그래프(312, 322)로서 파인더 화상(311) 내에 묘화하고 있다.
이와 같이, 본 실시 형태에 따른 화상 촬영 장치(121)에 따르면, 과거에 촬영한 상품의 화상과, 현재의 상품의 라이브 프리뷰의 화상이 겹쳐져서 파인더 화면에 표시되므로, 상품과 화상 촬영 장치(121)의 거리를 가능한 한 일정하게 유지할 수 있다.
또한, 기울기를 검지하는 양태에서는, 화상 촬영 장치(121)를, 소정의 회전축에 대하여 가능한 한 일정한 자세로 회전하도록 이동시킬 수 있다.
따라서, 유저는, 상품의 전체 주위 화상열에 높은 품질로 변환할 수 있는 화상을, 용이하게 촬영할 수 있게 된다.
(3. 화상 변환 장치)
상기한 바와 같이, 화상 촬영 장치(121)를 이용하면, 상품(301)의 주위를 한바퀴 빙 돌도록, 또한, 상품(301)에 대한 거리나 중력의 방향에 대한 기울기를 가능한 한 일정하게 유지하면서, 화상 촬영 장치(121)를 이동시켜, 상품(301)을 순차적으로 촬영할 수 있다.
이러한 촬영 방법에 의해 복수의 촬영된 화상(311)이 얻어지면, 이들을 정규화하여, 상품(301)의 전체 주위 화상열을 얻을 수 있다. 이때, 본 실시 형태의 화상 변환 장치(141)가 이용된다.
여기서, 상품(301)의 전체 주위 화상열이란, 상품(301)을 관통하는 회전축을 상정하고, 이 회전축으로부터 상품(301)을 거쳐서 카메라에 이르는 각도를 일정하게 유지하고, 상품(301)과 카메라의 거리를 일정하게 유지하면서, 카메라를 회전축의 주위에서 회전시켜, 상품(301)을 순차적으로 촬영했다고 가정했을 때에 얻어지는 화상의 열을 말한다.
따라서, 화상 촬영 장치(121)에 의해 촬영된 복수의 촬영된 화상(311)은, 「오차가 큰 전체 주위 화상열」이라고 생각할 수 있다. 화상 촬영 장치(121)에 있어서는, 상기한 각도나 거리를 가능한 한 일정하게 유지하면서 상품(301)을 촬영하는 고안이 이루어져 있지만, 인간에 의한 촬영에서는, 아무리 해도 촬영시에 오차가 생기게 되기 때문이다.
화상 변환 장치(141)는, 복수의 촬영된 화상(311)을 변환하여, 가능한 한 오차가 작은 전체 주위 화상열을 얻는 것이다.
여기서, 본 실시 형태에 있어서는, 촬영 대상물의 3차원 모델을 구축하는 비특허 문헌 1과는 달리, 간이한 계산에 의해 전체 주위 화상열을 얻을 수 있다. 이하, 상세하게 설명한다.
도 6은, 본 실시 형태에 따른 화상 변환 장치(141)의 개요 구성을 도시하는 설명도이다. 이하, 본 도면을 참조하여 설명한다.
본 실시 형태에 따른 화상 변환 장치(141)는, 화상 접수부(601), 변환부(602)를 갖는다.
여기서, 화상 접수부(601)는, 상품을 그 주위로부터 상품 촬영 장치(121)에 의해 촬영해서 보존된 복수의 촬영된 화상(311)을 접수한다.
화상 변환 장치(141)가 웹 서버 등에 의해 구성되는 경우에는, 촬영자는, 자신이 촬영한 촬영된 화상(311)을, 인터넷 등을 거쳐서 업 로드한다. 화상 접수부(601)는, 이 업 로드를 접수하는 것이다.
또한, 상품 촬영 장치(121)가 촬영된 화상(311)을 화상 변환 장치(141)에 자동적으로 송신하는 형태를 채용해도 된다. 이 양태에서는, 상품 촬영 장치(121)는, 촬영된 화상(311)의 보존이 소정 수 행해질 때마다, 혹은, 소정 시간 촬영이 이루어지지 않은 경우에 자동적으로 촬영된 화상(311)의 송신을 행한다. 이 양태는, 특히, PDA(Personal Data Assistant)나 스마트 폰 등의 휴대형 컴퓨터에 있어서 소정의 프로그램을 실행함으로써, 상품 촬영 장치(121)를 실현하는 경우에 적합하다.
또한, 화상 촬영 장치(121)가 디지털 카메라 등에 의해 구성되고, 화상 변환 장치(141)가 퍼스널 컴퓨터 등에 의해 구성되는 경우에는, 양자 사이에서 메모리 카드를 삽입 및 분리함으로써 촬영된 화상(311)을 이동한다.
한편, 변환부(602)는, 접수된 복수의 촬영된 화상(311)을 상품(301)의 전체 주위 화상열로 변환한다.
여기서, 본 실시 형태의 변환부(602)는, 또한 추출부(611), 추정부(612), 근사부(613), 출력부(614)로 구성되어 있다.
여기서, 추출부(611)는, 촬영된 화상(311)을 순서대로 2매씩 취득한다. 그리고, 취득된 2매의 촬영된 화상(311)으로부터, 대응하는 특징점을 추출한다. 이때는, 각종 화상 인식 알고리즘을 적용하는 것이 가능하다.
대응하는 특징점이 얻어지면, 2매의 촬영된 화상(311) 내에 있어서의 특징점의 배치로부터, 해당 2매의 촬영된 화상(311)을 촬영했을 때의 상품 촬영 장치(121)의 위치와 방향을 추정하여, 이들 2매의 촬영된 화상(311)의 각각을 정규화하기 위한 아핀 변환 행렬을 구한다. 여기서 이용하는 아핀 변환은, 확대 축소, 회전, 사행 변환 외에, 일점 투시에 의한 투시 변환을 포함하는 것이다. 이 때문에, 행렬을 표현할 때에는, 적절히 동차 좌표를 이용한다.
또한, 이하에서는, 표기를 간이하게 해서 이해를 용이하게 하기 위해서, 혼란이 생기지 않는 한, 원래의 행렬이나 벡터와, 동차 좌표로 하기 위해서 추가된 상수의 차원을 늘린 행렬이나 벡터를, 동일한 기호로 표기하는 경우가 있다.
그리고, 근사부(613)는, 2매의 촬영된 화상(311)의 각각에 대하여 얻어진 아핀 변환 행렬에 기초하는 아핀 변환을 해당 촬영된 화상(311)에 적용하여, 정규화한다. 정규화된 화상은, 전체 주위 화상열에 포함되어야 할 화상을 근사하는 것이다.
출력부(614)는, 여기서 얻어지는 2매의 정규화된 화상과, 이들이, 회전축 주위에 어느 정도의 차각으로 촬영되었는지를 출력한다.
이하, 화상 변환 장치(141)에서 실행되는 화상 변환 처리의 제어의 흐름을, 더욱 상세하게 설명한다.
도 7은, 본 실시 형태에 따른 화상 변환 장치(141)에서 실행되는 화상 변환 처리의 제어의 흐름을 설명하는 플로우차트이다. 이하, 본 도면을 참조하여 설명한다.
우선, 화상 접수부(601)가, 상품 촬영 장치(121)에 의해 촬영해서 보존된 복수의 촬영된 화상(311)과, 각 촬영된 화상(311)에 대응지어지는 기울기를 접수한다(스텝 S701). 이하, 이해를 용이하게 하기 위해서, 이들 촬영된 화상(311)이 N매인 것으로 하고, 각 촬영된 화상을 G[0], G[1], …, G[N-1]로 표기한다. 또한, 각 화상 G[0], G[1], …, G[N-1]를 촬영했을 때의 기울기를 R[0], R[1], …, R[N-1]로 한다.
또 각 괄호에 의해 표현하고 있는 첨자부는, 이후에서는, N에 관한 잉여류에 의해 표현되어 있는 것으로 한다. 즉, 첨자부의 정수가 마이너스이거나, N 이상이었던 경우에는, 이것을 N으로 나눈 나머지를 첨자의 값으로서 이용한다. 예를 들면, 기울기 R[N]은, 기울기 R[0]과 동일한 것을 의미하고, 화상 G[-1]는, 화상 R[N-1]과 동일한 것을 의미한다.
기울기 R[0], R[1], …, R[N-1]은, 상품 촬영 장치(112)에 고정되는 카메라 좌표계의 각 좌표축의 방향을 결정하는 정보이다. 따라서, 기울기 R[0], R[1], …, R[N-1]의 각각의 자유도는 6이다.
단, 각 좌표축의 방향을 나타내는 단위 벡터를 배열하는 것에 의해 3행 3열의 행렬에 의해 표현하는 것이 일반적이다.
다음으로, 0으로부터 N까지의 사이에서 정수 k를 변화시켜 이하의 처리를 반복한다(스텝 S702).
즉, 추출부(611)가, 화상 G[k]와 화상 G[k+1]로부터, 대응하는 특징점을 추출한다(스텝 S703).
이어서, 추정부(612)는, 추출된 특징점의 조 중, 어느 것인가 3개의 조를 선택한다(스텝 S704). 이 3개의 조의 선택 방법은 임의이지만, 화상 G[k] 내에 있어서, 선택되는 대응점끼리의 거리가 떨어져 있고, 화상 G[k+1] 내에 있어서도, 선택되는 대응점끼리의 거리가 떨어져 있도록 선택하면, 오차를 억제할 수 있다. 상품의 윗변, 저변, 좌변 중앙, 우변 중앙의 근방의 특징점으로부터, 어느 것인가 3개를 선택하는 것으로 해도 된다.
이하, 3개의 특징점을 각각 P, Q, W라고 부르는 것으로 한다. 화상 G[k] 내에 있어서 이들의 특징점이 묘화되어 있는 위치를 p[k], q[k], w[k], 화상 G[k+1] 내에 있어서 이들의 특징점이 묘화되어 있는 위치를 p[k+1], q[k+1], w[k+1]로 표기하는 것으로 한다.
그리고, 추정부(612)는,
(1) 특징점 P의 화상 G[k], G[k+1]에 있어서의 위치 p[k], p[k+1]와,
(2) 특징점 Q의 화상 G[k], G[k+1]에 있어서의 위치 q[k], q[k+1]와,
(3) 특징점 W의 화상 G[k], G[k+1]에 있어서의 위치 w[k], w[k+1]와,
(4) 화상 G[k]을 촬영했을 때의 상품 촬영 장치(121)의 기울기 R[k]과,
(5) 화상 G[k+1]를 촬영했을 때의 상품 촬영 장치(121)의 기울기 R[k+1]로부터,
(x) 화상 G[k]를 촬영했을 때의 상품 촬영 장치(121)의 위치 T[k]와,
(y) 화상 G[k+1]을 촬영했을 때의 상품 촬영 장치(121)의 위치 T[k+1]를 추정한다(스텝 S705).
이 추정의 알고리즘의 상세를, 이하에 상세하게 설명한다.
일반적으로, 카메라에 의한 촬영에 있어서는, 현실의 세계에 고정된 월드 좌표계와, 카메라에 고정된 카메라 좌표계 사이의 좌표 변환을 이용한다. 월드 좌표계와 카메라 좌표계는, 어느 것인가 3개의 서로 직교하는 좌표축을 갖는다.
이하, 카메라 좌표계에 있어서의 3개의 좌표축의 방향 벡터를, 각각 rx, ry, rz로 둔다(수학식 1～수학식 3).
Figure pat00001
Figure pat00002
Figure pat00003
또한, 이들의 수치 rx1, rx2, …, rz3은, 모두 월드 좌표계의 좌표값이고, 벡터 rx, ry, rz를 표현한 것이다.
또한, 월드 좌표계의 원점에 대한 카메라 좌표계의 원점의 위치 벡터를 T로 둔다(수학식 4).
Figure pat00004
이 수치 t1, t2, t3도, 위치 벡터 T의 월드 좌표계의 좌표값이다.
이러한 조건 하에서, 점 P의 카메라 좌표계에 있어서의 좌표값을 나열한 벡터 pc가, 이하와 같이 표현된 것으로 한다(수학식 5).
Figure pat00005
그러면, 점 P의 월드 좌표계에 있어서의 좌표값을 나열한 벡터 pw는, 이하와 같이 표현할 수 있다(수학식 6).
Figure pat00006
여기서, 행렬 R은, 카메라 좌표계의 좌표축의 방향을 표현하는 행렬이다. 즉, 상품 촬영 장치(121)에서 촬영을 행했을 때의, 기울기 센서부(205)의 중력 센서나 컴퍼스 등의 검지 결과로부터, 이 행렬이 얻어지게 된다.
그런데, 이 식에서는, 평행 이동을 가산에 의해 표현하고 있지만, 동차 좌표 표현을 이용하는 것에, 행렬의 승산만으로 표현하는 것도 가능하다(수학식 7).
Figure pat00007
여기서, Rt는, 행렬 R의 전치 행렬을 의미한다. R은 유니터리 행렬이기 때문에,
R-1=Rt
가 성립한다. 또한, 0t는, 3차원의 가로 0벡터이다.
그런데, 카메라 좌표계의 z축과 직교하여, 원점으로부터 초점 거리 f만큼 이격된 투영면을 고려한다. 이 투영면에 투영된 결과가, 촬영된 화상(311)에 상당한다. 따라서, 이 투영면에 고정된 2차원 좌표계에 있어서의 좌표값을 나열한 벡터 u를, 이하와 같이 표현한다(수학식 8).
Figure pat00008
그러면, 점 P가 투영면에 투영되는 곳은, 이하와 같이 표현할 수 있다(수학식 9).
Figure pat00009
이것을 재기입한다(수학식 10).
Figure pat00010
여기서, 2개의 벡터가 비0인 비례 상수이고 비례 관계에 있는 것을 ≡로 표기하는 것으로 한다(수학식 11).
Figure pat00011
월드 좌표계에서 좌표가 pw인 점 P를, 위치 T, 기울기 R의 상품 촬영 장치(121)로 촬영하면, 촬영된 화상(311)에 있어서의 투영처의 좌표 pu는, 이하와 같이 표현된다(수학식 12).
Figure pat00012
여기서, M은, 3행 4열의 행렬이다.
또한, 이 투영면은, 이상적인 핀홀 카메라를 상정한 것이며, 카메라 좌표계에 고정되어 있고, 2차원 좌표계의 제1 축은, x축에 대해 평행하고, 2차원 좌표계의 제2 축은, y축에 대해 평행한 것으로 하고 있다.
이 조건이 반드시 충족되지는 않는 일반적인 투영을 채용한 경우에는, 상황에 따른 행렬 A를 채용하면 된다.
예를 들면, 투영면과 카메라 좌표계의 z축이 각ψ를 이룰 때, 행렬 A는, 적당한 상수 k1, k2, uc1, uc2를 이용하여, 이하와 같이 표현할 수 있다(수학식 13).
Figure pat00013
예를 들면 어안 렌즈를 이용하는 경우 등이어도, 행렬 A를 적절하게 정하는 것에 의해, 상기와 마찬가지의 아핀 변환 행렬 M을 구할 수 있다.
그런데, 이러한 촬영의 관계에 기초하여, 이하, 촬영의 위치 T[k], T[k+1]를 구하는 방법에 대해서 설명한다. 이들은 모두 3요소를 갖기 때문에, 미지수는 합계 6개이다.
그래서 우선, 촬영 위치 T[k], 기울기 R[k]에 대한 아핀 변환 행렬을 M[k]으로 두면, 촬영 위치 T[k+1], 기울기 R[k+1]에 대한 아핀 변환 행렬을 M[k+1]으로 둔다. 그러면, 이하와 같은 관계가 성립된다(수학식 14).
Figure pat00014
단, M[k] 및 M[k+1]은, 3행 4열의 행렬이기 때문에, M[k]-1 및 M[k+1]-1은, M[k] 및 M[k+1]의 일반화 역행렬인 것으로 한다. 일반화 역행렬은, 「무어-펜 로즈의 의사 역행렬」이라고 불리는 경우도 있다.
그런데 여기서, 미지수의 수는, 촬영 위치 T[k], T[k+1]의 좌표값의 6개와, 각 ≡에 있어서의 좌변과 우변의 비례 계수의 3개인, 합계 9개이다.
한편, 행렬 방정식은, 3차원의 것이 3개 있기 때문에, 합계 9개이다. 따라서, 이들 연립방정식을 풂으로써, 모든 미지수를 얻을 수 있다.
또한, 연립방정식을 풀 때에는, 기호 처리에 기초하는 수식 처리에 의해 해를 얻어도 되고, 각종 근사 해법을 이용하는 것으로 해도 된다. 예를 들면, T[k], T[k+1] 및 비례 상수에 적당한 초기값을 부여해서 최급강하법에 의해, 해를 구하는 방법이다.
이 이외에, 특징점의 수를 늘리면, 연립방정식의 수를 더욱 늘릴 수 있다. 이 경우에는, 각 연립방정식의 좌변으로부터 우변을 뺀 오차의 제곱합을 최소화하도록 최대 우도(最尤) 추정을 함으로써, 이들의 미지수를 얻을 수 있다.
이와 같이, 화상 내의 대응하는 특징점을 3개 선택함으로써, 촬영 위치 T[k], T[k+1]가 판명된다. 반대로, 촬영의 위치 T[k], T[k+1]가 판명되면, 일점 투시의 투시 투영에 있어서의 아핀 변환 행렬 M[k], M[k+1]이 요구된다.
이들의 처리를 반복하면(스텝 S707), 스텝 S705(x)에 의해,
T[0], T[1], T[2], …, T[N-1]의 각 추정값
이 얻어지고, 스텝 S705(y)에 의해,
T[1], T[2], …, T[N-1], T[0]의 각 추정값
이 얻어지게 된다.
따라서, 어느 한쪽을 선택하거나, 혹은, 양자의 평균을 구하는 것에 의해, 상품 촬영 장치(121)의 위치
T[0], T[1], T[2], …, T[N-1]
을 동정(同定)한다(스텝 S707).
또한, 이하의 방법에 의해, 현실 세계에 있어서의 상품(301)의 위치 H를 동정한다(스텝 S708).
즉, 정수 k=0, 1, 2, …, N-1의 각각에 대해서, 기울기 R[k]로부터, 촬영의 광축 방향을 취득한다. 그리고, 촬영의 위치 T[k]를 통과하여, 해당 광축 방향으로 신장하는 직선을 상정한다. 이들 N개의 직선은, 상품(301)의 위치 H, 혹은, 그 근방을 통과할 것이다.
그래서, 상품(301)의 위치 H와 이들 N개의 직선의 거리의 제곱합이 최소화하도록, 최소 제곱법에 의해, 상품(301)의 위치 H를 구할 수 있다.
그런데, 상기한 바와 같은 상품 촬영 장치(121)를 사용해서 촬영을 행한 경우, 동정된 촬영의 위치 T[0], T[1], T[2], …, T[N-1]는, 상품(301)의 위치 H를 관통하는 중심축의 주위에, 원주 형상으로 배치되어 있는 것이라고 생각된다. 또한, 인간이 상품의 촬영을 행하는 경우에, 반드시 바로 옆에서 촬영한다고는 할 수 없고, 비스듬하게 위쪽에서 촬영하는 경우도 많다.
즉, 이상적으로는, 위치 H를 정점으로 하는 원추의 저면에, 추정된 촬영 위치 T[0], T[1], T[2], …, T[N-1]가 배치되게 될 것이다. 또한, 바로 옆에서 촬영한 경우에는, 위치 H를 중심으로 하는 원주 상에, 추정된 촬영 위치 T[0], T[1], T[2], …, T[N-1]가 배치되게 될 것이다.
그러나, 촬영은 인간이 조작하고 있기 때문에, 반드시 오차가 생긴다. 이 때문에, 촬영 위치 T[0], T[1], T[2], …, T[N-1]를 정규화함으로써, 위치 H를 중심으로 하는 정원추의 저면인 정원주 상에 정규화 위치 S[0], S[1], S[2], …, S[N-1]를 동정한다(스텝 S709). 또한, 이 정원추의 꼭지각을 180도로 함으로써, 위치 H를 중심으로 하는 정원주 상에 정규화 위치 S[0], S[1], S[2], …, S[N-1]가 나열되는 경우에도 대응할 수 있다.
이 동정을 위해, 구체적으로는, 이하와 같은 계산을 행한다.
우선, 위치 H로부터 각 촬영 위치 T[0], T[1], T[2], …, T[N-1]가 떨어져 있는 거리를 가지런히 한다. 즉, 정수 k=0, 1, 2, …, N-1의 각각에 대해서, 거리를 가지런히 하기 위한 스케일 계수 sc[k]와, 위치
U[k]=T[k]+sc[k](T[k]-H)/|T[k]-H|
를, sc[0], sc[1], sc[2], …, sc[N-1]를 가능한 한 작게 하도록 계산한다.
즉, 위치 U[k]는, 상품(301)의 위치 H와 촬영 위치 T[k]를 연결하는 직선 상에 있고, 위치 U[k]와 촬영 위치 T[k]는, sc[k]만큼 이격되어 있다. 이때, sc[0], sc[1], sc[2], …, sc[N-1]를 최소화하는 것을 구속 조건으로 하는 것이다.
가장 단순하게는, 각 촬영 위치 T[0], T[1], T[2], …, T[N-1]와의 평균 거리 D를
D=Σk=0 N-1|T[k]-H|/N
에 의해 구하고,
sc[k]=D-|T[k]-H|
로 하면, 각 |U[k]-H|는, 모두 거리 D와 동일하게 된다.
다음으로, 원추의 저면으로 되는 원주의 중심의 위치 J 및 반경 r을 계산한다. 원주의 중심의 위치 J는,
J=Σk=0 N-1U[k]/N
과 같이, 위치 U[k]의 무게 중심으로 하는 것이 가장 단순하다. 다음으로 원주의 반경 r은,
r=Σk=0 N-1|U[k]-J|/N
과 같이, 위치 J와 각 U[k]의 거리의 평균으로 하는 것이 가장 단순하다.
이와 같이 하여, 상품(301)의 위치 및 해당 상품(301)의 전체 주위 화상열을 촬영할 때의 원주의 궤적이 정해진다. 이 원주는, 위치 H와 위치 J를 연결하는 직선을 회전축으로 하고 있다.
그래서, 다음으로, 각 k=0, 1, 2, …, N-1에 대해서, 촬영 위치 T[k]에 대한 원주 상의 위치 S[k]를 동정한다. 여기서 구해지는 위치 S[k]는, 촬영 위치 T[k]를 정규화한 가상적인 촬영 위치에 상당한다.
원주 상 중, 촬영 위치 T[k]에 가장 가까운 위치를 S[k]로 하는 방법이 가장 단순하다.
우선, 벡터 H-J와, 벡터 T[k]-J로부터, 벡터 OP[k]=((H-J)×(T[k]-J))×(H-J)를 계산한다.
벡터(H-J×T[k]-J)는, 벡터 H-J 및 벡터 T[k]-J의 양방에 대해 직교한다.
따라서, 벡터 OP[k]=((H-J)×(T[k]-J))×(H-J)는, 벡터 H-J와, 벡터 T[k]-J가 뻗는 평면에 대해 평행하고, 벡터 H-J와 직교한다.
즉, 위치 J로부터 해당 원주가 뻗는 평면에 대하여 T[k]로부터 늘어뜨린 발로 신장하는 반직선과, 벡터 OP[k]는, 동일한 방향으로 평행하게 신장하는 것이다.
따라서, 촬영 위치 T[k]에 가장 가까운 원주 상의 점의 정규화 위치 S[k]는,
S[k]=J+r OP[k]/|OP[k]|
에 의해 구해지게 된다.
이와 같이, 정규화 위치 S[0], S[1], …, S[N-1]는, 소정의 원주 상에 나열된다. 따라서, 이 원주 상에서, S[0]로부터 보아, S[0], S[1], …, S[N-1]의 각각이, 중심 J에 대하여, 어느 정도 회전하고 있는지를 구하는 것도 가능하다.
즉, 정규화 위치 S[0], S[1], …, S[N-1]의 회전각을, 각각 θ[0], θ[1], …, θ[N-1]로 한다. 정수 k=0, 1, …, N-1에 대하여, θ[k]는, 벡터 S[0]-J에 대하여 벡터 S[k]-J가 뻗는 각이 된다. 즉,
cos(θ[k])=《S[0]-J, S[k]-J》/(|S[0]-J|·|S[k]-J|),
sin(θ[k])=|(S[0]-J)×(S[k]-J)|/(|S[0]-J|·|S[k]-J|)
에 의해, 각 회전각 θ[k]를 구할 수 있다. 여기서 《x,y》는, 벡터x와 벡터y의 내적이다.
또한, 이와 같이 해서 얻어진 θ[k]는,
0=θ[0]≤θ[1]≤θ[2]≤…≤θ[N-2]<2π
와 같이 오름차순으로 나열하는 것이라고 생각해도, 일반성을 잃지 않는다. 만일 어느 k에 있어서
θ[k]>θ[k+1]
로 되어, 순서가 교체되어 있는 경우에는,
(a) 화상 G[k], 기울기 R[k], 촬영 위치 T[k], 정규화 위치 S[k], 회전각 θ[k]와,
(b) 화상 G[k+1], 기울기 R[k+1], 촬영 위치 T[k+1], 정규화 위치 S[k+1], 회전각 θ[k+1]
를 일괄해서 교체하면 되기 때문이다.
또한, 정수 k=0, 1, 2, …, N-1에 대해서, 가상화 위치 S[k]에 있어서의 가상적인 촬영의 기울기 V[k]를 계산한다(스텝 S710). 구체적으로는, 가상화 위치 S[k]로부터 상품(301)의 위치 H를 향하는 벡터 H-S[k]를, 촬영의 광축 방향(z축)으로 하고, 가상화 위치 S[k]에 있어서의 원주의 접선 방향을 촬영의 좌우 방향(x축)으로 하고, 가상화 위치 S[k]로부터 원주의 중심 위치 J를 향하는 벡터 J-S[k]의, H-S[k]에 대해 직교하는 성분을, 촬영의 상하 방향(y축)으로 하는 것이 전형적이다. 이 2개의 방향을 정함으로써, 카메라 좌표계의 6개의 자유도가 결정된다. 가상화 위치 S[k]에 있어서의 촬영의 기울기 V[k]도 자동적으로 정해지게 된다.
그런데, 상기한 바와 같이, 현실의 공간 내의 위치 pw에 배치되는 점 P는, 촬영 위치 T[k]로부터 방향 R[k]에서 촬영하면, 이하의 관계를 충족시키는 화상 G[k]의 위치 pu에 투영된다(수학식 15).
Figure pat00015
여기서, 이 식의 비례 상수는, [수학식 10]에도 표시하는 바와 같이, 점 P의 카메라 좌표계에 있어서의 z축, 즉 촬영 방향의 광축의 좌표값 pc3이다.
따라서, 점 P가 표면에 배치된 상품(301)을 상품 촬영 장치(121)로 촬영할 때에는, 상품(301)과 상품 촬영 장치(121)의 거리
d[k]=|T[k]-H|
를 pc3의 근사값으로 할 수 있다(수학식 16).
Figure pat00016
반대로, 화상 G[k]의 위치 pu에 투영되어 있는 점 P의 현실 공간 내에 있어서의 위치 pw는, 이하의 근사 계산에 의해 구할 수 있다(수학식 17).
Figure pat00017
마찬가지로, 현실 세계의 위치 pc에 배치되어 있는 점 P가, 회전각 θ[k]에 있어서의 정규화 화상 B[k]에 있어서, 위치 pu'에 투영되는 것으로 한다.
정규화 화상 B[k]를 촬영한 위치는, 정원추의 저면이며, 각 정규화 위치 S[k]와 정점 H의 거리 d=|S[k]-H|는, k에 관계없이 일정하기 때문에, 이하와 같은 관계가 성립 한다(수학식 18).
Figure pat00018
즉, 정규화 화상 B[k]에 있어서의 위치 pu'는, 촬영된 화상 G[k]에 있어서의 위치 pu와 대응지어지게 되지만, 이 위치 pu는, 이하와 같이 근사할 수 있다(수학식 19).
Figure pat00019
따라서, 정규화 화상 B[k] 내의 각 위치에 대해서,
(1) 촬영된 화상 G[k]의 화소의 위치를, 상기한 관계에 의해 구하고,
(2) 요구된 위치의 촬영된 화상 G[k]에 있어서의 화소값을 취득하고,
(3) 해당 취득된 화소값을, 정규화 화상 B[k]의 해당 위치의 화소값으로서 묘화함으로써, 정규화 화상 B[k]이 얻어지는 것이다.
이러한 알고리즘을 이용하여, 근사부(613)는, 정수 k=0, 1, 2, …, N-1의 각각에 대해서, 가상화 위치 S[k]로부터 기울어 V[k]로 촬영한 경우의 현실의 위치로부터 화상 내의 위치로의 변환을 행하는 아핀 변환 행렬 L[k]을 계산한다(스텝 S711).
그 후, 화상 G[k]에 대하여, 아핀 변환 행렬
(d/d[k])M[k]L[k]-1
에 의한 변환을 실시하여, 전체 주위 화상열에 포함되는 회전각 θ[k]에 대한 정규화 화상 B[k]을 얻는다(스텝 S712).
이와 같이 하여, 정규화 화상 B[0], B[1], B[2], …, B[N-1]를 나열한 전체 주위 화상열, 및, 각 정규화 화상에 대한 회전각 θ[0], θ[1], θ[2], …, θ[N-1]가 얻어지면, 출력부(614)는, 이들을 전체 주위 화상열의 정보로서 출력하여(스텝 S713), 본 처리를 종료한다.
또한, 스텝 S719에서는, 현실 세계의 위치로부터 정규화 화상 내의 위치로의 변환을 행하는 아핀 변환 행렬(1/d)L[0], (1/d)L[1], (1/d)L[2], …, (1/d)L[N-1]도 전체 주위 화상열의 정보의 일부로서 출력하는 것이 바람직하다.
출력된 전체 주위 화상열, 회전각, 및, 아핀 변환 행렬의 정보는, 서버 장치 내의 하드디스크 등에 축적되는 것이 일반적이지만, 여기서 스마트 폰이나 휴대 전화, 퍼스널 컴퓨터 등에 다운로드하는 것도 가능하다.
또한, 상기한 설명에서는, 상품(301)을 정점으로 하는 대략 원추의 저면의 대략 원주 상을 상품 촬영 장치(121)가 이동하면서, 상품(301)을 촬영함으로써, 촬영된 화상이 얻어지고 있다.
그리고, 촬영의 결과에 포함되는 오차를 수정하여, 상품(301)을 정점으로 하는 정원추의 저면의 정원주 상을 상품 촬영 장치(121)가 이동하면서 상품(301)을 촬영함으로써 얻어질 정규화 화상을 얻는 것으로 하고 있다.
여기서, 처리를 간략화하기 위해서, 상품 촬영 장치(121)가 이동하는 것은 상품(301)을 중심으로 하는 대략 원주 상이며, 정규화 화상은, 상품(301)을 중심으로 하는 정원주 상으로부터 본 모습이라고 가정해도 된다. 이 방법에서는, 구속 조건이 상기한 설명에 비해서 대폭 간략화되기 때문에, 한층 더한 계산의 속도 향상을 예상할 수 있다.
이 이외에, 각종 최대 우도 추정의 기술을 이용하여, 상품(301)의 위치나 원추의 형상을 정하는 것으로 해도 된다.
이하에서는, 본 실시 형태에 따른 상품 촬영 장치(121)를 이용한 경우에, 한층 더 간이한 근사 계산으로, 촬영 위치 T[k], T[k+1], 기울기 R[k], R[k+1], 아핀 변환 행렬 M[k], M[k+1]을 구하는 방법에 대해서 계산한다.
상기한 바와 같이, (수학식 10)으로부터(수학식 11)로의 변형에 있어서는, 비례 상수 pc3을 소거하고 있다. 이 비례 상수 pc3은, 촬영 방향의 광축에 있어서의 촬영 대상의 점의 좌표값, 즉, 카메라로부터 촬영 대상의 점에의 깊이를 나타내는 것이다.
한편, 본 실시 형태에 따른 상품 촬영 장치(121)를 이용한 경우에는, 촬영된 화상에 있어서 상품(301)의 크기가 거의 일정하게 되도록 촬영이 행해진다. 따라서, 상품(301)에의 깊이는, 어떠한 촬영 위치로부터 본 경우에도, 거의 동일하다고 생각된다.
그러면, (수학식 14)에 있어서의 비례 관계 「≡」은, 등호(=)로 치환하는 것이 가능하게 된다. 그러면, 미지수인 비례 상수를 구할 필요가 없어진다.
따라서, 상품(301)에의 깊이가 동일한 것으로 해서, 위치 p, q의 2개의 특징점으로부터, 이하의 연립방정식에 의해, 촬영 위치 T[k], T[k+1], 기울기 R[k], R[k+1], 아핀 변환 행렬 M[k], M[k+1]을 구할 수 있다.
Figure pat00020
즉, 미지수의 수는, 촬영 위치 T[k], T[k+1]의 좌표값의 6개이고, 행렬 방정식은 3차원의 것이 2개로서, 합계 6개이기 때문에, 촬영 위치 T[k], T[k+1]를 계산에 의해 구할 수 있는 것이다.
구체적인 계산은, 상기한 형태와 마찬가지의 방법을 채용할 수 있다.
촬영 위치를 구하기 위해서 참조하는 특징점의 수가 많아지면, 계산의 부하는 높아지지만, 계산 정밀도는 향상한다. 또한, 특징점의 수를 3개 이상으로 하면, 각 촬영 위치 T[k]에 대한 상품(301)의 위치에 특별한 전제 조건이 없더라도, 촬영 위치 T[k], T[k+1], 기울기 R[k], R[k+1], 아핀 변환 행렬 M[k], M[k+1]을 구할 수 있다.
한편, 본 실시 형태와 같이, 각 촬영 위치 T[k]에 대한에 대한 상품(301)의 깊이가 거의 동일하다고 생각되는 경우에는, 특징점의 수를 2개로 하면, 계산의 부하를 낮게 할 수 있는 한편, 근사를 이용하면서도 높은 정밀도로 촬영 위치 T[k], T[k+1], 기울기 R[k], R[k+1], 아핀 변환 행렬 M[k], M[k+1]을 구할 수 있다.
(4. 화상 처리 장치)
전체 주위 화상열에 포함되는 정규화 화상 B[0], B[1], B[2], …, B[N-1]는, 각각 상품(301)의 주위의 회전각 θ[0], θ[1], θ[2], …, θ[N-1]에 대응지어져 있다. 또한, 상기한 바와 같이,
0=θ[0]≤θ[1]≤θ[2]≤…≤θ[N-1]<2π
로 해도 일반성을 잃지 않는다.
화상 처리 장치(161)는, 유저로부터 임의의 회전각 φ가 공급되면, 해당 회전각 φ에 상당하는 위치로부터 상품(301)을 보았을 때의 화상을, 상기 정보로부터 보간하여, 유저에게 제시하는 기능을 완수한다. 가장 단순하게 보간을 행하는 방법은, 이하와 같다.
상기한 바와 같이, 원추 저면에 있어서의 회전각 φ로부터는, 원추 저면의 원주 상의 위치 S(φ), 및, 거기에서의 촬영의 기울기 V(φ)를 일의적으로 구할 수 있다. 따라서, 해당 위치 S(φ) 및 기울기 V(φ)와, 원추의 사변의 길이 d로부터, 아핀 변환 행렬(1/d)L(φ)이 일의적으로 정해진다.
회전각 θ[0], θ[1], θ[2], …, θ[N-1] 중, 다음으로, 회전각 φ에 가장 가까운 것을 선택한다. 선택된 회전각이 θ[k]이었던 것으로 한다.
이 방법에서는, 정규화 화상 B[k]로부터, 회전각 φ에 대한 보간 화상 B(φ)를 얻는다.
가장 단순한 방법은, 정규화 화상 B[k]를, 그대로 보간 화상 B(φ)로 하는 방법이다. 이것은, N이 충분히 큰 경우(예를 들면, 20 이상)에, 계산량을 억제하는 의미에서 효과적이다.
이 이외에, 상기한 바와 같이, 정규화 화상 B[k]에 대해서는, 현실 세계를 화상에 투영하기 위한 아핀 변환 행렬(1/d)L[k] 및, 그 반대를 행하는 아핀 변환 행렬 d L[k]-1이 대응지어져 있다.
그래서, 정규화 화상 B[k]에 대하여, 아핀 변환
(1/d)L(φ)d L[k]-1=L(φ)L[k]-1
을 실시함으로써, 보간 화상 B(φ)가 얻어지게 된다.
이 방법에서는, 1개의 보간 화상 B(φ)를 얻기 위해서, 하나의 정규화 화상 B[k]만을 이용하고 있지만, 복수의 정규화 화상 B[k]로부터, 1개의 보간 화상 B(φ)를 얻는 것도 가능하다. 예를 들면, 회전각에 대해서
θ[k]≤φ<θ[k+1]
이 충족되는 정규화 화상 B[k], B[k+1]의 2개에 대해서, 상기한 바와 같이 아핀 변환을 적용한다.
그리고, B[k]에 아핀 변환을 적용해서 얻어진 화상의, 좌측(φ-θ[k])/(θ[k+1]-θ[k])를 추출하고, B[k+1] 에 아핀 변환을 적용해서 얻어진 화상의, 우측(θ[k+1]-φ)/(θ[k+1]-θ[k])를 추출하고, 이들을 좌우로 나열함으로써 보간 화상 B(φ)로 하는 방법이다. 또한 여기서는, φ나 θ는, 유저에 가까운 측이 좌측으로부터 우측으로 회전할 때에 증가하도록 방향을 정하고 있지만, 역방향으로 해도 방향을 교체시킴으로써 마찬가지의 방법을 채용할 수 있다.
또한, 2매의 정규화 화상을 배열하는 것이 아니라, 보다 많은 정규화 화상을 배열하는 경우에도, 상기와 마찬가지로, 정규화 화상을 회전 방향에 대하여 수직 띠 형상으로 절단해서 추출하고, 이들을 나열하는 것에 의해, 보간 화상 B(φ)를 얻을 수 있다.
그런데, 도 8은, 본 실시 형태에 따른 화상 처리 장치(161)의 각 요소와, 단말 장치(181)의 각 요소의 관계를 도시하는 설명도이다. 도 9는, 화상 처리 장치(161)의 각 요소와, 단말 장치(181)의 각 요소에 있어서 실행되는 화상 처리의 제어의 흐름을 설명하는 플로우차트이다. 이하, 이들의 도면을 참조하여 설명한다.
또한, 상기한 바와 같이, 화상 처리 장치(161)와, 단말 장치(181)는, 일체로서 구성하는 것도 가능하고, 별개의 기기로서 구성하는 것도 가능하다. 또한, 각 부를 어떠한 기기에 배치할지도 임의로 변경이 가능하다. 그래서 본 도면에서는, 가장 전형적인 양태를 도시하고 있다.
본 도면에 도시하는 바와 같이, 본 실시 형태에 따른 화상 처리 장치(161)는, 각도 수신부(801), 각도 접수부(802), 보간부(803), 화상 송신부(804)를 갖는다.
한편, 단말 장치(181)는, 각도 센서부(811), 각도 송신부(812), 화상 수신부(813), 모니터 표시부(814)를 갖는다.
화상 처리가 개시되면, 화상 처리 장치(161)에서는 서버 처리가, 단말 장치(181)에서는 단말기 처리가, 각각 실행된다.
우선, 단말 장치(181)에 있어서, 각도 센서부(811)가, 단말 장치(181)의 소정의 축 주위의 각도 φ를 감지한다(스텝 S901).
상품 촬영 장치(121)에 의해 상품을 촬영할 때에는, 3축의 기울기를 검지하는 것이 일반적으로 되어 있었지만, 단말 장치(181)에서는, 가속도 센서를 1개만 이용하여, 중력의 방향에 대한 기울기를 검지하는 것으로 해도 충분하다. 물론, 3축의 기울기를 검지하는 것으로 해도 된다.
이어서, 각도 송신부(812)는, 감지된 각도 φ를 화상 처리 장치(161)에 송신한다(스텝 S902).
그러면, 화상 처리 장치(161)에 있어서, 각도 수신부(801)는, 단말 장치(181)로부터 송신된 각도 φ를 수신하여, 각도 접수부(802)에 접수시킨다(스텝 S903).
그리고, 보간부(803)는, 접수된 각도 φ로부터, 상기한 바와 같은 알고리즘에 기초하여, 보간 화상 B(φ)를 얻는다(스텝 S904).
또한, 화상 송신부(804)는, 얻어진 보간 화상 B(φ)를, 단말 장치(161)에 송신하고(스텝 S905), 처리는 스텝 S903으로 되돌아간다.
그런데, 단말 장치(181)에서는, 화상 수신부(813)가, 화상 처리 장치(161)로부터 송신된 보간 화상 B(φ)를 수신한다(스텝 S906).
그리고, 모니터 표시부(814)가, 수신된 보간 화상 B(φ)를, 모니터 화면에 표시하고(스텝 S907), 처리는 스텝 S901로 되돌아간다.
이와 같이, 본 실시 형태에서는, 단말 장치(181)를 기울이기만 하면, 그 기울기에 연동하여, 단말 장치(181)의 모니터 화면에 표시되는 상품(301)도 회전하게 되고, 유저는, 용이하게 상품(301)의 전체 주위의 상황을 볼 수 있다.
또한, 화상 처리 장치(161)와, 단말 장치(181)를 일체로 구성할 때에는, 각도 센서부(811)에 의해 검지된 각도 φ가 보간부(803)에 공급되고, 보간부(803)에 의해 얻어진 보간 화상 B(φ)가 모니터 표시부(814)에 공급되어, 보간 화상 B(φ)가 모니터 화면에 표시된다. 즉, 단말 장치(181)는, 각도 센서부(811), 보간부(803), 모니터 표시부(814)로 구성되게 된다.
이 이외에, 기울기 센서를 갖고 있지 않은 일반적인 퍼스널 컴퓨터에 의해 단말 장치(181)를 실현하는 경우에는, 각도 센서부(811)를 이용해서 각도 φ를 감지하는 것이 아니라, 유저가 키보드나 마우스 등의 입력 장치를 조작함으로써, 각도 φ를 입력하는 형태를 채용해도 된다. 예를 들면, 키보드의 제1 버튼을 압압함으로써 φ가 증가하고, 제2 버튼을 압압함으로써 φ가 감소하는 조작 체계나, 마우스의 이동량에 φ의 값을 연동시키는 조작 체계를 채용할 수 있다.
또한, 상기한 예에 있어서는, 감지된 각도 φ를 그대로 이용하여, 보간 화상 B(φ)를 표시하는 것으로 하고 있다. 그러나, 1보다 큰 상수 k를 이용하여, 감지된 각도 φ에 대하여, 보간 화상 B(kφ)를 표시하는 것으로 해도 된다. 즉, 각도 접수부(802)는, 접수한 각도를 k배 하게 된다는 것이다.
보간 화상 B(φ)를 표시하는 방법에서는, 상품(301)의 전체 주위를 관찰하기 위해서는, 유저는, 단말 장치(181) 자체를 1주, 360도 회전시킬 필요가 있다.
한편, 보간 화상 B(kφ)를 표시하는 방법에서는, 상품(301)의 전체 주위를 관찰하기 위해서 필요한 단말 장치(181)의 회전량은 (360/k)도이며 된다.
예를 들면, k=4로 하면, 유저는, 단말 장치(181)의 기울기를 90도만큼 변화시키면, 상품(301)의 전체 주위를 관찰하는 것이 가능하다.
또한, 각도를 k배 하는 처리는, 예를 들면 단말 장치(181)에 있어서 실행해도 된다. 예를 들면, 검지된 각도 φ를 각도 송신부(812)가 k배 하여, 각도 kφ를 송신하는 등이다.
이하에서는, 정규화 화상 B[0], B[1], B[2], …, B[N-1] 및 회전각 θ[0], θ[1], θ[2], …, θ[N-1]와, 공급된 회전각 φ로부터, 보간 화상 B(φ)를 얻는 것 이외의 방법에 대해서 설명한다.
즉, 상품(301)을 구체라고 생각하여, 정규화 화상 B[0], B[1], B[2], …, B[N-1]로부터 배형(舟型) 다원추도법(interrupted normal polyconic projection)에 의한 전개도를 만든다. 그리고, 이 전개도로부터 구체를 형성하고, 이 구체를 위치 S(φ) 및 기울기 V(φ)로 관찰한 것으로 해서, 보간 화상 B(φ)를 만드는 것이다.
지구본을 작성할 때의 배형 다원추도법에서는, 경도 30도마다 지구 표면을 절단해서 12개의 배형을 만든다. 본 실시 형태에서는, 배형은 N개이다. 또한, 상기한 바와 같이, θ[0]=0을 상정한다. 그리고,
(0) 정규화 화상 B[0]로부터 위도(θ[N-1]+2π)/2～위도2π, 및, 위도0～위도θ[1]/2의 배형을 만들고,
(1) 정규화 화상 B[1]로부터 위도(θ[0]+θ[1])/2～위도(θ[1]+θ[2])/2의 배형을 만들고,
(2) 정규화 화상 B[2]로부터 위도(θ[1]+θ[2])/2～위도(θ[2]+θ[3])/2의 배형을 만들고, …,
(k) 정규화 화상 B[k]로부터 위도(θ[k-1]+θ[k])/2～위도(θ[k]+θ[k+1])/2의 배형을 만들고, …,
(N-1) 정규화 화상 B[N-1]로부터 위도(θ[N-2]+θ[N-1])/2～위도(θ[N-1]+2π)/2의 배형을 만든다.
배형을 작성하는 단순한 방법으로서는, 각 정규화 화상으로부터, 해당 배형에 대응하는 위치를 그대로 절취한다고 하는 방법이 있다. 이 방법은, 상품(301)의 전체 형상이 구체와 유사한 경우에 적합하다.
이와 같이 해서 생긴 N개의 배형을 결합함으로써, 가상적으로 대략 구체를 형성할 수 있다. 다음은, 이 대략 구체를 위치 S(φ) 및 기울기 V(φ)로 관찰한 것으로 해서, 보간 화상 B(φ)를 만드는 것이다.
이 이외에, 후술하는 다면체 근사와 마찬가지로, 위치 S[k]를 시점 위치로 하고, 배형을 구체 표면에 접착한 것을 투영면으로 해서, 정규화 화상 B[k]를 배형으로 투영하는 방법이 있다. 이 방법에서는, 상품(301)을 덮는 구체의 표면을 복수의 배형 영역으로 분할하고, 각 배형 영역에, 정규화 화상을 투영하게 된다.
상술한 바와 같이, 상품(301)을 가상적인 볼록다면체로 근사하는 방법도 있다. 해당 볼록다면체의 전체의 상품의 형상과 유사한 것을 선택한다.
그리고, 해당 볼록다면체의 표면에 배치되는 각 다각형에 대하여, 이하와 같은 처리를 행함으로써, 상품(301)의 볼록다면체 모델을 형성하는 것이다.
우선, 정규화 화상 B[0], B[1], B[2], …, B[N-1] 중, 생성 시의 기울기 V[0], V[1], V[2], …, V[N-1]가, 해당 다각형의 법선 방향에 가장 가까운 정규화 화상 B[k]를 선택한다.
우선, 정규화 화상 B[k]를 상품(301)의 위치에 해당 회전각 θ[k]로 가상적으로 배치한다. 그리고, 위치 S[k]를 시점 위치로 하고, 해당 다각형을 투영면으로 해서, 정규화 화상 B[k]를 다면체에 투영한다.
일단 이러한 대략 구체 모델이나 볼록다면체 모델이 형성된 후에는, 이들 모델을, 여러 가지의 방향으로부터 보는 것이 가능하게 된다.
또한, 본원에 대해서는, 2010년 8월 30일자 일본 특허 출원 2010-192927호를 기초로 하는 우선권을 주장하고, 본원 명세서 중에, 해당 일본 특허 출원의 명세서, 특허 청구 범위, 도면의 기재 전체를 참조로서 원용하는 것으로 한다.
<산업상의 이용 가능성>
본 발명에 따르면, 상품의 전체 주위 화상열을, 유저가 용이하게 촬영할 수 있게 하는 데에 적합한 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체를 제공할 수 있다.
101 : 화상 처리 시스템
121 : 상품 촬영 장치
141 : 화상 변환 장치
161 : 화상 처리 장치
181 : 단말 장치
201 : 화상 센서부
202 : 지시 접수부
203 : 보존부
204 : 파인더 표시부
205 : 기울기 센서부
301 : 상품
311 : 촬영된 화상
312 : 촬영된 화상의 촬영시의 기울기를 나타내는 막대 그래프
321 : 라이브 프리뷰 화상
322 : 현재의 기울기를 나타내는 막대 그래프
331 : 파인더 화상
601 : 화상 접수부
602 : 변환부
611 : 추출부
612 : 추정부
613 : 근사부
614 : 출력부
801 : 각도 수신부
802 : 각도 접수부
803 : 보간부
804 : 화상 송신부
811 : 각도 센서부
812 : 각도 송신부
813 : 화상 수신부
814 : 모니터 표시부

Claims (3)

  1. 상품을 관통하는 회전축 주위의 각도를 접수하는 각도 접수부,
    회전각에 대응지어지는 정규화 화상을 복수 포함하는 상기 상품의 전체 주위 화상열을, 상기 접수된 각도에 기초해서 보간하여, 해당 상품을 상기 접수된 각도에서 본 모습을 나타내는 보간된 화상을 얻는 보간부를 구비하고,
    상기 보간부는,
    상기 전체 주위 화상열에 포함되는 정규화 화상 B[0], B[1], ...,B[N-1]의 각각에 대응지어지는 회전각 θ[0], θ[1], ...,θ[N-1](θ[0]≤θ[1]≤...≤θ[N-1]) 중, 상기 접수된 각도 φ를 사이에 두는 회전각 θ[k], θ[k+1]에 대응지어지는 정규화 화상 B[k], B[k+1]를 선택하고,
    현실 세계를 정규화 화상 B[k], B[k+1]에 투영하기 위한 아핀 변환 행렬 L[k], L[k+1]과, 해당 현실 세계를 화상에 투영하기 위한 상기 접수된 각도 φ에 대한 아핀 변환 행렬 L(φ)로부터, 제1 화상 L(φ)L[k]-1B[k]와, 제2 화상 L(φ)L[k+1]-1B[k+1]를 생성하고,
    상기 제1 화상 L(φ)L[k]-1B[k]를, 상기 중심축에 대해 평행한 분할선에 의해, (φ-θ[k])대 (θ[k+1]-φ)로 분할하고, 상기 중심축 주위의 회전각이 작은 측의 제3 화상을 추출하고,
    상기 제2 화상 L(φ)L[k+1]-1B[k+1]를, 상기 중심축에 대해 평행한 분할선에 의해, (φ-θ[k])대 (θ[k+1]-φ)로 분할하여, 상기 중심축 주위의 회전각이 큰 측의 제4 화상을 추출하고,
    상기 제3 화상을 상기 중심축 주위의 회전각이 작은 측에, 상기 제4 화상을 상기 중심축 주위의 회전각이 큰 측에 각각 배치해서 나열하는 것에 의해, 상기 보간된 화상을 얻는 것을 특징으로 하는 화상 처리 장치.
  2. 상품을 관통하는 회전축 주위의 각도를 접수하는 각도 접수 스텝,
    회전각에 대응지어지는 정규화 화상을 복수 포함하는 상기 상품의 전체 주위 화상열을, 상기 접수된 각도에 기초해서 보간하여, 해당 상품을 상기 접수된 각도에서 본 모습을 나타내는 보간된 화상을 얻는 보간 스텝을 구비하고,
    상기 보간 스텝에서는,
    상기 전체 주위 화상열에 포함되는 정규화 화상 B[0], B[1], ...,B[N-1]의 각각에 대응지어지는 회전각 θ[0], θ[1], ...,θ[N-1](θ[0]≤θ[1]≤...≤θ[N-1]) 중, 상기 접수된 각도 φ를 사이에 두는 회전각 θ[k], θ[k+1]에 대응지어지는 정규화 화상 B[k], B[k+1]를 선택하고,
    현실 세계를 정규화 화상 B[k], B[k+1]에 투영하기 위한 아핀 변환 행렬 L[k], L[k+1]과, 해당 현실 세계를 화상에 투영하기 위한 상기 접수된 각도 φ에 대한 아핀 변환 행렬 L(φ)로부터, 제1 화상 L(φ)L[k]-1B[k]와, 제2 화상 L(φ)L[k+1]-1B[k+1]를 생성하고,
    상기 제1 화상 L(φ)L[k]-1B[k]를, 상기 중심축에 대해 평행한 분할선에 의해, (φ-θ[k])대 (θ[k+1]-φ)로 분할하여, 상기 중심축 주위의 회전각이 작은 측의 제3 화상을 추출하고,
    상기 제 2 화상 L(φ)L[k+1]-1B[k+1]를, 상기 중심축에 대해 평행한 분할선에 의해, (φ-θ[k])대 (θ[k+1]-φ)로 분할하여, 상기 중심축 주위의 회전각이 큰 측의 제4 화상을 추출하고,
    상기 제3 화상을 상기 중심축 주위의 회전각이 작은 측에, 상기 제4 화상을 상기 중심축 주위의 회전각이 큰 측에 각각 배치해서 나열하는 것에 의해, 상기 보간된 화상을 얻는 것을 특징으로 하는 화상 처리 방법.
  3. 컴퓨터를,
    상품을 관통하는 회전축 주위의 각도를 접수하는 각도 접수부,
    회전각에 대응지어지는 정규화 화상을 복수 포함하는 상기 상품의 전체 주위 화상열을, 상기 접수된 각도에 기초해서 보간하여, 해당 상품을 상기 접수된 각도에서 본 모습을 나타내는 보간된 화상을 얻는 보간부로서 기능시키고,
    상기 보간부는, 상기 전체 주위 화상열에 포함되는 정규화 화상 B[0], B[1], ...,B[N-1]의 각각에 대응지어지는 회전각 θ[0], θ[1], ...,θ[N-1](θ[0]≤θ[1]≤...≤θ[N-1]) 중, 상기 접수된 각도 φ를 사이에 두는 회전각 θ[k], θ[k+1]에 대응지어지는 정규화 화상 B[k], B[k+1]를 선택하고,
    현실 세계를 정규화 화상 B[k], B[k+1]에 투영하기 위한 아핀 변환 행렬 L[k], L[k+1]과, 해당 현실 세계를 화상에 투영하기 위한 상기 접수된 각도 φ에 대한 아핀 변환 행렬 L(φ)로부터, 제1 화상 L(φ)L[k]-1B[k]와, 제2 화상 L(φ)L[k+1]-1B[k+1]를 생성하고,
    상기 제1 화상 L(φ)L[k]-1B[k]를, 상기 중심축에 대해 평행한 분할선에 의해, (φ-θ[k])대 (θ[k+1]-φ)로 분할하여, 상기 중심축 주위의 회전각이 작은 측의 제3 화상을 추출하고,
    상기 제2 화상 L(φ)L[k+1]-1B[k+1]를, 상기 중심축에 대해 평행한 분할선에 의해, (φ-θ[k])대 (θ[k+1]-φ)로 분할하여, 상기 중심축 주위의 회전각이 큰 측의 제4 화상을 추출하고,
    상기 제3 화상을 상기 중심축 주위의 회전각이 작은 측에, 상기 제4 화상을 상기 중심축 주위의 회전각이 큰 측에 각각 배치해서 나열하는 것에 의해, 상기 보간된 화상을 얻도록 기능시키는 것을 특징으로 하는 프로그램이 기록된 컴퓨터 판독 가능한 비일시적인 정보 기록 매체.
KR1020137005454A 2010-08-30 2010-09-29 화상 처리 장치, 화상 처리 방법 및 정보 기록 매체 KR101477937B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010192927A JP4763847B1 (ja) 2010-08-30 2010-08-30 画像変換装置、画像処理装置、ならびに、画像処理システム
JPJP-P-2010-192927 2010-08-30
PCT/JP2010/067003 WO2012029193A1 (ja) 2010-08-30 2010-09-29 商品撮影装置、商品撮影方法、画像変換装置、画像処理装置、画像処理システム、プログラム、ならびに、情報記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137005402A Division KR101412878B1 (ko) 2010-08-30 2010-09-29 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체

Publications (2)

Publication Number Publication Date
KR20130041297A true KR20130041297A (ko) 2013-04-24
KR101477937B1 KR101477937B1 (ko) 2014-12-30

Family

ID=44597234

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137005454A KR101477937B1 (ko) 2010-08-30 2010-09-29 화상 처리 장치, 화상 처리 방법 및 정보 기록 매체
KR1020137005402A KR101412878B1 (ko) 2010-08-30 2010-09-29 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137005402A KR101412878B1 (ko) 2010-08-30 2010-09-29 상품 촬영 장치, 상품 촬영 방법, 화상 변환 장치, 화상 처리 장치, 화상 처리 시스템, 프로그램, 및, 정보 기록 매체

Country Status (8)

Country Link
US (1) US9373170B2 (ko)
EP (2) EP2592820B1 (ko)
JP (1) JP4763847B1 (ko)
KR (2) KR101477937B1 (ko)
CN (2) CN103152526B (ko)
CA (2) CA2809301C (ko)
ES (2) ES2698059T3 (ko)
WO (1) WO2012029193A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842285B2 (en) * 2011-07-29 2017-12-12 Nec Corporation Collation/retrieval system, collation/retrieval server, image feature extraction apparatus, collation/retrieval method, and program
US8687104B2 (en) * 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
EP2926196A4 (en) * 2012-11-30 2016-08-24 Thomson Licensing METHOD AND SYSTEM FOR DETECTING A 3D IMAGE USING A SINGLE CAMERA
JP5725049B2 (ja) * 2013-01-24 2015-05-27 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9836875B2 (en) * 2013-04-26 2017-12-05 Flipboard, Inc. Viewing angle image manipulation based on device rotation
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
US9665895B2 (en) 2013-08-12 2017-05-30 Mov, Inc. Technologies for video-based commerce
JP2016046676A (ja) 2014-08-22 2016-04-04 株式会社リコー 撮像装置および撮像方法
KR102173109B1 (ko) * 2014-09-05 2020-11-02 삼성전자주식회사 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치
CN106034203B (zh) * 2015-03-11 2020-07-28 维科技术有限公司 拍摄终端的图像处理方法及其装置
CN105959551A (zh) * 2016-05-30 2016-09-21 努比亚技术有限公司 一种拍摄装置及方法、移动终端
US10298837B2 (en) * 2016-12-28 2019-05-21 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
KR102614026B1 (ko) * 2019-01-29 2023-12-13 삼성전자주식회사 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
CN110266952B (zh) * 2019-06-28 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
JP2021103442A (ja) * 2019-12-25 2021-07-15 京セラ株式会社 画像データ登録システム、画像データ登録方法
US11928758B2 (en) 2020-03-06 2024-03-12 Christopher Renwick Alston Technologies for augmented-reality
WO2021237590A1 (zh) * 2020-05-28 2021-12-02 北京小米移动软件有限公司南京分公司 图像采集方法、装置、设备及存储介质
US11496674B2 (en) * 2020-09-18 2022-11-08 Microsoft Technology Licensing, Llc Camera placement guidance

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2744265B2 (ja) * 1988-12-29 1998-04-28 キヤノン株式会社 パノラマ撮影用表示装置
JP3332942B2 (ja) * 1991-05-24 2002-10-07 オリンパス光学工業株式会社 電子スチルカメラ
JP3298176B2 (ja) * 1992-09-24 2002-07-02 ソニー株式会社 カメラ装置
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
JP4355371B2 (ja) * 1997-09-10 2009-10-28 株式会社ニコン カメラ
US6477190B1 (en) 1999-02-15 2002-11-05 Fujitsu Limited Optical module
JP4178657B2 (ja) * 1999-04-12 2008-11-12 カシオ計算機株式会社 パノラマ撮影方法及び撮像装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2001285894A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
JP2002098521A (ja) * 2000-09-26 2002-04-05 Minolta Co Ltd ３次元形状データ生成装置
JP2002133447A (ja) * 2000-10-26 2002-05-10 Shinyo Sangyo:Kk 静止画像表示システム及び電子商品カタログ表示システム
CN1375799A (zh) * 2002-04-15 2002-10-23 上海罗莱照相器材厂 立体照片数码合成方法
JP3983624B2 (ja) * 2002-08-09 2007-09-26 シャープ株式会社 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
US7623733B2 (en) 2002-08-09 2009-11-24 Sharp Kabushiki Kaisha Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background
JP2004128588A (ja) * 2002-09-30 2004-04-22 Seiko Epson Corp 撮像装置
JP2005049999A (ja) * 2003-07-30 2005-02-24 Ricoh Co Ltd 画像入力装置、画像入力方法、この方法を情報処理装置上で実行可能に記述されたプログラム、及びこのプログラムを記憶した記憶媒体
KR101002807B1 (ko) * 2005-02-23 2010-12-21 삼성전자주식회사 메뉴 화면을 표시하는 단말기에서 메뉴 네비게이션을 제어하는 장치 및 방법
JP4285422B2 (ja) * 2005-03-04 2009-06-24 日本電信電話株式会社 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体
JP2007174301A (ja) * 2005-12-22 2007-07-05 Toshiba Corp 画像撮影装置
CN100440933C (zh) * 2005-12-31 2008-12-03 北京中星微电子有限公司 一种用于手持数码摄像设备的防抖方法及装置
JP5084167B2 (ja) * 2006-03-31 2012-11-28 キヤノン株式会社 位置姿勢計測方法及び装置
US8331725B2 (en) * 2007-01-12 2012-12-11 Qualcomm Incorporated Panoramic imaging techniques
JP2009005254A (ja) * 2007-06-25 2009-01-08 Toshiba Corp 映像送信装置及び映像受信装置
CN101420525A (zh) * 2007-10-26 2009-04-29 鸿富锦精密工业（深圳）有限公司 拍照装置及方法
JP5112235B2 (ja) * 2008-03-11 2013-01-09 株式会社リコー 撮像装置
JP2010041586A (ja) * 2008-08-07 2010-02-18 Olympus Corp 撮像装置
JP2010109598A (ja) * 2008-10-29 2010-05-13 Canon Inc 画像処理装置および画像処理方法
JP2010199971A (ja) * 2009-02-25 2010-09-09 Casio Computer Co Ltd 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
EP2592820B1 (en) 2020-07-15
EP2592820A4 (en) 2017-05-10
JP2012050041A (ja) 2012-03-08
WO2012029193A1 (ja) 2012-03-08
US20130202154A1 (en) 2013-08-08
KR20130044345A (ko) 2013-05-02
KR101412878B1 (ko) 2014-06-26
EP2592820A1 (en) 2013-05-15
EP2608555A3 (en) 2015-05-06
CN103152526A (zh) 2013-06-12
CA2809301A1 (en) 2012-03-08
CA2875392A1 (en) 2012-03-08
EP2608555A2 (en) 2013-06-26
KR101477937B1 (ko) 2014-12-30
CN103152526B (zh) 2016-01-20
EP2608555B1 (en) 2018-09-26
US9373170B2 (en) 2016-06-21
CA2875392C (en) 2017-04-25
ES2813066T3 (es) 2021-03-22
ES2698059T3 (es) 2019-01-30
CA2809301C (en) 2016-11-01
CN103081454A (zh) 2013-05-01
JP4763847B1 (ja) 2011-08-31
CN103081454B (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
KR101477937B1 (ko) 화상 처리 장치, 화상 처리 방법 및 정보 기록 매체
US9619933B2 (en) Model and sizing information from smartphone acquired image sequences
TWI451750B (zh) 攝影裝置、電腦可讀取記錄媒體及控制方法
JP2014071850A (ja) 画像処理装置、端末装置、画像処理方法、およびプログラム
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
CN107077719B (zh) 数码照片中基于深度图的透视校正
JP6720778B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP2000032379A (ja) 電子カメラ
US9153004B2 (en) Product image interpolating device, method and non-transitory information recording medium
JP4906949B2 (ja) 画像処理システム、ならびに、画像処理方法
JP4783859B1 (ja) 画像変換装置、画像処理システム、画像変換方法、プログラム、ならびに、情報記録媒体
JP4830041B1 (ja) 画像処理装置、画像処理方法、プログラム、ならびに、情報記録媒体
JP6812643B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7415496B2 (ja) 画像処理装置、プログラム及び画像処理システム
CN108781251A (zh) 图像处理装置、图像处理方法和图像处理系统
JP2018110385A (ja) 通信端末、撮影システム、画像処理方法、及びプログラム
JP2019175446A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant