RU2612572C2

RU2612572C2 - Image processing system and method

Info

Publication number: RU2612572C2
Application number: RU2013149804A
Authority: RU
Inventors: Фабиан ВЕНЦЕЛЬ; Рул ТРЮЙАН; Жан-Пьер Франсискус Александр Мария ЭРМЕ; ХАРДЕР Йохан Михил ДЕН
Original assignee: Конинклейке Филипс Н.В.
Priority date: 2011-04-08
Filing date: 2012-03-30
Publication date: 2017-03-09
Also published as: WO2012137113A1; JP2014512607A; US20140022242A1; CN103493103A; US10373375B2; EP2695142B1; US10629002B2; RU2013149804A; CN110084876A; JP6211510B2; EP2695142A1; BR112013025601A2; US20190371063A1; MX2013011451A

Abstract

FIELD: image forming devices.

SUBSTANCE: invention relates to images processing. Image processing system for enabling a user to navigate through image data comprises: an image device comprising a display and an orientation sensor for measuring an orientation of image device with respect to a reference orientation and for providing rotation data indicative of a device rotation of image device; means for establishing a center of rotation in the image data; and an image processor for establishing views of image data in relation to device rotation by: (i) receiving rotation data from orientation sensor, (ii) establishing a view rotation in relation to device rotation and (iii) establishing current view in dependence on view rotation around center of rotation with respect to a reference view; means for establishing center of rotation comprises means for detecting a region of interest and establishing center of rotation in dependence on region of interest.

EFFECT: possibility of rotation around a region of interest in image data by rotating image device.

19 cl, 11 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Изобретение относится к системе обработке изображений и способу для обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображения на дисплее устройства формирования изображений.The invention relates to an image processing system and a method for enabling a user to navigate image data having at least three spatial dimensions by reproducing representations of image data on a display of an image forming apparatus.

Изобретение также относится к портативному устройству, рабочей станции и аппаратуре формирования изображений, содержащим упомянутую систему обработки изображений, и к компьютерному программному продукту, содержащему инструкции для предписания процессорной системе выполнять упомянутый способ.The invention also relates to a portable device, a workstation and an imaging apparatus comprising said image processing system, and to a computer program product containing instructions for causing a processor system to execute said method.

В области техники, относящейся к просмотру изображений и воспроизведению изображений, имеются разнообразные системы и способы обработки изображений, которые обеспечивают пользователям возможность перемещения (навигации) по данным изображения, имеющим, по меньшей мере, три пространственных размерности. Например, рабочая станция может обеспечивать рентгенологу возможность перемещаться по трехмерной структуре человека. Для этого рентгенолог может подавать навигационные команды в рабочую станцию с использованием, например, ввода с мыши, клавиатуры или сенсорного экрана, и, в качестве реакции, рабочая станция может показывать представления структуры человека на дисплее в соответствии с навигационными командами.In the field of technology related to viewing images and reproducing images, there are various systems and methods for processing images that provide users with the ability to move (navigate) through image data having at least three spatial dimensions. For example, a workstation can provide the radiologist with the ability to navigate a three-dimensional human structure. For this, the radiologist can submit navigation commands to the workstation using, for example, input from a mouse, keyboard or touch screen, and, as a reaction, the workstation can show representations of the human structure on the display in accordance with the navigation commands.

Предпосылки изобретенияBACKGROUND OF THE INVENTION

Из US 2010/0174421 известно, что мобильное компьютерное устройство может быть оснащено дисплеем и датчиком ориентации для обеспечения возможности использования ориентации мобильного компьютерного устройства для перемещения по данным изображения на дисплее.From US 2010/0174421 it is known that a mobile computer device can be equipped with a display and an orientation sensor to enable the use of the orientation of the mobile computer device to move through the image data on the display.

Более конкретно, в US 2010/0174421 описывается интерфейс мобильного пользователя, который подходит для мобильного компьютерного устройства и который использует положение/ориентацию устройства в реальном пространстве для выбора части контента, которая воспроизводится. Контент может представлять собой файл трехмерного изображения. Контент предполагается фиксированным в виртуальном пространстве, где в интерфейсе мобильного пользователя воспроизводится часть контента так, как если бы он просматривался через камеру. Данные с датчиков движения, расстояния или положения используются для определения относительного положения/ориентации устройства по отношению к контенту, чтобы выбрать часть контента для воспроизведения.More specifically, US 2010/0174421 describes a mobile user interface that is suitable for a mobile computer device and that uses the position / orientation of the device in real space to select the portion of content that is being played. The content may be a three-dimensional image file. The content is supposed to be fixed in the virtual space, where part of the content is played back in the mobile user interface as if it were viewed through a camera. Data from motion, distance or position sensors is used to determine the relative position / orientation of the device with respect to the content in order to select a portion of the content to be reproduced.

Раскрытие изобретенияDisclosure of invention

Проблема, характерная для вышеуказанного интерфейса мобильного пользователя, заключается в том, что он не позволяет пользователю получать требующееся представление данных изображения достаточно удобным образом.The problem characteristic of the above mobile user interface is that it does not allow the user to obtain the required representation of the image data in a convenient manner.

Было бы выгодно иметь систему обработки изображений или способ для обеспечения пользователю возможности более удобным образом получать требующееся представление данных изображения.It would be advantageous to have an image processing system or method for enabling a user to more conveniently obtain a desired representation of image data.

Чтобы наилучшим образом отвечать решению данной проблемы, согласно первому аспекту изобретения предложена система обработки изображений для обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображения, при этом система обработки изображений содержит устройство формирования изображения, содержащее дисплей для воспроизведения представлений данных изображения и датчик ориентации для измерения ориентации устройства формирования изображения по отношению к опорной ориентации для предоставления данных поворота, показывающих поворот устройства для устройства формирования изображения, средство для определения центра вращения в данных изображения и процессор (средство обработки) изображения для определения представлений данных изображения по отношению к повороту устройства посредством, для определения текущего представления, (i) приема данных поворота от датчика ориентации, (ii) определения поворота представления относительно поворота устройства и (iii) определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.In order to best meet the solution to this problem, according to a first aspect of the invention, there is provided an image processing system for enabling a user to navigate image data having at least three spatial dimensions by reproducing representations of image data, wherein the image processing system comprises an image forming apparatus comprising a display for reproducing representations of image data and an orientation sensor for measuring orientation imaging apparatuses with respect to the reference orientation for providing rotation data showing rotation of the device for the image forming apparatus, means for determining a center of rotation in the image data and image processor (processing means) for determining representations of the image data with respect to the rotation of the apparatus by, for determining the current view, (i) receiving the rotation data from the orientation sensor, (ii) determining the rotation of the view relative to the rotation of the mouth Features and (iii) determining the current view depending on the rotation of the view around the center of rotation with respect to the reference view.

Согласно дополнительному аспекту изобретения предложено портативное (наладонное) устройство, содержащее вышеописанную систему обработки изображений. В соответствии с еще одним аспектом изобретения, предложены рабочая станция или аппаратура формирования изображений, содержащие вышеописанную систему обработки изображений.According to a further aspect of the invention, there is provided a portable (handheld) device comprising the image processing system described above. In accordance with another aspect of the invention, there is provided a workstation or imaging apparatus comprising the above-described image processing system.

Согласно дополнительному аспекту изобретения предложен способ обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображения на дисплее устройства формирования изображения, при этом способ содержит этапы, на которых: измеряют ориентацию устройства формирования изображения по отношению к опорной ориентации для предоставления данных поворота, показывающих поворот устройства для устройства формирования изображения, определение центра вращения в данных изображения и определение представлений данных изображения относительно поворота устройства посредством, для определения текущего представления, (i) приема данных поворота от датчика ориентации, (ii) определения поворота представления относительно поворота устройства и (iii) определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.According to a further aspect of the invention, there is provided a method for enabling a user to navigate image data having at least three spatial dimensions by reproducing representations of image data on a display of an image forming apparatus, the method comprising the steps of: measuring the orientation of the image forming apparatus by relative to the reference orientation for providing rotation data showing rotation of the device for the image forming apparatus angles, determining the center of rotation in the image data and determining the representations of the image data relative to the rotation of the device by, for determining the current view, (i) receiving rotation data from the orientation sensor, (ii) determining the rotation of the view relative to the rotation of the device, and (iii) determining the current view in depending on the rotation of the view around the center of rotation with respect to the reference view.

В соответствии с еще одним аспектом изобретения предложен компьютерный программный продукт, содержащий инструкции для предписания процессорной системе выполнять вышеописанный способ.In accordance with another aspect of the invention, there is provided a computer program product comprising instructions for causing a processor system to perform the above method.

Вышеизложенные предложения обеспечивают пользователю возможность перемещения (навигации) по данным изображения, имеющим, по меньшей мере, три пространственных размерности. Для этого предусмотрено устройство формирования изображения, содержащее дисплей, который воспроизводит представления данных изображения. Представление соответствует образу по меньшей мере части данных изображения. Путем показа представлений, соответствующих различным частям данных изображения, пользователь может перемещаться по данным изображения. Устройство формирования изображения содержит дисплей, то есть дисплей является частью устройства формирования изображения. Устройство формирования изображения дополнительно содержит датчик ориентации, например акселерометр, компас и т.п. Датчик ориентации используется для измерения ориентации устройства формирования изображения по отношению к опорной ориентации, например, предыдущей ориентации. Поскольку дисплей является частью устройства формирования изображения, ориентация устройства формирования изображения неотъемлемым образом связана с ориентацией дисплея. Путем сравнения ориентации устройства формирования изображения с опорной ориентацией датчик ориентации может определить поворот устройства формирования изображения и, соответственно, дисплея, то есть поворот устройства. Датчик ориентации выполнен с возможностью предоставления поворота устройства в форме данных поворота.The foregoing proposals provide the user with the ability to move (navigate) through image data having at least three spatial dimensions. For this, an image forming apparatus is provided comprising a display that reproduces representations of image data. The view corresponds to the image of at least a portion of the image data. By displaying views corresponding to different parts of the image data, the user can navigate through the image data. The image forming apparatus comprises a display, that is, the display is part of the image forming apparatus. The image forming apparatus further comprises an orientation sensor, for example an accelerometer, compass, etc. An orientation sensor is used to measure the orientation of the image forming apparatus with respect to the reference orientation, for example, a previous orientation. Since the display is part of the image forming apparatus, the orientation of the image forming apparatus is inherently related to the orientation of the display. By comparing the orientation of the image forming apparatus with the reference orientation, the orientation sensor can detect the rotation of the image forming apparatus and, accordingly, the display, that is, the rotation of the device. The orientation sensor is configured to provide rotation of the device in the form of rotation data.

Система обработки изображений дополнительно содержит средство для определения центра вращения в данных изображения. Центр вращения определяется в, по меньшей мере, трех пространственных размерностях данных изображения. Таким образом, упомянутое средство определяет центр вращения в, по меньшей мере, трех пространственных размерностях, например, в форме трехмерного вектора или координат, когда центр вращения является точкой, или в форме двумерного вектора или координат, когда центр вращения образован осью вращения.The image processing system further comprises means for determining a center of rotation in the image data. The center of rotation is defined in at least three spatial dimensions of the image data. Thus, said means defines a center of rotation in at least three spatial dimensions, for example, in the form of a three-dimensional vector or coordinates when the center of rotation is a point, or in the form of a two-dimensional vector or coordinates when the center of rotation is formed by the axis of rotation.

Система обработки изображений дополнительно содержит процессор изображения для определения представлений данных изображения относительно поворота устройства. Для этого процессор изображения принимает данные поворота от датчика ориентации. Это позволяет процессору изображения определять поворот представления в зависимости от поворота устройства. Поворот представления затем используется для определения представления, которое повернуто вокруг центра вращения по отношению к опорному представлению на величину поворота, задаваемую поворотом представления. Соответственно, поворот устройства используется для определения поворота представления, и поворот представления используется для определения нового представления, которое повернуто вокруг центра вращения в данных изображения.The image processing system further comprises an image processor for determining representations of image data regarding rotation of the device. For this, the image processor receives rotation data from the orientation sensor. This allows the image processor to determine the rotation of the view depending on the rotation of the device. The rotation of the view is then used to determine the view that is rotated around the center of rotation with respect to the reference view by the amount of rotation defined by the rotation of the view. Accordingly, the rotation of the device is used to determine the rotation of the view, and the rotation of the view is used to determine the new view, which is rotated around the center of rotation in the image data.

Изобретение частично основывается на осознании того, что получение требующегося представления данных изображения может быть неудобным в системе обработки изображений. Причина этого состоит в том, что пользователю может потребоваться комбинировать различные навигационные команды, такие как поворот, панорамирование и изменение масштаба (зум), чтобы получить требующееся представление, например, точки или области в данных изображения. В частности, пользователь может пожелать выполнить поворот вокруг области для получения требующегося представления или представлений данной области, то есть чтобы показать область с разных сторон. Для получения такого поворота вокруг области, от пользователя может потребоваться выполнять различные навигационные команды последовательно, например последовательно повернуть представление, панорамировать представление, повернуть представление, панорамировать представление и т.д. Недостатком является то, что такая навигация является неудобной и сложной для пользователя.The invention is based in part on the realization that obtaining the required presentation of image data may be inconvenient in an image processing system. The reason for this is that the user may need to combine various navigation commands, such as rotation, panning and zooming (zoom), to get the desired view, for example, points or areas in the image data. In particular, the user may wish to rotate around the area to obtain the desired view or views of the area, that is, to show the area from different angles. To obtain such a rotation around the area, the user may be required to execute various navigation commands sequentially, for example, rotate the view sequentially, pan the view, rotate the view, pan the view, etc. The disadvantage is that such navigation is inconvenient and difficult for the user.

Эффект вышеизложенных предложений заключается в том, что обеспечивается средство для определения центра вращения в данных изображения, и в том что процессор изображения сконфигурирован определять текущее представление путем поворота вокруг центра вращения. Более того, пользователь может воздействовать на величину поворота, то есть поворота представления, при определении поворота представления процессором изображения относительно поворота устройства. Следовательно, система обработки изображений обеспечивает пользователю возможность выполнять поворот вокруг интересующей области в данных изображения путем поворота устройства формирования изображения и, таким образом, без необходимости в, например, панорамировании или иной подаче навигационных команд в систему обработки изображений. Выгодным является то, что нет необходимости последовательно выполнять поворот представления, панорамирование представления, поворот представления и т.д. для показа области с разных сторон.The effect of the above suggestions is that a means is provided for determining the center of rotation in the image data, and that the image processor is configured to determine the current view by rotation around the center of rotation. Moreover, the user can influence the amount of rotation, that is, the rotation of the view, when determining the rotation of the view by the image processor relative to the rotation of the device. Therefore, the image processing system allows the user to rotate around a region of interest in the image data by rotating the image forming apparatus, and thus without, for example, panning or otherwise supplying navigation commands to the image processing system. Advantageously, there is no need to sequentially rotate the view, pan the view, rotate the view, etc. to show the area from different angles.

В необязательном порядке, средство для определения центра вращения выполнено с возможностью обнаружения интересующей области в данных изображения и определения центра вращения в зависимости от интересующей области.Optionally, the means for determining the center of rotation is configured to detect a region of interest in the image data and determine the center of rotation depending on the region of interest.

Средство для определения центра вращения содержит функциональные возможности средства обнаружения интересующей области путем автоматического обнаружения интересующей области в данных изображения. При определении центра вращения в зависимости от интересующей области, интересующая область используется в определении центра вращения. Выгодным является то, что интересующая область может автоматически обнаруживаться и использоваться в качестве центра вращения без необходимости для пользователя вручную выбирать интересующую область в качестве центра вращения в данных изображения.The means for determining the center of rotation contains the functionality of the means of detecting the region of interest by automatically detecting the region of interest in the image data. When determining the center of rotation depending on the region of interest, the region of interest is used in determining the center of rotation. Advantageously, the region of interest can be automatically detected and used as the center of rotation without the need for the user to manually select the region of interest as the center of rotation in the image data.

В необязательном порядке, система обработки изображений дополнительно содержит средство пользовательского ввода для приема данных выбора от пользователя, и средство для определения центра вращения выполнено с возможностью определения центра вращения в зависимости от данных выбора.Optionally, the image processing system further comprises user input means for receiving selection data from a user, and means for determining a rotation center is configured to determine a rotation center depending on the selection data.

При приеме данных выбора от пользователя и определении центра вращения в зависимости от данных выбора, ввод от пользователя используется в определении центра вращения. Выгодным является то, что пользователь может вручную выбирать интересующую область в качестве центра вращения в данных изображения. Преимущество заключается в том, что пользователь может воздействовать на автоматический выбор центра вращения, например, получаемого от средства обнаружения интересующей области.When receiving selection data from the user and determining the center of rotation depending on the selection data, input from the user is used in determining the center of rotation. Advantageously, the user can manually select the region of interest as the center of rotation in the image data. The advantage is that the user can act on the automatic selection of the center of rotation, for example, obtained from the means of detection of the region of interest.

В необязательном порядке, средство пользовательского ввода выполнено с возможностью получения навигационных данных от пользователя, и процессор изображения выполнен с возможностью определять представления данных изображения в зависимости от навигационных данных.Optionally, the user input means is configured to receive navigation data from the user, and the image processor is configured to determine representations of the image data depending on the navigation data.

При получении навигационных данных от пользователя и определении представлений данных изображения в зависимости от навигационных данных, ввод от пользователя используется в определении представлений данных изображения. Выгодным является то, что пользователь может перемещаться по данным изображения путем предоставления навигационных данных, в дополнение к поворачиванию устройства формирования изображения.When receiving navigation data from the user and determining the representations of the image data depending on the navigation data, input from the user is used in determining the representations of the image data. Advantageously, the user can navigate through the image data by providing navigation data, in addition to rotating the image forming apparatus.

В необязательном порядке, навигационные данные содержат навигационную команду панорамирования и/или изменения масштаба. Таким образом, пользователь может перемещаться по данным изображения с использованием поворота, панорамирования и/или изменения масштаба, с установлением поворота за счет поворачивания пользователем устройства формирования изображения и предоставлением пользователем навигационных команд панорамирования и/или изменения масштаба в форме навигационных данных. Преимущество заключается в том, что пользователь может подавать навигационные команды панорамирования и/или изменения масштаба с использованием, например, мыши, клавиатуры или сенсорного экрана для отличения способа, которым пользователь устанавливает панорамирование и/или изменение масштаба, от поворота, тем самым устраняя неточности или путаницу при перемещении пользователя по данным изображения.Optionally, the navigation data comprises a navigation command for panning and / or zooming. Thus, the user can navigate through the image data using rotation, panning and / or zooming, with rotation being established by the user turning the imaging device and providing the user with panning and / or zooming navigation commands in the form of navigation data. The advantage is that the user can provide navigation commands for panning and / or zooming using, for example, a mouse, keyboard or touch screen to distinguish the way the user sets pan and / or zooming from rotation, thereby eliminating inaccuracies or confusion when moving the user over image data.

В необязательном порядке, данные изображения содержат данные объемного изображения, и процессор изображения выполнен с возможностью упомянутого определения текущего представления посредством использования по меньшей мере одного из группы, содержащей: многоплоскостное переформатирование, объемный рендеринг и поверхностный рендеринг, чтобы сформировать текущее представление.Optionally, the image data contains volumetric image data, and the image processor is configured to determine the current view by using at least one of the group consisting of: multiplanar reformatting, volumetric rendering, and surface rendering to form the current view.

При определении представлений в данных объемного изображения с использованием какой-либо из вышеописанных методик система обработки изображений сконфигурирована обеспечивать пользователю возможность перемещаться по данным объемного изображения. Следовательно, пользователь может использовать устройство формирования изображения для поворота вокруг центра вращения, например, интересующей области, в данных объемного изображения, с генерированием представлений посредством какой-либо из используемых методик, описанных выше.When defining representations in volumetric image data using any of the above methods, the image processing system is configured to provide the user with the ability to navigate through the volumetric image data. Therefore, the user can use the image forming apparatus to rotate around the center of rotation, for example, of the region of interest, in the volumetric image data, with generating representations by any of the techniques used above.

В необязательном порядке, данные изображения содержат данные трехмерной графики, и процессор изображения выполнен с возможностью упомянутого определения текущего представления путем использования графического рендеринга для формирования текущего представления.Optionally, the image data contains three-dimensional graphics data, and the image processor is configured to determine the current view by using graphical rendering to form the current view.

В необязательном порядке, упомянутое определение текущего представления содержит (i) определение матрицы преобразования 4×4 в зависимости от поворота представления и центра вращения и (ii) формирование текущего представления с использованием матрицы преобразования 4×4.Optionally, said definition of the current view comprises (i) determining a 4 × 4 transformation matrix depending on the rotation of the view and the center of rotation, and (ii) generating the current view using the 4 × 4 transformation matrix.

Матрица преобразования 4×4 является исключительно эффективным путем реализации упомянутого определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.A 4 × 4 transformation matrix is an extremely effective way of implementing the aforementioned definition of the current representation depending on the rotation of the representation around the center of rotation with respect to the reference representation.

В необязательном порядке, процессор изображения выполнен с возможностью определения поворота представления относительно поворота устройства путем предоставления поворота устройства в качестве поворота представления.Optionally, the image processor is configured to determine the rotation of the view relative to the rotation of the device by providing the rotation of the device as the rotation of the view.

Поворот представления, таким образом, равен повороту устройства. Выгодным является то, что поворот устройства формирования изображения переводится в тот же самый поворот текущего представления, тем самым обеспечивая пользователю интуитивное впечатление поворота вокруг центра вращения.The rotation of the view is thus equal to the rotation of the device. Advantageously, the rotation of the image forming apparatus is translated into the same rotation of the current view, thereby providing the user with an intuitive impression of rotation around the center of rotation.

В необязательном порядке, процессор изображения выполнен с возможностью определения поворота представления относительно поворота устройства путем применения по меньшей мере одного из группы, включающей в себя прямое отображение, усиление, смещение, порог и нелинейную функцию, к повороту устройства для получения поворота представления.Optionally, the image processor is configured to determine the rotation of the view relative to the rotation of the device by applying at least one of the group including direct display, amplification, offset, threshold and non-linear function to the rotation of the device to obtain the rotation of the view.

Поворот представления получают посредством применения функции к повороту устройства. Выгодным является то, что к повороту устройства может быть применено усиление, так что малый поворот устройства приводит в результате к относительно большому повороту представления, тем самым обеспечивая пользователю возможность получать, например, поворот представления на 360° при повороте устройства лишь, например, на 90°. Преимущество состоит в том, что может быть использована нелинейная функция, которая оптимизирует восприятие от поворачивания пользователем устройства формирования изображения для поворота текущего представления вокруг центра вращения в данных изображения.The rotation of the view is obtained by applying the function to the rotation of the device. Advantageously, a gain can be applied to the rotation of the device, so that a small rotation of the device results in a relatively large rotation of the view, thereby providing the user with the opportunity to receive, for example, a 360 ° view rotation when the device is rotated only, for example, by 90 °. The advantage is that a non-linear function can be used that optimizes the perception of the user turning the imaging device to rotate the current view around the center of rotation in the image data.

В необязательном порядке, система обработки изображений выполнена с возможностью приема команды переустановки для переустановки опорной ориентации и/или опорного изображения.Optionally, the image processing system is configured to receive a reset command to reset the reference orientation and / or reference image.

Пользователь может переустанавливать опорную ориентацию, с тем чтобы ориентация устройства измерялась по отношению к новой опорной ориентации. Также пользователь может переустанавливать опорное представление, с тем чтобы любой последующий поворот представления применялся к новому опорному представлению. Выгодным является то, что пользователь может переустановить опорную ориентацию в удобную ориентацию устройства формирования изображения, например, текущую ориентацию. Преимущество заключается в том, что пользователь может переустановить опорное представление в требующееся представление данных изображения, например, представление по умолчанию.The user can reset the reference orientation so that the orientation of the device is measured with respect to the new reference orientation. The user can also reset the reference view so that any subsequent rotation of the view is applied to the new reference view. Advantageously, the user can reset the reference orientation to a convenient orientation of the image forming apparatus, for example, the current orientation. The advantage is that the user can reset the reference representation to the desired representation of the image data, for example, the default representation.

В необязательном порядке, система обработки изображений выполнена с возможностью приема от пользователя команды приостановки для приостановки упомянутого определения представлений данных изображения относительно поворота устройства.Optionally, the image processing system is configured to receive a pause command from the user to pause said definition of representations of image data regarding rotation of the device.

Посредством подачи команды приостановки пользователь может предписывать процессору изображения на время приостанавливать упомянутое определение представлений данных изображения относительно поворота устройства. Выгодным является то, что когда пользователю нужно на время повернуть устройство формирования изображения по причине, отличающейся от навигации по данным изображения, он может приостановить упомянутое определение представлений данных изображения относительно поворота устройства, используя команду приостановки.By issuing a pause command, the user can instruct the image processor to temporarily pause said determination of the representations of the image data regarding the rotation of the device. Advantageously, when the user needs to temporarily rotate the image forming apparatus for a reason other than navigation through the image data, he can suspend said determination of the representations of the image data relative to the rotation of the device using the pause command.

В необязательном порядке, устройство формирования изображения содержит средство для определения центра вращения и процессор изображения. Выгодным является то, что функциональные возможности системы обработки изображений могут быть полностью интегрированы в устройство формирования изображения.Optionally, the image forming apparatus comprises means for determining a center of rotation and an image processor. Advantageously, the functionality of the image processing system can be fully integrated into the image forming apparatus.

Специалистам должно быть понятно, что два или более из вышеописанных вариантов осуществления, реализаций и/или аспектов могут быть скомбинированы любым путем, который считается полезным.Those skilled in the art will appreciate that two or more of the above described embodiments, implementations and / or aspects can be combined in any way that is considered useful.

Модификации и вариации системы обработки изображений, устройства формирования изображения, рабочей станции, аппаратуры формирования изображений, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и вариациям системы обработки изображений, могут быть выполнены специалистом на основе настоящего описания.Modifications and variations of the image processing system, the image forming apparatus, the workstation, the image forming apparatus, the method and / or the computer software product that correspond to the described modifications and variations of the image processing system can be performed by a specialist based on the present description.

Специалисту должно быть понятно, что способ может быть применен к данным многомерного изображения, например, к трехмерным (3-D) или четырехмерным (4-D) изображениям, полученным различными технологиями съемки, такими как, но не в ограничительном смысле, стандартная рентгенография, компьютерная томография (CT, КТ), магнитно-резонансная томография (MRI, МРТ), ультразвуковое исследование (УЗИ), позитрон-эмиссионная томография (PET), однофотонная эмиссионная компьютерная томография (SPECT) и медицинская радиология (NM). Размерность данных многомерного изображения может относиться ко времени. Например, данные трехмерного изображения могут содержать последовательность данных двумерного изображения во временной области.The specialist should understand that the method can be applied to multidimensional image data, for example, to three-dimensional (3-D) or four-dimensional (4-D) images obtained by various shooting technologies, such as, but not limited to, standard radiography, computed tomography (CT, CT), magnetic resonance imaging (MRI, MRI), ultrasound (ultrasound), positron emission tomography (PET), single-photon emission computed tomography (SPECT) and medical radiology (NM). The dimension of multidimensional image data may be time related. For example, three-dimensional image data may comprise a sequence of two-dimensional image data in the time domain.

Изобретение определяется в независимых пунктах формулы изобретения. Преимущественные варианты осуществления определяются в зависимых пунктах формулы изобретения.The invention is defined in the independent claims. Advantageous embodiments are defined in the dependent claims.

Перечень чертежейList of drawings

Эти и другие аспекты изобретения станут понятными из и описываются со ссылкой на варианты осуществления, раскрываемые далее. На чертежах:These and other aspects of the invention will become apparent from and are described with reference to the embodiments disclosed below. In the drawings:

Фиг. 1 - иллюстрация системы обработки изображений согласно настоящему изобретению;FIG. 1 is an illustration of an image processing system according to the present invention;

Фиг. 2 - иллюстрация ориентации устройства формирования изображения, опорной ориентации и поворота устройства, соответствующего устройству формирования изображения;FIG. 2 is an illustration of the orientation of the image forming apparatus, the reference orientation and rotation of the device corresponding to the image forming apparatus;

Фиг. 3 - иллюстрация интересующей области в данных трехмерного изображения;FIG. 3 is an illustration of a region of interest in three-dimensional image data;

Фиг. 4 - иллюстрация текущего представления, повернутого вокруг интересующей области по отношению к опорному представлению;FIG. 4 is an illustration of a current view rotated around a region of interest with respect to a reference view;

Фиг. 5 - иллюстрация опорного представления, показывающего интересующую область;FIG. 5 is an illustration of a reference view showing an area of interest;

Фиг. 6 - иллюстрация текущего представления, показывающего интересующую область;FIG. 6 is an illustration of a current view showing an area of interest;

Фиг. 7 - иллюстрация другого примера текущего представления, повернутого вокруг интересующей области по отношению к опорному представлению;FIG. 7 is an illustration of another example of a current view rotated around a region of interest with respect to a reference view;

Фиг. 8 - иллюстрация различных отображений из поворота устройства в поворот представления;FIG. 8 is an illustration of various mappings from device rotation to presentation rotation;

Фиг. 9 - иллюстрация системы обработки изображений, содержащей средство пользовательского ввода;FIG. 9 is an illustration of an image processing system comprising user input means;

Фиг. 10 - иллюстрация способа согласно настоящему изобретению;FIG. 10 is an illustration of a method according to the present invention;

Фиг. 11 - иллюстрация машиночитаемого носителя, содержащего компьютерный программный продукт.FIG. 11 is an illustration of a computer-readable medium containing a computer program product.

Подробное описание вариантов осуществленияDetailed Description of Embodiments

Фиг. 1 иллюстрирует систему 100 обработки изображений для обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений 155 данных изображения. Система 100 обработки изображений содержит устройство 110 формирования изображения, содержащее дисплей 130 для воспроизведения представлений 155 данных изображения и датчик 120 ориентации для измерения ориентации устройства 110 формирования изображения по отношению к опорной ориентации. В результате изменения, датчик 120 ориентации предоставляет данные 125 поворота, которые показывают поворот устройства, соответствующий устройству 110 формирования изображения. Система 100 обработки изображений дополнительно содержит средство 140 для определения центра вращения в данных изображения. Кроме того, система 100 обработки изображений содержит процессор 150 изображения для определения представлений 155 относительно поворота устройства. Процессор 150 изображения принимает данные 125 поворота от датчика 120 ориентации 120 и центр вращения, в форме данных 145 центра вращения, от средства 140 для определения центра вращения. Процессор 150 изображения затем определяет текущее представление путем определения поворота представления относительно поворота устройства и путем определения текущего представления в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.FIG. 1 illustrates an image processing system 100 for enabling a user to navigate image data having at least three spatial dimensions by reproducing representations 155 of image data. The image processing system 100 comprises an image forming apparatus 110 comprising a display 130 for reproducing representations 155 of the image data and an orientation sensor 120 for measuring the orientation of the image forming apparatus 110 with respect to the reference orientation. As a result of the change, the orientation sensor 120 provides rotation data 125 that shows a rotation of the device corresponding to the image forming apparatus 110. The image processing system 100 further comprises means 140 for determining a center of rotation in the image data. In addition, the image processing system 100 includes an image processor 150 for determining representations 155 regarding the rotation of the device. The image processor 150 receives rotation data 125 from the orientation sensor 120 and the rotation center, in the form of rotation center data 145, from the center of rotation detection means 140. The image processor 150 then determines the current view by determining the rotation of the view relative to the rotation of the device and by determining the current view depending on the rotation of the view around the center of rotation with respect to the reference view.

Следует понимать, что посредством формирования текущего представления для текущего момента времени и последующего формирования будущих представлений в будущие моменты времени, процессор изображения определяет представления, обеспечивающие пользователю возможность перемещаться по данным изображения.It should be understood that by forming the current view for the current point in time and then generating future views at future points in time, the image processor determines the views that provide the user with the ability to navigate through the image data.

Фиг. 2-7 иллюстрируют работу системы 100 обработки изображений. На Фиг. 2, ориентация 310 устройства 110 формирования изображения показана рядом с опорной ориентацией 320. Ориентация 310 измеряется датчиком 120 ориентации по отношению к опорной ориентации 320. Разность между этими двумя ориентациями обеспечивает поворот 330 устройства.FIG. 2-7 illustrate the operation of the image processing system 100. In FIG. 2, the orientation 310 of the image forming apparatus 110 is shown next to the reference orientation 320. The orientation 310 is measured by the orientation sensor 120 with respect to the reference orientation 320. The difference between the two orientations allows the device to rotate 330.

В целях пояснения, на Фиг. 3 данные 300 изображения иллюстрируются как трехмерный прозрачный объем, в котором содержится интересующая область 380. В дальнейшем предполагается, что данные 300 изображения представляют собой данные объемного изображения, то есть составлены из объемных пикселей или вокселей. В то же время следует понимать, что данные 300 изображения могут в равной степени относиться и к любому другому известному типу, например, они могут представлять собой графические данные, содержащие так называемые полигоны и вершины. На Фиг. 3 также показана секущая плоскость 335, проходящая через данные 300 изображения. Секущая плоскость 335 обеспечивает сечение данных 300 изображения, которое изображено на Фиг. 4. Следует, однако, понимать, что секущая плоскость 335 используется лишь в целях пояснения и не относится к функционированию или использованию в системе 100 обработке изображений.For purposes of explanation, in FIG. 3, the image data 300 is illustrated as a three-dimensional transparent volume in which the region of interest 380 is contained. Hereinafter, it is assumed that the image data 300 is volume image data, that is, composed of volume pixels or voxels. At the same time, it should be understood that image data 300 can equally apply to any other known type, for example, they can be graphic data containing so-called polygons and vertices. In FIG. 3 also shows a secant plane 335 passing through image data 300. The cutting plane 335 provides a cross-section of image data 300, which is shown in FIG. 4. However, it should be understood that the secant plane 335 is used for purposes of explanation only and does not apply to the operation or use of the image processing system 100.

На Фиг. 4 проиллюстрировано вышеупомянутое сечение 355 данных 300 изображения, где сечение 355 содержит интересующую область 380. Также показано опорное представление 360. В данном примере, опорное представление 360 понимается как объемный рендеринг данных 300 изображения по направлению к интересующей области 380. Здесь, крайние пунктирные линии, которые под наклоном идут наружу от опорного представления 360 по направлению к интересующей области, показывают поле обзора опорного представления, то есть показывают часть данных 300 изображения, используемую при рендеринге опорного представления. Более конкретно, эти крайние пунктирные линии соответствуют трассе лучей, которые используются во время объемного рендеринга, в том виде как они распространяются от виртуальной камеры (не показана на Фиг. 4, но размещена в точке, где обе эти линии пересекаются) через опорное представление 360 и далее в данные 300 изображения. Следует понимать, что технология объемного рендеринга известна в области техники, относящейся к визуализации объемных изображений, например, из публикации “OpenGL® Volumizer Programmer's Guide”, доступной по Интернет-адресу ‘http://techpubs.sgi.com/library/manuals/3000/007-3720-002/pdf/007-3720-002.pdf’.In FIG. 4, the aforementioned section 355 of the image data 300 is illustrated, where the section 355 contains the region of interest 380. The reference representation 360 is also shown. In this example, the reference representation 360 is understood as 3D rendering of the image data 300 towards the region of interest 380. Here, the extreme dashed lines, which go obliquely outward from the reference view 360 towards the region of interest, show the field of view of the reference view, that is, show a portion of image data 300 used in rendering reference representation. More specifically, these extreme dashed lines correspond to the path of the rays that are used during volumetric rendering, as they propagate from the virtual camera (not shown in Fig. 4, but located at the point where both lines intersect) through the reference view 360 and further into image data 300. It should be understood that volume rendering technology is known in the art for rendering 3D images, for example, from the publication “OpenGL® Volumizer Programmer's Guide”, available at 'http://techpubs.sgi.com/library/manuals/ 3000 / 007-3720-002 / pdf / 007-3720-002.pdf '.

Фиг. 5 иллюстрирует результат объемного рендеринга, то есть опорное представление 360, показывающее интересующую область 380 с первой стороны. Система 100 обработки изображений может быть сконфигурирована для отображения опорного представления 360, когда ориентация 310 устройства 110 формирования изображения совпадает с опорной ориентацией 320. Опорное представление 360 может быть представлением по умолчанию в данных изображения, например, представлением по умолчанию, показываемым в начале работы системы 100 обработки изображений. Аналогично, опорная ориентация 320 может совпадать с ориентацией устройства 110 формирования изображения в начале данной работы.FIG. 5 illustrates a volume rendering result, that is, a reference representation 360 showing a region of interest 380 from a first side. The image processing system 100 may be configured to display the reference view 360 when the orientation 310 of the image forming apparatus 110 is the same as the reference orientation 320. The reference view 360 may be the default view in the image data, for example, the default view shown at the beginning of the system 100 image processing. Similarly, the reference orientation 320 may coincide with the orientation of the image forming apparatus 110 at the beginning of this work.

Когда пользователь поворачивает устройство 110 формирования изображения, то есть изменяет его ориентацию 310 по отношению к опорной ориентации 320, датчик ориентации может измерять это изменение в ориентации, то есть поворот 330 устройства, и подавать поворот 330 устройства в процессор 350 изображения в форме данных 125 поворота. Средство 140 для определения центра вращения могло определить интересующую область 380 как центр 340 вращения, например, для обеспечения пользователю возможности удобным образом получать представления, показывающие интересующую область 380 с разных сторон. Следует понимать, что, в общем, определение интересующей области в качестве центра вращения может содержать определение центра интересующей области в качестве центра вращения, когда интересующая область имеет двумерную или трехмерную форму в данных 300 изображения. Когда интересующей областью является точка, то есть иногда упоминаемая как интересующая точка, центр вращения может непосредственно совпадать с интересующей точкой.When the user rotates the image forming apparatus 110, that is, changes its orientation 310 with respect to the reference orientation 320, the orientation sensor can measure this change in orientation, that is, the rotation of the device 330, and feed the rotation of the device 330 to the image processor 350 in the form of rotation data 125 . The means 140 for determining the center of rotation could determine the region of interest 380 as the center of rotation 340, for example, to enable the user to conveniently receive views showing the region of interest 380 from different angles. It should be understood that, in general, determining the region of interest as the center of rotation may include determining the center of the region of interest as the center of rotation when the region of interest has a two-dimensional or three-dimensional shape in the image data 300. When the region of interest is a point, that is, sometimes referred to as a point of interest, the center of rotation can directly coincide with the point of interest.

Процессор 150 изображения может определять текущее представление 350 в данных изображения посредством, во-первых, определения поворота 370 представления относительно поворота 330 устройства и, во-вторых, определения текущего представления 350 в зависимости от поворота 370 представления вокруг центра 340 вращения по отношению к опорному представлению 360. Определение поворота 370 представления относительно поворота 330 устройства может содержать применение усиления к повороту 330 устройства для получения поворота 370 представления. Например, поворот устройства 330 может составлять 30°, и процессор 150 изображения может определить поворот 370 представления посредством умножения поворота 330 устройства на коэффициент, равный двум, для получения поворота на 60° в качестве поворота представления. Однако поворот 370 представления может также быть равен повороту 330 устройства.The image processor 150 may determine the current representation 350 in the image data by, firstly, determining the rotation 370 of the view relative to the rotation 330 of the device and, secondly, determining the current view 350 depending on the rotation 370 of the view around the center of rotation 340 with respect to the reference representation 360. The determination of the rotation 370 of the view relative to the rotation 330 of the device may include applying a gain to the rotation 330 of the device to obtain a rotation 370 of the view. For example, the rotation of the device 330 may be 30 °, and the image processor 150 can determine the rotation 370 of the view by multiplying the rotation of the device 330 by a factor of two to obtain a rotation of 60 ° as the rotation of the view. However, the rotation 370 of the view may also be equal to the rotation 330 of the device.

Результат определения текущего представления 350 в зависимости от поворота 370 представления вокруг центра 340 вращения относительно опорного представления 360 показан на Фиг. 4, где текущее представление 350 показано повернутым вокруг центра 340 вращения на величину, показываемую поворотом 370 представления по отношению к опорному представлению 360. На Фиг. 6 изображен результат объемного рендеринга, то есть текущее представление 350, показывающее интересующую область 380 со второй стороны. При сравнении опорного представления 360 по Фиг. 5 с текущим представлением 350 по Фиг. 6, становится ясно, что, как результат поворота устройства 110 формирования изображения, текущее представление 350 на дисплее показывает вторую сторону интересующей области 380, где эта вторая сторона получена посредством поворота вокруг интересующей области по отношению к первой стороне, показанной в опорном представлении 360 на Фиг. 5.The result of determining the current view 350 depending on the rotation 370 of the view around the center of rotation 340 relative to the reference view 360 is shown in FIG. 4, where the current view 350 is shown rotated around the center of rotation 340 by the amount shown by the rotation 370 of the view with respect to the reference view 360. In FIG. 6 shows the result of volumetric rendering, that is, the current view 350 showing the region of interest 380 from the second side. When comparing the reference representation 360 of FIG. 5 with a current view 350 of FIG. 6, it becomes clear that, as a result of the rotation of the image forming apparatus 110, the current display 350 shows the second side of the region of interest 380, where this second side is obtained by rotating around the region of interest with respect to the first side shown in the reference representation 360 of FIG. . 5.

Следует понимать, что имеется множество вариантов для упомянутого определения текущего представления 350 исходя из поворота 370 представления, центра 340 вращения и опорного представления 360. В общем, может быть задана система координат, посредством которой может быть выражена ориентация 310 устройства 110 формирования изображения, то есть система координат устройства. Система координат устройства может содержать начало координат, например, один угол устройства 110 формирования изображения, и три координатные оси, например, ось х, заданную по ширине устройства 110 формирования изображения, ось y, заданную по толщине устройства 110 формирования изображения, и ось z, заданную по высоте устройства 110 формирования изображения. Следует понимать, что также может быть использована любая друга подходящая система координат, то есть выбор начала координат и осей вращения не ограничивается описанным выше случаем. Система координат устройства может быть выражена в таких единицах измерения, как, например, миллиметры.It should be understood that there are many options for the above definition of the current view 350 based on the rotation 370 of the view, the center of rotation 340 and the reference view 360. In general, a coordinate system can be defined by which the orientation 310 of the image forming apparatus 110 can be expressed, i.e. device coordinate system. The coordinate system of the device may include a coordinate origin, for example, one angle of the image forming apparatus 110, and three coordinate axes, for example, an x axis defined along the width of the image forming apparatus 110, a y axis defined along the thickness of the image forming apparatus 110, and a z axis, a predetermined height of the image forming apparatus 110. It should be understood that any other suitable coordinate system can also be used, that is, the choice of the origin and axes of rotation is not limited to the case described above. The coordinate system of the device can be expressed in units of measure, such as millimeters.

Опорная ориентация 320, например начальная или предыдущая ориентация устройства 110 формирования изображения, может быть выражена как опорный вектор устройства в системе координат устройства. Опорная ориентация может быть измерена датчиком 120 ориентации. Например, акселерометр или гироскоп может измерить направление силы тяжести для обеспечения опорного вектора устройства, выражающего опорную ориентацию 320 устройства формирования изображения по отношению к направлению или ориентации силы тяжести. Датчик 120 ориентации может также обеспечивать начало опорного вектора устройства в системе координат устройства. Начало опорного вектора устройства может соответствовать опорному положению устройства 110 формирования изображения по отношению к системе координат устройства. Следует отметить, что начало опорного вектора устройства может быть не нужно для определения опорной ориентации.The reference orientation 320, for example, the initial or previous orientation of the image forming apparatus 110, can be expressed as the reference vector of the device in the coordinate system of the device. The reference orientation may be measured by the orientation sensor 120. For example, an accelerometer or gyroscope may measure the direction of gravity to provide a reference vector of the device expressing the reference orientation 320 of the imaging device with respect to the direction or orientation of gravity. The orientation sensor 120 may also provide the beginning of the reference vector of the device in the coordinate system of the device. The origin of the device reference vector may correspond to the reference position of the image forming apparatus 110 with respect to the coordinate system of the device. It should be noted that the beginning of the reference vector of the device may not be necessary to determine the reference orientation.

Датчик 120 ориентации может обеспечивать ориентацию 310 устройства 110 формирования изображения в качестве текущего вектора устройства в системе координат устройства. Датчик 120 ориентации может также обеспечивать начало текущего вектора устройства в системе координат устройства, соответствующей текущей позиции устройства 110 формирования изображения. Датчик 120 ориентации может затем сравнивать текущий вектор устройства с опорным вектором устройства для определения изменения в ориентации устройства 110 формирования изображения, например, поворота 330 устройства. Для этого датчик 120 ориентации может определить разность между текущим вектором устройства и опорным вектором устройства. Датчик 120 ориентации может не учитывать различие в начале текущего вектора устройства и опорного вектора устройства, поскольку это различие в начале может соответствовать изменению в позиции и может не потребоваться в установлении изменения в ориентации. В то же время, датчик 120 ориентации может также определить изменение в позиции, чтобы предусмотреть перенос устройства, в дополнение к повороту 330 устройства.The orientation sensor 120 may provide orientation 310 of the image forming apparatus 110 as the current device vector in the device coordinate system. The orientation sensor 120 may also provide the start of the current device vector in the device coordinate system corresponding to the current position of the image forming apparatus 110. The orientation sensor 120 may then compare the current vector of the device with the reference vector of the device to detect a change in the orientation of the image forming device 110, for example, the device rotation 330. For this, the orientation sensor 120 may detect a difference between the current device vector and the device reference vector. The orientation sensor 120 may not take into account the difference at the beginning of the current device vector and the device reference vector, since this difference at the beginning may correspond to a change in position and may not be necessary to establish a change in orientation. At the same time, the orientation sensor 120 may also detect a change in position to allow for transfer of the device, in addition to turning the device 330.

В дополнение к системе координат устройства, может быть задана система координат, посредством которой может быть выражена ориентация представлений в данных 300 изображения, то есть система координат изображения. В системе координат изображения начало координат может быть задано как являющееся одним из углов данных 300 изображения, как показано на Фиг. 3, то есть соответствующее вершине контура данных изображения 300. В системе координат изображения могут быть дополнительно заданы три оси координат, например, как направленные вдоль ребер контура, которые встречаются в одной и той же вершине. Система координат изображения может быть выражена в таких единицах измерения, как, например, миллиметры. Система координат изображения может относиться к содержимому данных 300 изображения. Например, когда данными 300 изображения являются данные медицинского изображения, система координат изображения может быть задана стандартом для данных медицинского изображения, то есть может существовать стандартизованная система координат изображения.In addition to the device coordinate system, a coordinate system can be defined by which the orientation of the representations in the image data 300, that is, the image coordinate system, can be expressed. In the coordinate system of the image, the origin can be set to be one of the corners of the image data 300, as shown in FIG. 3, that is, corresponding to the vertex of the contour of the image data 300. In the coordinate system of the image, three coordinate axes can be additionally defined, for example, as directed along the edges of the contour, which occur at the same vertex. The image coordinate system can be expressed in units of measure such as millimeters. The image coordinate system may relate to the content of image data 300. For example, when the image data 300 is medical image data, an image coordinate system may be specified by the standard for medical image data, that is, a standardized image coordinate system may exist.

Ориентация опорного представления 360 в системе координат изображения может быть выражена как опорный вектор представления. Опорный вектор представления может быть привязан к опорной ориентации 320 в системе координат устройства, то есть опорному вектору устройства. Привязка между этими двумя ориентациями может содержать преобразование поворота. Однако начало координат системы координат устройства и начало координат системы координат изображения могут не совпадать. Более того, начало опорного вектора устройства в системе координат устройства и начало опорного вектора представления в системе координат представления могут не совпадать. В целях компенсации такого несовпадения, может потребоваться дополнительное преобразование переноса (трансляции) для привязки опорного вектора представления к опорному вектору устройства. Преобразование поворота и возможное дополнительное преобразование переноса могут быть определены при начале работы системы 100 обработки изображений или устройства 110 формирования изображения.The orientation of the reference representation 360 in the image coordinate system may be expressed as the reference representation vector. The reference presentation vector may be mapped to the reference orientation 320 in the coordinate system of the device, that is, the reference vector of the device. The snap between these two orientations may contain a rotation transformation. However, the origin of the coordinate system of the device and the origin of the coordinate system of the image may not coincide. Moreover, the beginning of the reference vector of the device in the coordinate system of the device and the beginning of the reference vector of the representation in the coordinate system of the presentation may not coincide. In order to compensate for such a mismatch, an additional transfer (translation) transformation may be required to bind the reference representation vector to the reference vector of the device. A rotation conversion and a possible additional transfer transformation can be determined at the start of the image processing system 100 or the image forming apparatus 110.

Определение текущего представления может содержать следующие этапы. На первом этапе, опорный вектор устройства отображается в опорный вектор представления, используя вышеупомянутые преобразование поворота и возможное дополнительное преобразование переноса. На втором этапе данные 300 изображения сдвигаются в системе координат изображения, так чтобы центр 340 вращения располагался в начале координат системы координат изображения. На третьем этапе опорный вектор представления затем поворачивается вокруг начала координат системы координат изображения относительно поворота устройства, например разности между текущим вектором устройства и опорным вектором устройства, тем самым давая в результате текущий вектор представления. В результате текущий вектор представления отличается в смысле начала и в смысле направления от опорного вектора представления. На четвертом этапе выполняется обращение второго этапа посредством обратного сдвига данных 300 изображения в системе координат изображения. Текущий вектор представления может затем использоваться с целью получения параметров для определения текущего представления. Например, когда текущее представление определяется с использованием многоплоскостного переформатирования, т.е. нарезания объемных данных, текущее представление может быть сгенерировано посредством формирования среза изображения через начало текущего вектора представления, с помощью плоскости, идущей вдоль среза изображения, которая ортогональна текущему вектору представления.Defining the current view may include the following steps. In a first step, a device reference vector is mapped to a presentation reference vector using the aforementioned rotation transform and a possible additional transfer transform. In a second step, the image data 300 is shifted in the image coordinate system so that the center of rotation 340 is located at the origin of the image coordinate system. In the third step, the reference presentation vector is then rotated around the origin of the coordinate system of the image relative to the rotation of the device, for example, the difference between the current vector of the device and the reference vector of the device, thereby resulting in the current presentation vector. As a result, the current presentation vector is different in the sense of the beginning and in the sense of direction from the reference presentation vector. In a fourth step, the second step is inverted by reverse shifting the image data 300 in the image coordinate system. The current view vector can then be used to obtain parameters to determine the current view. For example, when the current view is determined using multi-plane reformatting, i.e. slicing the volumetric data, the current view can be generated by forming a slice of the image through the beginning of the current presentation vector, using a plane along the slice of the image, which is orthogonal to the current presentation vector.

Следует понимать, однако, что для определения текущего представления могут быть использованы многие другие методики, вместо или в дополнение к вышеописанным этапам, например, те, что известны из областей общих знаний, относящихся к евклидовой геометрии и компьютерной графике и рендерингу.It should be understood, however, that many other techniques can be used to determine the current representation, instead of or in addition to the steps described above, for example, those that are known from areas of general knowledge related to Euclidean geometry and computer graphics and rendering.

Фиг. 7 аналогична Фиг. 5 в том, что она показывает результат текущего представления 350, определенного в зависимости от опорного представления 360, центра 340 вращения и поворота 370 представления. Однако в данном примере опорное представление 360 формируется посредством многоплоскостного переформатирования данных 300 изображения, давая в результате в качестве опорного представления 360 срез по данным 300 изображения. Более того, интересующая область 380 находится, то есть видима, в опорном представлении 360. Интересующая область 380 опять определяется в качестве центра вращения. В результате определения текущего представления 350 в зависимости от поворота 370 представления вокруг центра 340 вращения по отношению к опорному представлению, текущее представление 350 показано повернутым вокруг центра 340 вращения на величину, указываемую поворотом 370 представления. При этом получают другой срез через интересующую область 380 и окружающие данные 300 изображения.FIG. 7 is similar to FIG. 5 in that it shows the result of the current view 350, determined depending on the reference view 360, the center of rotation and rotation 370 of the view. However, in this example, the reference representation 360 is formed by multi-plane reformatting of the image data 300, resulting in a slice of the image data 300 as the reference representation 360. Moreover, the region of interest 380 is, that is, visible, in the reference view 360. Region of interest 380 is again defined as the center of rotation. By determining the current view 350 depending on the rotation 370 of the view around the center of rotation 340 with respect to the reference view, the current view 350 is shown rotated around the center of rotation 340 by the value indicated by the rotation 370 of the view. A different slice is obtained through the region of interest 380 and the surrounding image data 300.

На Фиг. 8 приведен график, содержащий примеры функций, которые могут быть использованы процессором 150 изображения для определения поворота 370 представления относительно поворота 320 устройства. Горизонтальная ось соответствует повороту 320 устройства, а вертикальная ось соответствует повороту 370 представления. Горизонтальная ось и вертикальная ось могут показывать один или тот же или схожий диапазон, например, от 0 до 90°. Функции 372, 374, 376 и 378 иллюстрируют различные отображения из поворота 320 устройства, то есть входных данных функции, в поворот 370 представления, то есть выходные данные функции. Первая функция 372 соответствует прямому отображению, при котором некоторая величина поворота 320 устройства приводит к такой же величине поворота 370 представления, например, 45° поворота 320 устройства приводят к 45° поворота 370 представления. Для достижения большей чувствительности может использоваться вторая функция 374, которая соответствует усилению 374. Таким образом, некоторая величина поворота 320 устройства приводит к увеличенной или усиленной величине поворота 370 представления, например, 22,5° поворота 320 устройства приводят к 45° поворота 370 представления. Для снижения чувствительности к малым, возможно ненамеренным поворотам 320 устройства, может быть использована третья функция 374, которая соответствует порогу 376. Таким образом, поворот 320 устройства должен превышать порог 376 для достижения поворота 370 представления, то есть того, который не будет нулевым. Наконец, четвертая функция 378 соответствует нелинейной функции 378 и может использоваться для получения, например, уменьшения в чувствительности для малых, возможно ненамеренных поворотов 320 устройства и увеличения в чувствительности для больших поворотов 320 устройства. Следует понимать, что для определения поворота 370 представления относительно поворота 320 устройства также может быть использована любая другая подходящая функция, например, посредством комбинирования аспектов вышеупомянутых функций.In FIG. 8 is a graph containing examples of functions that can be used by the image processor 150 to determine the rotation 370 of the view relative to the rotation 320 of the device. The horizontal axis corresponds to a rotation 320 of the device, and the vertical axis corresponds to a rotation 370 of the view. The horizontal axis and the vertical axis may indicate the same or similar range, for example, from 0 to 90 °. Functions 372, 374, 376 and 378 illustrate various mappings from the device rotation 320, that is, the input of the function, to the presentation rotation 370, that is, the output of the function. The first function 372 corresponds to a direct display in which a certain amount of rotation of the device 320 results in the same amount of rotation of the presentation 370, for example, 45 ° rotation of the device 320 leads to 45 ° rotation of the presentation 370. To achieve greater sensitivity, a second function 374 can be used, which corresponds to a gain of 374. Thus, a certain amount of rotation of the device 320 leads to an increased or enhanced value of the rotation 370 of the view, for example, 22.5 ° rotation of the device 320 leads to 45 ° rotation of the 370 view. To reduce sensitivity to small, possibly involuntary device rotations 320, a third function 374 can be used that corresponds to threshold 376. Thus, device rotation 320 must exceed threshold 376 to achieve presentation rotation 370, that is, one that will not be zero. Finally, the fourth function 378 corresponds to the non-linear function 378 and can be used to obtain, for example, a decrease in sensitivity for small, possibly involuntary turns of the device 320 and an increase in sensitivity for large turns of the device 320. It should be understood that any other suitable function can also be used to determine presentation rotation 370 relative to device rotation 320, for example, by combining aspects of the above functions.

Фиг. 9 показывает систему 200 обработки изображений, содержащую устройство 110 формирования изображения, ранее показанное на Фиг. 1. Система 200 обработки изображений дополнительно содержит средство 260 пользовательского ввода для приема данных 265 от пользователя, и средство 240 для определения центра 340 вращения выполнено с возможностью определения центра вращения в зависимости от данных выбора. Пользователь может предоставлять данные 265 выбора в средство 260 пользовательского ввода из состава системы 200 обработки изображений с использованием любого подходящего способа, например, используя клавиатуру 275 или мышь 280. Также, хотя и не показано на Фиг. 9, дисплей 130 устройства 110 формирования изображения может содержать чувствительную к прикосновениям поверхность для обеспечения пользователю возможности подавать данные 265 выбора в средство 260 пользовательского ввода путем прикосновения к дисплею 130. Пользователь может предоставлять данные 265 выбора, чтобы вручную выбрать центр 340 вращения либо чтобы модифицировать или воздействовать на способ, которым средством обнаружения интересующей области определяется центр 340 вращения.FIG. 9 shows an image processing system 200 comprising an image forming apparatus 110 previously shown in FIG. 1. The image processing system 200 further comprises user input means 260 for receiving data 265 from the user, and means 240 for determining the center of rotation 340 is configured to determine the center of rotation depending on the selection data. The user may provide selection data 265 to user input 260 from the image processing system 200 using any suitable method, for example, using a keyboard 275 or mouse 280. Also, although not shown in FIG. 9, the display 130 of the image forming apparatus 110 may comprise a touch sensitive surface to enable the user to submit selection data 265 to the user input 260 by touching the display 130. The user may provide selection data 265 to manually select the rotation center 340 or to modify or affect the way in which the center of rotation 340 is determined by means of detecting the region of interest.

Средство 260 пользовательского ввода может быть выполнено с возможностью приема навигационных данных 270 от пользователя, и процессор 250 изображения может быть выполнен с возможностью определения представлений 155 данных 300 изображения в зависимости от навигационных данных. Пользователь может предоставлять навигационные данные 270 в средство 260 пользовательского ввода с использованием любого подходящего способа, например, используя вышеупомянутые клавиатуру 270, мышь 280 или дисплей 130, оснащенный чувствительной к прикосновениям поверхностью. Таким образом, пользователь может использовать тот же способ для предоставления навигационных данных 270, что и для предоставления данных 265 выбора. В то же время, пользователь также может использовать и другой способ для упомянутого предоставления. Навигационные данные могут содержать навигационную команду панорамирования и/или изменения масштаба, где, например, навигационная команда панорамирования предоставляется посредством того, что пользователь двигает мышь 280, а навигационная команда изменения масштаба предоставляется посредством того, что пользователь вращает колесико мыши 280.The user input means 260 may be configured to receive navigation data 270 from the user, and the image processor 250 may be configured to determine representations 155 of the image data 300 depending on the navigation data. The user may provide navigation data 270 to the user input means 260 using any suitable method, for example, using the aforementioned keyboard 270, mouse 280, or display 130 provided with a touch sensitive surface. Thus, the user can use the same method for providing navigation data 270 as for providing selection data 265. At the same time, the user can also use another method for the mentioned provision. The navigation data may comprise a panning and / or zooming navigation command, where, for example, a panning navigation command is provided by the user moving the mouse 280, and a zooming navigation command is provided by the user rotating the mouse wheel 280.

Система 200 обработки изображений может быть выполнена с возможностью приема команды переустановки от пользователя для переустановки опорной ориентации 320 и/или опорного представления 360. Система 200 обработки изображений может принимать команду переустановки любым подходящим способом, например, с использованием вышеупомянутых клавиатуры 270, мыши 280 или дисплея 130, оснащенного чувствительной к прикосновениям поверхностью. Система 200 обработки изображений также может быть выполнена с возможностью приема команды приостановки для предписания системе 200 обработки изображений на время приостановить определение представлений в зависимости от поворота устройства. В результате, процессор 250 изображения может временно не учитывать поворот устройства после приема команды приостановки и может возобновить учёт поворота устройства после приема команды возобновления от пользователя, где команда возобновления предписывает процессору 250 изображения возобновить определение представлений в зависимости от поворота устройства.The image processing system 200 may be configured to receive a reset command from a user to reset the reference orientation 320 and / or the reference representation 360. The image processing system 200 may receive the reinstall command in any suitable manner, for example, using the aforementioned keyboard 270, mouse 280, or display 130 equipped with a touch-sensitive surface. The image processing system 200 may also be configured to receive a pause command to instruct the image processing system 200 to temporarily suspend the definition of representations depending on the rotation of the device. As a result, the image processor 250 may temporarily not take into account the rotation of the device after receiving the pause command, and may resume accounting for the rotation of the device after receiving the renew command from the user, where the renew command instructs the image processor 250 to resume determining views depending on the rotation of the device.

Средство 240 для определения центра 340 вращения может быть выполнено с возможностью обнаружения интересующей области 380 в данных 300 изображения. Таким образом, упомянутое средство 240 может содержать, функционировать как или представлять собой средство обнаружения интересующей области. Упомянутое средство 240 также может быть выполнено с возможностью определения центра 340 вращения в зависимости от интересующей области 380. При обнаружении интересующей области может быть задействована любая подходящая методика для обнаружения интересующей области. Например, когда система 200 обработки изображений используется в качестве системы обработки медицинских изображений, при обнаружении интересующей области может быть задействована любая подходящая методика, известная в области анализа медицинских изображений для обнаружения медицинских аномалий, например, патологических изменений.The means 240 for determining the center of rotation 340 may be configured to detect a region of interest 380 in the image data 300. Thus, said means 240 may comprise, function as, or constitute means for detecting a region of interest. Said means 240 may also be configured to determine a center of rotation 340 depending on the region of interest 380. Upon detection of the region of interest, any suitable technique may be employed to detect the region of interest. For example, when the image processing system 200 is used as a medical image processing system, any suitable technique known in the field of medical image analysis for detecting medical abnormalities, for example, pathological changes, can be involved in detecting a region of interest.

В общем, данные изображения могут содержать данные объемного изображения, и процессор изображения может быть выполнен возможностью упомянутого определения текущего представления посредством использования по меньшей мере одного из группы, включающей в себя многоплоскостное переформатирование, объемный рендеринг и поверхностный рендеринг, чтобы сформировать текущее представление. Эти технологии известны в области техники, относящейся к объемному рендерингу и воспроизведению изображений. Данные изображения могут также содержать данные трехмерной графики, и процессор изображения может быть выполнен с возможностью упомянутого определения текущего представления посредством использования графического рендеринга для формирования текущего представления. Графический рендеринг известен в области трехмерной компьютерной графики. Данные изображения могут содержать комбинацию данных объемного изображения и графических данных. Таким образом, текущее представление может быть определено путем использования по меньшей мере одного из группы, включающей в себя многоплоскостное переформатирование, объемный рендеринг и поверхностный рендеринг, в дополнение к использованию графического рендеринга, для формирования текущего представления.In general, the image data may comprise three-dimensional image data, and the image processor may be able to determine the current view by using at least one of the group including multi-plane reformatting, volume rendering, and surface rendering to form the current view. These technologies are known in the art for volumetric rendering and image reproduction. The image data may also contain three-dimensional graphics data, and the image processor may be configured to determine the current view by using graphical rendering to form the current view. Graphic rendering is known in the field of three-dimensional computer graphics. Image data may comprise a combination of volumetric image data and graphic data. Thus, the current view can be determined by using at least one of the group including multi-plane reformatting, volume rendering, and surface rendering, in addition to using graphical rendering, to form the current view.

Определение текущего представления может содержать (i) определение матрицы преобразования 4×4 в зависимости от поворота представления и центра вращения и (ii) формирование текущего представления с использованием этой матрицы преобразования 4×4. Таким матрицы преобразования 4×4 широко используются в области трехмерной компьютерной графики для представления проекционных преобразований, включая перенос, поворот, масштабирование, сдвиг и искажение перспективы. В частности, матрица преобразования 4×4 может представлять комбинацию переноса и поворота, тем самым позволяя процессору изображения учитывать несовпадения центра вращения с началом координат системы координат изображения.The definition of the current view may comprise (i) determining a 4 × 4 transformation matrix depending on the rotation of the view and the center of rotation, and (ii) generating the current view using this 4 × 4 transformation matrix. Thus, 4x4 transformation matrices are widely used in the field of three-dimensional computer graphics to represent projection transformations, including translation, rotation, scaling, shifting, and perspective distortion. In particular, the 4 × 4 transformation matrix can represent a combination of transfer and rotation, thereby allowing the image processor to take into account the discrepancy between the center of rotation and the origin of the coordinate system of the image.

Датчик ориентации может представлять собой так называемый акселерометр, который измеряет ориентацию путем сравнения ускорения контрольного груза со свободно падающей рамкой, являющейся эталоном. Следует понимать, что датчик ориентации может представлять собой любой подходящий тип акселерометра, известный в области техники, относящейся к акселерометрам. Датчик ориентации может также представлять собой компас, который измеряет ориентацию путем сравнения с магнитным полем Земли. Аналогично, датчик ориентации может также представлять собой гироскоп, который измеряет ориентацию путем измерения изменений в ориентации оси вращения гироскопа. Датчик ориентации может также представлять собой видеокамеру для определения “чистого” движения (ego-motion) устройства формирования изображения, то есть движения видеокамеры и, таким образом, устройства формирования изображения относительно его окружения, путем использования видеоинформации, отснятой видеокамерой. Технологии оценки “чистого” движения с использованием видеокамеры известны из области компьютерного зрения и, более конкретно, из области оценки техники, относящейся к оценке “чистого” движения. Следует понимать, что такое “чистое” движение устройства формирования изображения обеспечивает возможность определения изменения в ориентации устройства формирования изображения. Датчик ориентации может также содержать сочетание, например, акселерометра и видеокамеры для повышения точности измерения ориентации устройства формирования изображения.The orientation sensor may be a so-called accelerometer, which measures the orientation by comparing the acceleration of the test load with a freely falling frame, which is the standard. It should be understood that the orientation sensor may be any suitable type of accelerometer known in the art related to accelerometers. The orientation sensor may also be a compass that measures orientation by comparison with the Earth’s magnetic field. Similarly, the orientation sensor may also be a gyroscope, which measures the orientation by measuring changes in the orientation of the axis of rotation of the gyroscope. The orientation sensor may also be a video camera for determining the “ego-motion” of the image forming apparatus, that is, the motion of the video camera, and thus the image forming apparatus relative to its surroundings, by using video information captured by the video camera. Technologies for assessing “pure” motion using a video camera are known from the field of computer vision and, more specifically, from the field of evaluating techniques related to assessing “pure” motion. It should be understood that such a “pure” movement of the image forming apparatus provides the ability to detect changes in orientation of the image forming apparatus. The orientation sensor may also comprise a combination of, for example, an accelerometer and a video camera to increase the accuracy of measuring the orientation of the image forming apparatus.

Система обработки изображений может быть сконфигурирована учитывать только поворот устройства вокруг одиночной оси вращения. Таким образом, любой поворот устройства может только учитываться в отношении упомянутой оси вращения. Причина этого может заключаться в намеренном ограничении пользователя в поворачивании вокруг интересующей области, либо вследствие ограничения датчика ориентации. Также может учитываться поворот устройства вокруг более чем одной оси вращения, например, оси х, оси y и оси z, и при этом поворот устройства может быть разложен на некоторое количество так называемых базисных поворотов, например, так называемые рыскание (yaw), тангаж (pitch) и крен (roll). Пользователь, таким образом, может выполнять произвольное поворачивание вокруг интересующей области в данных изображения.The image processing system can be configured to take into account only the rotation of the device around a single axis of rotation. Thus, any rotation of the device can only be taken into account with respect to said axis of rotation. The reason for this may be the deliberate restriction of the user in turning around the region of interest, or due to the restriction of the orientation sensor. The rotation of the device around more than one axis of rotation, for example, the x axis, the y axis, and the z axis, can also be taken into account, while the rotation of the device can be decomposed into a number of so-called basic rotations, for example, the so-called yaw, pitch ( pitch) and roll. The user can thus arbitrarily rotate around a region of interest in the image data.

Система обработки изображений может представлять собой портативное устройство, то есть с интегрированными дисплеем, датчиком ориентации, средством для определения центра вращения и процессором изображения. Портативное устройство может представлять собой планшетный компьютер. Система обработки изображений может также представлять собой рабочую станцию, содержащую дисплей, где корпус дисплея содержит датчик ориентации. Корпус дисплея, то есть устройства формирования изображения, может быть физически поворачиваемым посредством, например, соответствующего крепления на столе или стене.The image processing system may be a portable device, that is, with an integrated display, an orientation sensor, means for determining the center of rotation and an image processor. The portable device may be a tablet computer. The image processing system may also be a workstation comprising a display, where the display housing comprises an orientation sensor. The display housing, that is, the imaging device, can be physically rotated by, for example, appropriate mounting on a table or wall.

На Фиг. 10 показан способ 400 обеспечения пользователю возможности перемещаться по данным изображения, имеющим, по меньшей мере, три пространственных размерности, путем воспроизведения представлений данных изображений на дисплее устройства формирования изображения, при этом способ содержит этапы, на которых измеряют 410 ориентацию устройства формирования изображения по отношению к опорной ориентации для предоставления данных поворота, показывающих поворот устройства для устройства формирования изображения; определяют 420 центр вращения в данных изображения и определяют 430 представления данных изображения относительно поворота устройства посредством того, что, для определения текущего представления, (i) принимают 440 данные поворота от датчика ориентации, (ii) определяют 450 поворот представления относительно поворота устройства и (iii) определяют 460 текущее представление в зависимости от поворота представления вокруг центра вращения по отношению к опорному представлению.In FIG. 10 shows a method 400 for enabling a user to navigate image data having at least three spatial dimensions by reproducing representations of image data on a display of an image forming apparatus, the method comprising the steps of measuring 410 the orientation of the image forming apparatus with respect to a reference orientation for providing rotation data showing rotation of the device for the image forming apparatus; determining 420 the rotation center in the image data and determining 430 the representation of the image data regarding the rotation of the device by means of (i) receiving 440 rotation data from the orientation sensor to determine the current view, (ii) determining 450 the rotation of the view relative to the rotation of the device, and (iii ) determine 460 the current view depending on the rotation of the view around the center of rotation with respect to the reference view.

На Фиг. 11 показан машиночитаемый носитель 500, содержащий компьютерную программу 520, содержащую инструкции для предписания процессорной системе выполнять способ 400, показанный на Фиг. 10. Компьютерная программа 520 может быть воплощена на машиночитаемом носителе 500 в виде физических меток или посредством намагничивания машиночитаемого носителя 500. В то же время, также подразумевается и любой другой подходящий вариант осуществления. Более того, следует понимать, что, хотя на Фиг. 11 машиночитаемый носитель 500 показан в виде оптического диска, машиночитаемый носитель 500 может представлять собой любой подходящий машиночитаемый носитель, такой как жесткий диск, твердотельная память, флэш-память и т.п., и может быть незаписываемым или записываемым.In FIG. 11 shows a computer-readable medium 500 comprising a computer program 520 containing instructions for causing the processor system to execute the method 400 shown in FIG. 10. The computer program 520 may be implemented on a computer-readable medium 500 in the form of physical marks or by magnetizing a computer-readable medium 500. At the same time, any other suitable embodiment is also contemplated. Moreover, it should be understood that, although in FIG. 11, computer-readable medium 500 is shown as an optical disk, computer-readable medium 500 may be any suitable computer-readable medium, such as a hard disk, solid state memory, flash memory, or the like, and may be non-writable or writable.

Следует понимать, что изобретение также применимо к компьютерным программам, а именно к компьютерным программам на или в носителе, приспособленным для практической реализации изобретения. Программа может быть в форме исходного кода, объектного кода, промежуточного исходного кода и объектного кода, такого как в частично компилированной форме, либо в любой другой форме, подходящей для использования при реализации способа согласно настоящему изобретению. Следует также понимать, что такая программа может иметь разные архитектурные проекты. Например, программный код, реализующий функции способа или системы согласно настоящему изобретению, может быть подразделен на одну или более подпрограмм. Для специалиста будут очевидны множественные различные пути распределения таких функций по этим подпрограммам. Подпрограммы могут храниться вместе в одном исполняемом файле для формирования независимой программы. Такой исполняемый файл может содержать машиноисполняемые инструкции, например, инструкции процессора и/или инструкции интерпретатора (например, инструкции интерпретатора Java). В качестве альтернативы, одна или более или все из подпрограмм могут сохраняться в по меньшей мере одном файле внешней библиотеки и подключаться к основной программе либо статически, либо динамически, например, во время исполнения. Основная программа содержит по меньшей мере один вызов в по меньшей мере одну из подпрограмм. Подпрограммы могут также содержать вызовы функций друг друга. Вариант осуществления, относящийся к компьютерному программному продукту, содержит машиноисполняемые инструкции, соответствующие каждому этапу обработки по меньшей мере одного из описанных здесь способов. Эти инструкции могут подразделятся на подпрограммы и/или храниться в одном или более файлах, которые могут статически или динамически подключаться.It should be understood that the invention is also applicable to computer programs, namely, computer programs on or in a medium adapted for the practical implementation of the invention. The program may be in the form of source code, object code, intermediate source code and object code, such as in a partially compiled form, or in any other form suitable for use in implementing the method according to the present invention. It should also be understood that such a program may have different architectural designs. For example, program code that implements the functions of a method or system according to the present invention may be subdivided into one or more subprograms. Multiple different ways of distributing such functions among these routines will be apparent to those skilled in the art. Subprograms can be stored together in one executable file to form an independent program. Such an executable file may contain computer-executable instructions, for example, processor instructions and / or interpreter instructions (for example, Java interpreter instructions). Alternatively, one or more or all of the subprograms may be stored in at least one external library file and connected to the main program either statically or dynamically, for example, at runtime. The main program contains at least one call to at least one of the subprograms. Subroutines can also contain calls to each other's functions. An embodiment related to a computer program product comprises computer-executable instructions corresponding to each processing step of at least one of the methods described herein. These instructions may be subdivided into subroutines and / or stored in one or more files that may be connected statically or dynamically.

Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит машиноисполняемые инструкции, соответствующие каждому средству по меньшей мере одной из описанных здесь систем и/или продуктов. Эти инструкции могут подразделятся на подпрограммы и/или храниться в одном или более файлах, которые могут статически или динамически подключаться.Another embodiment related to a computer program product comprises computer-executable instructions corresponding to each means of at least one of the systems and / or products described herein. These instructions may be subdivided into subroutines and / or stored in one or more files that may be connected statically or dynamically.

Носителем компьютерной программы может быть любой объект или устройство, приспособленные для переноса программы. Например, носитель может включать в себя носитель информации, такой как постоянное запоминающее устройство (ПЗУ, ROM), например ПЗУ на компакт-диске (CD ROM) или полупроводниковое ПЗУ, либо магнитный носитель записи, например жесткий диск. Помимо этого, носителем может быть передаваемый носитель, такой как электрический или оптический сигнал, который может передаваться по электрическому или оптическому кабелю, либо посредством радиоволн или других средств. Когда программа воплощена в сигнале, носитель может быть образован таким кабелем либо другим устройством или средством. В качестве альтернативы, носитель может представлять собой интегральную схему, в которой воплощена программа, при этом интегральная схема выполнена с возможностью выполнять или быть использованной при выполнении соответствующего способа.The computer program medium may be any object or device adapted to transfer the program. For example, the medium may include an information medium, such as read-only memory (ROM), such as a compact disk ROM (CD ROM) or a semiconductor ROM, or a magnetic recording medium, such as a hard disk. In addition, the carrier may be a transmission medium, such as an electrical or optical signal, which may be transmitted via an electric or optical cable, or by radio waves or other means. When a program is embodied in a signal, the medium may be formed by such a cable or by another device or means. Alternatively, the medium may be an integrated circuit in which the program is embodied, wherein the integrated circuit is configured to execute or be used in performing the corresponding method.

Следует отметить, что вышеописанные варианты осуществления скорее иллюстрируют, чем ограничивают изобретение, и специалисты смогут разработать множественные альтернативные варианты осуществления, не выходя за рамки объема, определяемого прилагаемой формулой изобретения. В формуле изобретения любые ссылочные символы, помещенные в скобки, не должны толковаться как ограничивающие формулу изобретения. Использование глагола “содержит” и его спряжений не исключает наличия элементов или этапов, отличающихся от тех, что приведены в формуле изобретения. Упоминание элемента в единственном числе не исключает возможности наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько отдельных элементов, и посредством соответственным образом запрограммированного компьютера. В относящемся к устройству пункте формулы изобретения, в котором перечислены несколько средств, некоторые из этих средств могут быть воплощены как один и тот же элемент аппаратного обеспечения. Тот простой факт, что некоторые признаки приведены во взаимно отличающихся зависимых пунктах формулы изобретения, не указывает на то, что сочетание этих признаков не может быть использовано выгодным образом.It should be noted that the above embodiments are more likely to illustrate than limit the invention, and those skilled in the art will be able to develop multiple alternative embodiments without departing from the scope of the appended claims. In the claims, any reference characters in parentheses should not be construed as limiting the claims. The use of the verb “contains” and its conjugations does not exclude the presence of elements or steps that are different from those given in the claims. Mention of an element in the singular does not exclude the possibility of the presence of many such elements. The invention can be implemented by means of hardware containing several separate elements, and by means of an appropriately programmed computer. In a device claim in which several means are listed, some of these means may be embodied as the same piece of hardware. The simple fact that some features are given in mutually different dependent dependent claims does not indicate that a combination of these features cannot be used in an advantageous manner.

Claims

1. An image processing system for providing a user with the ability to navigate image data having at least three spatial dimensions by reproducing representations of image data, wherein the image processing system comprises:

an image forming apparatus comprising: a display for reproducing representations of image data and an orientation sensor for measuring an orientation of the image forming apparatus with respect to the reference orientation and for providing rotation data showing rotation of the device for the image forming apparatus;

means for determining a center of rotation in the image data; and

an image processor for determining representations of the image data regarding the rotation of the device by: (i) receiving rotation data from the orientation sensor, (ii) determining the rotation of the view relative to the rotation of the device, and (iii) determining the current view depending on the rotation of the view around the center of rotation with respect to the reference presentation, while

means for determining a center of rotation comprises means for detecting a region of interest for detecting a region of interest in image data,

means for determining the center of rotation determines the center of the region of interest as the center of rotation, and

the region of interest is the image of the physical object in the image data.

2. The image processing system according to claim 1, further comprising user input means for receiving selection data from the user, the means for determining the center of rotation being configured to determine the center of rotation additionally depending on the selection data so as to enable the user to act on the way the center of rotation is determined.

3. The image processing system of claim 2, wherein the user input means is configured to receive navigation data from a user and the image processor is configured to determine representations of image data depending on the navigation data.

4. The image processing system of claim 3, wherein the navigation data comprises a navigation command for panning and / or zooming.

5. The image processing system according to claim 1, wherein the image data contains three-dimensional image data and the image processor is configured to determine the current view by using at least one of the group including multi-plane reformatting, volume rendering, and surface rendering so that form the current view.

6. The image processing system according to claim 1, in which the image data contains three-dimensional graphics data and the image processor is capable of said definition of the current view by using graphical rendering to form the current view.

7. The image processing system of claim 1, wherein said determining the current view comprises: (i) determining a 4 × 4 transformation matrix depending on the rotation of the view and the center of rotation; and (ii) generating the current view using the 4 × 4 transformation matrix.

8. The image processing system according to claim 1, in which the image processor is configured to determine the rotation of the view relative to the rotation of the device by applying direct display to the rotation of the device to obtain a rotation of the view.

9. The image processing system according to claim 1, which is configured to receive a reinstall command from a user to reinstall a reference orientation and / or reference representation.

10. The image processing system according to claim 1, which is configured to receive a pause command from a user to pause said definition of representations of image data regarding rotation of the device.

11. The image processing system of claim 1, wherein the detection means detects a medical anomaly in a region of interest.

12. The image processing system of claim 1, wherein the image processor determines the rotation of the view relative to the rotation of the device by applying amplification to the rotation of the device to obtain a rotation of the view.

13. The image processing system of claim 1, wherein the image processor determines the rotation of the view relative to the rotation of the device by applying an offset to the rotation of the device to obtain a rotation of the view.

14. The image processing system of claim 1, wherein the image processor determines the rotation of the view relative to the rotation of the device by applying a threshold to the rotation of the device to obtain a rotation of the view.

15. The image processing system of claim 1, wherein the image processor determines the rotation of the view relative to the rotation of the device by applying a nonlinear function to the rotation of the device to obtain a rotation of the view.

16. A portable device configured to process images to enable a user to navigate through image data, the portable device comprising an image processing system according to claim 1.

17. Image forming apparatus configured to process images to allow a user to navigate through image data, the apparatus comprising an image processing system according to claim 1.

18. A method for providing a user with the ability to navigate image data having at least three spatial dimensions by reproducing representations of image data on a display of an image forming apparatus, the method comprising the steps of:

measuring the orientation of the image forming apparatus with respect to the reference orientation to provide rotation data showing rotation of the device for the image forming apparatus;

determining a center of rotation in image data; and

determining representations of the image data regarding the rotation of the device by: (i) receiving rotation data from the orientation sensor, (ii) determining the rotation of the representation relative to the rotation of the device, and (iii) determining the current representation depending on the rotation of the representation around the center of rotation with respect to the reference submission

while at the stage of determining the center of rotation in the image data:

detect a region of interest in the image data and

determine the center of the region of interest as the center of rotation,

moreover, the region of interest is an image of a physical object in the image data.

19. A machine-readable medium containing instructions for causing a processor system to execute the method of claim 18.