С. С. Курбатов curbatow serg@yandex ru

УДК 004.83

КОНЦЕПТУАЛЬНЫЙ СИНТЕЗ ГРАФИЧЕСКИХ ОБРАЗОВ ПО СТРУКТУРАМ ПРИКЛАДНОЙ ОНТОЛОГИИ

С.С. Курбатов (curbatow.serg@yandex.ru)

А.В. Литвинович (theartlav@gmail.com)

А.П. Лобзин (lobzin@rambler.ru)

Г.К. Хахалин (gkhakhalin@yandex.ru)

НИЦЭВТ, Москва

В С. С. Курбатов curbatow serg@yandex ru работе описывается подход к разработке системы синтеза графических изображений по онтологическим структурам. Рассматривается схема системы. Для синтеза изображений был разработан язык алгоритмического описания графики GRAphics Situation Planner (GRASP). Представлены С. С. Курбатов curbatow serg@yandex ru результаты неких тестов для различных приложений. Определены последующие направления работы.

Введение

Как понятно [Поспелов, 1996; Зенкин, 1991], когнитивная графика пробует изучить процедуры соотнесения символьных представлений со зрительными образами-картинками, замахиваясь на исследование процессов взаимодействия левополушарных и правополушарных устройств С. С. Курбатов curbatow serg@yandex ru людского мозга. Рассмотрение проблематики дела меж такими категориями как «графический образ» и «понятие» приводится в [Вальктман, 2008].

Подобные исследования носят не только лишь научный нрав, да и имеют практические области внедрения С. С. Курбатов curbatow serg@yandex ru при разработке и сопровождении умственных систем. К ним относятся такие сферы как: разработка обучающих программ различного предназначения [Курбатов и др., 2010 a]; отладка прикладных онтологий по визуализации онтологических структур [Курбатов и др., 2010 b С. С. Курбатов curbatow serg@yandex ru; 2011 b]; синтез конструкций (к примеру, галлактических кораблей, шестеренок); построение обучающих выборок для систем определения, основанных на знании [Курбатов и др., 2012]; разработка интегральных систем, включающих системы анализа/синтеза ЕЯ-текстов и изображений [Курбатов и др С. С. Курбатов curbatow serg@yandex ru., 2011 a]; разработка и интерактивное взаимодействие с системами проектирования технических объектов по изображениям и многие другие.

^ 1. Постановка задачки концептуального синтеза графических образов

Задачка концептуального синтеза изображений заключается в выполнении на базе онтологических структур С. С. Курбатов curbatow serg@yandex ru графических построений объектов, нужных для их визуализации, т.е. по на сто процентов либо отчасти означенному концептуальному описанию графической ситуации выстроить и визуализировать на плоскости отображения графическое изображение.

Задачка построения С. С. Курбатов curbatow serg@yandex ru геометрической конфигурации по имени, структуре и означенным характеристикам решается методом вычисления (с учетом закономерностей, присущих данной фигуре и обрисованных в ее модели) координат вершин и составления принятого в машинной графике описания.

Система при С. С. Курбатов curbatow serg@yandex ru всем этом должна реагировать на недочет и противоречивость данных означивания (к примеру, по описанию, данному юзером), т.е. на невозможность конкретного вычисления экземпляра фигуры. В данном случае она выдает сообщение и перечень характеристик С. С. Курбатов curbatow serg@yandex ru, которые системе не удается вычислить либо они противоречивы.

^ 1.1. Схема системы концептуального синтеза графических образов

Для решения задачки концептуального синтеза подразумевается реализация последующей многофункциональной схемы системы.

Концептуальная модель (=прикладная онтология) обрисовывает структуры геометрических С. С. Курбатов curbatow serg@yandex ru объектов, составляющих многокомпонентную графическую конфигурацию, свойства каждой составляющие и связи меж ними и их параметрами. Характеристики соответствуют принятым свойствам фигуры как целого, также свойствам всех составляющих ее частей.

Модель графического объекта, у которого всем С. С. Курбатов curbatow serg@yandex ru нужным верхушкам присвоены значения (означены), является описанием определенного экземпляра фигуры и может быть визуализировано на плоскости отображения.

Программа-планировщик, управляющая расчетом многокомпонентной конфигурации, универсальна по отношению ко всем применяемым С. С. Курбатов curbatow serg@yandex ru моделям, а специфика ее работы для каждой модели геометрического объекта определяется содержанием моделей. Планировщик сформировывает выражения на языке графических команд (ЯГК) и передает их на визуализатор.

Визуализатор реализуется стандартными средствами машинной графики, т.е С. С. Курбатов curbatow serg@yandex ru. избранной библиотекой графических команд. В качестве таковой библиотеки употребляется общеизвестный визуализатор OpenGL.

Если кратко сконструировать многофункциональную задачку концептуального синтеза, то это будет смотреться так: на входе системы дано концептуальное описание онтологического куска, а С. С. Курбатов curbatow serg@yandex ru на выходе системы получаем графическое представление только зрительно интерпретируемых составляющих концептуального описания. Многофункциональная схема системы представлена на рис. 1.



Рис. 1. Многофункциональная схема системы концептуального синтеза графических образов

^ 1.2. Онтология предметной области

Онтологическое представление С. С. Курбатов curbatow serg@yandex ru визуализируемых объектов базируется на языке представления познаний, позволяющем обрисовывать сути при помощи семантических гиперграфов [Хахалин, 2009]. На этом языке описываются как предметные сути (визуализируемые объекты), так и результаты лингвистической трансляции, описывающие эти сути. Язык нацелен на С. С. Курбатов curbatow serg@yandex ru представление, как определенных познаний, так и концептов очень высочайшего уровня (более тщательно см. в [Khakhalin et al., 2012]).

2. Планировщик

Общие функции для планировщика составляют: «обход» онтологической структуры и выделение описаний подобъектов для С. С. Курбатов curbatow serg@yandex ru графической визуализации; согласование характеристик подобъектов и означивание их параметров; генерация текста для визуализации.

Для решения задачки генерации текста для визуализации из семантического гиперграфа вычленяются только те элементы, которые могут быть С. С. Курбатов curbatow serg@yandex ru отображены (интерпретированы) в объекты для визуализации. Для решения этой задачки все элементы концептуального представления разбиваются на три класса: интерпретируемые, неинтерпретируемые и интерпретируемые либо неинтерпретируемые зависимо от наружных критериев. Примерами частей этих классов могут быть: Трапеция С. С. Курбатов curbatow serg@yandex ru, L1, «не более 2/3 от» (1-ый класс); «вх._в_стр-ру», Площадь, Периметр (2-ой класс); различные текстовые пояснения на рисунках в формате изображения: Треугольник АВС (3-ий класс). И, естественно, пока С. С. Курбатов curbatow serg@yandex ru не рассматриваются художественные графические интерпретации понятий, как это, к примеру, представлено в картине Э. Мунка «Крик».

Для синтеза изображений был разработан язык алгоритмического описания графики GRAphics Situation Planner (GRASP). GRASP – настоящий язык программирования с С. С. Курбатов curbatow serg@yandex ru синтаксисом, напоминающим Lisp, итог интерпретации которого может быть представлен в виде изображения средствами OpenGL.

Разрабатываемый язык состоит из 2-ух частей: процедурная часть (П-язык) задаёт метод синтеза объекта, по элементам которого С. С. Курбатов curbatow serg@yandex ru он синтезируется; декларативная часть (Д-язык) задаёт связи (сцепки) меж элементами и характеристики частей для процедурной части.

Базисный блок П-языка – графический объект. Графические объекты строятся из примитивов: куб, цилиндр, линия, и т.п С. С. Курбатов curbatow serg@yandex ru. У объекта есть характеристики, задаваемые юзером в Д-языке. Практически, объект можно рассматривать как доступную снаружи функцию, а характеристики объекта – её аргументы.

Характеристики объекта имеют очевидный тип, спектр значений С. С. Курбатов curbatow serg@yandex ru, и значение по дефлоту. Кроме объектов в П-языке есть и обыкновенные функции. В П-языке есть понятия цикла for, ветвления if, присваивания локальной переменной var, а так же графические выражения сдвига С. С. Курбатов curbatow serg@yandex ru shift, поворота rotate, масштабирования scale, начала группы group и т.п.

Д-язык определяет характеристики и связи объектов. Объекты можно соединять точками сцепки, положения которых задаются в П-языке. Точка сцепки состоит С. С. Курбатов curbatow serg@yandex ru из положения, ориентации и типа. При соединении автоматом происходит размещение и ориентирование объектов в согласовании с использованными точками. Тип точки служит для определения несопоставимых объектов.

Таким макаром, в Д-языке задаётся дерево связей объектов С. С. Курбатов curbatow serg@yandex ru, и их характеристики. Характеристики задаются числами либо ординарными формулами. Пример выражений Д-языка, в конечном счете, приведет к изображению фигуры Домик (Рис. 2.).

Тут объект rect(), описанный в П-части как прямоугольник, у С. С. Курбатов curbatow serg@yandex ru которого характеристики длинны и высоты width и height заданы 10 и 9. С ним связаны объекты triangle, square и cross (треугольник, квадрат, крест), у каких в свою очередь заданы характеристики и связанные С. С. Курбатов curbatow serg@yandex ru с ними объекты.

Интерпретатор GRASP представляет собой библиотеку, и может подключаться к другим программкам и библиотекам.




Рис. 2. Выражения Д-языка, описывающие концепт Домик, и его визуализация


Результатом работы интерпретатора GRASP является набор геометрических данных. Данные С. С. Курбатов curbatow serg@yandex ru делятся на группы, любая из которых является:

У каждой группы есть метаданные: применяемая текстура, цвет, материал, характеристики вывода (глобальная прозрачность, отбрасывание тени, и т.п.).

Архитектура интерпретатора построена по принципу управления кодом данными, что позволяет поменять С. С. Курбатов curbatow serg@yandex ru и добавлять элементы языка, к примеру, управляющие слова, примитивы графики и интегрированные функции, прилагая малые усилия. В целом, интерпретатор расширяем как в области ввода-вывода и интеграции, так и в области языка С. С. Курбатов curbatow serg@yandex ru и его структур.

Вывод интерпретатора можно визуализировать средствами OpenGL в отдельной программке (записав его в файл), в встроенном с интерпретатором GRASP визуализаторе результата, либо в предстоящей работе большей программки, таковой как С. С. Курбатов curbatow serg@yandex ru "Галлактическая верфь" (см. ниже).

И хотя вывод не привязан конкретно к OpenGL (его можно визуализировать и другими средствами, к примеру, DirectX либо программным растеризатором), в большинстве в рамках данной работы тестов использовалась данная С. С. Курбатов curbatow serg@yandex ru библиотека.

^ 3. Пакет OpenGL

OpenGL – обширно распространённый интерфейс для работы с графическими ускорителями, он не является языком программирования либо описания графики. Обычно OpenGL заходит в набор стандартных библиотек ОС либо самого устройства, на котором будет запускаться С. С. Курбатов curbatow serg@yandex ru программка [Херн и др., 2005].

GL обрабатывает и отрисовывают в буфере кадра графические примитивы с учетом некого числа избранных режимов. Каждый примитив – это точка, отрезок, многоугольник и т.д. Каждый С. С. Курбатов curbatow serg@yandex ru режим может быть изменен независимо от других. Определение примитивов, выбор режимов и другие операции описываются при помощи команд в форме вызовов функций прикладной библиотеки.

Исходя из убеждений разработчиков, OpenGL – это набор команд, которые управляют С. С. Курбатов curbatow serg@yandex ru внедрением графической аппаратуры. Если аппаратура состоит только из адресуемого буфера кадра, тогда OpenGL реализуется стопроцентно с внедрением ресурсов центрального микропроцессора.

OpenGL является прослойкой меж аппаратурой и пользовательским уровнем, что позволяет С. С. Курбатов curbatow serg@yandex ru предоставлять единый интерфейс на различных платформах, используя способности аппаратной поддержки.

Обычная программка, использующая OpenGL, начинается с определения окна, в каком будет происходить отображение. Потом создается контекст (клиент) OpenGL который ассоциируется с этим окном. Дальше свободно С. С. Курбатов curbatow serg@yandex ru употребляются команды и операции OpenGL API. Подробное описание команд OpenGL см. в [Эйнджел, 2001].

4. Опыты

Для тестов выбраны две задачки: интерактивное проектирование объекта и отладка прикладной онтологии планиметрических конструкций.

^ 4.1. Проектирование объекта Галлактическая верфь

Разглядим С. С. Курбатов curbatow serg@yandex ru интерактивный пример синтезатора. В этой программке можно зрительно создавать композиции из блоков и поменять их характеристики. Есть команды управления синтеза: выход, загрузка, сохранение, чистка. Можно выбирать из перечня разные блоки с С. С. Курбатов curbatow serg@yandex ru различными параметрами. Может быть внедрение преобразований вращения, перемещения, приближения, отдаления. Есть режимы прибавления и удаления блоков из конструкции. При добавлении избранного блока на изображении появляются зеленоватые и красноватые стрелки, которые означают С. С. Курбатов curbatow serg@yandex ru подходящие и неподходящие точки сцепления. Удаление может быть только последних блоков. В итоге интерактивной работы юзера с программкой Галлактическая верфь на дисплее выводится окончательное изображение.

В данных опытах программка использовалась в качестве средства статического отображения С. С. Курбатов curbatow serg@yandex ru многокомпонентной графической конфигурации, записанной на языке онтологического представления познаний. На рисунке 3 представлена визуализация конструкции.





Рис. 3. Визуализация конструкции Галлактическая верфь (понизу: предметно-ориентированное ЕЯ-описание; справа ЕЯ-текст, синтезированный из онтологии С. С. Курбатов curbatow serg@yandex ru)

^ 4.2. Отладка онтологических структур концептов

Данный опыт определен существованием в разрабатываемом интегральном комплексе [Курбатов и др., 2012] системы определения, основанного на знании, и необходимостью автоматизации процесса пополнения онтологии с внедрением процедуры верификации (синтеза изображений С. С. Курбатов curbatow serg@yandex ru) [Курбатов и др., 2011 a].

В первом случае внедрение системы концептуального синтеза изображений позволяет заавтоматизировать процесс построения обучающих выборок для системы определения и проверки самого процесса определения (что увеличивает уровень доверия разработчика к распознающей системе С. С. Курбатов curbatow serg@yandex ru). Во 2-м случае такая необходимость появляется из-за того, что в онтологию описания могут вводиться разработчиком конкретно на языке семантических гиперграфов либо юзером на проблемно-ориентированном ЕЯ. Во всех этих случаях С. С. Курбатов curbatow serg@yandex ru требуется вербование системы синтеза изображений для верификации процессов обучения, пополнения и модификации онтологии.

Ниже приведен итог синтеза для онтологической структуры, понятия Кораблик. Планировщик в данном случае генерирует огромное количество изображений этого концепта, варьируя С. С. Курбатов curbatow serg@yandex ru значениями разных характеристик структуры. По рис. 4. видно, что для получения корректного описания понятия Кораблик нужно задавать определенные спектры конфигурации этих характеристик.



Рис. 4. Огромное количество синтезируемых образов по онтологической структуре понятия Кораблик

Подобные опыты С. С. Курбатов curbatow serg@yandex ru были проведены и для других концептов (^ Домик, Ромашка, Окружность, вписанная в треугольник и др.).

Заключение

Подразумевается продолжение теоретических и экспериментальных исследовательских работ по визуализации онтологических структур. Так как рассматриваемая в данном докладе система С. С. Курбатов curbatow serg@yandex ru концептуального синтеза является одним из компонент умственной интегральной системы [Khakhalin et al., 2012], подабающее внимание стоит уделить взаимодействию данной системы с лингвистическим анализатором, разрабатываемым в рамках интегральной системы [Курбатов и др., 2010 b С. С. Курбатов curbatow serg@yandex ru].

Предстоящее оформление спецификации языка GRASP и исследование его отношения с языком представления онтологических познаний (семантическим гиперграфом) позволит вполне заавтоматизировать процесс перехода от онтологической структуры к выражениям языка описания графики.

Подразумевается по мере расширения С. С. Курбатов curbatow serg@yandex ru прикладных областей для системы графической визуализации (к примеру, ее внедрение для визуализации жестов языка глухонемых [Курбатов и др., 2010 a], в системах типа TTP – Text-to-Picture и др.) наращивание процедурной базы С. С. Курбатов curbatow serg@yandex ru графических конструкций в GRASP’е.

^ Перечень литературы

[Khakhalin et al., 2012] Khakhalin G., Kurbatov S., Naidenova K., Lobzin A. Integration of the Image and NL-text Analysis/Synthesis Systems. In book: “Intelligent Data Analysis С. С. Курбатов curbatow serg@yandex ru for Real-Life Applications: Theory and Practice” (Eds. Rafael Magdalena at al.) – USA: IGI Global, 2012.

[Валькман, 2008] Валькман Ю.Р. О моделировании образного мышления: дела «образы – понятия» // Труды ХI государственной конференции по Искусственному С. С. Курбатов curbatow serg@yandex ru Уму с интернациональным ролью – КИИ-2008. М.: URSS, 2008.

[Зенкин, 1991] Зенкин А.А. Когнитивная компьютерная графика. – М.: Наука, 1991.

[Курбатов и др., 2010 a] Курбатов С.С., Литвинович А.В., Хахалин Г.К. Синтез выражений российского жестового С. С. Курбатов curbatow serg@yandex ru языка по естественно языковому тексту // Труды XIV интернациональной конференции «Речь и компьютер». SPECOM-2011, Казань, 2010.

[Курбатов и др., 2010 b] Курбатов С.С., Найденова К.А., Хахалин Г.К. О схеме взаимодействия С. С. Курбатов curbatow serg@yandex ru в комплексе «анализ и синтез естественного языка и изображений» // Труды ХII государственной конференции по Искусственному Уму с интернациональным ролью – КИИ-2010 – М.: Физматлит, 2010.

[Курбатов и др., 2011 a] Курбатов С.С., Литвинович А.В., Хахалин Г С. С. Курбатов curbatow serg@yandex ru.К. Синтез зрительных объектов по естественно-языковому описанию // Труды 2-ой Интернациональной научно-технической конференции «Компьютерные науки и технологии» (КНиТ-2011) 3-7 октября 2011 г., Белгород, 2011.

[Курбатов и др., 2011 b] Курбатов С.С., Найденова К.А С. С. Курбатов curbatow serg@yandex ru., Хахалин Г.К. Интегрирование умственных систем анализа/синтеза изображений и текста: контуры проекта INTEGRO // Труды Интернациональной научно-технической конференции «Открытые семантические технологии проектирования умственных систем» OSTIS-2011, Минск, 2011.

[Курбатов и др С. С. Курбатов curbatow serg@yandex ru., 2012] Курбатов С.С., Лобзин А.П., Найденова К.А., Хахалин Г.К. Гибридная схема анализа изображений // Труды Интернациональной научно-технической конференции «Открытые семантические технологии проектирования умственных систем» OSTIS-2012, Минск, 2012.

[Поспелов, 1996] Поспелов Д.А С. С. Курбатов curbatow serg@yandex ru. 10 "жарких точек" в исследовательских работах по искусственному уму // Умственные системы (МГУ). 1996. 1 (1-4).

[Хахалин, 2009] Хахалин Г.К. Прикладная онтология на языке гиперграфов // Труды 2-ой Всероссийской Конференции с интернациональным ролью "Знания-Онтологии-Теории" (ЗОНТ С. С. Курбатов curbatow serg@yandex ru-09), Новосибирск, 2009.

[Херн и др., 2005] Херн Дональд, Бейкер М. Паулин. Компьютерная графика и эталон OpenGL – М.: Вильямс, 2005.

[Эйнджел, 2001] Эйнджел Э. Интерактивная компьютерная графика. Вводный курс на базе OpenGL, 2 изд. Пер. с англ. – М.: Вильямс С. С. Курбатов curbatow serg@yandex ru, 2001.

of the ACM. 1975. № 22(4).

s-pomoshyu-pravil-podscheta-cifr.html
s-ponyatiem-rekreacii-neposredstvenno-svyazano-ponyatie-otdih.html
s-poslednyaya-cena-zakritiya.html