Показаны сообщения с ярлыком Kinect и XNA. Показать все сообщения
Показаны сообщения с ярлыком Kinect и XNA. Показать все сообщения

7 февраля 2012 г.

Kinect Status Component

В документации к SDK 1.0 приведены рекомендации для обеспечения «great end-user experience» при использовании Kinect-приложений. Основная идея — сделать панель, которая будет показывать изменение состояний устройства, появляясь и исчезая в нужный момент. Я решил начать знакомиться с новым SDK с создания такой панели, тем более затем её можно легко использовать в других проектах, расширяя функциональность:


Например, можно добавить выбор одного из нескольких подключенных к компьютеру контроллеров (теперь поддерживается до четырёх устройств). Мне нравится идея добавить к этой панели возможность калибровки с подсказками — чтобы показать правильно ли был размещён контроллер и попадают ли игроки целиком в кадр.

Панель наследует DrawableGameComponent и предоставляет основную функциональность. Добавил её в тестовое приложение, при подключенном контроллере видео от камеры вращается:


Можно пробовать разные сценарии, отключать питание и USB, смотреть результат.

26 ноября 2011 г.

Who Wants to Be a Dude?

Что-то давно я ничего не писал и не показывал, мне стыдно, надо исправляться :)

Довёл до ума преобразование точек (именно в таком виде можно получать информацию о скелете от Kinect) в кости с неплохим определением их положения в пространстве. С этим была связана некоторая проблема, которую побороть так и не удалось, зато удалось сделать её незаметной. Кстати, если кто-то знает лучшее решение — огромная просьба просветить. 

Мне кажется получилось весьма неплохо, к тому же есть куча возможностей для дополнительного сглаживания результата — это и настройки в самом SDK, и интерполяция точек и кватернионов. Первый скелет рисуется линиями,  можно сказать что это правильно соединённые начальные данные от Kinect, здесь заметно некоторое подёргивание. Если джоинт не удалось рассчитать и он достроен автоматически — линия становится красной. Третий скелет — демонстрация построенных костей с изменёнными пропорциями. И, наконец, центральным персонажем является небезызвестный Dude из примеров c App Hub, с настройкой работы с которым пришлось повозиться. Из-за фиксированных костей таза возникли проблемы с ногами, стопы спасти так и не удалось :) С правильным скелетом всё было бы отлично.




Думаю вполне имеет право на жизнь, а если ещё реализовать совмещение анимаций и корректировку движений в сохранённой анимации — совсем красота будет. Такой вот бюджетный Motion Capture ;)

9 ноября 2011 г.

Обновление примера: второй заход

Оказалось что с примером всё не так радужно как того бы хотелось и у него со второй бетой потекла память из-за пересоздания текстур. Исправил и адаптировал:

8 ноября 2011 г.

Kinect for Windows SDK BETA 2

Вышла вторая бета-версия SDK. Все старые проекты переносятся совершенно безболезненно, достаточно заменить библиотеку в References.

Заметно что навели порядок в структуре SDK, упростили работу с несколькими устройствами, добавили отслеживание их состояний — в целом программный интерфейс стал гораздо правильнее. Самое главное — скелет распознаётся быстрее и точнее, теперь эта задача распараллеливается по ядрам. Количество кадров в секунду от сенсора глубины и движка обработки скелетов стало выше — соответственно, увеличилась скорость реакции и можно добиться отсутствия задержек. Инициализация устройства также происходит быстрее.


P.S. Нет, светодиодом нам так и не дают поморгать :( Видимо эта важная фича будет только в коммерческой версии (ждём в начале 2012 года).


Update: обработку ошибок всё-таки придётся адаптировать под эту версию. И не только.

5 ноября 2011 г.

Обновление примера

Обновил пример к статье по основам взаимодействия Kinect и XNA, добавил получение кадров глубины с подсветкой людей и сделал небольшие изменения:

С получением от Kinect двухмерной информации разобрались, в следующий раз достанем из шкафа скелет :) Получилось частично избавиться от его искажений, размеры костей теперь фиксированы и могут быть настроены под модель.

30 октября 2011 г.

The Xnatrix: премьерный трейлер

Наконец-то сделал давно обещанное видео :) Естественно не обошлось без проблем — съёмка экрана в большом разрешении очень сильно убивает производительность обработки скелета (и это на четырёхъядерном i7-860...) и его совершенно перестаёшь контролировать. Промучившись несколько десятков неудачных дублей я всё-таки снизил разрешение и добился терпимой производительности. Поэтому заранее извиняюсь за не самую лучшую чёткость и небольшие проблемы с управлением из-за глюков скелета. Зачем мне понадобилось обрабатывать скелет? Смотрите сами :)


Update: 
Не знаю даже чем это можно объяснить, но после последовательного изменения параметров (сглаживание движений скелета, вертикальная синхронизация и т.п. — с замером количества кадров и обновлений в секунду) и возвращения изначальных значений, количество кадров от расчитывалки скелета при записи видео перестало падать до 1–15 в секунду и стала возможна вполне нормальная запись в 1920 х 1080. Количество отрисовок при записи стабильно уменьшается в два раза до 30 кадров в секунду. Лишних процессов не было запущено ни тогда, ни сейчас.

21 октября 2011 г.

Kinect и XNA: первая кровь

Итак, наконец-то оторвавшись от Rage, продолжим :) Крови сегодня не будет (да, «все врут»), зато будет первый код: мы посмотрим как получать кадры от камеры и сенсора глубины, а также повертим «головой» Kinect вверх-вниз из кода на C# в нашем XNA-приложении. Соответственно, кроме описанных ранее требований, нам также понадобится XNA Game Studio (я использую 4.0, хотя она уже обновилась — разницы в коде для нас быть не должно).


Для самых нетерпеливых:

10 октября 2011 г.

Kinect и XNA: установка SDK BETA

Первое что нам понадобится для начала экспериментов — это сам Kinect. Его можно взять из набора Xbox 360 + Kinect или купив контроллер отдельно. Причём в первом случае понадобится докупить специальный адаптер, т.к. для подключения Kinect к новым версиям консоли используется модифицированный USB-разъём c дополнительными контактами для питания сервопривода, тогда как в комплект продаваемого отдельно контроллера этот адаптер включен изначально для совместимости со старыми консолями (и, с некоторых пор, с PC).

Также понадобится Kinect for Windows SDK BETA. Не подключайте контроллер до окончания установки SDK, если до этого были установлены другие драйверы — нужно их полностью удалить. И не забудьте закрыть Visual Studio.

8 октября 2011 г.

Kinect и XNA: дополнение к обзору

В своём обзоре я написал об ограниченности возможностей беты официального Kinect SDК для Windows, тем не менее я считаю что это лучший вариант для знакомства с технологией. Однако будет глупо не посмотреть возможности появившихся гораздо раньше альтернативных драйверов, зачастую раскрывающих интересные штуки:

7 октября 2011 г.

Kinect и XNA: обзор

Прошёл почти год с момента начала продаж Kinect — «контроллера без контроллера» от фирмы Microsoft, созданного для увеличения интереса к консолям Xbox 360. В течение первых 60 дней было продано более 8 млн. устройств, таким образом, Kinect попал в Книгу рекордов Гиннеса как «самое быстропродаваемое потребительское электронное устройство в истории».
 
Не удивительно что контроллер стал объектом пристального внимания энтузиастов, решивших использовать сенсор не по инструкциям в руководстве пользователя. Это привело к появлению большого числа различных «хаков», использующих возможности устройства на других платформах при помощи одного из наборов open-source драйверов. Оценив работу энтузиастов и перспективность этого направления, Microsoft решает добавить официальную поддержку работы Kinect с Windows 7 и 16 июня 2011 года выпускает бета-версию SDK, позволяющего .NET разработчикам использовать устройство в своих некоммерческих приложениях на С++/CLI, C# или Visual Basic .NET.