Устройство под названием Gocen представляет собой ручной сканер, который в реальном времени проигрывает музыку с нотного листа. Проект разработан группой инженеров под руководством доцента Тецуаки Баба (Tetsuaki Baba) из Университета метрополии Токио.

Gocen считывает ноты с листа, определяет их позиции и высоту. На основании этих данных гаджет напрямую воспроизводит музыку на заранее выбранном инструменте, будь то фортепиано или гитара, сканер считывает соответствующие пометки с партитуры и автоматически переключает инструменты по ходу воспроизведения. Кроме того, система распознает тональность, считав пометку Fm, она переходит в тональность «фа минор».

Для сканирования и анализа данных система использует библиотеку OpenCV в комбинации с собственным алгоритмом. Так, пока считывающий модуль находится над нотой, она продолжает звучать, а если это какой-то струнный инструмент, то можно немного сдвинуть сканер вверх или вниз, чтобы сделать «подтяжку». Система поддерживает аккорды, а толщина ноты соответствует ее громкости.

Разработчики утверждают, что идея Gocen посетила их при разговоре с издателями. В настоящий момент ноты используются преимущественно для того, чтобы исполнители играли по ним музыку. Теперь таким музыкантом может быть и компьютер. В перспективе, уверены разработчики, система сможет использоваться как при обучении музыке, так и при ее сочинении.

Источник: 3DNews