Skip to content

Что нового в импорте сканированных нот

Как Flat for Education превращает PDF-файлы и фотографии нот в редактируемые партитуры: версии моделей, что распознаётся и что исправлено.

Тот же движок используется в Opuscan и OMR API. На этой странице перечислены изменения по мере их появления в Flat for Education.

Все изменения

Записи автоматически переведены с английского. Прочитать оригинал на английском

В сентябрь

24 небольших изменений
7 августа·Улучшения·

Новая версия модели с поддержкой неявных триолей и других туpletов

Новая версия нашей собственной модели теперь используется при каждом импорте PDF и фотографий и уделяет особое внимание тому, как tuplets напечатаны на странице.

  • Теперь поддерживаются неявные tuplets. Гравёры обычно печатают маленькую «3» или «6» над первой триолью или секстолью в пассаже, а следующие группы оставляют без обозначения — предполагается, что исполнитель сам продолжит этот ритмический рисунок. Такие неотмеченные группы — это неявные tuplets: они исполняются как tuplets, хотя на нотной странице это никак не указано. Они очень часто встречаются в изданиях XIX века, этюдах и вариациях. Теперь при сканировании они восстанавливаются по ритму такта, вместо того чтобы удалять ноты ради соответствия размеру.
  • Меньше tuplets, придуманных на пустом месте. Раньше модель могла отмечать обычные группы под общим ребром как триоли, даже если над ними не было напечатано никакой цифры, и эти цифры появлялись в вашей партитуре. Теперь tuplet записывается только там, где он действительно указан на странице.

Также в август

16 небольших изменений
29 июля·Улучшения·

Новая версия модели с упором на точность распознавания сканов нот

Новая версия нашей собственной модели теперь используется для каждого импорта PDF и фотографий и показывает на 22%–51% меньше ошибок в наших тестах распознавания сканированных нот. Наибольший прирост заметен на более сложных страницах — старых гравированных изданиях и при неравномерной печати.

24 июля·Улучшения·

Новая версия модели с упором на исправления нотации

Улучшенная версия собственной модели Flat теперь используется для импорта всех PDF-файлов и фотографий, в частности:

  • Теперь поддерживаются многоголосные фрагменты с общими паузами и невидимыми паузами.
  • Тактовые черты и окончания повторов (вольты) теперь правильно размещаются внутри тактов.
  • Группировка нот рёбрами теперь распознаётся надёжнее.
  • Обозначения размера, записанные через несколько нотоносцев, как в оркестровых партитурах, теперь распознаются.
  • Исправлены некоторые буквенно-цифровые обозначения аккордов, которые экспортировались в MusicXML с нестандартным типом аккорда.
15 июля·Новое·

Импорт PDF или фотографий в редактируемую партитуру с этапом проверки

В веб-приложении появился новый процесс импорта нот из PDF или фотографии, основанный на собственном движке распознавания Flat. Теперь он заменяет прежний импорт PDF для всех пользователей.

  • Выберите нужные страницы. Загрузите PDF или несколько фотографий, затем оставьте только те страницы, на которых есть ноты. Каждая сохранённая страница расходует один кредит.
  • Следите за распознаванием по мере его выполнения. Индикатор прогресса показывает, на каком этапе находится сканирование, страница за страницей, и вы можете продолжать пользоваться Flat, пока оно выполняется.
  • Проверьте перед созданием партитуры. Если движок не уверен в инструменте, он попросит вас подтвердить название и обнаруженные инструменты; рядом с каждым будут показаны названия партий, напечатанные на странице. Если все инструменты распознаны уверенно, этот шаг пропускается.

Доступно в Flat и, для преподавателей и администраторов, в Flat for Education. Новый процесс появится в приложении iOS в ближайшие недели.

10 июля·Новое·

OMR теперь доступен как API для разработчиков

Модуль OMR от Flat теперь доступен программно через API для разработчиков. Отправляйте PDF-файлы или фотографии, отслеживайте ход распознавания, проверяйте обнаруженные инструменты, а затем импортируйте результат как редактируемую партитуру в библиотеку Flat или экспортируйте в MusicXML или MIDI. Это та же внутренняя модель, которая лежит в основе импорта PDF и фотографий в редакторе, а теперь она доступна в масштабе для ваших собственных приложений и рабочих процессов.

Специализированный OMR API (v2.24.0) основан на фоновом импорте PDF, добавленном при создании партитуры в v2.23.0: запрашивайте поддержку задач при импорте файла и опрашивайте задачу, пока партитура не будет готова. Подробности по обоим выпускам смотрите в журнале изменений API.

Также в июль

8 небольших изменений
23 июня·Улучшения·

Более точный анализ страницы для сложных макетов

Мы улучшили распознавание макета страницы при сканировании. Импорт PDF-файлов и фотографий теперь даёт более чистые и точные партитуры, особенно при сложной компоновке:

  • Плотные страницы теперь разделяются правильно. Страницы с большим количеством коротких систем, расположенных друг над другом, больше не объединяются — каждая система распознаётся отдельно.
  • Лучше для оркестровых партитур и больших ансамблей. Инструменты с несколькими нотоносцами, такие как фортепиано и орган, а также большие партитуры с множеством нотоносцев распознаются надёжнее.
  • Широкие, альбомные страницы и буклеты. У альбомных страниц больше не обрезается левый край (из-за чего могли пропадать ключи), а многостраничные сканы и сканы буклетов теперь обрабатываются корректно.
  • Меньше случайных распознаваний. Посторонние элементы рядом с нижними колонтитулами и полями страницы больше не принимаются за нотный текст.
15 июня·Улучшения·

Более точная модель

Теперь каждый импорт PDF и фотографий обрабатывается собственной внутренней моделью Flat. В этом выпуске представлена крупная новая версия, сосредоточенная на точности распознавания: музыкальная корректность (ноты, ритмы, лиги, знаки альтерации — всё, что определяет правильность партитуры) улучшена на всех тестовых наборах, а наибольший прирост достигнут в следующих областях:

  • Динамика: +39%
  • Ферматы, артикуляция, лиги, знаки альтерации: +30 to 37%
  • Длительности нот: +22%
  • Лиги фразировки, ноты с точкой, паузы, назначение нотоносца и голоса: +14 to 20%

Текст, динамика и размещение элементов в нотной записи также стали точнее: слова, буквенно-цифровые обозначения аккордов и динамические обозначения теперь надёжнее привязываются к правильным нотам, в том числе в сложной записи, например на фортепианных системах из двух нотоносцев и в партиях со сменой ключа.

1 июня·Новое·

Начинается внедрение нашей собственной модели ИИ

Мы начинаем внедрять собственную модель ИИ Flat для импорта PDF и фотографий, разработанную и обученную внутри компании, чтобы заменить сторонний движок, использенный при запуске. Полный контроль над технологией позволяет нам ещё больше повышать точность, расширять набор распознаваемых элементов, выпускать улучшения значительно быстрее и лучше согласовывать результаты с собственным форматом нотации Flat, чтобы импортированные партитуры естественно вписывались в остальную часть продукта. Уже в этом первом выпуске распознаётся гораздо больше музыкального материала:

Более широкий охват нотации. Теперь распознаются:

  • Буквенно-цифровые обозначения аккордов, корректно кодируемые по их музыкальному значению как редактируемые аккорды, а не просто как обычный текст
  • Повторы тактов и ритмические слэши
  • Обозначения темпа и метрономические указания (с BPM)

Текст и слова на большем числе языков. По умолчанию распознаются слова песен, репетиционные буквы и другой текст на языках с латиницей, а также на японском, корейском и китайском.

Более точное соответствие исходной вёрстке. Теперь импортированные партитуры гораздо точнее следуют макету исходной партитуры, сохраняя число тактов в строке, систем на странице и общую структуру. Это особенно заметно на больших и сложных партитурах, например в оркестровых произведениях и для многострочных инструментов, таких как фортепиано. Также поддерживается больше форматов страниц, включая альбомные страницы, которые раньше не поддерживались.

Также в июнь

8 небольших изменений

Ищете что-то более раннее?

Описание более ранних обновлений доступно в блоге Flat — выпуск за выпуском.