Отзыв о MLPerf от John Murphy

Возможность оценивать разные алгоритмы с точки зрения точности/скорости по отношению к наборам данных или даже другим моделям, созданным другими, — это здорово! Мы можем использовать эту услугу в качестве базовых результатов, если мы понятия не имеем, что должна делать наша модель, потому что она работает недостаточно хорошо, но они дают нам некоторые рекомендации, так что это приятно! Мне лично не нравится, что нет никакого способа, которым вы могли бы легко сравнить свой собственный алгоритм с предоставленными ими - может быть, это только я? Также хотелось бы иметь больше параметров при создании моей тестовой настройки (например, число / тип и т. Д.), Вместо того, чтобы все было предварительно настроено, что иногда усложняет работу, чем необходимо, но не дает особой пользы: /. Там действительно нужна опция, при которой один пользователь имеет контроль над доступом к тому, кто входит в его учетную запись, и поэтому только он видит определенные поля, например. Название модели и используемый алгоритм. Это помогает уменьшить путаницу между двумя пользователями, пробующими что-то похожее, а также помогает им лучше понять, что идет не так, а не обоим.