Как оценить объём проекта нормализации справочника до старта

Объём нормализации справочника до старта оценивают по выборке. Берут несколько сотен случайных строк, для каждой ищут все её написания во всём справочнике и по размеру найденных групп считают, сколько уникальных позиций останется. Затем раскладывают результат по группам товаров и переводят в часы по норме 5–9 минут на позицию. На справочнике в десятки тысяч строк такая оценка занимает день работы одного специалиста и даёт вилку, которую можно показать заказчику до договора.

Что нужно знать до оценки

Оценка начинается с выгрузки. Попросите у заказчика справочник в Excel или CSV с колонками код, наименование, артикул, единица измерения, группа. Если выгрузку делает ваш специалист, порядок действий описан в статье о выгрузке номенклатуры из 1С в Excel.

До расчёта задайте заказчику четыре вопроса. От ответов зависит, что считать работой.

• Что входит в нормализацию. Только дубли, или ещё класс по классификатору, единое наименование по шаблону и разбор характеристик. Каждый слой добавляет времени на строку. Состав работ подробно разобран в статье про этапы нормализации НСИ.
• Какие строки живые. Карточки без движений за несколько лет и помеченные на удаление часто можно не разбирать. Это сразу сокращает объём.
• Есть ли правила одной позиции. Считать ли одной позицией болт по ГОСТ и по DIN, гайку двух производителей, краску в разной таре. Если правил нет, их придётся согласовывать по ходу проекта.
• Растёт ли справочник во время проекта. Новые карточки появляются каждый день. Договоритесь, на какую дату фиксируется объём.

Отдельно запишите две цифры: число строк в выгрузке и число строк после отсева мёртвых карточек. Дальше считаем по второй.

Взять выборку: как отобрать несколько сотен строк

Выборка нужна случайная. Первые строки выгрузки для оценки не годятся: они отсортированы по коду или по наименованию, и в них попадёт одна-две группы товаров.

1. Добавьте в выгрузку колонку со случайным числом, в Excel это функция СЛЧИС.
2. Скопируйте колонку и вставьте как значения, иначе числа пересчитаются при каждом изменении.
3. Отсортируйте по этой колонке и возьмите первые 300–500 строк.

Если справочник разбит на группы и группы сильно различаются по размеру, возьмите выборку пропорционально: из группы, где 20% строк, примерно 20% выборки. Так оценка по группам получится честнее.

Теперь главное. Дубли строки из выборки почти всегда лежат в остальной части справочника. Поэтому выборку сравнивают со всем файлом. Для каждой строки выборки специалист ищет во всём справочнике все написания той же позиции: по ключевому слову, по обозначению, по артикулу, с учётом латиницы и сокращений. В отдельную колонку он пишет, сколько строк нашлось вместе с исходной. Это размер группы.

Посчитать долю дублей по выборке и разброс

Для каждой строки выборки посчитайте величину 1/k, где k означает размер её группы. Строка без дублей даёт 1. Строка из группы в четыре написания даёт 0,25. Среднее этих величин по выборке, умноженное на число строк справочника, даёт оценку числа уникальных позиций. Такой расчёт не путается, если в выборку случайно попали две строки одной группы.

Цифры в таблице условные, они показывают ход расчёта и не взяты из чьего-либо справочника. Среднее 302 / 400 = 0,755. Уникальных позиций около 40 000 × 0,755 = 30 200. Значит, примерно четверть строк справочника приходится на лишние написания.

Выборка всегда даёт ошибку. Простой способ её увидеть: разбейте выборку на четыре части по 100 строк и посчитайте среднее 1/k для каждой. Если результаты близки, оценке можно доверять. Если одна часть резко отличается, скорее всего, в неё попала густая группа товаров, и выборку стоит увеличить. Для ориентира: при выборке 400 строк статистическая погрешность доли не превышает примерно ±5 процентных пунктов.

Разложить по группам: где дубли густые, где редкие

Одна цифра на весь справочник скрывает главное. Дубли распределены неравномерно, и разбирать разные группы товаров приходится с разной скоростью.

Посчитайте среднее 1/k отдельно для каждой группы справочника или для укрупнённых классов: подшипники, крепёж, кабель, арматура, электрика, лакокрасочные материалы, прочее. Если в группе меньше 30 строк выборки, объедините её с соседней, иначе цифра будет случайной.

Отдельно отметьте группы, где ошибка склейки стоит дорого. Это классы, в которых два похожих обозначения означают разные вещи: 6205-2RS и 6205-2Z у подшипников, Ру16 и Ру25 у задвижек, класс прочности 8.8 и 10.9 у болтов. На таких группах специалист работает медленнее, потому что сверяет характеристики по каждой паре. Закладывайте для них верхнюю границу нормы.

Перевести в часы по 5–9 минут на позицию

Подрядчики по НСИ называют норму ручного разбора 5–9 минут на позицию МТР. Возникает вопрос, на что умножать: на строки или на уникальные позиции. Каждую строку специалист всё равно открывает и сверяет, а решение о единой карточке и наименовании принимает один раз на позицию. Поэтому честно дать заказчику вилку из двух расчётов.

Норму внутри вилки выбирайте по группам. Для чистых групп с заполненным артикулом ближе к пяти минутам, для густых групп с похожими обозначениями ближе к девяти. Перевод часов в рубли и состав скрытых затрат разобраны в статье о стоимости ручной нормализации, здесь повторять расчёт не будем.

К полученным часам добавьте отдельной строкой согласование методики. Каждое правило одной позиции требует вопроса заказчику и ожидания ответа. По выборке видно, сколько таких вопросов возникнет: выпишите все случаи, где вы не смогли решить, дубль это или нет.

Что сдвигает оценку: латиница, фасовка, пустой артикул

Два справочника одного размера и с одинаковой долей дублей разбираются за разное время. Посмотрите на выборку и отметьте признаки, которые замедляют работу.

• Латиница внутри русских слов. «ВВГнг(A)» с латинской A и «ВВГнг(А)» с русской на экране не отличить. Поиск по точному совпадению их разделит. Если таких строк много, ручной поиск написаний идёт дольше, и выше риск пропустить дубль.
• Фасовка в наименовании. Эмаль в банке 0,8 кг и в ведре 20 кг, кабель в бухте и на барабане. Каждая такая пара требует решения по методике, и решение надо применить ко всему справочнику одинаково.
• Пустой или чужой артикул. Если поле пустое или в нём коды разных поставщиков, сверка идёт только по наименованию. Это самый медленный вариант.
• Характеристики в комментарии. Иногда размер или исполнение записаны в отдельном реквизите, которого нет в выгрузке. Тогда наименования совпадают, а позиции разные, и без дополнительных колонок их не развести.
• Старые и новые обозначения. 180205 и 6205-2RS обозначают один подшипник. Специалист без опыта в этом классе такую пару не свяжет, и дубль останется.

Чем больше в выборке строк с такими признаками, тем ближе к верхней границе берите норму для всего справочника.

Чего оценка не покажет

Выборка хорошо оценивает число позиций. Остальное она показывает слабо, и об этом стоит сказать заказчику заранее.

• Редкие густые группы. Позиция, записанная тридцатью способами, может не попасть в выборку из 400 строк. Её найдут только при полном разборе.
• Ошибочные склейки прошлых лет. Если раньше кто-то уже объединил разные позиции в одну карточку, по наименованию этого не видно. Такие случаи всплывают по остаткам и движениям.
• Время ответов заказчика. Оценка считает вашу работу. Сколько заказчик будет согласовывать спорные позиции, по выборке не узнать.
• Объединение карточек в 1С. Перенос результата в базу, проверка остатков и документов идут отдельной работой 1С-специалиста.

Предполагаю, что вам нужно назвать заказчику объём раньше, чем у вас будет время разобрать выборку руками. Так ли это? Тогда выборку можно заменить пробой: проверить 5–10 тысяч реальных строк целиком. Вместо оценки по 400 строкам вы получите размеры групп по каждой строке пробы и список спорных позиций с причиной. По такому результату вилка сужается. Если вы ведёте проект для заказчика, ручной разбор можно отдать на субподряд, методика остаётся за вами. Прислать строки можно через страницу бесплатной пробы.

Вопросы про оценку объёма

Какой должна быть выборка?

Случайной и размером 300–500 строк. Для справочника в несколько десятков тысяч строк этого хватает, чтобы оценить число позиций с погрешностью в несколько процентных пунктов. Если нужны оценки по отдельным группам, в каждой группе должно быть не меньше 30 строк выборки.

Можно ли оценить по числу строк без выборки?

Можно дать только верхнюю границу: умножить все строки на 9 минут. Такая оценка не учитывает, сколько строк окажутся дублями, и обычно завышает объём. Для договора лучше потратить день на выборку.

Что делать, если выгрузка без артикулов?

Оценивать по наименованиям так же, по выборке. Закладывайте норму ближе к верхней границе: без артикула каждое написание приходится сверять по характеристикам в тексте. Спросите заказчика, нет ли артикула в другом реквизите, который не попал в выгрузку.

Как оценка меняется после пробы?

Проба на нескольких тысячах строк даёт фактические группы дублей вместо оценки по выборке. Видно, сколько строк решаются без человека и сколько вопросов уходит заказчику. По этим цифрам вилку трудозатрат пересчитывают для всего справочника.