Нормализация НСИ: что это, из чего состоит и сколько занимает
Нормализация НСИ означает приведение нормативно-справочной информации к единому виду: каждый объект заведён в справочнике один раз, назван по общему шаблону и отнесён к своему классу. Чаще всего нормализуют справочник номенклатуры и материально-технических ресурсов (МТР). После нормализации по справочнику можно закупать, считать остатки и строить отчёты без ручной сверки.
Что входит в НСИ и почему её приходится чистить
Нормативно-справочная информация (НСИ) состоит из справочников, на которые ссылаются все документы учёта. Это номенклатура, контрагенты, единицы измерения, склады, классификаторы. Сложнее всего с номенклатурой. В ней тысячи строк, и её пополняют каждый день разные люди.
Кладовщик пишет «Подш. 180205». Закупщик копирует из счёта «Подшипник 6205-2RS». Это один подшипник в старом и новом обозначении, но в справочнике он живёт двумя карточками. Остаток делится между ними, заявка видит одну, и товар закупают повторно. Через несколько лет таких пар набираются тысячи.
Признаки, что справочнику нужна нормализация
- Склад и учёт показывают разный остаток по одному и тому же товару.
- Закупка регулярно покупает то, что уже лежит на складе под другим названием.
- Поиск по справочнику выдаёт несколько карточек на один запрос, и сотрудник выбирает наугад.
- Аналитика по расходу материалов не сходится, потому что расход размазан по дублям.
- Предприятие готовится к переходу на новую 1С, SAP или MDM и не хочет переносить мусор.
Если совпадает хотя бы два пункта, имеет смысл выгрузить проблемную группу товаров и посчитать, сколько в ней строк на одну реальную позицию.
Из каких этапов состоит нормализация
Состав работ почти везде одинаковый. Меняются объём и глубина.
| Этап | Что делают | Результат |
|---|---|---|
| Обследование | Выгружают справочник, смотрят объём, группы, качество заполнения | Оценка объёма и проблемных групп |
| Методика | Решают, что считать одной позицией, выбирают классификатор и шаблоны наименований | Утверждённые правила |
| Поиск дублей | Собирают все написания одного товара в группу | Группы дублей и основная карточка в каждой |
| Классификация | Относят каждую позицию к классу: по классификатору предприятия, ОКПД2 или отраслевому | Класс у каждой позиции |
| Единое наименование | Переписывают наименование по шаблону: тип, обозначение, характеристики, стандарт | Нормализованное наименование |
| Согласование спорного | Выносят позиции, где ответ зависит от методики, на решение заказчика | Список вопросов с ответами |
| Загрузка | Объединяют дубли в учётной системе и обновляют карточки | Чистый справочник в 1С, SAP или MDM |
| Поддержание | Проверяют новые и изменённые строки по тем же правилам | Справочник не зарастает снова |
Самый недооценённый этап здесь методика. Без неё исполнители решают одни и те же вопросы по-разному. Например, одна ли позиция гайка М12 по ГОСТ 5915-70 и по DIN 934. Подшипник FAG и подшипник того же типоразмера без производителя. Краска в банке и в ведре. Ответ задаёт предприятие, и его нужно зафиксировать до начала массовой работы. Родственный вопрос методики: характеристика товара или отдельная позиция.
Чем нормализация отличается от поиска дублей
Поиск дублей входит в нормализацию как один из этапов. Его можно сделать отдельно, штатной обработкой 1С или вручную. Как это устроено, мы разобрали в статье про объединение дублей в 1С, а о том, почему штатный поиск находит не всё, на странице о дублях с разными написаниями.
Нормализация шире. После неё у каждой позиции есть класс из классификатора, наименование по шаблону и понятные характеристики. По такому справочнику работают закупка, склад, планирование и отчётность. Если только удалить дубли, через год справочник снова станет разнородным.
Сколько занимает нормализация
Ручная нормализация занимает недели и месяцы. Срок зависит от объёма справочника и от того, сколько позиций разбирают вручную, плюс обследование, согласование методики и загрузка. Расчёт по объёмам разобран в статье о том, сколько стоит ручная нормализация справочника.
Ручной объём можно снять, если массовую часть сделать проверкой каждой строки по смыслу и характеристикам, а людям оставить спорное. На тестовом справочнике МТР так разобрали 2 889 строк за 3,3 минуты. Получилось 458 позиций, 91% строк решены без участия человека с точностью 99,7%. На решение людям ушли 38 позиций, где ответ зависит от методики. Как это выглядит в работе, описано на странице о нормализации справочника МТР.
Типичные ошибки
- Начинать без методики. Правила придумывают по ходу, и первые тысячи позиций потом переделывают.
- Доверять сходству по буквам. «6205-2RS» и «6205-2Z» различаются двумя символами, но это разные подшипники. Задвижка Ру16 и Ру25 рассчитана на разное давление. Склеенные по ошибке позиции после замены ссылок смешивают остатки.
- Проверять выборку. Если проверили каждую десятую строку, ошибки в остальных девяти остаются в справочнике.
- Решать спорное наугад. Исполнитель сам выбирает, одна ли это позиция, и никто не видит, где он сомневался. Спорное лучше выносить отдельным списком с причиной.
- Терять исходные данные. Нормализованное наименование пишут поверх старого. Потом нельзя понять, откуда взялась карточка и как её искали раньше.
- Не закрыть источник. После чистки новые карточки заводят как раньше, и дубли возвращаются.
Когда хватит разовой чистки, а когда нужна постоянная
Разовой чистки достаточно, если справочник почти не меняется. Например, перед переходом на новую 1С или внедрением MDM, когда задача в том, чтобы не перенести накопленный мусор. Ещё один случай: после чистки новые карточки заводит один человек по утверждённому шаблону.
Постоянная проверка нужна, если карточки заводят многие: кладовщики, закупщики, филиалы. Или если номенклатура приходит из прайсов и документов поставщиков. Тогда раз в день или чаще проверяют только новые и изменённые строки по тем же правилам, что и при первой чистке. Старые решения не пересчитывают.
Кто делает нормализацию
Своими силами справляются, когда справочник небольшой и есть сотрудник, который знает номенклатуру. Крупные проекты чаще отдают интеграторам 1С и SAP: они ведут методику, согласование с заказчиком и загрузку. Массовый ручной разбор интегратор может передать на субподряд по проверке строк и оставить себе методику и работу с заказчиком.
Вопросы про нормализацию НСИ
- Нормализация НСИ и MDM это одно и то же?
- Нет. MDM означает систему и процессы управления мастер-данными: где хранится справочник, кто и как заводит карточки. Нормализация описывает работу с содержимым справочника. Обычно её делают перед внедрением MDM и потом поддерживают внутри него.
- Нужен ли классификатор до начала нормализации?
- Желательно выбрать его на этапе методики. Это может быть классификатор предприятия, ОКПД2 или отраслевой. Без него позиции получат класс позже, и часть работы придётся повторить.
- Кто утверждает, что считать одной позицией?
- Предприятие, обычно служба НСИ вместе с закупкой и складом. Исполнитель предлагает правило и показывает примеры, но решение остаётся за владельцем справочника.
- Можно ли нормализовать только часть справочника?
- Можно. Часто начинают с группы, где больше всего разных написаний одного товара: подшипники, крепёж, кабель. По ней видно, сколько в справочнике дублей и сколько вопросов к методике придётся решить.
Покажем нормализацию на вашем справочнике
Пришлите 5–10 тыс строк справочника номенклатуры в Excel или CSV, можно обезличенных. В течение дня вернём файл с группами дублей, единым наименованием, классом, уверенностью и статусом. Бесплатно.
Прислать строки на пробу