Ошибка программного лицензирования error 10004 0x00002714

   AleksandrM09

18.02.16 — 16:17

   AleksandrM09

1 — 18.02.16 — 16:23

Вчера лично стал свидетелем такого поведения. Подключился к серверу, при попытке открыть документ РТУ наблюдалось провисание на 3-4 секунды, так же они закрывались. Закрыл/открыл новый сенас, под тем же пользователем — работало как нужно.  Ночью запустил реструктуризацию и пересчет итогов. Результат тот же.

   AleksandrM09

2 — 18.02.16 — 18:08

Подведу итог. Что может влиять на скорость открытия/закрытия  в 1С ?

   Fragster

3 — 18.02.16 — 18:13

в режиме отладки? или в любом режиме?

   vicof

4 — 18.02.16 — 18:15

Сеть какая? Файловая или  Серверная?

   vicof

5 — 18.02.16 — 18:15

А. Вижу,  Серверная

   AleksandrM09

6 — 18.02.16 — 18:18

(3) пользователи запускают 1С ку в режиме предприятия. Могут 15 работать нормально, у двоих временное такие фризы. Потом фризы могут начаться у других. Понять в чем беда не могу.  Сегодня хочу для половины сотрудников завести отдельных пользователей для подключения по RDP, чтоб у каждого была своя папка со своим кешем и зодно обновлю 1С ку до версии 8.3.7.1917 .

   zak555

7 — 18.02.16 — 18:21

попробуй также 8.3.8

   H A D G E H O G s

8 — 18.02.16 — 18:23

Выноси пользователей на локальные тонкие клиенты.

   AleksandrM09

9 — 18.02.16 — 18:23

   zak555

10 — 18.02.16 — 18:24

(9) на полном серьёзе — поиск летает там

   AleksandrM09

11 — 18.02.16 — 18:28

(8) Не совсем понял, можно чуть развернуть совет ?

   AleksandrM09

12 — 18.02.16 — 18:32

(10) не имею желания тестовую версию ставить на работающий (хоть и с непонятными фризами) сервер 🙂

   shuhard

13 — 18.02.16 — 18:48

(6)[Понять в чем беда не могу.]

а ты и не пробывал

нет ни счетчиков

ни замера в 1С

нет даже тех.журнала

   romix

14 — 18.02.16 — 18:51

   AleksandrM09

15 — 18.02.16 — 19:11

(13) (14) спасибо, настрою счетчики и посмотрю . Везде где натыкаюсь на информацию о замере производительности по счетчикам, натыкаюсь на английские названия. Буду сейчас добавлять и замерять.

   shuhard

16 — 18.02.16 — 19:16

(15)[Везде где натыкаюсь на информацию о замере производительности по счетчикам, натыкаюсь на английские названия]

и чё ?

   AleksandrM09

17 — 18.02.16 — 19:17

(16) все хороршо, перевожу и добавляю)

   orangekrs

18 — 18.02.16 — 19:38

Про режим энергопотребления уже было ? Выставлено в «максимальная производительность» ?

   AleksandrM09

19 — 18.02.16 — 19:58

   hhhh

20 — 18.02.16 — 21:00

(19) может программера допросить с паяльником? Наверняка он каких нибудь тупых запросов понавставлял.

   floody

21 — 18.02.16 — 21:28

Стесняюсь спросить, регламенты работают на sql?

   AleksandrM09

22 — 19.02.16 — 00:17

   Сергиус

23 — 19.02.16 — 00:31

(0)Регламентные задания какие крутятся в базе?

   AleksandrM09

24 — 19.02.16 — 00:54

   AleksandrM09

25 — 19.02.16 — 00:56

Даже меньше, каждые 2,5 минуты.

   Сергиус

26 — 19.02.16 — 00:57

(25)Попробуй на время отключить все активные задания и смотри что будет. Если все ок, то постепенно стартуй по одному, так и найдешь виновника.

   AleksandrM09

27 — 19.02.16 — 01:00

(26) спасибо, обновлять платформу+сервер это блажь ? Не нужно ?

   Сергиус

28 — 19.02.16 — 01:31

(27)Обновлять можно конечно, только всегда есть шанс, что после обновления станет еще хуже)

   AleksandrM09

29 — 19.02.16 — 01:36

   AleksandrM09

30 — 19.02.16 — 14:05

   eklmn

31 — 19.02.16 — 14:18

(29) не надо переезжать обратно

   APXi

32 — 19.02.16 — 15:04

Может обмен с сайтом в фоновых висит

   AleksandrM09

33 — 19.02.16 — 15:12

   AleksandrM09

34 — 19.02.16 — 15:19

   AleksandrM09

35 — 19.02.16 — 16:01

   NicolayNN

36 — 19.02.16 — 16:18

(24) Почему время выполненного задания 20.02.2016? Сегодня только еще 19.02.2016

   AleksandrM09

37 — 19.02.16 — 16:59

(36) на сервере стоит +1 день.

   shuhard

38 — 19.02.16 — 17:10

(37) это хуже, чем плохо, это катастрофа

   AleksandrM09

39 — 19.02.16 — 17:24

(38) Можно подробнее ?

   AleksandrM09

40 — 19.02.16 — 17:39

   Сергиус

41 — 19.02.16 — 17:49

   AleksandrM09

42 — 19.02.16 — 18:00

   AleksandrM09

43 — 23.02.16 — 15:23

   AleksandrM09

44 — 23.02.16 — 18:16

Предполагаю что проблема не носит характера 1С. Перезапуск RDP сеанса кратковременно позволяет работать без фризов. Пора заканчивать эту историю, в выходные переставлю сервер целиком, заодно настрою массивы под SQL c размером страйпа в 64 кб.

   Fragster

45 — 24.02.16 — 11:36

настрой технологический журнал 1с на операции больше 5 секунд. проанализируй. если будет пусто, то 2 секунды и т.п.

   AleksandrM09

46 — 24.02.16 — 19:23

   Fragster

47 — 24.02.16 — 19:29

у меня так для отлова всего, что больше 0.1 секунды. соответственно, duration надо увеличить пропорционально:

<?xml version=»1.0″ encoding=»UTF-8″?>

<config xmlns=»http://v8.1c.ru/v8/tech-log»&gt;

    <dump create=»true» type=»0″ prntscrn=»false»/>

    <log history=»2″ location=»D:Технологический журнал 1с»>

        <property name=»all»/>

        <event>

            <eq property=»name» value=»SDBL»/>

            <gt property=»duration» value=»1000″/>

        </event>

        <event>

            <eq property=»name» value=»DBMSSQL»/>

            <gt property=»duration» value=»1000″/>

        </event>

    </log>

    <plansql/>

</config>

   Fragster

48 — 24.02.16 — 19:30

   AleksandrM09

49 — 24.02.16 — 22:14

   Ranger_83

50 — 25.02.16 — 07:48

(0) ПО лиценщионное? Я про WinSRV SQL

   Ranger_83

51 — 25.02.16 — 07:49

Антивир в реальном времени, поиск рутктов?

   Necessitudo

52 — 25.02.16 — 07:57

Стоп-стоп-стоп.То есть у тебя на одном сервере MS SQL и сервер 1С и терминальный сервер?

   AleksandrM09

53 — 25.02.16 — 10:56

   AleksandrM09

54 — 25.02.16 — 12:04

   Necessitudo

55 — 25.02.16 — 14:44

(54) Нужно поставить туда еще контроллер домена и АТС. Тогда все полетит.

   AleksandrM09

56 — 25.02.16 — 14:49

(55) спасибо за совет, обдумаю.

   Fragster

57 — 25.02.16 — 14:52

(49) при таких настройках в базе либо не должно быть фризов либо настройка лежит не в том месте (не на сервере)

   Necessitudo

58 — 25.02.16 — 15:14

То есть 64 гб оперативки  — из них 40 сиквелу, а все оставшиеся 24 серверу 1С и 27  пользователям? И оперативки хватает? Как так?

   AleksandrM09

59 — 25.02.16 — 15:47

   Fragster

60 — 25.02.16 — 15:50

(59) по дефолту в C:Program Files1cv8conflogcfg.xml

   Fragster

61 — 25.02.16 — 15:55

для толстого клиента на сервере терминалов тоже неплохо бы настроить, там по дефолту в C:Program Files (x86)1cv8conflogcfg.xml

   Necessitudo

62 — 25.02.16 — 16:38

   Fragster

63 — 25.02.16 — 16:56

ну и да — очиститьнастройкипользователя()

   AleksandrM09

64 — 25.02.16 — 17:17

   AleksandrM09

65 — 25.02.16 — 18:03

(63) понял что про внутренние настройки, качаю обработку, попробую очистить настройки рядовым сотрудникам.

   AleksandrM09

66 — 25.02.16 — 20:36

   Cyberhawk

67 — 25.02.16 — 20:57

Это только в одной базе так? В других базах пользователи работают?

   Garykom

68 — 25.02.16 — 21:09

А точно сама 1С подвисает? Может терминальные клиенты в смысле сетка в целом?

   AleksandrM09

69 — 25.02.16 — 23:52

   Metman

70 — 26.02.16 — 06:20

   Fragster

71 — 26.02.16 — 10:39

(70) это фейк. проблемы в rdp были, но не на уровне «поставьте 8800GT» и точно не «Оказывается, странно написанная жёлтая фигня не умела корректно работать с четырёхголовыми мутантами — использовала-то все четыре ядрышка, но почему-то только на 15% мощности. Увидев же могучую 8800 с заветной CUDA, 1С набросилась на неё со всем остервенением.»

   Garykom

72 — 26.02.16 — 14:55

   Cyberhawk

73 — 26.02.16 — 15:02

(69) Если фризы есть как в толстом клиенте на локальных ПК пользователей, так и в терминале, то дело скорее всего в канале между клиентом и сервером приложений, либо между сервером приложений и сервером БД.

Перенеси базу и лог на общий диск (и отключи шаред мемори) и проверь.

И покажи настройку перезапуска РП и памяти в кластере и рабочем сервере.

   AleksandrM09

74 — 03.03.16 — 09:25

   ansh15

75 — 03.03.16 — 12:04

(74) А однопоточный тест тоже заметно увеличился, или так же? Кстати, сколько?

Виртуальные машины убрал?

   AleksandrM09

76 — 03.03.16 — 12:20

   ansh15

77 — 03.03.16 — 13:56

(76) Извини, невнимательно посмотрел, обычно если тема про тормоза/виснет и т.д., то как правило стоит ВМ(или несколько), от которых отказаться никак нельзя «по принципиальный соображениям».

38 — это хорошо.

   AleksandrM09

78 — 03.03.16 — 16:00

   AleksandrM09

79 — 08.03.16 — 21:38

   Cyberhawk

80 — 09.03.16 — 09:27

   AleksandrM09

81 — 09.03.16 — 11:01

(80) снес антивирус со своей машины (на ней стоит HASP LM), указал на сервере жестко его IP, отключил BROADCAST.  Если дело окажется в ключах, это будет хохма.

   IVT_2009

82 — 09.03.16 — 16:58

У меня при потере ключа вообще в полный даун впадала. Ключ был сетевой аппаратный.

   AleksandrM09

83 — 10.03.16 — 10:56

   AleksandrM09

84 — 14.03.16 — 13:58

   Cyberhawk

85 — 14.03.16 — 14:47

Что с аппаратными ключами сделал?

(85) Да банально перенес на соседний сервер, где не стоял чудесный доктор веб. На терминальном сервере указал куда нужно смотреть в поисках сетевых ключей и все «тормоза» ушли.

Хм… Включил анализ логов. Сразу же получил:

29:26.784014-0,EXCP,4,process=rphost,p:processName=maxa_base_1,t:clientID=2325,t:applicationName=BackgroundJob,t:computerName=V8APP01,Exception=0874860b-2b41-45e1-bc2b-6e186eb37771,Descr='srcLicenseBaseImpl.cpp(4498):
0874860b-2b41-45e1-bc2b-6e186eb37771: Ошибка программного лицензирования. Ошибка привязки программной лицензии к компьютеру: file://C:/ProgramData/1C/licenses/20180821134359.lic
После получения лицензии удалены:
DISK_1: VMware Virtual disk SCSI Disk Device, SCSIDISK&VEN_VMWARE&PROD_VIRTUAL_DISK5&1982005&0&000000, 512, 63, 15665, 255, 3994575, 251658225, 128849011200
DISK_0: VMware Virtual disk SCSI Disk Device, SCSIDISK&VEN_VMWARE&PROD_VIRTUAL_DISK5&1982005&0&000100, 512, 63, 19842, 255, 5059710, 318761730, 163206005760
В текущей конфигурации компьютера имеются:
DISK_1: VMware Virtual disk SCSI Disk Device, SCSIDISK&VEN_VMWARE&PROD_VIRTUAL_DISK5&1982005&0&000000, 512, 63, 17623, 255, 4493865, 283113495, 144954109440
DISK_0: VMware Virtual disk SCSI Disk Device, SCSIDISK&VEN_VMWARE&PROD_VIRTUAL_DISK5&1982005&0&000100, 512, 63, 23497, 255, 5991735, 377479305, 193269404160
File=srcLicenseBaseImpl.cpp(4267)'

При этом 1с работает. Как клиент, так и сервер… Что бы это значило?

Изначально я использовал связку grep (cygwin) + perl, команды были что-то из разряда:

grep '' -rh --include '*.log' | perl descr.pl

или 

cat */*.log | perl descr.pl

Первый вариант предпочтителен т.к. мы не зависим от количества вложенных директорий.

Вот собственно скрипты которые выложены на kb

Надеюсь я не нарушил никакое авторское право :). Сразу бросается в глаза, что эти скрипты написаны по одному шаблону и во всех трех присутствует одна и та же ошибка (не будем об этом). 

Данные скрипты маленькие, емкие, лаконичные если хотите, и весьма быстрые. Однако они не самодостаточные, т.е. они не агрегируют duration, не выводят количество, по сути эти скрипты некий промежуточный этап, потом результат можно дополнительно обрабатывать AWK или SED’ом, что не очень удобно и не всем доступно (с точки зрения доступности скилов).

Решил я написать перловый скрипт который агрегирует произвольные значения (duration, потребление памяти, да что захотите), хитро группирует колстек (выбрасывает из него все нечитаемые символы, цифры и всякие «,:;’ ), но в консоль выводится все красиво. Скрипт был написан, ознакомиться можно в репе, данный скрипт на вход принимает различные параметры (сортировка, группировка, топ). Вроде все ок, но потом я подумал, все же зачем людям ставить к себе cygwin, надо искать файлы перлом, сказано — сделано. Однако, такой скрипт работал на несколько порядков медленнее. Например если скрипт который читает из StdIn выполнялся 10 сек. то скрипт который читал файлы уже тратил около 15 минут. (обрабатываемый объем естественно одинаков)

Видимо это из-за того, что я регулярку натравливал на весь файл

Решил было распараллелить процесс чтение из файлов, но perl нормально не параллелится и это было мое последнее разочарование, после которого я потерял интерес к perl’у. 

---

perl нормально не параллелится

Тут стоит внести ясность, перл конечно умеет работать «параллельно», но в режиме кооперативной многозадачности, для этого в перл есть т.н. корутины (coroutines) или модуль AnyEvent

Схематично это можно представить так:

т.е. управление передается от корутины к корутине, но общее время выполнение будет такое же как если бы код выполнялся линейно.

К тому же, исторически все же перл создан под linux, в linux можно было бы создать отдельные процессы (fork) и радоваться, но в  винде не создается отдельный процесс при выполнении fork(). Есть еще AnyEvent::Fork::Pool, но запустить пример из cpan мне так и не удалось. (особо не старался если честно)

В целом мое впечатление о перле — синтаксис удобный, но язык тяжелый для изучения 

---

После этого я переключился на Golang, параллельность у Go это его сильная сторона. В Go есть свои корутины, в Go они называются горутины. Горутины из себя представляют треды которые работают как в кооперативной многозадачности, так и параллелятся по процессам. Как результат был написана консольная утилита (ссылка на репу в конце статьи).

Архитектура утилиты получилась такая такая: 

Каждый файл обрабатывает отдельная горутина, каждая такая горутина разбирает файл на такие части:

41:56.637012-1,SCALL,2,process=rphost,p:processName=ZKGU_KBR,OSThread=15448,t:clientID=20,t:applicationName=BackgroundJob,t:computerName=SP-SRV1,t:connectID=293645,SessionID=11,Usr=DefUser,ClientID=17,Interface=12af46e1-4f3e-4446-a753-519e54d55f48,IName=IObjectLocksStor,Method=2,CallID=33656,MName=clearObjectLocks
41:58.602000-0,CONN,1,process=rphost,OSThread=15448,ClientID=20,Txt=Incomming connection closed: long still
41:58.602001-10966996,CONN,0,process=rphost,OSThread=15448,t:clientID=20,t:clientID=20,t:computerName=SP-SRV1,t:applicationName=BackgroundJob,t:connectID=293645,Calls=11
42:01.551000-0,CONN,0,process=rphost,OSThread=5148,Txt='Ping direction statistics: address=[::1]:1541,pingTimeout=5000,pingPeriod=1000,period=10296,packetsSent=10,avgResponseTime=0,maxResponseTime=0,packetsTimedOut=0,packetsLost=1,packetsLostAndFound=1'
42:11.847000-0,CONN,0,process=rphost,OSThread=5148,Txt='Ping direction statistics: address=[::1]:1541,pingTimeout=5000,pingPeriod=1000,period=10296,packetsSent=10,avgResponseTime=0,maxResponseTime=0,packetsTimedOut=0,packetsLost=1,packetsLostAndFound=1'
42:17.588001-0,EXCP,0,process=rphost,OSThread=16304,Exception=0874860b-2b41-45e1-bc2b-6e186eb37771,Descr='srcLicenseBaseImpl.cpp(5203):
0874860b-2b41-45e1-bc2b-6e186eb37771: Ошибка программного лицензирования. Error=10004(0x00002714): Операция блокирования прервана вызовом WSACancelBlockingCall.
File=srcLicenseBaseImpl.cpp(5144)'
42:18.508012-0,EXCP,0,process=rphost,OSThread=10848,Exception=acea3e6e-3687-4792-8319-09c009274c9a,Descr='srcRHostImpl.cpp(5456):
acea3e6e-3687-4792-8319-09c009274c9a: Рабочий процесс не найден'

(раскрасил для наглядности)

Каждая такая часть поступает на обработку пулу воркеров, по дефолту пул состоит из 10 воркеров (воркер — отдельная горутина, которая работает в фоне и ожидает на вход каких-то данных для обработки), размер воркеров может меняться параметром, об этом далее.

Результат работы воркера это определенная структура, каждый воркер накапливает внутри себя map’ы результатов, по окончанию обработки файлов у нас получается 10 (по количеству горутин) map’ов, они в свою очередь объединяются в общую мапу отдельной горутиной.

map — структура данных в Go, в perl аналог — хэш, в 1С  — соответствие

В результате на выходе мы получаем некий контекст (программист задает, что будет контекстом) и некие агрегируемые поля (агрегация всегда осуществляется по полю value, а вот откуда будет браться значения для value определяется программистом)

Вывод результата получается такой:

Для события EXCP

(rphost) EXCP, количество - 7
'srcVResourceInfoBaseImpl.cpp(1113):
580392e6-ba49-4280-ac67-fcd6f2180121: Ошибка работы сеанса
Ошибка при выполнении запроса POST к ресурсу /e1cib/logForm:
60c686dc-798f-4d17-aadb-a90156a16eb8: Сеанс отсутствует или удален
ID=1204924e-c4ad-43e0-a801-78dca981c70d

(rphost) EXCP, количество - 7
'Сеанс отсутствует или удален
ID=3c12c449-3c3a-48fb-a1c4-f01869814f97

(rphost) EXCP, количество - 2
'Сеанс отсутствует или удален
ID=f8467c59-27ca-4ed9-8768-5f48b6f9ce92

для события CALL

(ИмяБазы) CALL, количество - 9, MemoryPeak - 8317991
ОбщийМодуль.Вызов : ОбщийМодуль.ДлительныеОперацииВызовСервера.Модуль.ОперацииВыполнены

(ИмяБазы) CALL, количество - 1, MemoryPeak - 950231
ОбщийМодуль.Вызов : ОбщийМодуль.СтандартныеПодсистемыВызовСервера.Модуль.СкрытьРабочийСтолПриНачалеРаботыСистемы

(ИмяБазы) CALL, количество - 1, MemoryPeak - 726808
ОбщийМодуль.Вызов : ОбщийМодуль.ИнтернетПоддержкаПользователейВызовСервера.Модуль.ПередНачаломРаботыСистемы

(ИмяБазы) CALL, количество - 1, MemoryPeak - 1454045
ОбщийМодуль.Вызов : ОбщийМодуль.МенеджерОборудованияВызовСервера.Модуль.НайтиРабочиеМестаПоИД

(ИмяБазы) CALL, количество - 1, MemoryPeak - 1210482
Форма.Вызов : Обработка.РезультатыОбновленияПрограммы.Форма.ИндикацияХодаОбновленияИБ.Модуль.ЗагрузитьОбновитьПараметрыРаботыПрограммыВФоне

в данном случай value выбрано MemoryPeak, можно выбрать duration, как напишите регулярку.

Шаблон для вывода может переопределять программист.

Параметры которые принимает утилита:

• -SortByCount — признак того, что нужно сортировать результат по количеству 
• -SortByValue — признак того, что нужно сортировать по значению
• -io — признак того, что данные будут поступать из потока stdin
• -Top — ограничение по количеству выводимого результата
• -Go — количество горутин в пуле (по умолчанию 10)
• -RootDir — директория где будет осуществляться поиск 

И для профилирования:

• -cpuprof
• -memprof

Пример использования:

ParsLogs.exe  -RootDir=C:Logs

В данном случае поиск логов будет производиться по каталогу «C:Logs»

Также можно применять в тандеме с grep’ом

grep » -rh —include ‘*.log’ | ParsLogs.exe -io

Пример сочетания параметров

ParsLogs.exe  -RootDir=C:Logs -Top=10 -SortByCount

Будет выведено 10 результатов отсортированных по количеству

Немного сравнения с перлом:

Для примера был взят мой перловый скрипт с агрегацией и объем логов ТЖ 2.8г

grep » -rh —include ‘*.log’ | perl CallDurationsMem.pl скрипт выполнялся ~ 10 минут

grep » -rh —include ‘*.log’ | ParsLogs.exe -io примерно 3 минуты зависит от того сколько внутри регулярок применяется к блоку данных

ParsLogs.exe  -RootDir=C:Logs примерно 2 минуты

Пробовал парсить 30Гб логов, ушло около 2ч.

Кто-то скажет, так перловый скрипт видимо написан не оптимально, я соглашусь, я в перле новичок, так же как и в Go, т.е. считаем, что оба эти приложения написаны не особо оптимально (кстати в Go написать менее оптимально вероятности куда больше, т.к. там нужно не забывать тот факт, что структуры и большинство типов передаются по значению)

Профилирование приложения показало, что основную нагрузку на приложение дает регулярка:

По этому скорость обработки логов напрямую зависит от того насколько оптимальна написана регулярка и сколько этих регулярок под капотом. Регулярок может быть несколько т.к. в приложении был применен pattern chain of responsibility, об это будет рассказано далее.

Если вы захотите присоединиться к разработке, ниже информация для вас:

Как уже писалось выше, в архитектуре решения был применен pattern chain of responsibility (кому интересно вот статья как накостылить этот паттерн на 1С). Основная структура в коде это Chain и интерфейс IChain который чаще всего будет претерпевать изменения. Структура Chain это есть один из звеньев в цепочки ответственности 

Цепочка строится в методе BuildChain() (метод в пакете Tools)

func BuildChain() *Chain {
Element1 := Chain{
regexp:         regexp.MustCompile(`(?si)[,]CALL(?:.*?)p:processName=(?P<DB>[#k8SjZc9Dxk,]+)(?:.+?)Module=(?P<Module>[#k8SjZc9Dxk,]+)(?:.+?)Method=(?P<Method>[#k8SjZc9Dxk,]+)(?:.+?)MemoryPeak=(?P<Value>[d]+)`),
AgregateFileld: []string{"event", "DB", "Module", "Method"},
OutPattern:     "(%DB%) CALL, количество - %count%, MemoryPeak - %Value%
%Module%.%Method%",
}

Element2 := Chain{
regexp:         regexp.MustCompile(`(?si)[,]CALL(?:.*?)p:processName=(?P<DB>[#k8SjZc9Dxk,]+)(?:.+?)Context=(?P<Context>[#k8SjZc9Dxk,]+)(?:.+?)MemoryPeak=(?P<Value>[d]+)`),
NextElement:    &Element1,
AgregateFileld: []string{"DB", "Context"},
OutPattern:     "(%DB%) CALL, количество - %count%, MemoryPeak - %Value%
%Context%",
}

Element3 := Chain{
regexp:         regexp.MustCompile(`(?si)[,]EXCP,(?:.*?)process=(?P<Process>[#k8SjZc9Dxk,]+)(?:.*?)Descr=(?P<Context>[#k8SjZc9Dxk,]+)`),
NextElement:    &Element2,
AgregateFileld: []string{"Process", "Context"},
OutPattern:     "(%Process%) EXCP, количество - %count%
%Context%",
}
return &Element3
}

Метод должен возвращать всегда ссылку на последнее звено в цепочке. Используется это так, выполняется метод «звена» Execute, если он вернул nil и есть следующий элемент в цепочке,тогда вызывается Execute следующего элемента. В Execute выполняется регулярка + кой какие пляски, чтобы можно было удобно работать с именованными группами захвата.

• regexp — шаблон регулярного выражения. Группы захвата обязательно должны быть именованными, в Go это делается так (?P<Имя> …..)
• NextElement — ссылка на предыдущее звено цепочки
• AgregateFileld — имена групп захвата по которым будет производиться агрегация 
• OutPattern — шаблон по которому будет выводиться результат. В примере выше маркер %count% нигде не задается, это количество подходящих элементов в группе (при агрегации), давайте считать этот маркер «системным». Группа захвата содержащие значение которое будет суммироваться должна называться Value (имя групп регистрозависимое). Например, если мы захотим агрегировать значения duration, тогда регулярка будет такой `(?si)[d]+:[d]+.[d]+[-](?P<Value>[d]+)[,]CALL(?:.*?)p:processName=(?P<DB>[#k8SjZc9Dxk,]+)(?:.+?)……..` 

Проект располагается на github, буду рад, если кто-то присоединится к проекту.

Не загрузить большую базу

Помогите, пожалуйста, разобраться с проблемой.
Есть виндовый сервер с PostrgeSQL 9.4.2 и 1C (64 bit) 8.3.12.1567. При загрузке из dt достаточно большой (dt 2.7 Гб) базы Бух2 вылетает с ошибкой «соединение разорвано администратором». Иногда бывают другие, но такие же бестолковые сообщения об ошибке.
Памяти на сервере 32 Гб. Раньше помогало перезагрузить сервер и сразу запустить загрузку. Иногда это срабатывало. Сейчас видимо база подросла, теперь такой номер не проходит.
База не битая. Пробовал на двух других серверах (Postrge и MS SQL), база загружается. Копировал настройки Postrge — не помогает.
На данный момент нет чёткого понимания, а кто падает СУБД или 1С? Настроил лог СУБД. Там такая картина.

Accounting3 2018-08-01 22:32:32 MSK NOTICE: table «ibversion» does not exist, skipping
Accounting3 2018-08-01 22:32:32 MSK STATEMENT: drop table if exists IBVersion cascade;create table IBVersion (IBVersion int not null, PlatformVersionReq int not null)
Accounting3 2018-08-01 22:33:24 MSK NOTICE: table «v8users» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop table if exists v8users cascade;create table v8users (ID bytea not null primary key, Name mvarchar(64) not null, Descr mvarchar(128) not null, OSName mvarchar(128), Changed timestamp not null, RolesID numeric(10, 0) not null, Show boolean not null, Data bytea not null, EAuth boolean, AdmRole boolean, UsSprH numeric(10, 0) ) without oids
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byname» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byname
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «bydescr» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists bydescr
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byosname» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byosname
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byrolesid» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byrolesid
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byshow» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byshow
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byeauth» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byeauth
Accounting3 2018-08-01 22:33:24 MSK NOTICE: table «v8users» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop table if exists v8users cascade;create table v8users (ID bytea not null primary key, Name mvarchar(64) not null, Descr mvarchar(128) not null, OSName mvarchar(128), Changed timestamp not null, RolesID numeric(10, 0) not null, Show boolean not null, Data bytea not null, EAuth boolean, AdmRole boolean, UsSprH numeric(10, 0) ) without oids
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byname» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byname
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «bydescr» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists bydescr
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byosname» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byosname
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byrolesid» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byrolesid
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byshow» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byshow
Accounting3 2018-08-01 22:33:24 MSK NOTICE: index «byeauth» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop index if exists byeauth
Accounting3 2018-08-01 22:33:24 MSK NOTICE: table «dbschema» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop table if exists DBSchema cascade;create table DBSchema (SerializedData bytea not null)
Accounting3 2018-08-01 22:33:24 MSK NOTICE: table «schemastorage» does not exist, skipping
Accounting3 2018-08-01 22:33:24 MSK STATEMENT: drop table if exists SchemaStorage cascade;create table SchemaStorage (SchemaID int4 not null primary key, Status int4 not null, CurrentSchema bytea not null, NewGenCreated bytea not null, NewGenDropped bytea not null ) without oids
Accounting3 2018-08-01 22:33:25 MSK NOTICE: table «_configchngr» does not exist, skipping
Accounting3 2018-08-01 22:33:25 MSK STATEMENT: drop table if exists _ConfigChngR cascade;create table _ConfigChngR (_NodeTRef bytea not null, _NodeRRef bytea not null, _MessageNo numeric(10, 0), _MDObjID bytea not null, _IDRRef bytea not null primary key ) without oids
Accounting3 2018-08-01 22:33:25 MSK NOTICE: table «_configchngr_extprops» does not exist, skipping
Accounting3 2018-08-01 22:33:25 MSK STATEMENT: drop table if exists _ConfigChngR_ExtProps cascade;create table _ConfigChngR_ExtProps (_ConfigChngR_IDRRef bytea not null, _KeyField bytea not null, _FileName mvarchar(128) not null ) without oids
Accounting3 2018-08-01 22:33:25 MSK NOTICE: table «_accrgopt9961» does not exist, skipping
Accounting3 2018-08-01 22:33:25 MSK STATEMENT: drop table if exists _AccRgOpt9961 cascade;create table _AccRgOpt9961 (_RegID bytea not null, _Period timestamp not null, _ActualPeriod boolean not null, _Periodicity numeric(2, 0) not null, _RepetitionFactor numeric(2, 0) not null, _UseTotals numeric(1, 0) not null, _MinPeriod timestamp not null, _UseSplitter boolean not null ) without oids

и далее аналогично много таблиц. Смущает вот этот момент.

Accounting3 2018-08-01 22:33:50 MSK NOTICE: table «_enum412» does not exist, skipping
Accounting3 2018-08-01 22:33:50 MSK STATEMENT: drop table if exists _Enum412 cascade;create table _Enum412 (_IDRRef bytea not null primary key, _EnumOrder numeric(10, 0) not null ) without oids

Accounting3 2018-08-01 22:39:59 MSK LOG: could not receive data from client: No connection could be made because the target machine actively refused it.
Accounting3 2018-08-01 22:39:59 MSK STATEMENT: COPY _DocumentJournal6059 FROM STDIN BINARY
Accounting3 2018-08-01 22:39:59 MSK LOG: incomplete message from client
Accounting3 2018-08-01 22:39:59 MSK STATEMENT: COPY _DocumentJournal6059 FROM STDIN BINARY
Accounting3 2018-08-01 22:39:59 MSK ERROR: unexpected EOF on client connection with an open transaction
Accounting3 2018-08-01 22:39:59 MSK STATEMENT: COPY _DocumentJournal6059 FROM STDIN BINARY
Accounting3 2018-08-01 22:39:59 MSK LOG: could not send data to client: No connection could be made because the target machine actively refused it.

Accounting3 2018-08-01 22:39:59 MSK STATEMENT: COPY _DocumentJournal6059 FROM STDIN BINARY
Accounting3 2018-08-01 22:39:59 MSK FATAL: terminating connection because protocol sync was lost

Т.е. после таблицы _enum412 висит 9 минут и «could not receive data from client» и далее ошибки такого же рода «incomplete message from client», «unexpected EOF on client connection with an open transaction» и заканчивается «FATAL: terminating connection because protocol sync was lost».

Следующая попытка аналогично.
table «_enum412» does not exist, skipping
drop table if exists _Enum412 cascade;create table _Enum412
пауза 8 мин и «could not receive data from client» но уже с другой таблицей:
Accounting3 2018-08-01 23:06:20 MSK STATEMENT: COPY _InfoRg9249 FROM STDIN BINARY
Accounting3 2018-08-01 23:06:20 MSK LOG: incomplete message from client
Accounting3 2018-08-01 23:06:20 MSK STATEMENT: COPY _InfoRg9249 FROM STDIN BINARY
Accounting3 2018-08-01 23:06:20 MSK ERROR: unexpected EOF on client connection with an open transaction
Accounting3 2018-08-01 23:06:20 MSK STATEMENT: COPY _InfoRg9249 FROM STDIN BINARY
Accounting3 2018-08-01 23:06:20 MSK LOG: could not send data to client: No connection could be made because the target machine actively refused it.
Accounting3 2018-08-01 23:06:20 MSK STATEMENT: COPY _InfoRg9249 FROM STDIN BINARY
Accounting3 2018-08-01 23:06:20 MSK FATAL: terminating connection because protocol sync was lost

Можно ли из этого сделать вывод, что падает сервер 1С?

Источник

Ошибка программного лицензирования error 10004 0x00002714

доброго всем дня.
такая проблема:

стоит Кубунту 9.04, wine 1.0.1, 1С:Предприятие 8.1 и в некоторых отчетах вылетает ошибка:

descr = Ошибка сетевого доступа к серверу
(Windows Sockets — 10004(0x00002714).@) line=870 file=.srcDataExchangeServerImpl.cpp

после чего предлагает либо выйти из программы, либо ее перезапустить.
В инете нашел много статей по этому поводу, но решения так нигде и нет. Эта ошибка связана с графическим интерфейсом (http://www.bookmark-master.com/socket-error-10004.html), может кто сталкивался с этим? как решали?

Keper
а как ты без wine-а 1с запустишь, тока через терминал, вот пока эту проблему не устраню, так и делаю, через терминал их подрубаю, но хотелось бы чтобы без терминала они работали.

как играет? например.

PanterA я не об ос, не о вайне, я об 1С говорю!
У её платформы тоже версии разные бывают.

если про версию 1с, то у нас 8.1.13.45 вроде, в последнем числе могу ошибиццу, ща точно сказать не могу

wine 1.0.1 староват. Есть 1.1.26 по крайней мере.

И платформу поновее ставить надо, тоже помочь может.

А ты вобще пробовал запускать 1С под вайном? Под нативным вайном тебе практически всегда будет гарантирована гора глюков независимо от версии. И платформы.:)
Для 1С есть специально запиленный этерсофтовский вайн. Там тоже глюков достаточно, но их масштаб не сравнить с нативным вайном. Кроме того этеровский вайн постоянно совершенствуется, как буддистский монах.:) Он конечно стоит денег, но эмулятор локальной и облегчённой сетевой версий не так уж и дороги.

Источник

УТ 10.3 . Периодические тормоза.

Имеется вот такой зверь.
Windows Server 2008R2
ОЗУ : 64 Гб.
Xeon E5. 2.4 Ггц x 6.
Дисковая система.

MS SQL 2012.
Под него выделено 40 Гб ОЗУ.
Протокол связи с сервером 1C — Shared Memory.

Раздел C:
2 SATA диска. RAID 1. 1TB
Временное хранение бекапов, исполняемые файлы.

Раздел E:
2 SSD Intel . RAID 1. 120 Гб
Логи SQL баз + tempdb.

Раздел F:
4 SAS. RAID 10. 600 Гб.
Хранятся файлы БД.

На сервере установлен сервер 1С+SQL+Терминалы+WTWare.
Большая часть клиентов грузяться с тонких клиентов по RDP.
Подключаются под одной учетной записью и каждый дальше уже в самой 1С проходит аутентификацию.
Работает порядка 20-25 человек.
Основная работа ведется УТ 10.3. Объем базы 26 Гб.
Так же имеется БП 3.0 . В ней работают 2 человека. Объем базы 30 Гб.

Суть проблемы : время от времени начинают подвисать платформа при работе с формами. Например при открытии/закрытии РТУ и тд.Может занимать 3-6 секунд. Пробовал чистить кэш пользователя, переставил платформу/сервер до версии 8.3.6.2449 — безрезультатно.

Свободной оперативной памяти достаточно, процессор не загружен.
Дисковой активности не заметил.

Вот и возникло несколько вопросов.
С чем могут быть связаны такие вот тормоза ? В момент их появления ничего на сервере не менялось и не устанавливалось.

Источник

Ошибка программного лицензирования. Как исправить?

Средний 4 комментария

Для запуска 1С в клиент-серверном режиме нужно ДВЕ лицензии: одна серверная для запуска сервера 1С:Предприятия, вторая клиентская для запуска клиентского приложения (а для запуска файловой базы нужна только клиентская лицензия, а серверную устанавливать не нужно вовсе) .

Сегодня устанавливал 1С Предприятие на сервер, восстановил лицензию при помощи резервного пинкода, получил в диалоговом окне сообщение что лицензия успешно установлена.

Судя по данному тексту вы получили лицензию на СЕРВЕР.

Не найдена лицензия. Не обнаружен ключ защиты программы или полученная программная лицензия!

Данный текст говорит о том, что 1С не видит лицензию на запуск КЛИЕНТА.

Файл программной лицензии не предусматривает возможность запуска клиентских приложений 1С:Предприятия или внешних соединений:
file://C:/ProgramData/1C/licenses/ХХХХХХХХ.lic

100% что это файл той самой лицензии на сервер 1С, который вы только что получили.
Уточнить можно открыв файл лицензии текстовым редактором, например, блокнотом — в конце файла будет информация о лицензии в человекочитаемом виде.

Т.е для работы вам теперь ещё надо получить клиентскую лицензию.
Для полного понимания советую почитать инструкцию по повторному получению лицензии 1С с разборами ошибок и примерами (кстати, ваш случай там тоже есть)
Как восстановить программную лицензию 1С:Предприятие 8

P. S.
Кстати имя файла затерли совершенно зря — оно представляет собой дату и время получения лицензии, никакой уникальной идентифицирующей информации в имени файла нет, например, активированная сегодня лицензия будет вида 202110131012345.lic, где первые 8 цифр — это дата 2021.10.13, а следующие 6 цифр — это время ЧЧ.ММ.СС.

Источник

Go. Разбор лога технологического журнала. Достойная альтернатива perl’у

Изначально я использовал связку grep (cygwin) + perl, команды были что-то из разряда:

Первый вариант предпочтителен т.к. мы не зависим от количества вложенных директорий.

Вот собственно скрипты которые выложены на kb

Надеюсь я не нарушил никакое авторское право :). Сразу бросается в глаза, что эти скрипты написаны по одному шаблону и во всех трех присутствует одна и та же ошибка (не будем об этом).

Данные скрипты маленькие, емкие, лаконичные если хотите, и весьма быстрые. Однако они не самодостаточные, т.е. они не агрегируют duration, не выводят количество, по сути эти скрипты некий промежуточный этап, потом результат можно дополнительно обрабатывать AWK или SED’ом, что не очень удобно и не всем доступно (с точки зрения доступности скилов).

Решил я написать перловый скрипт который агрегирует произвольные значения (duration, потребление памяти, да что захотите), хитро группирует колстек (выбрасывает из него все нечитаемые символы, цифры и всякие «,:;’ ), но в консоль выводится все красиво. Скрипт был написан, ознакомиться можно в репе, данный скрипт на вход принимает различные параметры (сортировка, группировка, топ). Вроде все ок, но потом я подумал, все же зачем людям ставить к себе cygwin, надо искать файлы перлом, сказано — сделано. Однако, такой скрипт работал на несколько порядков медленнее. Например если скрипт который читает из StdIn выполнялся 10 сек. то скрипт который читал файлы уже тратил около 15 минут. (обрабатываемый объем естественно одинаков)

Видимо это из-за того, что я регулярку натравливал на весь файл

Решил было распараллелить процесс чтение из файлов, но perl нормально не параллелится и это было мое последнее разочарование, после которого я потерял интерес к perl’у.

perl нормально не параллелится

Тут стоит внести ясность, перл конечно умеет работать «параллельно», но в режиме кооперативной многозадачности, для этого в перл есть т.н. корутины (coroutines) или модуль AnyEvent

Схематично это можно представить так:

т.е. управление передается от корутины к корутине, но общее время выполнение будет такое же как если бы код выполнялся линейно.

К тому же, исторически все же перл создан под linux, в linux можно было бы создать отдельные процессы (fork) и радоваться, но в винде не создается отдельный процесс при выполнении fork(). Есть еще AnyEvent::Fork::Pool, но запустить пример из cpan мне так и не удалось. (особо не старался если честно)

В целом мое впечатление о перле — синтаксис удобный, но язык тяжелый для изучения

После этого я переключился на Golang, параллельность у Go это его сильная сторона. В Go есть свои корутины, в Go они называются горутины. Горутины из себя представляют треды которые работают как в кооперативной многозадачности, так и параллелятся по процессам. Как результат был написана консольная утилита (ссылка на репу в конце статьи).

Архитектура утилиты получилась такая такая:

Каждый файл обрабатывает отдельная горутина, каждая такая горутина разбирает файл на такие части:

(раскрасил для наглядности)

Каждая такая часть поступает на обработку пулу воркеров, по дефолту пул состоит из 10 воркеров (воркер — отдельная горутина, которая работает в фоне и ожидает на вход каких-то данных для обработки), размер воркеров может меняться параметром, об этом далее.

Результат работы воркера это определенная структура, каждый воркер накапливает внутри себя map’ы результатов, по окончанию обработки файлов у нас получается 10 (по количеству горутин) map’ов, они в свою очередь объединяются в общую мапу отдельной горутиной.

map — структура данных в Go, в perl аналог — хэш, в 1С — соответствие

В результате на выходе мы получаем некий контекст (программист задает, что будет контекстом) и некие агрегируемые поля (агрегация всегда осуществляется по полю value, а вот откуда будет браться значения для value определяется программистом)

Вывод результата получается такой:

Для события EXCP

для события CALL

в данном случай value выбрано MemoryPeak, можно выбрать duration, как напишите регулярку.

Шаблон для вывода может переопределять программист.

Параметры которые принимает утилита:

• -SortByCount — признак того, что нужно сортировать результат по количеству
• -SortByValue — признак того, что нужно сортировать по значению
• -io — признак того, что данные будут поступать из потока stdin
• -Top — ограничение по количеству выводимого результата
• -Go — количество горутин в пуле (по умолчанию 10)
• -RootDir — директория где будет осуществляться поиск

И для профилирования:

Пример использования:

В данном случае поиск логов будет производиться по каталогу «C:Logs»

Также можно применять в тандеме с grep’ом

grep » -rh —include ‘*.log’ | ParsLogs.exe -io

Пример сочетания параметров

ParsLogs.exe -RootDir=C:Logs -Top=10 -SortByCount

Будет выведено 10 результатов отсортированных по количеству

Немного сравнения с перлом:

Для примера был взят мой перловый скрипт с агрегацией и объем логов ТЖ 2.8г

grep » -rh —include ‘*.log’ | perl CallDurationsMem.pl скрипт выполнялся

grep » -rh —include ‘*.log’ | ParsLogs.exe -io примерно 3 минуты зависит от того сколько внутри регулярок применяется к блоку данных

ParsLogs.exe -RootDir=C:Logs примерно 2 минуты

Пробовал парсить 30Гб логов, ушло около 2ч.

Кто-то скажет, так перловый скрипт видимо написан не оптимально, я соглашусь, я в перле новичок, так же как и в Go, т.е. считаем, что оба эти приложения написаны не особо оптимально (кстати в Go написать менее оптимально вероятности куда больше, т.к. там нужно не забывать тот факт, что структуры и большинство типов передаются по значению)

Профилирование приложения показало, что основную нагрузку на приложение дает регулярка:

По этому скорость обработки логов напрямую зависит от того насколько оптимальна написана регулярка и сколько этих регулярок под капотом. Регулярок может быть несколько т.к. в приложении был применен pattern chain of responsibility, об это будет рассказано далее.

Если вы захотите присоединиться к разработке, ниже информация для вас:

Как уже писалось выше, в архитектуре решения был применен pattern chain of responsibility (кому интересно вот статья как накостылить этот паттерн на 1С). Основная структура в коде это Chain и интерфейс IChain который чаще всего будет претерпевать изменения. Структура Chain это есть один из звеньев в цепочки ответственности

Цепочка строится в методе BuildChain() (метод в пакете Tools)

Метод должен возвращать всегда ссылку на последнее звено в цепочке. Используется это так, выполняется метод «звена» Execute, если он вернул nil и есть следующий элемент в цепочке,тогда вызывается Execute следующего элемента. В Execute выполняется регулярка + кой какие пляски, чтобы можно было удобно работать с именованными группами захвата.

• regexp — шаблон регулярного выражения. Группы захвата обязательно должны быть именованными, в Go это делается так (?P …..)
• NextElement — ссылка на предыдущее звено цепочки
• AgregateFileld — имена групп захвата по которым будет производиться агрегация
• OutPattern — шаблон по которому будет выводиться результат. В примере выше маркер %count% нигде не задается, это количество подходящих элементов в группе (при агрегации), давайте считать этот маркер «системным». Группа захвата содержащие значение которое будет суммироваться должна называться Value (имя групп регистрозависимое). Например, если мы захотим агрегировать значения duration, тогда регулярка будет такой `(?si)[d]+:[d]+.[d]+[-](?P [d]+)[,]CALL(. *?)p:processName=(?P [#k8SjZc9Dxk,]+)(. +?)……..`

Проект располагается на github, буду рад, если кто-то присоединится к проекту.

Источник