Ну, выкладывай решение, поглядим..

Wirth писал(а) 20. Июля 2010 :: 08:33:


Описание есть ?
Что значит не использует блокировки ?

Описание есть в дистрибьютиве.

Используется принцип не блокировок, а файловых транзакций.

Wirth писал(а) 20. Июля 2010 :: 09:16:


Спасибо. Понял.
Просто скачал, а описания нет.
Ставить все подряд в систему не хочется.
ЗЫ.
Про виртуалки знаю

1с опрашивает таблицы на вопрос изменений.
В данном варианте, она опрашивает всегда актуальный собственный кеш, за этим следит сервер. Пока запись не завершена, она не актуальна, и не интересна для тех кто не пишет.
1с перед тем как что-то писать, сообщает об этом (пытается установить виртуальную блокировку), я обрабатываю ее как событие. Запись происходит поочередно. Первый записал, сервер всем кеш актуализировал, далее второй и т.д.
Вроде все должно быть гладко. Но конечно надо протестировать в разных условиях, собственно поэтому и обращаюсь.

в документации на сервер есть пример пошаговый с "картинками"

На всякий случай все же приведу выдержки из документации.

Пример переноса базы 1С на сервер Вирт:V7DBNet

Кратко:

1. Установите сервер.

2. Определите где будут располагаться базы данных, и пропишите этот путь в файл
настройки сервера dbnets.ini, fold=путь. Файл доступен из меню «Настройка
сервера».

3. Запустите сервер, убедитесь, что порт разрешен вашей системой безопасности
компьютера, например, открыв Web-интерфейс сервера с компьютера клиента.

4. Установите клиент в платформу 1С:Предприятия 7.7.

5. Создайте каталог имени базы по указанному пути, например: «Бухгалтерия»,
переместите в него файлы DBF и CDX из базы данных 1С.

6. Создайте в каталоге базы данных 1С файл dbnet.ini с параметрами fold=
Бухгалтерия, host=ip или имя сервера

Подробно:

Предположим - у нас есть сервер «serv-1c», с размещенной на нем базой 1С и
административная установка 1С:Предприятие 7.7 в виде ресурса с общим доступом
«D:\1C». И несколько клиентов.


serv-1c:
D:
|-----[ 1C ] - общий ресурс
|-----[ 1Cv77.ADM ] – платформа 1С:Предприятие 7.7
| |-----[ bin ]
| |-----[ Бухгалтерия ]
–

база данных бухгалтерии организации
|-----[ ExtForms ]
|-----[ Userdef ]
|-----[ ... ]
|-----< 1Cv7.MD >
|-----< 1Cv7.DD >
|-----< ... >
|-----< *.DBF >
|-----< *.CDX >


Предположим, что место для размещения баз сервера Вирт:V7DBNet, мы определили как
D:\V7DBNet\

И так:

1. Установим сервер

2. Откроем файл настроек сервера dbnets.ini через пункт меню «Настройка сервера»
установленной программы «Вирт V7DBNet Сервер»
dbnets.ini
-------------------------------------------------------------
;fold=d:\base
user=Admin
pass=123
-------------------------------------------------------------

3. Включим параметр fold, убрав точку с запятой, и укажем в качестве значения
необходимый нам путь D:\V7DBNet\

dbnets.ini
-------------------------------------------------------------
fold= D:\V7DBNet
user=Admin
pass=123
-------------------------------------------------------------

4. Сохраним файл

5. Запустим сервер как приложение «Сервер как приложение - Запуск» или как сервис
«Сервер как служба - Установка»

6. Для того чтобы убедиться что порт разрешен (ни кем не занят и не заблокирован
системой защиты компьютера) попробуем войти в Web-интерфейс сервера с
компьютера клиента. Запустим на клиенте браузер и в адресной строке укажем:
http://serv-1c:13387/
Если все нормально, браузер предложит указать имя пользователя и пароль на
доступ. Пользователь = Admin, пароль = 123

7. Создадим каталог для размещения баз - V7DBNet, на диске D: сервера.

8. Создадим в нем каталог нашей базы, пусть он будет называться также, как и
исходная база – «Бухгалтерия», хотя названия могут не совпадать.

9. Переместим в каталог базы сервера «D:\V7DBNet\Бухгалтерия\» файлы *.DBF и
*.CDX из каталога базы 1С «D:\1C\Бухгалтерия\»

10. В каталоге базы 1С «D:\1C\Бухгалтерия\» создадим файл dbnet.ini с необходимыми
параметрами:

D\1C\Бухгалтерия\dbnet.ini
-------------------------------------------------------------
host=serv-1c
fold=Бухгалтерия
szcache=15Mb
-------------------------------------------------------------

В итоге имеем:

serv-1c:
D:
|-----[ V7DBNet ]
| |-----[ Бухгалтерия ] – имя базы сервера
| |-----< *.DBF >
| |-----< *.CDX >
|
|-----[ 1C ] - общий ресурс
|-----[ 1Cv77.ADM ]
| |-----[ bin ]
| |-----[ Бухгалтерия ]
–
база данных бухгалтерии организации
|-----[ ExtForms ]
|-----[ Userdef ]
|-----[ ... ]
|-----< 1Cv7.MD >
|-----< 1Cv7.DD >
|-----< ... >
|-----< dbnet.ini >


11. Установим Вирт: V7DBNet Клиент (в данном случае на сервер, т.к. файлы
платформы 1С:Предприятие 7.7 находятся на нем, в случае, если платформа
установлена на каждом клиенте отдельно, пункты 11-12 выполнить на каждом
клиенте )

12. Инсталлируем компонент в каталог платформы “D:\1C\1Cv77.ADM\Bin\”

Для отмены переноса базы не сервер, переместите файлы DBF и CDX обратно в каталог
базы данных 1С, и удалите из него файл dbnet.ini

На всякий случай повторюсь, я не уверен что все работает, собственно поэтому и прошу помощи в тестировании.
И хотя я провел очень много ночей с отладчиком в обнимку, все равно 1С может подкинуть какую-нибудь неожиданность.

А пример с приращиванием единицы мне кажется довольно интересным, попробую обязательно.

Попробую в выходные поставить и потестить . Интересно что получится. Что да как отпишусь.

orefkov писал(а) 20. Июля 2010 :: 18:59:

Но если будет "движение" в теме, можно рассчитывать на твой отклик в плане развития 1sqlite?

orefkov: Видел CodeBase, что и натолкнуло на мысль.

---

Хотел победить конкурирующую запись, но видно не получится.

Использую пример - наращивание значения элемента справочника в цикле, причем, элемент в справочнике единственный (чтобы не заморачиваться с одновременным запуском обработки)

1С действует следующим образом:


блокирует таблицу
выбирает элемент
разблокирует таблицу
...работаем с элементом


далее если необходимо записать результат:

вновь выбирает элемент, но без блокировки
сравнивает с начальной выборкой

если они одинаковы:
блокирует элемент
блокирует изменяемые таблицы
вновь выбирает элемент
сравнивает с начальной выборкой

если они одинаковы - записывает
снимает блокировку с элемента и таблиц

В итоге получается, что в начале мы не знаем, будет записан элемент или нет, и если блокировать как 1С, то возникнут блокировки на чтение (а последовательное чтение, это как раз с чем борюсь).

Можно применять ручное объявление транзакции в узких местах. Только по этому поводу выяснился один нюанс. Транзакцию нужно начинать не в рамках доступа к элементу, а перед выборкой списка элементов ( ВыбратьЭлементы() ). Т.к. первый элемент списка, 1С сразу читает и второй раз не перечитывает (при ПолучитьЭлемент()). Т.ч. при использовании транзакции поэлементно, может возникнуть исключительная ситуация (объект заблокирован) при одновременном обращении к первому в списке.

Но очень хочется победить конкурирующую запись не потеряв в скорости доступа на чтение. Буду думать...

Попробуй протестировать работу 1sqlite и с Александром если надо решить чтобы она работала, вот тогда будет "молоток".

Wirth писал(а) 27. Июля 2010 :: 16:20:

Ну, проблемы были как-раз с разработкой CodeBase.
Дело в том, что в штатном движке 1С с каждой таблицей связан "буфер записи" (запись в смысле record, не write), те при передвижении по таблице данные текущей записи из файла копируются в этот буфер. Для получения значения полей из записи и их изменения в dbeng32.dll существует набор методов Fx_xxx (FX_String, FX_Numeric и тп). Сама 1С работает только через эти методы.
Ну а 1sqlite при работе с 1Сными дбфками не пользуется этими методами, а сразу читает значения полей из этого буфера, напрямую. В разработке CodeBase поменялась внутренняя логика работы с записями, и этот буфер при передвижении по таблице не заполняется. Hogik просто реализовал свои варианты методов FX_xxx, которые возвращают значения полей, но 1sqlite ими не пользуется.
Тут надо либо переделывать 1sqlite на работу с полями через FX_xxx, либо переделывать CodeBase, чтобы заполнялся буфер записи.
Если у тебя работа с буфером записи не изменена, то 1sqlite скорее всего будет работать.

Идеологически зашел в тупик. Нужен совет, а то сам не могу выбрать путь развития разработки.
В общем во-первых. Реализовал два режима работы сервера: - максимальная работа с кешем, соответственно самый быстрый на чтение ; - блокировки записей, нормальная работы с конкурирующей записью (пессимистический режим транзакции).
С одной стороны хочется быстро строить отчеты, с другой стороны хочется чтобы писал без сообщений "объект заблокирован".
Думаю сделать так:
сервер работает в неком среднем режиме, при котором блокировки декларируются, но не используются. И сделать два метода: DirectRead и SafeWrite, к примеру, которые будут временно переводить сервер в режимы быстрого чтения и безопасной записи?
И вторая мысль. Тут начал разбираться с программой Visual FoxPro (как наиболее прямого средства работы с DBF CDX), короче можно интегрировать часть Fox-а  в сервер. Fox поддерживает SQL, но надо думаю, посредством информации в DD переводить наименования объектов в имена таблиц, для удобства. И еще есть поддержка процедур, можно по идее сделать интерфейс исполнения "хранимых процедур" непосредственно на сервере.
Стоит морочиться?

По-поводу FoxPro. Все же это велосипед. Пожалуй переписывать "Прямые запросы" смысла нет. Если только действительно разобраться с блокировками и индексами, да так чтобы еще и триггеры работали. но это как-то пока не реально для меня. Времени много займет.

Устраивает, только я так понял что вначале необходимо создать виртуальную таблицу в памяти. А если это журнал документов ~1Gb?

Wirth писал(а) 22. Октября 2010 :: 08:34:


Очень интересно!
Где взять?

Wirth писал(а) 22. Октября 2010 :: 09:18:

Ссылку в студию, плз!

Очень очень интересно!
Читаю описание - мой вариант!

Интересно, а как обстоять дела с проблемой нарушения индексов?

Это радует.
А есть возможность изменить ограничение регистрации не по количеству, а по периоду?
Как раз там, где это интересно потестить - больше 3-х компьютеров.

Wirth писал(а) 22. Октября 2010 :: 09:55:

Переиндексация полезна! Не надо ее отключать.

Wirth писал(а) 22. Октября 2010 :: 09:55:

Большое спасибо!
Но сначала хочу изучить всю документацию.
Кстати, не нашел на Вашем сайте условия регистрации, в т.ч. финансовые.
Пошел регистрироваться у Вас на формуе

Wirth писал(а) 02. Августа 2010 :: 21:13:

Я правильно понял, если у меня регистр движения товара занимает почти 1Гб, то мне 1sqlite не подходит?
А V7DBNet - то, что доктор прописал?

simply писал(а) 22. Октября 2010 :: 10:58:

На всякий случай отмечу один момент, если Вы используете vk или патч для решения проблемы 1Гб, то при использовании V7DBNet обязательно уберите его из платформы, а то подерутся

И еще V7DBNet тестировался на 25 и 27 релизе платформы.

simply писал(а) 22. Октября 2010 :: 10:58:

Одно не исключает другого.
Это просто совершенно разные вещи.
1sqlite - просто предоставляет возможность делать SQL-запросы, которые "унутре" реализуются родными методами 1С по работе с файлами данных. Те она НАДСТРОЙКА над db-движком 1С.
V7DBNet - меняет сам db-движок 1С. А надстройка продолжает работать и на новом движке.

ЗЫ: Создание виртуальной таблицы в 1sqlite отнюдь не означает физическое перекачивание данных из таблицы 1С куда-либо.
На то она и виртуальная таблица. Когда запросу понадобятся данные из виртуальной таблицы, 1sqlite будет читать их непосредственно из таблицы 1С.

Вечером хочу попробовать потестить на скорость совместного использования 1sqlite и V7DBNet. Подскажите как переписать такой пример под 1sqlite?

     Рег=СоздатьОбъект("Справочник.Тест");
     Ном=0;
     Кол=0;

     Если _DirectRead=1 Тогда                  
           V7DBNet.DirectRead();
     КонецЕсли;
     
     Если Транзакция=1 Тогда
           НачатьТранзакцию();
     КонецЕсли;
           
     Тим=_GetPerformanceCounter();
     Рег.ПорядокНаименований();
     Рег.ВыбратьЭлементы();
     Пока Рег.ПолучитьЭлемент()>0 Цикл
           Если ( Число(Рег.Новый10) % 5 ) = 0 Тогда
                 Кол=Кол+1;                  
           КонецЕсли;
           Ном=Ном+1;
     КонецЦикла;
     Сообщить(Строка(_GetPerformanceCounter()-Тим));
     
     Если Транзакция=1 Тогда
           ЗафиксироватьТранзакцию();
     КонецЕсли;
     
     Сообщить("Всего выбрано: "+ном+", удовлетворяет условию: "+кол);

Пример использую для проверки скорости перебора большого справочника (Самый тяжёлый режим для V7DBNet, т.к. кэш роли в нем не играет).
Новый10 - строка 100

Wirth писал(а) 25. Октября 2010 :: 06:18:

Эй, Изверг, ты почто животинку мучаешь?
Где ж это видано, чтобы фиксировать транзакцию при проведении запросов только на чтение? - это раз ... а два - нафига тут вообще транзакция?

Wirth писал(а) 25. Октября 2010 :: 06:52:

Если движок грамотный, то многое зависит от настроек режима изоляции транзакций.
Хотя, я ни разу не встречал реального случая, когда было бы выгодно использовать что-либо, кроме ReadCommited.

Wirth писал(а) 25. Октября 2010 :: 06:18:

Примерно так:

Процедура Сформировать()
	Транзакция=1;

	База = СоздатьОбъект("SQLiteBase");
	База.Открыть(":memory:");
	Запрос = База.НовыйЗапрос();

	Если Транзакция = 1 Тогда
		Запрос.ВыполнятьВТранзакции = 1;
	КонецЕсли;

	ТекстЗапроса = "
	|SELECT SUM(1) Всего
	|	,SUM(case
	|			when (CAST(Тест.Новый10 as REAL) % 5) = 0 then 1
	|			ELSE 0
	|		end) ПоУсловию
	|FROM [Справочник.Тест] Тест
	|ORDER BY Descr
	|";

	//Запрос.Отладка(1);
	т1 = _GetPerformanceCounter();
	тзРезультат = Запрос.ВыполнитьЗапрос(ТекстЗапроса);
	т2 = _GetPerformanceCounter();
	Если тзРезультат.КоличествоСтрок()>0 Тогда
		Сообщить("Время выполнения 1SQLITE = "+((т2-т1)));
		Сообщить("Всего элементов = "+тзРезультат.получитьЗначение(1,"Всего")+", удовлетворяют условию = "+тзРезультат.получитьЗначение(1,"ПоУсловию"));
	Иначе
		Сообщить("Нет результата!","!");
	КонецЕсли;
КонецПроцедуры 

Но тестировать, как мне кажется, лучше на задачах с хитрожопыми условиями, приближенными к реальности, где будет попадание/не попадание в индекс и т.п.
В данном примере идет такой же тупой перебор и, думаю, вряд ли получится быстрее твоего кода.

И еще одно примечание. При конверации строки в число получится 0, если там "слово".
Цитата:

Wirth писал(а) 25. Октября 2010 :: 06:18:


Наверное так:

Процедура Сформировать()
	ЗагрузитьВнешнююКомпоненту("1sqlite.dll");
	база = СоздатьОбъект("SQLiteBase");
	база.Открыть(":memory:");
	запрос = база.НовыйЗапрос();
	Если Транзакция=1 Тогда
		НачатьТранзакцию();
	КонецЕсли;

	Тим=_GetPerformanceCounter();
	тз = запрос.ВыполнитьЗапрос("
	|select
	|	count(*) [ном],
	|	sum(case when cast(ст.Новый10 as integer) % 5 = 0 then 1 else 0 end) [кол]
	|from [Справочник.Тест] ст
	|");
	Сообщить(Строка(_GetPerformanceCounter()-Тим));

	Если Транзакция=1 Тогда
		ЗафиксироватьТранзакцию();
	КонецЕсли;

	Сообщить("Всего выбрано: "+тз.ном+", удовлетворяет условию: "+тз.кол);
КонецПроцедуры
 

Оформил тестирование в статью:
http://www.wirth.ru/publ/test_1_v7dbnet/1-1-0-1

Там видео  
ИМХО, можно было просто результаты тестов и обработку тестирования выложить, мы б поверили. А смотреть по 2 мин. на экран, на котором ничего не происходит, как-то не кузяво.
Да и тест по 1sqlite будет проходить намного быстрее во второй раз, когда виртуальная таблица уже создана.

И кстати, нет самого главного теста с таким сценарием- все копии 1С-Предприятия и сервер V7DBNet2 работают на одном сервере терминалов.

Да, табличку надо с цифрами нарисовать.
А видео - для зрелещности. Одно дело когда читаешь что что-то медленнее/быстрее другого, другое дело сам чувствуешь.

Цитата:

Если все работают на одном компьютере, т.е. все сессии локально? Проблемы сетевых приложений не в скорости локальной работы, а скорости обмена пакетами. Очень много времени потратил на уменьшение количества пакетов. Т.к. время на посылку одного пакета будет = время пересылки данных + TTL (время отклика сервера). Собственно вряд ли я смогу тягаться с алгоритмами кэширования файлов самим файл-сервером, но сейчас попробую.

Цитата:

Так я и выложил.

Цитата:

Так цель теста не скорость 1sqlite, а доступ к данным. Для тестирования 1sqlite необходимы алгоритмы нормальные. Не тупого перебора.

Мне интересным показался именно тот факт, что 1sqlite ускоряет выборку в режиме V7DBNet. Иными словами, работу 1sqlite ограничивает скорость доступа к данным. V7DBNet - снимает ограничение.

Цитата:

Если установить szcache=100Mb (при весе всей базы ~60Mb) скорость V7DBNet тоже значительно возрастет.

Локальные замеры:
Три сессии на одном компьютере, сервер V7DBNet и данные тоже на нем.

1С:
первое выполнение - 5653
повторное выполнение - 1948

V7DBNet:
первое выполнение - 5480
повторное выполнение - 3805

V7DBNet с кэш = 100Mb:
первое выполнение - 3803
повторное выполнение - 1193

Если честно думал, хуже будет.

Добавил картинку-график в статью.

Цитата:


Можно и активных.
Вас интересует падение скорости работы от количества сеансов?

Wirth писал(а) 27. Октября 2010 :: 08:48:

Да. В DBF она имеет геометрическую прогрессию

Можно отказываться от индексации. По идеи индексы могут быть испорчены только в случае, если отключить сервер в момент коммита транзакции.
Предложение на индексацию не стал отключать, т.к. индексация полезна - она упаковывает индексные файлы.

Wirth писал(а) 27. Октября 2010 :: 09:05:

Боюсь начать.
Предполагаю, что настолько понравится, что трудно будет отказаться. А у меня пока только 20  магазинов.
Налоговая в наши магазины часто заглядывает. Они никак не понимают, что с лицензией на MS Office 2007 можно использовать MS Office 2003 - штрафы выписывают

Узнать поврежден индекс или нет нельзя (или я не знаю как), пока не выскочит сообщение 1С "Bad index".
Запись производится сервером самостоятельно, при успешном завершении транзакции. Т.ч. если в этот момент сервер не валить, портиться не должно.
Мне самому интересен этот момент, поэтому своих пользователей попросил всегда отказываться от индексации. Пока работают.

Говорю же портиться не должны.
Но время покажет конечно.
На худой конец можно в полночь настроить реиндексацию принудительную.

Dmitry The Wing:

В версии 2.0.0.3 сделал попытку запрашивать реиндексацию более адекватно. Если свалился сеанс который в этот момент ни чего не писал, то и запроса не будет.

Добавил метод ErrorCount() к объекту V7DBNet, по нему можно определять ошибки записи, и предлагать пользователям выйти из программы для реиндексации.

Т.е. под терминал нет смысла это прикручивать?
Или это как раз возможность отказаться от терминала?
Как оно относится к потере сетевых пакетов?
Смешаного доступа к базе быть не может, всех клиентов надо переводить в этот режим. Правильно?