Представляю уважаемым форумчанам для тестирования ВК 1sqlite версии 1.0.1.0
Предназначена для работы с базами данных SQLite, а также для выполнения через
движок SQLite прямых запросов к таблицам дбф-баз 1С.

Основные фичи компоненты:
SQLite версии 3.5.9
Движок SQLite доработан в плане регистронезависимости русских символов, нормально работают lower, upper, like, названия таблиц, полей.
Добавлено collate _1С - сравнение строк без учета регистра и завершающих пробелов.
Отображение ДБФ-таблиц 1С в базу данных SQLite и возможность использовать их в запросах.
Работа с ДБФ-таблицами 1С в монопольном режиме.
Получение "длинных" строк 1С-ДБФ.
Типизация результатов запроса.
Работа с текстовыми и sql-параметрами в запросах.
Укладка в базу данных SQLite ТаблицЗначений.
Укладка в базу данных SQLite СписовЗначений с объектами 1С, с возможностью в ДБФ версии разворота групп справочников или счетов по иерархии.

http://sb-news.net/sqlite.php - SQLite по-русски

Прошу тестировать, высказывать пожелания.
После этапа тестирования и доработки исходники будут доступны под GPL.



Версия 1.0.1.1

- Исправлен вылет при попытке подключить таблицу строк документа, у которого нет ТЧ.
- Добавлены текстовые параметры: :ВидСубконто и :ПланСчетов
Качать: http://www.1cpp.ru/forumfiles/Attachments/1sqlite_1011.zip

Версия 1.0.1.2

- Исправлена работа с преобразованием значений типа Дата в формат БД.

Версия 1.0.1.3
- Исправлена ошибка в метапарсере при обработке вхождений текстовых параметров.

версия 1.0.1.4
- Добавлено автоподключение таблиц. В доке описано.

Версия 1.0.1.5
     - Исправлена ошибка подстановки текстового параметра ":ВидСправочника.ХХХ"
     - Добавлен модификатор 3 для подстановки значений типа Строка. Подставляет фрагмент текста без кавычек, для динамического формирования текста запроса.

Версия 1.0.1.6
- Исправлена подстановка значения пустой даты.
- Добавлена типизация :Субконто
- Добавлена типизация :Время
- Добавлена функция str2id
- Добавлена функция id2str

Версия 1.0.1.7

- Доработана работа 3го модификатора текстового параметра типа "Строка".
 Теперь подставляемый фрагмент текста также обрабатывается метапарсером.
- Удалены типизация ":ВидДокумента" и ":ВидДокументаПредставление".
- Добавлены типизации ":ИмяВида" и ":ПредставлениеВида".
- Доработан метод `SQLiteQuery::ВыполнитьЗапрос`_. Теперь можно получать
 результат выполнения запроса в таблицу значений, список значений,
 полем из скалярного запроса, а также в любой объект, реализующий
 интерфейс загрузки результата запроса (ISQLiteResultLoader).

Версия 1.0.1.8
- Исправлена ошибка обработки NULL значений.
- Исправлена ошибка преобразования из utf-8 нулевых строк
- Устранена гигантская утечка памяти при некоторых случаях использования LIMIT
- Рефакторинг классов базы данных и запросов, с целью облегчения использования их в других компонентах
- Из соображений производительности восстановлены типизации :ВидДокумента и :ВидДокументаПредставление
- Из соображений производительности добавлены типизации :ВидСубконто и :ВидСубконтоПредставление

Тестовая версия 1.0.1.9
- Убраны Begin/End ReadSequnce
- Добавлена возможность авто-транзакции при выполнении запроса.
- Исправлен косяк при укладке объектов с идшниками с русскими буквами (распределенка с русскоязычными кодами ИБ)
- Содержит тестовый поставщик ТП
Качать

Версия 1.0.2.0

    - SQLite обновлен до релиза 3.6.11
    - Добавлена способность ПоставщикаДанных динамически менять текст запроса, если
     некоторые поля не нужны табличному полю для отображения
    - Добавлена возможность быстрого поиска для поставщика данных
    - Исправлена ошибка выборки данных при некоторых условиях
     (where date <= '09или19или29.месяц.год' order by date desc)
    - Убрана странная ошибка при попытке подготовить запросы с текстом запроса длиннее 972 символов.
    - Порядок сортировки в 'collate _1C' сделан точно соответствующим порядку сортировки в дбф-файлах 1С.
    - Изменены методы:

           - SQLiteDataProvider::УстановитьТекстЗапроса
           - SQLiteDataProvider::Отладка

    - Добавлены методы:

           - SQLiteDataProvider::НеУдалятьПоля
           - SQLiteDataProvider::ПоляБыстрогоПоиска
           - SQLiteDataProvider::ПолучитьТекстЗапроса

Брать http://code.google.com/p/sqlite1c/downloads/list

УложитьТЗ(ТЗ, ИмяТаблицы, [КакПостоянную])
Вот это очень полезное свойство. Жаль что в 1С++ нет такого.

Работоспособность в SQL версии сохранена?

trdm писал(а) 23. Июня 2008 :: 07:40:

В sql-версии должна работать, но без отображения таблиц 1С, тока для временных расчетов.

orefkov писал(а) 23. Июня 2008 :: 07:50:

FoxPro также не умеет полностью оптимизировать in .
Точнее если in можно свести к inlist(перечень конкретных значений) - то может, если подзапрос  - нет.
И также желательно вместо этого - джойнить с таблицами.

Вылетает в космос при  попытке подключить виртуальную таблицу ДокументСтроки для документа без ТЧ.

artbear писал(а) 23. Июня 2008 :: 08:18:

1. Каким образом стало легче?

Если индекс например iddoc+STR(lineno,4) то в SQLlite достаточно писать соединение по iddoc,
чтобы его использовать (как для SQL версии) а для FPro надо явно выписывать iddoc+STR(lineno,4) -
что почти никто фактически не делает и соответственно не использует.

2. Групповые - GroupBy или еще что-то?

Group By, Join, Order by - раньше в SqlLite проводились по алгоритму полного перебора,
что при очень больших выборках может привести к существенному замедлению
(при отсутствии индекса по полю соединения, если индекс есть - то все ОК)

P.S. Я пытался в этих случаях явно добавлять индекс - это в основном решает проблему - но
тогда появляется проблема написания (приходится вместо подзапроса выкладывать во врем таблицу и индексировать что трудоемко) и сама операция добавление индекса не самое быстрое в SQlLite почему то (?)

3. Покажи, как обойтись врем.таблицей с индексом, плиз
Явно создать временн. таблицу и явно добавить индекс - есть такие операции в SqlLite

Предыдущее обсуждение
http://www.1cpp.ru/forum/YaBB.pl?num=1192855975/0
http://www.1cpp.ru/forum/YaBB.pl?num=1192437970

JohnyDeath писал(а) 23. Июня 2008 :: 08:56:


На sqlLite провайдер судя по всему должен быть быстрее - там имеет смысл только  соединение таблиц по индексу,
и явное чтение страниц -  где SqlLite вдвое опережает Fox.
Также он должен быть быстрее при конструировании аналога объекта регистр.

steban писал(а) 23. Июня 2008 :: 08:20:

Ок. учту.

О, еще один плюс по сравнению с OLEDB - сразу человечьи имена таблиц, полей, то бишь можно вообще обойтись без $ (Для типизацию колонок я сделал возможность указывать типы с ':', чтоб раскладку не переключать).

JohnyDeath писал(а) 23. Июня 2008 :: 10:00:

В-принципе можно.
Тока тогда надо еще и для служебных полей придумать человечьи имена.

И ещё вопрос. Можно ли как-нибудь строить ОЛАП-кубы используя 1sqlite (например консолью от berezdetsky)? Тут какая проблема: вроде как нужен ODBC-драйвер, я нашёл только вот этот: http://www.ch-werner.de/sqliteodbc/ , но он для SQLite 3.5.4 (я пробывал ещё с прошлыми версиями 1sqlite, но что-то не получилось. То ли у меня руки кривые, то ли действительно невозможно)

JohnyDeath писал(а) 23. Июня 2008 :: 10:20:


Вот над этим стоит подумать.
ODBC драйвер это ведь что?
Просто дллка, которая экспортирует заданный набор функций - SQLConnect, SQLExec и тп.
То бишь надо выяснить, какой минимальный набор этих функций требуется для построения OLAP-кубика,
реализовать эти методы, в реестре зарегить ODBC-драйвер (что-то типа Current process SQLite-Driver).
Тока он будет кубики строить только в среде 1С.

orefkov писал(а) 23. Июня 2008 :: 10:24:

Конкретно для этой задачи скорее всего достаточно узнать слово, которое стоит после FROM и после JOIN. Я далеко не спец в этих делах, но мне кажется, что другого не дано.

нет

steban писал(а) 23. Июня 2008 :: 12:37:

Во что их разворачивать?

Ок. Сделаю.

artbear писал(а) 23. Июня 2008 :: 08:18:

Ну, вот допустим, у меня в справочнике товаров есть реквизит НеВключатьВПрайс (Число, 1, 0) с включенной сортировкой. Надо показать элементы, где НеВключатьВПрайс  = 1, упорядочив по наименованию.
В 1sqlite пишем:

select ...
from  Справочник_Номенклатура
where НеВключатьВПрайс = 1
order by descr

При включенной отладке видим:

Подбор индекса для таблицы SC33:
     Ограничения: SP16515[НевключатьВпрайс]=;
     Упорядочить: DESCR,
     Найдено в кэше
     Выбран индекс VI16515: STR(SP16515,2)+UPPER(DESCR)
     Попадает в сортировку
     Стоимость: 10

Вот чтобы на фоксе попасть в индекс надо написать (если длина наименования 100)

where STR(НеВключатьВПрайс, 2) + UPPER(DESCR) between ' 1[тут 100 пробелов]' and ' 1[тут 100 букв Я]'
order by STR(НеВключатьВПрайс, 2) + UPPER(DESCR)

Я думаю, разницу в тексте запроса видно.

У меня тоже, что и Chieftain'a. Сделал обычный (не подготовленный) запрос и увидел, что
вот это:

БСО_Склад.period = :ВыбДата~ 

преобразовавыется в Цитата:

а это:

БСО_Склад.period = :ВыбДата 

преобразовавыется в Цитата:


Хотя по документации:
Цитата:

Исправлена работа с преобразованием значений типа Дата в формат БД.

Также код из предыдущего поста отваливается с AV при следующем тексте запроса:

ТекстЗапроса="SELECT
|Итоги.ACCID Счет
|, Итоги.SD КоличествоОстаток
|FROM _1SBKTTL AS Итоги
|WHERE (Итоги.DATE = '20080401')  AND (Итоги.AccID = @ВыбСчет)
|"; 

[quote author=steban link=1214205575/30#39 date=1214267314]Обнаружен баг.
Такой код вызывает AV при вызове ВыполнитьЗапрос:[/quote]
Сэнкс.
Ошибку нашел.
Исправил.
В шапке.
1.0.1.3

artbear писал(а) 24. Июня 2008 :: 06:13:

О блин, точно. К след.версии.

Еще вопрос:
Саш, а у тебя есть какая-нибудь база с автоматическими тестами для 1sqlite, которой ты пользуешься при разработке? Или что-то подобное?

Еще по хелпу навскидку малюсенькие опечатки:
длинной (длиной), замерян (замерен), програмистом (программистом)

Саш, еще просьба -
в прошлой ветке есть архив http://www.1cpp.ru/forumfiles/Attachments/1_001.ZIP,
в котором выложен обработка для тестирования 1sqlite. ИМХО удобно.
Просьба добавить эту обработку к официальной поставке 1sqlite.
Или у тебя есть более новый ее вариант?

artbear писал(а) 24. Июня 2008 :: 06:22:

Авто-тестов нет.
Есть несколько запросов сохраненных в моей консоли запросов, я их ручками прогоняю, смотрю.
Но все примитивненько, с текстовыми параметрами не работает еще.

artbear писал(а) 24. Июня 2008 :: 06:28:

Можно сделать. Ща обдумаю интерфейс, я реализую его для ТЗ, СЗ, Леха пусть реализует для ИТЗ.

А как у SQLite обстоят дела с ХП?

что есть ХП?

Создал проект на googlecode
http://code.google.com/p/sqlite1c/
Бинарники можно качать оттудова.
Исходники тянуть любым svn-клиентом: http://sqlite1c.googlecode.com/svn/trunk/*sqlite1c-read-only
* замените на пробел, чето форум непонимает линки с пробелами

orefkov писал(а) 24. Июня 2008 :: 09:35:

Непонятно :
будет произведено позиционирование и далее считывание N записей (что очень быстро)
или
Выборка WHERE, потом упорядочивание выборки, потом отбор N записей
?
Если поставщик табличного поля запрашивает N записей от текущей (упорядоченной по индексу)

Вести с мисты - говорят, под вайном работает.

JohnyDeath писал(а) 24. Июня 2008 :: 10:31:

Не попадет. SQLite для попадания в индекс должен видеть условие
ПолеТаблицы = | > | < | >= | <= | like выражение

Здесь же у тебя Выражение = выражение.
При сравнении с полями таблиц SQLite он может оптимизироватьусловие like 'строка%', заменяя его на два условия >= and <=.
Но если условие like применяется к полю виртуальной таблицы, он запрашивает мой модуль, могу ли я его обработать. В текущей версии ВК никак не обрабатывает условия like, отдавая их на откуп SQLite.
В этом случае SQLite не разбивает like 'строка%' на два условия.

Есть вопрос к этому разделу хелпа:
Цитата:


Получается, чтобы не нарваться на косяки везде при расчетах нужно вставлять "round".
Плюс числовые колонки жестко типизировать в числу?
Неужели сделать ничего нельзя?

ЗЫ... И почему это меня сильно напрягает

Chieftain писал(а) 24. Июня 2008 :: 11:46:


Ну, на практике у меня не было случаев, когда бы это сильно напрягало.
Поделать в рамках текущей версии SQLite в-принципе можно: все поля numeric отдавать как blob, а для всех арифметических операций реализовать свои функции (и для агрегирования тоже)
те вместо

sum((а + б) / с)
 

будет что-то типа

numSum(numDiv(numAdd(а, б), c))
  

Оно это надо?

orefkov писал(а) 24. Июня 2008 :: 09:31:

Консольным клиентом тянуть так:

svn checkout http://sqlite1c.googlecode.com/svn/trunk/ sqlite1c-read-only 

Для GUI-клиентов указывать URL: http://sqlite1c.googlecode.com/svn/trunk/

orefkov писал(а) 24. Июня 2008 :: 12:09:

При установке типизации числовых колонок и использовании ROUND считает нормально.
Хотя конструкция

Select ROUND(ЧисловоtПоле,3) as ЧисловаяКолонка 

не дает нормальное число в колонке, баааальшие дроби, хотя и только на некоторых числах.
И математические операции без использования ROUND приводят к весьма странным результатам с дробной частью

orefkov писал(а) 24. Июня 2008 :: 12:26:

нормально выдает

orefkov писал(а) 24. Июня 2008 :: 12:26:

А может из ВК в sqlite отдавать numeric как integer(8) и выполнять сдвиг десятичных разрядов обратно при передаче в 1С?
бред?
Изменено:

Chieftain писал(а) 24. Июня 2008 :: 12:36:

О как!
Не зря я такую типизацию делал.

orefkov писал(а) 24. Июня 2008 :: 12:45:


все равно писателю запросов придется это учитывать при использовании арифметических выражений типа деления/умножения.
Ну хоть какое-то решение

steban писал(а) 24. Июня 2008 :: 12:48:

Ну, кто логарифмические линейки юзал, тот окажется на коне!

Select
...
WHERE UPPER(descr)>'Какое то значение'
Order by UPPER(descr)
limit N
 

эквивалентно ли

Select
...
WHERE descr>'Какое то значение'
Order by descr
limit N(descr) 

в SqlLite?
Как правильно писать, чтобы был задействован индекс UPPER(descr)?
Функция UPPER входит во все индексы(кроме id) всех справочников в 1С.

orefkov писал(а) 24. Июня 2008 :: 12:56:

В общем в этом плане есть проблемы. У меня проявляются при делении и даже ROUND не помогает . Как пример:

66.3/1.3 = 50, но д.б. 51
73.6/3.2 = 22, но д.б. 23
9.1/1.3 = 6, но д.б. 27
9.6/0.8 = 1, но д.б. 12 

Обойти это все можно, но кто знает где это еще выплыть может

округление при типизации выполняется по правилам 1С.

select
1.0 / 2.0  [О1 :Число.10.0]
 

Выдаст - если установлено "округлять 1.5 до 2", то 1.
Если "округлять 1.5 до 1", то 0.

Угу, так возвращает, а когда из базы дергает

CAST(Остатки.Количество/Единицы.Коэффициент as INTEGER) as [Упаковок :Число.15.0] 

66.3/1.3=50.9999999999999, отсюда 50

orefkov писал(а) 25. Июня 2008 :: 07:08:

А если мне нужно получить остаток от деления?

Остатки.Количество-CAST(Остатки.Количество/Единицы.Коэффициент as INTEGER)