Переключение на Главную Страницу Страницы: 1 ... 62 63 [64] 65 66 ... 79 ОтправитьПечать
Очень популярная тема (более 25 ответов) 1sqlite (число прочтений - 458889 )
vladimirmir2012
Senior Member
****
Отсутствует


1C++ rocks!

Сообщений: 426
Зарегистрирован: 18. Мая 2011
Re: 1sqlite
Ответ #945 - 23. Марта 2018 :: 06:28
Печать  
  
Наверх
 
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #946 - 23. Марта 2018 :: 12:50
Печать  
Djelf, новость отличная. Но тесты прошли неудачно.

Из UTF файла с заголовками загрузка прошла, а вот из файла без заголовков - нет.

Параметры загрузки: 'e:\1S\1cv7_old_1_utf.txt',0,3,';','""',0

Ошибка выполнения: table definition failed, error: 'SQL logic error or missing database', schema: 'CREATE TABLE x();'

Т.е., как видишь, не подставились названия с1 и т.д.
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #947 - 23. Марта 2018 :: 12:52
Печать  
Vladimir, спасибо за хороший tools. Действительно удобная утилита, бесплатная. С быстрыми фильтрами, с возможностью строить быстрые графики зависимостей между цифровыми колонками и пр....
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #948 - 23. Марта 2018 :: 12:57
Печать  
И что должно было быть по этой ссылке? https://cloud.mail.ru/public/AxVj/tNM1g3MdU - сейчас выдает ошибку 404
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #949 - 23. Марта 2018 :: 13:07
Печать  
И, кстати, загружал просто через

Код (C++)
Выбрать все
SELECT load_extension('sqlite3_mod_csv.dll') 



Так тоже работает.
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
Djelf
God Member
*****
Отсутствует


Ubuntu + wine@etersoft
+ 1C 7.7

Сообщений: 633
Местоположение: Питер
Зарегистрирован: 02. Ноября 2007
Пол: Мужской
Re: 1sqlite
Ответ #950 - 23. Марта 2018 :: 13:27
Печать  
alyuev писал(а) 23. Марта 2018 :: 12:57:
И что должно было быть по этой ссылке? https://cloud.mail.ru/public/AxVj/tNM1g3MdU - сейчас выдает ошибку 404

Убрал альфу, релиз в каталоге.
Допилил имена колонок, типизацию и устранил утечку памяти.

Так с колонками и типизацией получается значительно веселее...
    ФлагиОбработки:
         0 0x0000 - в файле нет заголовка
                  - имена колонок автоматически c1,c2,c3
                  - в определении колонок только типизация
         1 0x0001 - в файле есть заголовок и он не будет выведен в таблицу
         2 0x0010 - имена колонок из заголовка, если он есть
         4 0x0100 - в определении колонок имя и тип по очереди

Хотя ошибки все равно возможны Подмигивание
  
Наверх
www  
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #951 - 23. Марта 2018 :: 13:43
Печать  
При ФлагеОбработки = 0 обязательно указывать типизацию!

Если не указывать - ошибка:

error: 'SQL logic error or missing database', schema: 'CREATE TABLE x(c1 0,c2 ,c3 ,c4 ,c5 ,c6 ,c7 ,c8 ,c9 ,c10 );'
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #952 - 23. Марта 2018 :: 13:47
Печать  
А так - всё супер! Спасибо!
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
Djelf
God Member
*****
Отсутствует


Ubuntu + wine@etersoft
+ 1C 7.7

Сообщений: 633
Местоположение: Питер
Зарегистрирован: 02. Ноября 2007
Пол: Мужской
Re: 1sqlite
Ответ #953 - 23. Марта 2018 :: 13:52
Печать  
alyuev писал(а) 23. Марта 2018 :: 13:43:
При ФлагеОбработки = 0 обязательно указывать типизацию!

Если не указывать - ошибка:

error: 'SQL logic error or missing database', schema: 'CREATE TABLE x(c1 0,c2 ,c3 ,c4 ,c5 ,c6 ,c7 ,c8 ,c9 ,c10 );'

Возьми из каталога sqlite3_mod_csv_02
Что-то в процессе сломался бом, вроде починил...

Лог вот так нормально подключается
CREATE VIRTUAL TABLE temp.csv USING csvfile(каталог+'1cv7.mlg',0,1);
А чтобы дойти до типизации нужно добавлять '' иначе sqlite3 не посылает эти параметры в расширение.
CREATE VIRTUAL TABLE temp.csv USING csvfile(каталог+'1cv7.mlg',0,1,'','','text');
  
Наверх
www  
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #954 - 23. Марта 2018 :: 16:10
Печать  
У меня загружается где-то 50-60К строк за одну секунду.

То, что я писал "Сама загрузка очень быстрая - 900К строк загрузилось в лайт за 0.002с." - это я делал замер только на запрос по созданию виртуальной таблицы. Улыбка . А 50К/сек - это уже выборка SELECT *.

917К строк загрузились без всяких лимитов нормально.
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #955 - 23. Марта 2018 :: 16:24
Печать  
Хм, есть файл с заголовками.

При ФлагеОбработке = 1 - колонки пронумеровались С1 и т.д. При = 2 - колонки взяли наименование, но и в таблицу эта строка попала тоже.
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
Djelf
God Member
*****
Отсутствует


Ubuntu + wine@etersoft
+ 1C 7.7

Сообщений: 633
Местоположение: Питер
Зарегистрирован: 02. Ноября 2007
Пол: Мужской
Re: 1sqlite
Ответ #956 - 23. Марта 2018 :: 16:25
Печать  
alyuev писал(а) 23. Марта 2018 :: 16:10:
У меня загружается где-то 50-60К строк за одну секунду.

То, что я писал "Сама загрузка очень быстрая - 900К строк загрузилось в лайт за 0.002с." - это я делал замер только на запрос по созданию виртуальной таблицы. Улыбка . А 50К/сек - это уже выборка SELECT *.

917К строк загрузились без всяких лимитов нормально.


Оно должно зависить от проца и винта. Как иначе то?

Сборка с "-march=i486", ниже уже давно не бывает... подбирал, но на скорость не влияет.

"Чистая" скорость чтения получается при select count(*). Это фактически скорость сырого чтения. Из файла csv строку, хочешь/не хочешь, а прочитать придется.

900к еще съест, я на 3кк тестирую.
  
Наверх
www  
IP записан
 
Djelf
God Member
*****
Отсутствует


Ubuntu + wine@etersoft
+ 1C 7.7

Сообщений: 633
Местоположение: Питер
Зарегистрирован: 02. Ноября 2007
Пол: Мужской
Re: 1sqlite
Ответ #957 - 23. Марта 2018 :: 16:30
Печать  
alyuev писал(а) 23. Марта 2018 :: 16:24:
Хм, есть файл с заголовками.

При ФлагеОбработке = 1 - колонки пронумеровались С1 и т.д. При = 2 - колонки взяли наименование, но и в таблицу эта строка попала тоже.

Это фича, а не баг.
Вдруг тебе надо заголовок вытащить в таблицу!
3 - спасет от этого.

  
Наверх
www  
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #958 - 23. Марта 2018 :: 16:33
Печать  
Попробовал загрузить файл 990К строк. Хотел сделать замер на загрузку всех строк - произошел вылет. И теперь даже с лимитом сразу вылетает.
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
alyuev
God Member
*****
Отсутствует


Гражданин Вселенной

Сообщений: 850
Местоположение: Одесса
Зарегистрирован: 07. Декабря 2007
Пол: Мужской
Re: 1sqlite
Ответ #959 - 23. Марта 2018 :: 16:37
Печать  
И вылетает теперь на любом файле... Как будто где-то что-то подвисло.... Хотя процесс 1Сный убивается.
  

1C 7.7.025; 1C++ 3.2.4.3; Formex 2.0.5.94; 1sqlite
Наверх
IP записан
 
Переключение на Главную Страницу Страницы: 1 ... 62 63 [64] 65 66 ... 79
ОтправитьПечать