Обсуждение конвертера карт программы "Семь Дорог"

naInfo

Да. конвертер будет обновлен в ближайшее время...

kzvs

naInfo

А насколько в ближайшее? Можно озвучить хотя-бы порядок цифр. Пару дней ... или пару недель?

naInfo

Пару дней...

naHard

Обновился конвертер для преобразования карт под программу "Семь Дорог".
Обновилась и GUI и консольная версия.
Теперь конвертер доступен и для 64 бит.

Текущая версия конвертера 1.21.141
Всем, кто производит и конвертирует карты рекомендуем пересобрать карты.

Страница загрузки программы и конвертера:
http://ru.navikey.org/download.html

samsomus

где можно почитать документацию на конвертер? В GUI не видно никаких дополнительных опций...

Kostik

naHard сказал: Теперь конвертер доступен и для 64 бит.

А до этого чем мы пользовались?

Kostik

Что за ошибку теперь выдаёт консольная x86 и x64 версия?

7ways converter 1.21.141
11:42:04.491: No mapper key.

Где взять этот ключ картографа? И зачем ваобще его добавили?

White_54

Error writing encryption key.
Creating atlas file...
8 files loaded
Distance graph: 8123, 29855, 3
Time graph: 8054, 27578, 3
Ok (00:01:41 / 00:01:41).

При создании атласа из карт Rambler OSM (Windows 7, 64).

Kostik

White_54 сказал: При создании атласа из карт Rambler OSM

Карты на рамблере конвертируются старым конвертером. Пока что не ясно что делать с новым.

White_54

Kostik сказал: Карты на рамблере конвертируются старым конвертером.

А что то говорилось о необходимости пересобрать карты новым конвертером при его появлении.

naHard сказал: Всем, кто производит и конвертирует карты рекомендуем пересобрать карты.

Вы пробовали эту процедуру. Карты собранные на новом конвертере ждать или обождать.
Я то карты ещё не собираю. Руки не дошли. Просто атлас пробовал создать новым конвертером. Взял для пробы карты OSM, самые свежие за 17 число, в надежде что они собраны новым конвертером. Атлас создался, с маленькой оговоркой об ошибке. На сколько качественным получился атлас сказать трудно...

Kostik

Я жду как и вы ответа от Навикей. Пока что пользуйтесь старым конвертером.

borism346

Я сконвертил новым конвертером. Вроде карты без проблем работают.

Kostik

borism346 сказал: Я сконвертил новым конвертером.

GUI версией? Мне бы хотелось по поводу консольной получить разъяснения, на данный момент ей не возможно воспользоваться.

borism346

Я консольной конвертил.

Kostik

borism346 сказал: Я консольной конвертил.

Каким образом?

borism346

Как обычно, заменил только .exe конвертера.

Kostik

И ошибки не выскакивало?

borism346

Он в фоне отработал, что показывал я не видел . Карты сконвертились и работают.

Kostik

Так в том то и дело что у меня они не сконвертировались. Хотя тоже просто подменил экзешник. А потом уже полез в консоль смотреть почему.
PS: Кстати в конвертере что я раньше скачал в архиве дата 16.04.2014, а сейчас перекачал и там уже 17.04.2014. Возможно что после версию обновили и требование ключа убрали.
PPS: Так и есть, с версией от 17.04.2014 про ключ ничего не выскакивает.

borism346

Помотрел, у меня конвертер был от 16.04.2014. Сейчас скачал, точно дата отличается, размер совпадает.

Kostik

borism346 сказал: у меня конвертер был от 16.04.2014

Можно тогда время создания файла сравнить, но я почти уверен что оно будет разным.
PS: Меня больше интересует насколько критические исправления в данном конвертере и насколько критично переконвертировать карты именно им.

borism346

Я пока не заметил, что поменялось. Некоторые глюки с полосностью, о которых я писал разработчикам, остались .

petrovgreg

GUI конвертер верси 1.21.142 не создаётся атлас, карты от Kostik
пишит:

Creating atlas file...
85 files loaded
Distance graph: 91410, 324478, 3

и усё
и проц загружен под 50%
сколько в минутах ждать? т.к. у меня терпения не хватает, нажимаю стоп

log_nik

http://www.navikey.ru/vanilla/discussion/comment/6819#Comment_6819
там до конца не описал (но смысл поста, разные сообщения в 32 и 64 битной версии, и увеличено время работы)
костины карты (соответст. 32 и 64) (petrovgreg у тебя 85 долго ждать будешь)

Creating atlas file...
4 files loaded
Distance graph: 5317, 19126, 3
Time graph: 5309, 16004, 3
Ok (00:00:25 / 00:00:25).

Error writing encryption key.
Creating atlas file...
4 files loaded
Distance graph: 5317, 19126, 3
Time graph: 5309, 16004, 3
Ok (00:00:20 / 00:00:20).

petrovgreg

log_nik сказал: увеличено время работы)

Спасибо, я состарился...

Creating atlas file...
85 files loaded
Distance graph: 91410, 324478, 3
Time graph: 91560, 299674, 3
Ok (00:23:24 / 00:23:24).

23 минуты!!!!!!!! со старым было минуты 1,5 вроде

Kostik

petrovgreg сказал: 23 минуты!!!!!!!! со старым было минуты 1,5 вроде

Надеюсь что это время он тратит на создание более быстрых маршрутов, а не от плохой оптимизации самого конвертера или какой то ошибки. Кстати GUI версия тоже обновилась.

kzvs

naInfo :

naHard :

Куда пропала разноска 3D уровней в нодах? Все развязки и мосты оказались в нулевом уровне. Пропущенный баг?

Rezo

Так и не понял в конечном счёте - можно пользоваться данным конвертером или ждать пока "допилят"?

naInfo

Конвертер полностью рабочий. Выпущено техническое обновление до версии 1.21.142.

kzvs сказал: Куда пропала разноска 3D уровней в нодах? Все развязки и мосты оказались в нулевом уровне. Пропущенный баг?

Конвертер не разносит никаких параметров связанных с уровнями узлов. Возможно вы что то другое имели ввиду?

Kostik сказал: это время он тратит на создание более быстрых маршрутов

Устранены ошибки при прокладке коротких маршрутов в части "петель"...

Worker

Доброго времени суток.
Предистория: Загрузил карту испании с мегамэпс, а там нет atlas.dat. Почитал и понял что нужен конвертер.
Собственно история: конвертер не создает атлас для карты испании. 702 файла не совсем подъемны для конвертера. Опытным путем выяснил, что критическая граница 256 файлов, больше никак.

Надеюсь информация будет полезна разработчикам.

White_54

Подскажите, не могу подступиться к самостоятельному созданию карт - http://wiki.openstreetmap.org/wiki/Osm27w
- как скачать область в формате .osm - http://gis-lab.info/projects/osm_dump/ (если отсюда, какой формат osm.pbf или osm.bz2)
- как конвертировать в mp с помощью osm2mp (какой батник запускать, как его отстроить)
если osmpbf2mp32.bat, то - "osmconvert32.exe RU-MOS.osm.pbf|osm2mp32.exe -" , а что следовать должно за "-", да и в пакете osmconvert32.exe нет, есть osmconvert.exe, его прописать (что делают эти два екзешника, где должна лежать ката области)
- с perl совсем ничего не понял, установил - http://wiki.openstreetmap.org/wiki/RU:Osm2mp - установил неустановленные по умолчанию модули и остановился. Не понимаю что делаю и для чего! Тем более что perl вроде как и не нужен теперь.
- конвертер пока отложим, там думаю больших проблем не будет.

Вот такой сумбур. Начать хочется с первой позиции: откуда, как и что качать - формат ".osm"
Спасибо!
Сразу вторая позиция - запустил osmpbf2mp32.bat с конфигурацией - osmconvert.exe RU-MOS.osm.pbf|osm2mp32.exe - RU-MOS.mp какой то процесс пошел:
Loading configuration...
Loading OSM data from STDIN... Жду чем окончится.

Kostik

White_54 сказал: формат osm.pbf или osm.bz2

pbf это бинарный формат, но его можно преобразовать в osm с помощью osmosis или osmconvert. bz2 это архив, распаковывается Winrar`ом.

White_54 сказал: как конвертировать в mp с помощью osm2mp (какой батник запускать, как его отстроить)

Пример для Москвы:

osm2mp.exe --config=cfg-navitel\navitel-ru.cfg --bpoly=poly/RU-MOW.poly --target-lang=ru --default_lang=ru --addr-interpolation --shorelines --disableuturns --defaultcountry=RU --defaultregion="Москва" --mapname="Москва" --output=Maps/mp/RU-MOW.mp  Maps/osm/RU-MOW.osm

А проще скачать мою старую сборку отсюда и посмотреть на примере.

White_54 сказал: - с perl совсем ничего не понял, установил - http://wiki.openstreetmap.org/wiki/RU:Osm2mp - установил неустановленные по умолчанию модули и остановился. Не понимаю что делаю и для чего! Тем более что perl вроде как и не нужен теперь.

В принципе не нужен, но exe`шная версия osm2mp не всегда вовремя обновляется. Как я ставил Perl можно посмотреть здесь.

White_54

Kostik сказал: А проще скачать мою старую сборку отсюда и посмотреть на примере.

Спасибо!

White_54

Простите за назойливость, Костику ещё раз спасибо
1. Для понимания - запустил как уже писал по образцу osmpbf2mp32.bat с конфигурацией:
"osmconvert.exe RU-MOS.osm.pbf|osm2mp32.exe -"
(исходник всё же в формате pbf. Словом как в образце). Само название батника говорит о том что исходник должен быть в формате PBF.
2. Какой то процесс пошел. Потом бац - проблем с памятью. Понял что на своей машине круто начал с Московской области. Скачал pbf Тува на 1 Мб. Батник исправил на:
"osmconvert.exe RU-TY.osm.pbf|osm2mp32.exe -"
процесс побежал и завершился вроде как без ошибок. Цифирьки бегали, жуть. А на выходе ничего. Где конечный файл? Просто преобразования происходили, куда итоги делись? Поиск новых файлов на ПК результата не дал.
<img src="/vanilla/uploads/FileUpload/5/785.PNG" />
<img src="/vanilla/uploads/FileUpload/6/786.PNG" />

Kostik

White_54 сказал: osmpbf2mp32.bat

Я не знаю что это за батник и что там внутри. Но документация по osmconvert есть тут. Или osmconvert --help.
Если нужно просто конвертнуть pbf в osm то это делается так:
osmconvert.exe RU-TY.osm.pbf -o=RU-TY.osm
но есть дополнительные опции, например нарезка по poly файлу, эмуляция osmosis, сохранение всех дорог и полигонов вылезающих за пределы poly файла и т.п. Есть фильтрация определённых объектов.

White_54

Kostik сказал: Но документация

Да уж, инструкций предостаточно и ходов не мало... Один формат в другой, другой в третий... Спасибо! С наступающим праздников Вас и всех Форумчан. А это дело видимо должно вылежаться.

White_54

Kostik сказал: osmconvert.exe RU-TY.osm.pbf -o=RU-TY.osm

Yes, покой нам только снится. Получил формат osm первым батником. Спасибо!
Вторым батником без особых ухищрений получил формат mp:
osm2mp32.exe RU-TY.osm --config cfg-garmin\garmin-ru.cfg --mapid 00012345 --mapname "12345" --defaultcountry RU --defaultregion "12345" --countrylist "iso-3166-1-a2-ru.txt" --disableuturns --nodetectdupes --nointerchange3d --shorelines --hugesea 100000 --textfilter PrepareCP1251 --mp-header TreSize=1024 --mp-header RgnLimit=512 > map.mp
Теперь понятно что в первом батнике можно объединить обе процедуры. Стало понятно что с чем сравнивать (мне так кажется).
<img src="/vanilla/uploads/FileUpload/7/787.PNG" />
Спасибо ещё раз!

White_54

Таким образом как создать самостоятельно карту:
1. Качаем область (регион):
http://gis-lab.info/projects/osm_dump/ (формат osm.pbf)
2. Качаем конвертер карт скажем версия Win32 GUI:
http://wiki.openstreetmap.org/wiki/Osm27w
- osmconvert.exe конвертирует формат "pbf" в формат "osm"
содержимое osmpbf2mp32.bat - osmconvert.exe RU-TY.osm.pbf -o=RU-TY.osm (на примере Тувы)
- osm2mp32.exe конвертирует формат "osm" в польский формат "mp"
содержимое osm2mpGarmin32.bat - osm2mp32.exe RU-TY.osm --config cfg-garmin\garmin-ru.cfg --mapid 00012345 --mapname "12345" --defaultcountry RU --defaultregion "12345" --countrylist "iso-3166-1-a2-ru.txt" --disableuturns --nodetectdupes --nointerchange3d --shorelines --hugesea 100000 --textfilter PrepareCP1251 --mp-header TreSize=1024 --mp-header RgnLimit=512 > map.mp (на гарминовских настройках, в пакете есть так же navikey и navitel = с чем и предстоит в перспективе разобраться, сравнить, по настраивать)
3. Perl похоже проходим за ненадобностью
4. Качаем конвертер 7WaysConv
http://navikey.ru/files/7w/7WaysConv.zip
- 7WaysConv.exe конвертирует формат "mp" в формат "7w"
к чему и стремимся.
Где я не в ту степь?!

Kostik

White_54 сказал: Perl похоже проходим за ненадобностью

exe`шная версия не поддерживает перевод с помощью Яндекс.Переводчика. И ещё некоторые функции транслитерации.

White_54 сказал: Где я не в ту степь?!

Батник конвертации osm->mp от балды. И забыл про необходимость скачивать poly файл границы. это делает getbound.

White_54

Kostik сказал: Батник конвертации osm->mp от балды.

Да, маленький регион как то конвертнулся. А вот Московская область крутится уже два часа на Win64. Процессор 4 ядра подозрительно занят на 1-5%. Будем изучать. Возьму середнячка и на Win32 проверю. Скажем Владимирскую.

Kostik

White_54 сказал: Процессор 4 ядра подозрительно занят на 1-5%

Процесс должен полностью влезать в оперативную память, а не использовать файл подкачки. Используется только одно ядро процессора (т.е. в идеале 25% загрузка проца для 4х ядерного). Или конвертировать 4 файла за раз как делаю я, но соответственно запастись оперативкой. 32бит это только для маленьких регионов.
По поводу "от балды" разберу на примере (многие переменные устарели для текущей версии osm2mp):
osm2mp32.exe
RU-TY.osm входящий файл osm
--config cfg-garmin\garmin-ru.cfg гарминовский конфиг
--mapid 00012345 это нужно только для карт гармина, для 7дорог можно выкинуть
--mapname="12345" тут можно добавить название карты, оно буде видно в GME
--default-country=RU (а не defaultcountry) обязательный параметр для адресации
--default-region="12345" (а не defaultregion) тут пишется название области, тоже для адресного поиска
--countrylist "iso-3166-1-a2-ru.txt" если собирается регион России не нужно. да и не актуально
--disable-u-turns --shorelines --nointerchange-3d есть описание
--nodetectdupes --hugesea 100000 это не актуально
--textfilter PrepareCP1251 смотря в какой кодировке собирается карта, я не использую уже давно этот фильтр да и в новой версии не актуально
--mp-header TreSize=1024 --mp-header RgnLimit=512 не актуально в текущей версии
> map.mp имя карты на выходе конвертации в MP

Kostik

Вот актуальный список переменных для последней версии osm2mp где стоит [on], то можно не добавлять в батник, включено по умолчанию:

---| OSM -> MP converter 1.03-777 (c) 2008-2013 liosha, xliosha@gmail.com


Loading configuration...

Usage: osm2mp.pl [options] file.osm

Available options [defaults]:

Configuration:
--config <file> main configuration file
--load-settings <file> extra settings
--load-features <file> extra features

Flags (use --no-<option> to disable):
--routing produce routable map [on]
--oneway enable oneway attribute for roads [on]
--merge-roads merge same ways [on]
--split-roads split long and self-intersecting roads [on]
--fix-close-nodes enlarge distance between too close nodes [on]
--barriers create restrictions on barrier nodes [on]
--disable-u-turns disable u-turns on nodes with 2 links [on]
--dest-signs process destination signs [off]
--road-shields write shields with road numbers [on]
--transport-stops write route refs on bus stops [on]
--street-relations use street relations for addressing [on]
--interchange-3d navitel-style 3D interchanges [off]
--background create background object [on]
--clip-areas clip polygons to map boundary [on]
--shorelines create sea areas from coastlines [on]
--water-back water background (for island maps) [off]
--marine process marine-specific data [off]
--addressing resolve addresses [on]
--navitel write addresses for house polygons [on]
--poi-contacts write contact info for POIs [on]
--addr-from-poly use building outlines for POI addressing [on]
--make-poi create POIs for polygons [on]
--addr-interpolation create address points by interpolation [off]

Values:
--merge-cos max angle between roads to merge (cosine) [0.2]
--max-road-nodes maximum number of nodes in road [60]
--fix-close-dist minimum allowed routing segment length (m) [3.0]
--target-lang desired map language
--default-lang source language for default tags

Boundaries:
--bpoly <poly-file> use bounding polygon from .poly-file
--bbox <bbox> comma-separated minlon,minlat,maxlon,maxlat
--osmbbox use bounds from .osm

Other options:
--namelist <key>=<list> comma-separated list of tags to select names
--rename-table table for renaming, yaml-file
--default-country default country
--default-region default region
--default-district default district
--default-subdistrict default subdistrict
--default-city default city


Writer options:
--o|output output file [stdout]
--multiout multiwriter base field (experimental)
--header <key>=<val> extra header options
--codepage <num> output character encoding [65001]
--filter <name> add predefined filter
--upcase same as --filter upcase
--translit same as --filter translit
--perlio-filter use perlio via-layer as filter
--ttable character conversion table

Language options:
--lt-priority <id>=<val> set tranformer priority
--lt-dump list registered transformers
--lt-equal <lang>=<langs> set language alias (comma-separated list)
--lt-gme <data> GME table, data is <from_lang>-<to_lang>:<file>
--lt-yatr-key <key> api key or @keyfile
--lt-yatr-cache-dir <dir> directory to store cache


PS: Нормальной инструкции к osm2mp не существует. И как использовать большинство данных ключей знает лишь автор osm2mp

White_54

Kostik сказал: Вот актуальный список переменных

Да, я понял что конвертация в "mp" потребует гораздо большего понимания и простоё использование конфига "для ленивых" не пройдет. Это лишь для начала...
Огромное спасибо, буду переваривать.

MiSerg

Когда-то я очень давно занимался конвертацией и запускал одним батником, который скачивал карту, обрезал и делал .mp файл. Я устанавливал Perl, т.к. можно настраивать параметры для себя в файле osm2mp.pl. White_54, конечно многое поменялось и может устарело, но посмотри, может быть и пригодится:

set map_n=ARK
set map_r="Такая-то область"

wget -N http://data.gis-lab.info/osm_dump/dump/latest/RU-%map_n%.osm.bz2 -olog.txt
size.vbs
If Exist log.txt Exit /B
7za e RU-%map_n%.osm.bz2 -y
getbound.pl RU-%map_n% -o RU-%map_n%.poly -onering
osm2mp.pl --config=cfg/navikey-ru.cfg --mapname="Такая-то область" --water-back --target-lang=ru --default_lang=ru --bpoly=RU-%map_n%.poly RU-%map_n%.osm -o Russia-%map_n%.mp
mp-postprocess-navikey.pl Russia-%map_n%.mp
cmd
exit

White_54

MiSerg сказал: конечно многое поменялось и может устарело, но посмотри, может быть и пригодится:

За одни сутки столько переварить... Но эмоций... Спасибо, всё буду пробовать, всё буду посмотреть.
Всех с праздником Победы!!! Пауза, все на природу! Ура!

White_54

Kostik сказал: Батник конвертации osm->mp от балды. И забыл про необходимость скачивать poly файл границы. это делает getbound.

Запустил батник для osm2mp32.exe с одним ключом "osm2mp32.exe --config=cfg-navitel\navitel-ru.cfg RU-VLA.osm > RU-VLA.mp" (на примере Владимирской). Карта создалась. На первый взгляд к карте претензий нет. Поиск работает, маршрут прокладывается, POI дороги, адреса отображаются.

Ключей на самом деле много - http://wiki.openstreetmap.org/wiki/RU:Osm2mp, но они упоминаются в формате - "osm2mp.pl [ключи] file.osm > file.mp"
В сборках (r777) для самых ленивых (как я понимаю) используется ".exe" (шник) вместо скрипта ".pl", что позволяет избежать установки Perl.

1.Вопрос: Perl необходим для написания скрипта "pl" и для запуска скрипта "pl"?
2.Вопрос: Экзешник - это тот же скрипт на языке Perl, только обрамлённый в программу?
3.Вопрос: Достаточно ли экзешнику указать на файл конфигурации ".cfg" из сборки (r777)? Или ключи необходимы?
4.Вопрос: Какая роль отведена ключам? Исключительно - Вкл/Выкл? Использовать этот шаблон или другой? И если ключи явно не указаны, то срабатывают умолчания?
5.Вопрос: Для 7 дорог упоминаются конфиги Навител, Гармин и собственно Навикей? Это как, зачем (не могу сформулировать)? В чём разница на выходе?
=уже вижу что использование конфига Гармина потребует совместимого Скина...=
=уже понятно что карта на Гарминовском конфиге тяжелее, наверно полнее...=
6.Вопрос: Модули "yml", на которые ссылаются файлы конфигурации - это рукописные шаблоны (некое описания для обработки исходных данных osm)? Тогда что делает собственно скрипт?
7.Вопрос: Файл конфигурации "cfg" определяет модули (шаблоны) ".yml"? А значит устанавливает правила обработки данных osm?

Прошу прощения, но пока нет полного понимания места в процедуре конвертации для: ".exe" и ".pl"; ".cfg", ".yml" и ключей.

Kostik

1. Для написания достаточно блокнота и знаний, для запуска без Perl`а не обойтись.
2. exe`шник это откомпилированный pl скрипт.
3. например собирая карту островного государства видим что нет моря, добавляем ключ --water-back и у нас появляется подложка в виде моря. Это так конкретный пример. Или хотим собирать карту на определённом языке то без ключей --target-lang и --default-lang не обойтись. Нужно разбираться с ключами, иначе приемлемого результата может и не получиться.
4. Если ключ не указан, то срабатывает умолчания, в том числе из конфига .cfg
5. Разница в наборе объектов, так называемом TypeSet. В наборе правил.
6. Скрипт или компилированный exe модуль обрабатывает данные конфигурации и правила в них описанные.
7. Именно так. Так задумал автор osm2mp, ему виднее зачем он сделал так, а не иначе. Ещё это сделано для создания различных конфигураций, например с роутингом или без, с определёнными правилами адресации, определённой кодировке и т.п.

PS: Я надеюсь что Навикей когда нибудь всё же сделает свой конвертер из osm (о чём не однократно говорили на форуме), минуя стадию создания mp. Так как больше всего времени в создании карт занимает именно конвертация в MP.

White_54

Kostik сказал: Я надеюсь что Навикей когда нибудь всё же сделает свой конвертер из osm

- Ещё вчера конвертация в mp шла со всеми тремя конфигами. Не знаю что сделал (много чего перебирал, в том числе заново качал сборку (r777) - сегодня уже конвертация под конфигом cfg-navikey\Navikey-ru.cfg завершается ошибкой:
<img src="/vanilla/uploads/FileUpload/10/790.jpg" />
- Ещё вчера после конвертации без ключей маршрут между областями строился - сегодня только по прямой.

Надо читать дальше, а главное перечитывать прочитанное... Спасибо.

Kostik

White_54 сказал: cfg-navikey\Navikey-ru.cfg завершается ошибкой:

Этот конфиг от старой версии osm2mp, с 1.03-777й версией он никогда не работал. Я потому и пользуюсь конфигом от Навитела.

borism346

White_54,
посмотри в конфиге (.cfg), если есть такое, убери:
# process turn restrictions
restrictions: 1