Алгоритм конвертации карт OSM в карты для программы 7 ways

TsymbalAV

Не нашёл на просторах форума и интернета вразумительного описания порядка конвертации карт для любимой программы 7 ways. Решил записать здесь этот алгоритм, чтобы не забыть.
Начнём. Получить карты для программы 7 ways можно из карт OSM (OpenStreetMap). Для этого карты формата *.osm надо конвертировать в формат *.mp, а уже этот формат - в формат *.7w
Об этом нужно прочитать здесь: сайт "Программа навигации "Семь дорог"" (http://ru.navikey.org/) - Скачать - Документация - Рекомендации по подготовке карт. В этом документе есть ссылка на статью в Википедии (RU:Osm2mp), в которой описан скрипт osm2mp. Цитата:
"osm2mp — это скрипт на языке программирования Perl, написанный пользователем Liosha для преобразования данных OSM в польский формат (.mp)."
Статья предлагает ссылку для скачивания программы Perl (https://www.activestate.com/activeperl).
1. Скачиваем, устанавливаем и запускаем Perl (Perl Package Manager (PPM)).
2. Скачиваем сам скрипт osm2mp.pl: в статье есть ссылка в SVN (https://github.com/liosha/osm2mp), здесь лежит скрипт и сопутствующие файлы. Скачиваем всё это хозяйство одним архивом (зелёная кнопка Clone or download - Download ZIP), и распаковываем в отдельную папку (по умолчанию у меня получилась папка osm2mp-master).
Для работы скрипта нужно, чтобы в программе Perl были запущены определённые модули. Список модулей находится в самом скрипте. Открываем osm2mp.pl Блокнотом и читаем (от версии к версии скрипта список, вероятно, может меняться):
Required packages:
## * Config::Std
## * Getopt::Long
## * YAML
## * Encode::Locale
## * List::MoreUtils
## * Math::Polygon
## * Math::Polygon::Tree
## * Tree::R
## * Geo::Openstreetmap::Parser
##
## Optionally required:
## * Template (см. *Примечание)
## * Geo::Shapefile::Writer
## * Math::Geometry::Planar::GPC::Polygon or Math::Geometry::Planar::GPC::PolygonXS
## * Text::Unidecode
Этих модулей в списке скрипта нет, но они тоже нужны:
## * Match-Smart (если Smart нет, то Match-Any, match-simple, match-simple-XS)
## * File-Slurp
## * Log-Any
## * Log-Any-Adapter (если Adapter нет, то включаем все Log-Any-Adapter-..........., их примерно полтора десятка)
## * PerlIO-via-PrepareCP1251
## * PerlIO-via-Unidecode
*Примечание: модуль просто Template в списке PPM отсутствует, поэтому запускаем Template-toolkit, который указан в статье. (см. ниже).
Запускаем все эти модули (некоторые из них уже запущены по умолчанию). Процедура запуска описана в статье. Цитата:
- В окне Perl Package Manager (PPM) выбрать в меню View команду All Packages;
- найти в списке модуль Template-toolkit и выделить его;
- В меню Action (или в контекстном меню по правому клику) выполнить команду Install Template-toolkit;
- Таким же образом отметить для установки неустановленные по умолчанию в Вашей версии ActivePerl модули;
- В меню File выполнить команду Run Marked Actions;
- *Выйти из PPM.
*Перед выходом из PPM предлагаю выбрать в меню View команду Upgradable Packages. Отметить все модули (их более полусотни) (правый клик - Install новая версия модуля), и обновить их (В меню File выполнить команду Run Marked Actions).
Далее в статье предлагается выполнить в командной строке (cmd) процедуры для CPAN. Цитата:
а.) Запустить "Командную строку" (Пуск-Выполнить-набрать слово cmd - Нажать ОК).
б.) В командной строке набрать cpan, нажать Enter.
***При первом запуске происходит загрузка и установка Dmake и MinGV gcc compiler (используют программу Perl (PPM)). По завершении установки появляется сообщение: "Please use the 'dmake' program to run commands from a Makefile!". Запустил Dmake. Промелькнуло окно cmd, и всё. Переходим к пункту в.)
в.) Находясь в cpan (на экране видно строку cpan> ), набрать install Config::Std и нажать Enter (не перепутайте прописные и строчные буквы). Если ругается про тесты - запустите notest install Config::Std.
г.) Находясь в cpan (на экране видно строку cpan> ), набрать install Template и нажать Enter (не перепутайте прописные и строчные буквы). На вопросы установщика жать Enter.
д.) Выйти из cpan (на экране после cpan> , набрать q и нажать Enter)
3. Теперь нужны карты в формате *.osm. Найти такие не удалось. Ближайшее, что нашёл - это архивированные .osm в формат .pbf. Такие архивы, обновляемые ежедневно, любезно выкладывает сайт GIS LAB (http://gis-lab.info/projects/osm_dump/). Карты есть и как за всю страну, так и разбитые по краям, областям и республикам нашей необъятной Родины. Очень мило.
Скачиваем те, которые нужны (где ездить будем). Кладём их в ту папку, где лежит скрипт osm2mp.pl.
Чтобы распаковать архив *.pbf в карту *.osm, я использовал программу osmconvert.exe. Попалась она мне по ссылке на English версии статьи Википедии, среди файлов пакета: There are exe-builds (created with PAR::Packer): - выбираем ссылку на 32 или 64 бита (https://www.dropbox.com/s/2uh9qvmzblhiio2/osm2mp64.zip?dl=0), качаем, распаковываем. Копируем osmconvert.exe в ту папку, где лежат скрипт и карты *.pfb.
Запускаем osmconvert.exe. Беседуем с товарищем Bert: называем ему имя карты, и что мы желаем её конвертировать, и что формат нам нужен osm. Пока идёт конвертация, Bert предлагает сделать батник. В моём случае:
osmconvert RU-KDA.osm.pbf --out-osm -o=RU-KDA.osm_01.osm
Где:
RU-KDA.osm.pbf - это имя карты, которую вы собираетесь распаковать (конвертировать);
out-osm - это формат, который вы желаете получить;
o=RU-KDA.osm_01.osm - это имя карты, которое она получит в формате .osm.
Как делать батник: открыть Блокнот, вставить текст из примера, сохранить файл (назовём его pbf_osm_convert) в папку с картой (у меня, напоминаю, - osm2mp-master), и заменить расширение .txt на расширение .bat (использование батника лишает вас общения с Bert).
По окончании конвертации Bert сообщает имя карты после конвертации, благодарит вас за визит, и прощается с вами.
Общаетесь вы и Bert, разумеется, in English.
4. У нас есть: скрипт osm2mp.pl, программа Perl Package Manager (PPM), карта в формате *.osm. Нам ещё нужны конфигурационные файлы Navikey. Качаем их по ссылке из документа "Рекомендации по подготовке карт" (http://www.navikey.ru/files/7w/osm27w.zip). Распаковывает, и помещаем все файлы в папку, где лежит скрипт (osm2mp-master). Среди распакованных файлов есть замечательный батник !sample.bat Его текст мы используем в Блокноте как исходник для написания нужного нам задания для скрипта:
perl osm2mp.pl RU-KDA.osm_01.osm 1>RU-KDA.mp
Сохраняем файл (назовём его osm_mp_convert) и переделываем в .bat
Запускаем osm_mp_convert.bat. Ждём. Получаем карту в польском формате: RU-KDA.mp
5. Теперь нужно прочитать этот документ: сайт "Программа навигации "Семь дорог"" (http://ru.navikey.org/) - Скачать - Документация - Инструкция по конвертеру. Сам конвертер лежит здесь: сайт "Программа навигации "Семь дорог"" (http://ru.navikey.org/) - Скачать - Конвертер карт.
В полученной карте .mp нужно устранить ошибки. Для этого воспользуемся программой GPSMapEdit (GME). Сайт: http://www.geopainting.com/index.php?lang=ru_RU. Скачиваем, устанавливаем, запускаем. Загружаем карту.
Настраиваем GME: см. "Инструкция по конвертеру" - Общие требования к “польским картам”.
Правим карту: Инструменты - Удалить дубликаты объектов. Сохраняем.
6. Выполняем "Пошаговый алгоритм" (в документе "Инструкция по конвертеру").
Получаем карту в формате *.7w.
7. По вопросам адаптации конвертирования под свои нужды обращаемся к уважаемым форумчанам, которые этим занимаются.

Kostik

TsymbalAV написал: »

Не нашёл на просторах форума и интернета вразумительного описания порядка конвертации карт для любимой программы 7 ways.

Плохо искали.
https://navikey.ru/vanilla/discussion/11/obsuzhdenie-konvertera-kart-programmy-sem-dorog/p1
https://forum.openstreetmap.org/viewtopic.php?id=694
Исправленный osmconvert
https://forum.openstreetmap.org/viewtopic.php?id=57069&p=2

TsymbalAV написал: »

(использование батника лишает вас общения с Bert).
По окончании конвертации Bert сообщает имя карты после конвертации, благодарит вас за визит, и прощается с вами.
Общаетесь вы и Bert, разумеется, in English.

Куски с WiKi это понятно, а эта Bert откуда взялась?

TsymbalAV

Kostik написал: »

Куски с WiKi это понятно, а эта Bert откуда взялась?

Вам надо познакомиться.
Откройте файл osmconvert.exe (путь к 64 бит - https://www.dropbox.com/s/2uh9qvmzblhiio2/osm2mp64.zip?dl=0)

TsymbalAV

Kostik написал: »

TsymbalAV написал: »

Не нашёл на просторах форума и интернета вразумительного описания порядка конвертации карт для любимой программы 7 ways.

Плохо искали.
https://navikey.ru/vanilla/discussion/11/obsuzhdenie-konvertera-kart-programmy-sem-dorog/p1
https://forum.openstreetmap.org/viewtopic.php?id=694
Исправленный osmconvert
https://forum.openstreetmap.org/viewtopic.php?id=57069&p=2

Дык ё: первая ветка - 17 страниц; вторая ссылка - ветка Лёши, 165 страниц.
Есть где-то пошагово, как у меня оформлено?
А что такое справленный osmconvert? Я на имеющийся не жалуюсь. В нём Bert живёт.

Kostik

TsymbalAV написал: »

Есть где-то пошагово, как у меня оформлено?

Есть и более толково, но мне щас лень искать. Ключевые слова поиска все известны, это исполняемые файлы.

TsymbalAV написал: »

Я на имеющийся не жалуюсь. В нём Bert живёт.

Оставлю без комментариев.

TsymbalAV

Kostik написал: »

Исправленный osmconvert
https://forum.openstreetmap.org/viewtopic.php?id=57069&p=2

If you do not know how to operate the command line, please
enter "a" (press key E and hit <Return>).
Подскажите, почему для ввода "a" надо нажать E ?

PS Дык, и в этом конверторе живёт Bert.

TsymbalAV

Kostik написал: »

Есть и более толково, но мне щас лень искать. Ключевые слова поиска все известны, это исполняемые файлы.

А когда лень пройдёт? Помогите пожалуйста.
Спасибо!

White_54

1 Учимся качать исходник. Задействуем - команда wget
wget -P MAPS/MOS/PBF -N -F http://data.gis-lab.info/osm_dump/dump/latest/RU-MOS.osm.pbf
2. Учимся доставлять границы региона обработки - getbound
perl getbound/getbound.pl 102269 -o MAPS/MOS/POLY/RU-MOW.poly -api osm -onering
perl getbound/getbound.pl 51490 -o MAPS/MOS/POLY/RU-MOS.poly -api osm -onering
3. Преобразуем формат pbf в формат osm - команда osmconvert
osm2mp/osmconvert MAPS/MOS/PBF/RU-MOS.osm.pbf -B=MAPS/MOS/POLY/RU-MOW.poly --emulate-osmosis --verbose --drop-author --complete-ways --complex-ways -o=MAPS/MOS/OSM/RU-MOW.osm
osm2mp/osmconvert MAPS/MOS/PBF/RU-MOS.osm.pbf -B=MAPS/MOS/POLY/RU-MOS.poly --emulate-osmosis --verbose --drop-author --complete-ways --complex-ways -o=MAPS/MOS/OSM/RU-MOS.osm
4. Получаем Польский формат - команда osm2mp
perl osm2mp/osm2mp.pl --config=osm2mp/cfg-navitel/navitel-ru.cfg --bpoly=MAPS/MOS/POLY/RU-MOW.poly --default-country=RU --default-region="Москва" --mapname="Москва" --output=MAPS/MOS/MP/RU-MOW.mp MAPS/MOS/OSM/RU-MOW.osm
perl osm2mp/osm2mp.pl --config=osm2mp/cfg-navitel/navitel-ru.cfg --bpoly=MAPS/MOS/POLY/RU-MOS.poly --default-country=RU --default-region="Московская область" --mapname="Московская область" --output=MAPS/MOS/MP/RU-MOS.mp MAPS/MOS/OSM/RU-MOS.osm
6. Запускаем преобразование формата "mp" в 7 дорог. Два варианта - либо конвертер карт, либо консольный конвертер.

Указано для Linux.
Это основа. Потом туча тонкостей, дополнений, изменений...
Вместо Perl можно начать с экхешников. На каждую команду есть своя тема на форуме. Команды имеют варианты написания в зависимости от того в какой операционной системе идет обработка.
На каждую команду есть внутренний help...

Perl для Windows 64 - https://yadi.sk/d/4EWDmiN43DTyh5
Ещё вариант - https://yadi.sk/d/BI7VIViH3EA9Rw
Установить копированием и пути внести в - Path
Возможна нестыковка конфигурационных файлов и данных наборов Perl. Это отдельная муторная тема.

TsymbalAV

White_54 написал: »

4. Получаем Польский формат - команда osm2mp
perl osm2mp/osm2mp.pl --config=osm2mp/cfg-navitel/navitel-ru.cfg --bpoly=MAPS/MOS/POLY/RU-MOW.poly --default-country=RU --default-region="Москва" --mapname="Москва" --output=MAPS/MOS/MP/RU-MOW.mp MAPS/MOS/OSM/RU-MOW.osm

Спасибо!
Вопрос: почему в --config=osm2mp/cfg-navitel/navitel-ru.cfg идёт речь про navitel?

White_54

TsymbalAV написал: »

Вопрос: почему в --config=osm2mp/cfg-navitel/navitel-ru.cfg идёт речь про navitel?

У Бориса например речь идет о Гармин. Примите пока как должное. Не это главное сейчас.

Kostik

TsymbalAV написал: »

Вопрос: почему в --config=osm2mp/cfg-navitel/navitel-ru.cfg идёт речь про navitel?

Потому что за основу использовались конфиги от Навитела. Раньше были и от Навикея, но они давно их не выкладывали в общий доступ, а старые уже не работают с osm2mp.

TsymbalAV

Понятно.

TsymbalAV

Kostik написал: »

Памяти мало, чтобы собирать Россию в 4 потока нужно около 24Гб, лудше 32Гб.

По ходу конвертации из .osm в .mp при выполнении процедуры Processing ways... появляется сообщение:
Argument "" isn't numeric in numeric lt (<) at (eval 126) line 12.
Нашёл ответ на этой ветке: https://navikey.ru/vanilla/discussion/comment/8199/#Comment_8199
Ответ:

Kostik написал: »

My PC spec: Win 7 Pro x64, 32GB RAM. This error has ever seen.

Мой комп - 6 ГБ ОЗУ. Сообщение про Argument появляется несколько раз. Конвертация при этом не прерывается, карта .mp затем конвертируется в .7w

PS Сообщение, судя по всему, вылетает при конвертации больших файлов.
Краснодарский край .osm = 2 604 354 КБ.

TsymbalAV

Вчера правил карты OSM. Сегодня скачал этот регион (с сайта GIS LAB), и переконвертировал в карту *.7w
Вопрос по разрешающей способности при обработке формы объектов. Например, дом многоугольной формы. Первый printscreen - исходник OSM. Второй - то, что получилось после конвертаций.
Суть вопроса: такие мелкие детали в принципе невозможно получить на карте *.7w, или это не настроенная конвертация?
PS Дом на карте - жжёт

borism346

Зависит от заданной битности в .mp файле.

Rezo

borism346 написал:

Зависит от заданной битности в .mp файле.

Кстати!
А насколько в принципе, необходима 26-битность?
Кроме красоты картинки, есть ли какие отрицательные моменты, если пока не обращать внимание на Гармин?
Не уверен точно, но вроде как в Гармин 24, а у остальных (из широкораспространённых) 26.

TsymbalAV

White_54 написал: »

1 Учимся качать исходник. Задействуем - команда wget
wget -P MAPS/MOS/PBF -N -F http://data.gis-lab.info/osm_dump/dump/latest/RU-MOS.osm.pbf

Разбираюсь по порядку.
1. - это мы качаем нужную нам карту *.pbf с сайта GIS LAB.

2. Учимся доставлять границы региона обработки - getbound
perl getbound/getbound.pl 102269 -o MAPS/MOS/POLY/RU-MOW.poly -api osm -onering
perl getbound/getbound.pl 51490 -o MAPS/MOS/POLY/RU-MOS.poly -api osm -onering

2. Не понятно, что такое "доставлять", и зачем вообще работать с границами, если уже на сайте GIS LAB выложена карта с границами нужного региона, и мы её скачали в п. 1? Хорошо, в этом пункте мы получили файл *.poly

3. Преобразуем формат pbf в формат osm - команда osmconvert
osm2mp/osmconvert MAPS/MOS/PBF/RU-MOS.osm.pbf -B=MAPS/MOS/POLY/RU-MOW.poly --emulate-osmosis --verbose --drop-author --complete-ways --complex-ways -o=MAPS/MOS/OSM/RU-MOW.osm
osm2mp/osmconvert MAPS/MOS/PBF/RU-MOS.osm.pbf -B=MAPS/MOS/POLY/RU-MOS.poly --emulate-osmosis --verbose --drop-author --complete-ways --complex-ways -o=MAPS/MOS/OSM/RU-MOS.osm

3. Здесь в принципе всё понятно. Допустим, пропускаем команду по работе с файлом *.poly (если мы пропускали п 2.).
Что делают опции emulate, verbose, drop, complete и complex?
--verbose: текстовый вывод будет ещё более детальный, хотя, возможно, и не всегда понятный (информация о том, чем сейчас занято приложение) (With activated \'verbose\' mode, some statistical data and diagnosis data will be displayed.);
--complete-ways: do not clip ways at the borders; (If applying a border box or a border polygon, all nodes the borders are excluded; even then if they belong to a way which is not entirely excluded because it has some nodes inside the borders. This option will ensure that every way stays complete, even it it intersects the borders. This will result in slower processing, and the program will loose its ability to read from standard input. It is recommended to use .o5m format as input format to compensate most of the speed disadvantage.);
--complex-ways: do not clip multipolygons when applying borders; (the term "--complex-ways" is deprecated but still supported);
--drop-author: delete changeset and user information (For most applications the author tags are not needed. If you specify this option, no author information will be written: no changeset, user or timestamp.);
--emulate-osmosis: emulate Osmosis XML output format (In case of .osm output format, the program will try to use the same data syntax as Osmosis);
(***описание опций взято здесь: http://m.m.i24.cc/osmconvert.c)
В частности, про complete и complex написано: Limitations: The Windows version (the downloaded binary) does not work with large files such as planet.osm (greater than 2Gb) when using the --complete-ways or --complex-ways option.
А карта KDA как раз превышает 2 гига.

4. Получаем Польский формат - команда osm2mp
perl osm2mp/osm2mp.pl --config=osm2mp/cfg-navitel/navitel-ru.cfg --bpoly=MAPS/MOS/POLY/RU-MOW.poly --default-country=RU --default-region="Москва" --mapname="Москва" --output=MAPS/MOS/MP/RU-MOW.mp MAPS/MOS/OSM/RU-MOW.osm
perl osm2mp/osm2mp.pl --config=osm2mp/cfg-navitel/navitel-ru.cfg --bpoly=MAPS/MOS/POLY/RU-MOS.poly --default-country=RU --default-region="Московская область" --mapname="Московская область" --output=MAPS/MOS/MP/RU-MOS.mp MAPS/MOS/OSM/RU-MOS.osm

4. Тут снова встречаемся с *.poly. Про *.cfg я уже спрашивал. Но ещё вопрос: без *.cfg насколько изменится конвертация?

Спасибо!

TsymbalAV

borism346 написал: »

Зависит от заданной битности в .mp файле.

Подскажите пожалуйста, как проверить / поменять эту битность?
Спасибо!

TsymbalAV

TsymbalAV написал: »

Но ещё вопрос: без *.cfg насколько изменится конвертация?

Ага. Нашёл польский .cfg. В нём инструкции по использованию файлов *.yml. Куча файлов .yml от Navikey у меня есть. А файла .cfg с инструкциями, как их употребить, получается, нет.
О. Нашёл папку cfg, в ней есть default-city.cfg и garmin-mpc.cfg. Эта папка скачивается в архиве osm2mp-master.
Зараз спробую.

borism346

Rezo написал: »

borism346 написал:

Зависит от заданной битности в .mp файле.

Кстати!
А насколько в принципе, необходима 26-битность?
Кроме красоты картинки, есть ли какие отрицательные моменты, если пока не обращать внимание на Гармин?
Не уверен точно, но вроде как в Гармин 24, а у остальных (из широкораспространённых) 26.

Кроме картинки и увеличенного размера файла ничего интересного нет. Делал как-то гармин 26-битный, но один раз, большого смысла в этом не увидел.

Конфиг garmin-mpc.cfg предназначался для гармина, для последующей компиляции фирменным компилятором MPC. К сожалению, этот вариант конвертера Леша не закончил. Там конвертация идет не в польский формат, а в шейпы. Вот там никакая битность не нужна была, все ровненько.

TsymbalAV

TsymbalAV написал: »

По ходу конвертации из .osm в .mp при выполнении процедуры Processing ways... появляется сообщение:
Argument "" isn't numeric in numeric lt (<) at (eval 126) line 12.
PS Сообщение, судя по всему, вылетает при конвертации больших файлов.
Краснодарский край .osm = 2 604 354 КБ.

Нет, размер ни причём. Не было файла *.cfg. Положил в папку osm2mp-master файл Navikey-PL.cfg (и иже с ним *.yml), прописал в батнике его использование. Вот результат:
Processing ways...
56477 POI written
35079 lines written
660810 polygons written
190753 roads loaded
532 coastlines loaded

PS. Не всё так гладко, как хотелось бы. Пошла ругань:
Writing roads... file error - road: not found (in cleanup) Can't call method "DESTROY" on an undefined value at C:/osm2mp-master/lib/OSM.pm line 59 during global destruction.
Конвертация завершилась созданием файла *.mp весом всего 30 метров. Файл пустой.

TsymbalAV

Kostik написал: »

TsymbalAV написал: »

Вопрос: почему в --config=osm2mp/cfg-navitel/navitel-ru.cfg идёт речь про navitel?

Потому что за основу использовались конфиги от Навитела. Раньше были и от Навикея, но они давно их не выкладывали в общий доступ, а старые уже не работают с osm2mp.

Итак, настал очередной вопрос: куда положили этот самый navitel-ru.cfg, чтобы его скачать?

TsymbalAV

Есть в загашнике ещё один config: default.cfg. Написано, что это - Default universal MP settings. Что ж, попробую.

PS. Попробовал. По-прежнему дом - ужастик. И по ходу конвертации из .osm в .mp при выполнении процедуры Processing ways... появляется сообщение:
Argument "" isn't numeric in numeric lt (<) at (eval 126) line 12.

TsymbalAV

Ищу место, откуда ноги растут.
Посмотрел карту .mp в программе GPSMapEdit. Дом уже ужастик.

botanegg

Как же поокругляло координаты... о0

dansit

Вообще то фирменный Гарминовский компилятор умеет и 28 бит пережевывать.
Жаль что это направление osm2mp не доделано. А то у меня в использовании кроме 7 дорог еще и железный гармин есть.

А вообще я так понял сама утилита osm2mp больше не развивается?
Основной автор Леша потерял к ней интерес?

borism346 написал: »

Rezo написал: »

borism346 написал:

Зависит от заданной битности в .mp файле.

Кстати!
А насколько в принципе, необходима 26-битность?
Кроме красоты картинки, есть ли какие отрицательные моменты, если пока не обращать внимание на Гармин?
Не уверен точно, но вроде как в Гармин 24, а у остальных (из широкораспространённых) 26.

Кроме картинки и увеличенного размера файла ничего интересного нет. Делал как-то гармин 26-битный, но один раз, большого смысла в этом не увидел.

Конфиг garmin-mpc.cfg предназначался для гармина, для последующей компиляции фирменным компилятором MPC. К сожалению, этот вариант конвертера Леша не закончил. Там конвертация идет не в польский формат, а в шейпы. Вот там никакая битность не нужна была, все ровненько.