在Docker的container中授权Portal for ArcGIS失败的解决办法

Docker是一中基于传统的Linux container, Namespaces, Control groups等技术发展而来的开源并且超轻量的虚拟化技术。相比传统的虚拟化技术,Docker省去了hypervisor(如VMWare,Hyper-V等)软件以及guest os两层,节约了相当可观的软硬件资源,但又实现了软硬件资源的完全隔离。所以你几乎可以在Docker的虚拟机实例(叫做container)中做传统虚拟机可以办到的任何事情,唯一的区别就是更快。
这次尝试在Docker的container中安装Portal for ArcGIS 10.3软件,以便更快地分发给其他人来使用。软件的静默安装可以利用类似“./Setup -m silent -l yes -a /path/to/portal.ecp -d /opt/arcgis/portal”的命令来实现,但装完启动Portal服务后,仍然提示需要授权,利用./authorizeSoftware –f portal.ecp授权时报错:

Software authorization failed. Please make sure your authorization file is valid and try again.

检查了ecp文件并没有问题。于是查看authorizeSoftware脚本文件,发现有相应的授权日志文件:
image 查看该日志文件发现,是由于缺少so库引起的:
image 安装相应类库后,再次授权成功。
附上在从docker hub中下载的centos:centos6 image启动的container里,安装Portal for ArcGIS 10.3时需要用到的类库列表:
tar, gettext, libpng-1.2.49-1.el6_2.x86_64, freetype-2.3.11-14.el6_3.1.x86_64, libSM-1.2.1-2.el6.x86_64, libXrender-0.9.8-2.1.el6.x86_64, fontconfig-2.8.0-5.el6.x86_64, libXext-1.3.2-2.1.el6.x86_64

ArcGIS for Server中PublishingTools启动后又崩溃的解决办法

  • 现象:ArcGIS for Server安装完成后,会自动创建并启动系统级别的几个GP服务,比如用于生成缓存切片的CachingTools服务,用于发布所有服务的PublishingTools服务等。这次安装完ArcGIS for Server后,发布一个服务失败。去Manager里查看,发现PublishingTools的GP服务是停止状态,启动之,提示成功,但几分钟该服务又停止了。在日志中看到如下信息:Service containing process crashed for ‘System/PublishingTools.GPServer’.

image

  • 原因:Google搜到了这个帖子,发现是注册表中记录的ArcGIS for Server所使用的64位Python安装路径出错引起的。在注册表中查找HKEY_LOCAL_MACHINESOFTWAREPythonPythonCore2.7这个位置,

image发现记录的64位Python安装路径是C:Python271408420255115ArcGISX6410.3,这个路径是之前用脚本安装Server时的遗留路径,新的有效路径已经改为C:Python27_x64ArcGISX6410.3了。产生这个错误的原因可能有所不同,我这里是因为使用了自定义的脚本重新安装ArcGIS for Server导致的。

  • 解决:将HKEY_LOCAL_MACHINESOFTWAREPythonPythonCore2.7注册表路径下所有包含安装路径的键值修改成当前的有效安装路径之后,就可以成功启动PublishingTools的GP服务了。

Portable Basemap Server发布3.1版本

更新内容:

~在线切片转换为MBTiles时,增加RecreateEmptyCache模式。当你想继续上次未完成的任务或打算合并多个级别/范围的切片时,RecreateEmptyCache模式会非常适合;
~在CustomOnlineMaps.xml中自定义数据源时,增加Multi-Layer模式,比如可将标注和影像两个数据源融合为一个服务。具体用法请参考自带示例;
~修复已知Bug。

下载地址:https://geopbs.codeplex.com/
详见:https://blog.newnaw.com/?p=890

快速实现ArcGIS缓存切片线性偏移的办法

  来自客户的需求:某省范围创建大比例尺缓存切片的工作已经全部完成,但由于不可抗拒因素,生产缓存切片的原始矢量数据被线性偏移了,有什么办法能够在不重新创建缓存的基础上,能够使得现有切片和偏移后的矢量数据准确叠加,并且地理坐标与偏移后的矢量数据保持一致?
  问题分析:站在客户端的角度来分析此问题。客户端绘制切片的过程是,地图缩放或平移后,获得当前屏幕对应的地理坐标范围,通过计算,获得与当前地理范围相交的所有切片的行列号,然后下载并拼接显示。计算的过程可参考《ArcGIS Server的切图原理深入》《ArcGIS Server 10中的切图/缓存机制深入》。计算的过程中,有三个关键变量:缓存策略(Tiling Scheme)的切图原点(TileOrigin),当前比例尺的分辨率(Resolution)以及当前屏幕的地理范围。可以看出,客户端在加载切片时,后两个变量即当前比例尺的分辨率与客户端当前屏幕的地理范围都是无法改变的,所以我们能做出干预的就是切图原点这个变量了。
  解决办法:通过计算比较可以得知,只需修改conf.xml文件,对切图原点(TileOrigin中的X和Y)进行偏移,偏移量和矢量数据的偏移保持一致,即可达到将缓存切片与偏移后的矢量数据准确叠加的目的。由于没有对conf.xml中的SpatialReference信息进行修改,所以地理坐标依然准确(与偏移后保持一致)。注:修改conf.xml中的参数后,需要重启缓存地图服务方可使改动生效。

  下图中,绿色的点是原始数据发布的动态地图服务,红色的点是偏移后的数据发布的动态地图服务,多边形底图是经过缓存切片的缓存地图服务。此时未对TileOrigin参数修改。
image  下图为修改了TileOrigin参数并重启缓存地图服务后的效果。
image

Portal for ArcGIS多机部署并进行内容目录迁移的简要步骤

  以下内容假设你已经成功在单机环境下部署过下述软件。
  目标:在多台机器上分别部署ArcGIS for Server,Portal for ArcGIS,ArcGIS Web Adaptor等软件,达到Portal正常运行,软件角色物理分离,能够投入生产的目的。

  具体环境:4台Windows Server 2008 R2 SP1机器,提前设置fully qualified domain name (FQDN),

  • 192.168.220.182 wa.newnaw.com,可通过外网域名访问到该机器。部署ArcGIS Web Adaptor v10.2.1,配置共享存储\waarcgisserver,供ArcGIS for Server使用(config-store,server directories),配置共享存储\waarcgisportal,供Portal for ArcGIS使用,部署PostgreSQL v9.2.2,供建立SDE Geodatabase,作为ArcGIS for Server的data store使用。注:若硬件资源允许,理论上上述两个共享存储位置及SDE GDB应设置在独立的机器上;
  • 192.168.220.183 portal.esrichinacp.com,内网机器。部署Portal for ArcGIS v10.2.1;
  • 192.168.220.184 ags1.esrichinacp.com,内网机器。部署ArcGIS for Server v10.2.1;
  • 192.168.220.185 ags2.esrichinacp.com,内网机器。部署ArcGIS for Server v10.2.1;

  此次部署四台机器的防火墙均为开启状态。简便起见,也可将183,184,185三台只能内网访问的机器防火墙关闭,免去设置端口例外的麻烦。
image   部署完成后,可在外网通过wa.newnaw.com域名访问Portal for ArcGIS门户网站,并可发布托管服务到hosting server site(184,185集群)上;Portal运行或处理请求过程中,183,184,185的机器ip及域名对最终用户均透明不可见。

  大致步骤:

  1. 在wa机器上安装postgresql 9.2.2;
  2. 在wa机器上建立c:arcgisserver文件夹,创建用户arcgis/arcgis。并共享c:arcgisserver,网络和ntfs权限里均赋予arcgis用户对该文件夹的完全控制权限;
  3. 在ags1,ags2上安装arcgis 10.2.1 for server,系统用户为arcgis/arcgis。ags1,ags2两台机器上防火墙均开启,均添加6080,6443,4000-4004端口为例外;在两台机器上均安装pgsql的64位客户端。注:config-store和directories目录填写时用的都是ip的unc地址,并且加入已有站点时,填的也是ags1的ip:6080;
  4. 给ags站点添加managed database。利用arcmap的gp工具,在wa机器(防火墙开5432端口,修改pg_hba.conf文件重启服务允许任何客户端连接,拷贝st_geometry到lib目录下)上创建sde geodatabase;在ags1,ags2的site的data store中添加该sde作为managed database;
  5. 在访问ags1的site admin界面,将站点的protocol从http only改为http or https;
  6. 在portal机器上安装portal,全部默认设置;portal机器防火墙开7080,7443两个端口;登陆http://portal.esrichinacp.com:7080/arcgis/home/,创建初始管理员;注:目前Portal在安装时只能指定本地路径为工作目录,将工作目录迁移到\waarcgisportal的工作会在以下步骤中完成;
  7. 在wa机器的IIS上,绑定之前申请好的wa.newnaw.com的ssl证书到443端口,安装web adaptor,配置portal机器上的portal。使得portal门户网站可以正常访问,访问地址为http://wa.esrichinacp.com/arcgis/home;
  8. 为了让用户访问地图服务时,不暴露出最终的ags ip地址,所以必须给ags也配置adaptor。在wa机器上给ags站点配置web adaptor;
  9. 访问portal的组织管理,设置federated server和hosting server:
    image image
  10. 测试。发布hosted feature service正常,但在wa机器上访问item页面时请求有错,
    image 是通过wa机器的代理页面无法访问到ags1的6443端口。ags1的6443端口使用的是安装ArcGIS for Server时,内置tomcat自动生成的自签名证书,所以在wa机器上访问该证书并设置为受信任根证书办法机构即可,对于ags2的6443端口证书也做同样操作。再次测试,发布hosted feature service/hosted tiled map service均工作正常。所有请求都是通过wa.esrichinacp.com地址暴露出来的,从请求的url看不到portal,ags1及ags2三台机器的ip与域名;

  至此完成软件部署工作。接下来将之前Portal的内容目录迁移到wa机器的共享路径中,此处我们继续使用以前Portal门户的所有内容。步骤如下:

  • 拷贝之前Portal的工作目录arcgisportal到wa机器上的c:arcgisportal;
  • 在wa和portal机器上都建立本地账户arcgis/arcgis;
  • 共享c:arcgisportal为\waarcgisportal,并赋予arcgis账户共享中读写和本地安全中读写的权限;
  • 在portal机器上停止portal服务,修改服务运行账户为本地arcgis账户(默认的“本地系统账户”无法访问共享路径);
  • 在portal机器上赋予arcgis账户对portal安装目录C:Program FilesArcGISPortal的读写权限;并修改C:Program FilesArcGISPortalframeworketcportal-config.properties文件中一行为(注意是正斜杠“/”):
    dir.data=//wa/portalshared;
  • 在http://wa.esrichinacp.com/arcgis/portaladmin中,将content,db,index,logs,temp5个目录都修改为对应的共享路径,如: \waportalsharedcontent等;
  • 重启portal服务,可直接用原来的账户登录。原先所有用户及其对应内容,Group,共享关系等依然保留;新建item,发现已经存储在新的共享路径了。

  注:内容目录按上述步骤迁移后,所有设置均为原先设置(因为内容目录中包含数据库存储文件,内容未做任何修改)。比如hosting server site原先地址为:http://oldags.xxx.com:6080,在新环境下会失效。所以对于这些设置,以管理员身份登陆后需要修改为新的有效地址。

在startssl.com申请免费的ssl证书并导入IIS进行使用

  如果网站需要提供https加密访问方式,那么必须拥有一个有效的ssl证书来向客户端证明自己的身份。而ssl证书通常由第三方机构签发,有Domain Validation (DV), Organisation Validation (OV) 和 Extended Validation (EV)三种级别,分别对应由低到高的三种认证级别,DV比较宽松,EV最严格。认证方式不同,价格也不同。比如DV级别的证书,StartSSL可免费申请一年GeoTrust是149$每年Godaddy是69.99$每年我国的万网价格是4200¥每年。个人使用当然是StartSSL提供的证书性价比最高,虽然免费,但依然在Chrome,Firefox,IE等主流浏览器的内置受信任根证书颁发机构里面,如果是商业或机构使用,可选择顶级的证书颁发机构(当然不包括万网之流),彰显身份。下面就说明如何在startssl.com上申请免费证书,并部署到IIS上进行使用的步骤。

1. 首先需要在startssl.com上进行注册。该网站采用的是客户端证书认证方式,所以注册的过程就是填写自己的资料,邮件接收验证码,之后获得并在浏览器中安装StartSSL生成的一个客户端证书。这样以后以自己身份登录startssl.com时,就需要从安装了上述步骤证书的浏览器里直接访问startssl.com,而不需要输入用户名密码了。这个身份验证证书丢失后,只能重新注册,所以建议将该证书备份,具体步骤见How do I backup my client certificates。备份好后,可将该证书安装到其他计算机或浏览器,便于登陆startssl.com。

2. 注册之后,若要给某个域名申请证书,需要对域名进行验证,证明你是这个域名的拥有者才行。StartSSL采用的是域名拥有者邮箱验证,所以在Validations Wizard里选择Domain Name Validation,按照向导完成验证即可。

3. 接下来就是给通过验证的域名申请ssl证书。在Certificates Wizard中选择Web Server SSL/TLS Certificate,然后会进入创建私钥(Generate Private Key)步骤。
image   由于SSL/TLS采用的是非对称加密,所以必须私钥和公钥配合才能建立正确的安全连接。私钥由服务器端持有,保密,私有;公钥包含在客户端访问https网站时看到的证书内,公开,当客户端访问时即获得之。公钥和私钥正确配对后方可建立安全连接。填入对私钥文件保护的10位以上密码,继续,
image   即可得到一段加密文本,将该文本保存为.key的文件,比如privatekey.key,作为私钥保存好。这里你也可以预先利用openssl工具或IIS向导来生成包含自己额外信息,并且包含私钥的证书申请(.csr文件),这样就可以跳过Generate Private Key这步了。之后选择要为哪个域名创建证书,并且输入一个子域名,最终申请的证书会作用在这个子域名上。
image   StartSSL的免费证书只能给一个子域名用,若想为多个子域名申请证书或申请通配符形式的证书,则需要掏钱购买他们提供的class2级证书了。继续下一步,确认之后,可以得到一段文本,该文本便是StartSSL颁发给你网站的经过签名的证书,将其另存为.crt文件,比如ssl.crt(此证书即是网站客户端访问https连接时能够得到的文件,实质是包含了公钥,服务器名称,CA认证签名及其他信息的文件)。此外在该界面上最好根据提示,保存下来一个中间(intermediate)证书文件sub.class1.server.ca.pem,有的地方可能会用到。
  到此,我们得到了一个privatekey.key的私钥文件,一个ssl.crt的证书文件(包含公钥),一个sub.class1.server.ca.pem中间证书文件。在给自己的网站配置ssl.crt公有证书文件之前,我们还需生成两个在其他地方可能会用到的文件。第一个是经过解密的私钥文件(decrypted private key),比如在Nginx部署证书时需要用到。此步骤可通过openssl工具或startssl.com网站提供的Toolbox–>Decrypt Private Key工具完成,将结果保存为decryptedprivatekey.key。第二个是PKCS#12存档文件(*.pfx或*.p12),实质是包含了.crt证书文件所有内容,私钥以及加密信息的文件,而在IIS中部署时就需要用到此文件。可利用startssl.com网站提供的Toolbox–>Create PKCS#12 (PFX) File工具,传入私钥文件privatekey.key及证书文件ssl.crt后,生成之,保存为pfxarchive.p12。
4. 在域名所对应的计算机上部署该证书,此处以IIS为例。操作过程很简单,在IIS根节点的服务器证书功能中,右键,导入,根据向导输入刚才得到的pfxarchive.p12文件即可,
image   最后,在IIS网站绑定中,指定443端口使用我们导入的证书即可。
image   这样,在以https访问此网站时,就能够看到我们申请的证书了。
image
参考文章:

在Portal for ArcGIS中设置Federated Servers时请求报500错误的解决办法

  Portal for ArcGIS 10.2版本开始,可在Portal的组织管理中设置Federated Servers即联合服务器,从而通过Portal for ArcGIS来托管与之联合的ArcGIS for Server站点的安全性,使得两者的单点登录,以及后续使联合服务器变成Hosting Server(托管服务器),并在其上发布托管服务成为可能。关于两者的介绍和具体操作步骤请参考相关文档。这里说一下设置联合服务器时一个常见问题的解决办法。
  在Portal的组织管理页面中,添加联合服务器时,有可能会出现如下错误:image

image
  具体请求是Portal的代理页面通过https方式访问要关联的ArcGIS for Server站点token服务时服务器端报500 internal error。
image
  直接通过https方式访问上述token服务地址:
image
  发现此证书不受信任,有安全警告;而如果通过https方式访问Portal,
image

  证书是已经导入机器的受信任根证书颁发机构的,所以证书可信,没有安全警告。你可能还发现,上面两个证书的颁发者,颁发对象均不一样,说明这是两个完全不同的证书。这是因为第一个没有受信的证书是ArcGIS for Server自带的tomcat中6443端口使用的证书,此证书是在安装完ArcGIS for Server后,第一次创建站点时就会自动生成的,存放在config-store中该机器文件夹下的key stroe中;而后面的证书是我在IIS中自己创建的域证书,是IIS中的443端口使用的证书。如果你在联合服务器时遇到同样错误,很可能会发现两个证书的颁发者和颁发对象是同名的(大小写不一样),这是通常情况,我这里不同名是因为装完ArcGIS for Server之后,安装Portal之前修改了机器名。修改机器名为full qualified domain name步骤是必须的,应该在装ArcGIS for Server之前完成。
  经过与同事讨论及实验得知,最初那个500错误是因为ArcGIS for Server站点6443端口安全证书不受信任引起的。所以解决办法有以下几种:

  • 同Portal的443端口(其实Portal是7443端口,通过443是Web Adaptor的端口)所使用证书的处理办法一样,将6443端口的证书也导入机器的受信区域。如果导入成功,浏览器访问ArcGIS for Server的6443端口应该不再有警告信息,如此在Portal中联合服务器时就不会报500错误了;
  • 既然IIS中自己创建的证书已经设为可信了,那么可以指定ArcGIS for Server的6443端口使用同样的证书,则通过https访问6443端口时自然也不会报警告信息。大致步骤是,从iis中导出证书,在ArcGIS for Server中通过admin rest api将证书导入到机器中,然后编辑机器资源,指定该机器使用该证书。具体可参考相关的admin api帮助。

  此处我遇到的错误是通过第二个办法解决的。补充:如果你和我一样,6443使用的证书的颁发对象与当前机器名不同,建议使用admin rest api,重新生成一个颁发对象与当前机器名相同的自签名证书,之后再将其导入机器的受信区域。

ArcMap加载WMTS服务后显示空白的可能原因

  在ArcMap(10.1/10.2)中,加载一个WMTS服务后,如果显示空白,但用fiddler查看请求,已经下载了正确的图片,那么很可能是WMTS规范中要求的WMTSCapabilities.xml文件输出了错误的图片格式所导致的。
比如在ArcMap中,添加由Portable Basemap Server输出的WMTS服务时,Google Map街道图无法显示(空白),
image  用Fiddler查看,其实已经下载了正确的切片,
image  而产生此问题的原因正如上图两处红框所示,目前版本(3.0)的PBS输出的WMTS服务,将在线地图的切片格式在WMTSCapabilities.xml文件中统一指定成了JPG格式,而Google街道图的切片实际上是PNG格式的。对于Google影像图来说,切片格式是JPG,所以在ArcMap中可以正常显示:
image  有网友反映QGIS中也无法加载PBS的部分WMTS服务, 原因也是如此。下个版本的Portable Basemap Server会将图片格式选项留在CustomOnlineMaps.xml文件中由用户自己指定,所以会修复此bug。
当然PBS还将继续加入更多实用功能,敬请期待。

Portable Basemap Server发布3.0版本

更新内容:

~添加以Windows服务方式运行功能,即使不登陆系统,也可通过REST Admin API对PBS进行管理;
~发布的缓存服务增加对OGC WMTS规范的支持。详见这里
~数据源增加对OGC WMS服务的支持。详见这里
~数据源增加对高德本地缓存文件的支持。详见这里
~预览界面中可显示切片来源(动态生成/文件缓存/内存缓存,以不同底色区分);
~添加日志功能;
~修复已知bug;

下载地址:https://geopbs.codeplex.com/
详见:https://blog.newnaw.com/?p=890

在ArcGIS Server REST API中的Export Map操作里进行空间查询

  使用ArcGIS API for Javascript/Flex/Silverlight有一段时间的朋友应该知道,客户端动态地图服务的显示是由服务器端ArcGIS Server REST API中的Export Map操作完成的。而Export Map这个操作中有一个layerDefs参数,允许传入sql语句进行属性过滤。如果想在出图时,除了属性过滤,同时也进行空间过滤该怎么办(类似query的geometry空间查询,注意和bbox参数区别)?
  乍一看export操作并没有像服务子图层query操作一样的geometry参数,而我遇到的地图服务也只有一个点图层。一开始想首先用子图层的query进行空间查询,设置returnIdsOnly为true,之后将这些符合空间条件要素的ids写到layerDefs里,类似”0:objectid IN (1,2,3,4…)”。但最后发现,layerDefs这个参数是接受空间SQL语句的,所以只需构造好空间查询的SQL语句,写入layerDefs进行过滤即可获得想要的结果。
  比如想在出图时,限定只输出某个矩形范围内的要素,则可用类似”0:sde.st_within (shape, sde.st_geometry (‘polygon ((12818466 4196179,13308886 4196179,13308886 4499482,12818466 4499482,12818466 4196179))’, 3857)) = ‘t’”的语句作为空间过滤条件即可。
image  同样ArcMap中,图层对话框的Definition Query标签页,也接受空间SQL语句。
image  背景:这是在使用动态缓存图层时遇到的问题。