[ES三周年]Springboot 实现 ES-SQL 的流程-环球热点评
记录一个最近半年犯了两次的低级编码错误,校验某个字符串信息为枚举类的某实例时,写成了:枚举类的实例 equals(字符串),结果总是false,打
记录一个最近半年犯了两次的低级编码错误,校验某个字符串信息为枚举类的某实例时,写成了:枚举类的实例.equals(字符串)
,结果总是 false
,打印信息貌似正确,实际执行结果总是不达预期,仔细看看代码才发现问题。本文记录本周开发工作中遇到的几个小问题,Bug 是无法完全消除的,只能尽量减少。
查看某进程的端口占用时,看到好多正连接着的 ES 连接对象,普通的 Java Web 应用,没有后台任务,怎么会保持这么多连接呢?
问题分析:代码有缺陷,有些请求使用 ES 进行数据查询完成后,没有关闭 ES 连接对象。ES 连接不关闭,有什么问题呢?
(资料图片仅供参考)
Linux 的每个连接都会创建一个文件句柄,毫无疑问,Socket 连接用完后不关闭,会导致端口资源泄漏。
在将 ElasticSearch 的 Response
对象序列化时碰到一个异常信息:
Caused by: com.fasterxml.jackson.databind.exc.InvalidDefinitionException: No serializer found for class org.elasticsearch.common.text.Text and no properties discovered to create BeanSerializer (to avoid exception, disable SerializationFeature.FAIL_ON_EMPTY_BEANS) (through reference chain: org.elasticsearch.action.search.SearchResponse["hits"]->org.elasticsearch.search.SearchHits["hits"]->org.elasticsearch.search.SearchHit[0]->org.elasticsearch.search.SearchHit["shard"]->org.elasticsearch.search.SearchShardTarget["nodeIdText"])
有两种解决办法:
定义一个配置类,设置 jackson 的序列化配置属性。通过 SpringBoot 的全局配置spring.jackson.serialization.FAIL_ON_EMPTY_BEANS
设置为 false ,该配置默认为 true ,这个方式更方便。回到文章标题说的问题,ElasticSearch 6 以后的版本支持 SQL 语句检索了,如何用 Java 代码实现 ES SQL 检索呢?
第一 Part,基础知识。先搞明白需求及相关的技术支持,主要如下:
ElasticSearch-SQL 功能,区分 GitHub 上的一个插件和 ElasticSearch 自身的支持能力。ES 6 以后内置了X-Pack 组件,提供了 Elasticsearch SQL 能力,就是说不用安装插件就可以使用 ES SQL 能力了。而网上很多都是介绍 ElasticSearch SQL 插件安装的,却不曾想 ES 已经内置了。ES 6 与 ES 8 的 Rest API 的语法不一样,8 以上的版本语句是/_xpack/_sql?format=
,但是旧版本是 /_xpack/sql?format=
,版本依赖问题有时候挺坑的。网上大量的资料,估计都是来自官网,全都是 /_xpack/_sql?format=
,结果我测试用的环境是 ES6 的,一直报错。第二 Part,Java 实现 ES-SQL 操作的几种方法:
Rest API 请求/_xpack/sql?format=
。JDBC-ES ,这个功能是收费的。确定方案一。
第三 Part,使用 elasticsearch-rest-high-level-client
包的 RestAPI 客户端工具可以实现 ES-SQL 的操作。基本思路是构建一个 RestClient 对象,请求路径为 /_xpack/_sql?format=json
这个用 txt 的时候,总是得不到结果,用 json 就没问题。
重要源代码如下:
// ES 连接信息构造RestClientBuilder restClientBuilder = null;if (hasPwd) {final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();/** 设置 ES 认证信息 */ credentialsProvider.setCredentials(AuthScope.ANY,new UsernamePasswordCredentials(userName, password));restClientBuilder = RestClient.builder(https) .setHttpClientConfigCallback(httpAsyncClientBuilder -> httpAsyncClientBuilder.setDefaultCredentialsProvider(credentialsProvider));} else { restClientBuilder = RestClient.builder(https)}// xpack-sql 请求构造String searchIndex = "/_xpack/sql?format=json";Request request = new Request("POST", searchIndex);request.setJsonEntity(queryJsonString);RestClient restClient = restClientBuilder.build();try { Response response = restClient.performRequest(request); String body = EntityUtils.toString(response.getEntity()); // TODO 处理 ES 响应结果} catch (IOException e) {}
电脑一直占据大量的 CPU,top 看是 ToDesk 进程,执行下面的操作好了:
sudo launchctl unload /Library/LaunchDaemons/com.youqu.todesk.service.plist复制代码
我碰到的问题,绝对不是个例,百度是个好东西,面向百度编程也没什么不好啊!
如何用 Java 实现 ES-SQL 检索流程呢?《ES SQL 检索的 Java 实现流程》,该文给的启示是直接用 Rest API 方式访问 _xpack/sql
,那就是简单了底层就是 URLConnection
。
而 ES 自身有 RestHighLevelClient 等一些列的 API,怎么用它来实现 _xpack/sql
请求呢?自己用 RestTemplate 实现倒是可以,问题是如果 ES 有认证怎么办呢?
《java 连接带认证的 elasticsearch》 这篇文章又给了我启示,用 RestClient
连接 ES 访问特定的 URL 完成。
关键词:
记录一个最近半年犯了两次的低级编码错误,校验某个字符串信息为枚举类的某实例时,写成了:枚举类的实例 equals(字符串),结果总是false,打
假面骑士Geats第26话已经放送,邪魔徒大奖赛第一局在假面骑士Geats推进器MK2的威视下也是迎来了失败,下面我们就一起来看看第27话的预告吧。在
综述:硅谷银行关闭凸显美联储激进加息负面影响
天极地远处,是为夭阏台。我与你,以念相牵,因台结缘。汝之悲欢,终以吾梦为鉴。——题记【七】转眼那男子便到了辞行之日。绾桦在门口送别。
1、在EXCEL表格中让表头不动,打印是每一页都能显示表头,则需要设置“打印标题”。2、方法步骤如下:打开需要打印标题行
“屯”点时间,“昱”见春天|屯溪区:油菜花开游人纷至沓来
1、Doingexercise Exercisingcanhelppeopletokeep*** Itm
原版1080P高清无字资源自截自制。制作不易,赏个三连吧~后续持续上传中,欢迎关注~单人双人1-11-22-12-23-13-24-14-25-15-26-16-27-17-28-18-2
1、油性鱼类:脂肪含量高的鱼类,如鲑鱼、金枪鱼、鲑鱼、鲭鱼和鳗鱼,可以提供400-580国际单位的维生素D。按照每人每天
1、世界贸易组织(WTO),中文缩写为WTO,在摩洛哥马拉喀什举行的关贸总协定乌拉圭回合部长级会议决定建立一个更具全球性
货车挂断电缆民警及时处置获锦旗
1、2017年中国500强排行榜于2017年7月31日由《财富》(中文版)与中金公司财富管理部联合发布,该榜单考量了全球
1、广西大行科技有限公司于2016年04月07日成立。2、法定代表人柯建国,公司经营范围包括:计算机软硬件网络技术、
1、从品牌和营销的角度而言,农夫山泉是“制造”事件,并向行业领导品牌发起挑战,打造自己独特的品牌形象和定位。2、通过天然
1、在百度上搜索下载中文完整版AdobePhotoshopCC2017破解版软件。2、随软件下载有安装说明和破解补丁文件。3、按照说明安装破解软件就可以永久
第Ⅱ篇第六十七章 门扉被轻轻合上,将身后的战斗和碰撞声隔绝在外,白沃一时间仿佛从晨醒时分踏入日落西山。即使是大好的天气,这个房间也被窗
1、我没有秒杀g。2、但我也果味无毒!。本文到此分享完毕,希望对大家有所帮助。
今天小编肥嘟来为大家解答以上的问题。杭州德清县属于哪个区,德清县属于哪个市相信很多小伙伴还不知道,现在让我们一起来看看吧!1、浙江省湖
黄金,昨天日线收阳之后,今天短线震荡之后继续走强上来,目前来说上升到1837附近有所受阻!基本上也是小时线的BOLL上轨压力附近黄金抗跌一些
新华社3月10日报道,美国疾病控制和预防中心8日说,一艘美国得克萨斯州往返墨西哥的邮轮上有300多人出现呕吐和腹泻症状。