ELEASTATICSEARCH - 技术教程文章
logstash使用template提前设置好maping同步mysql数据到Elasticsearch5.5.2【代码】【图】
上篇blog说到采用logstash-input-jdbc将mysql数据同步到ES（http://www.cnblogs.com/jstarseven/p/7704893.html）,但是这里有一个问题，即假如我不需要logstash自动对mysql数据提供的mapping模板怎么办，毕竟我的数据需要ik分词，同义词解析等。。。这时候就需要用到logstash的template功能了 ，如果现在还不到logstash和logstash-input-jdbc的安装使用方式的建议先看上一篇文章。好的，首先看一下之前简单使用logstash-input-jdbc...
curl operate elasticsearch
export elasticsearchwebaddress=localhost:9200# 1. Add documentcurl -X PUT "$elasticsearchwebaddress/megacorp/employee/1" -d ‘{ "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "interests": [ "sports", "music" ]}‘curl -X DELETE "$elasticsearchwebaddress/megacorp/employee/1" -d ‘{ "first_name" : "John", "last_name"...
Elasticsearch Query DSL备忘（1）（Constant score query和Bool Query）【代码】
Query DSL (Domain Specific Language)，基于json的查询方式1、Constant score query，常量分值查询，目的就是返回指定的score，一般都结合filter使用，因为filter context忽略score。GET /customer/_search {"query": {"constant_score": {"filter": {"match": {"addr": "天津，北京"}},"boost": 5.2}} }result:返回结果中score都是被指定的5.2 {"took" : 8,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skip...
elasticsearch 配置说明【图】
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本 配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面 主要讲解下elasticsearch.yml这个文件中可配置的东西。 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。...
Elasticsearch批处理操作——bulk API【代码】
Elasticsearch提供的批量处理功能，是通过使用_bulk API实现的。这个功能之所以重要，在于它提供了非常高效的机制来尽可能快的完成多个操作，与此同时使用尽可能少的网络往返。1、批量索引，即批量添加文档 以下调用在一次bulk操作中索引了两个文档（ID 1 - John Doe and ID 2 - Jane Doe）: curl -XPOST ‘localhost:9200/customer/external/_bulk?pretty‘ -d ‘{"index":{"_id":"1"}}{"name": "John Doe" }{"index":{"_id":"...
重磅 | Elasticsearch7.X学习路线图【图】
1、为什么要梳理学习路线图？ 在关注Elastic 中文社区、QQ群、星球群的过程中，多多少少都会有一些基础问题冒出。而这些问题不复杂，多半都在官方文档中都有提及，稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案。那么问题是：为什么好多初学的朋友，找不到答案呢。观察和思考了很久。我认为最主要的问题在于，没有建立基础知识全貌的认知。正所谓“站的更高、才能看的...
Elasticsearch搜索【代码】
搜索概念映射（Mapping） 数据在每个字段中国的解释说明分析（Analysis） 全文是如何处理可以被搜索的领域的特定查询语言（Query DSL） Elasticsearch，强大的查询语言返回参数hits 包含匹配到的文档的总数_score 相关性得分，衡量了文档与查询的匹配程度took 整个请求花费了多...
elasticsearch 单机部署
elasticsearch搜索引擎 简介：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，是基于java语言编写。部署环境：JDK 1.8elasticsearch 6.2.2下载链接：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gzwget https://github.com/medcl/elasticsearch-analysis-ik （需要与elasticsearch的版本相对应）单机部署：（必须在非ro...
四十六 Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中【代码】【图】
前面我们讲到的elasticsearch(搜索引擎)操作，如：增、删、改、查等操作都是用的elasticsearch的语言命令，就像sql命令一样，当然elasticsearch官方也提供了一个python操作elasticsearch(搜索引擎)的接口包，就像sqlalchemy操作数据库一样的ORM框，这样我们操作elasticsearch就不用写命令了，用elasticsearch-dsl-py这个模块来操作，也就是用python的方式操作一个类即可 elasticsearch-dsl-py下载下载地址：https://github.com/ela...
CentOS6.5安装Elasticsearch5.4.1+Kibana5.4.1
CentOS6.5安装Elasticsearch5.4.1+Kibana5.4.1第一次接触ELK，坑很多，留下记录，让后人少走点坑本人环境VMware虚拟机，CentOS6.5 X86_64 1G内存下载二进制包wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gzwget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz安装JAVA 1.8版本（必需1.8及以上版本）wget http://javadl.oracle.com/webapps/download/Au...
docker环境下elasticsearch安装ik和拼音分词【图】
elasticsearch拼音分词地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases在elasticsearch下面Dockerfile里面进行docker-compose build:RUN ./bin/elasticsearch-plugin install https://zjoy.oss-cn-hangzhou.aliyuncs.com/docker/elasticsearch-analysis-pinyin-6.4.2.zip // echo y| 因为一直安装的时候让同意yes导致安装失败，后来自己折腾半天需要输出echo y| 才可以避免安装被中断 RUN echo y|./bin/el...
elasticsearch 通过HTTP RESTful API 操作数据【代码】【图】
1、索引样例数据 下载样例数据集链接 下载后解压到ES的bin目录，然后加载到elasticsearch集群 curl -XPOST 127.0.0.1:9200/bank/account/_bulk?pretty --data-binary @accounts.json 如果accounts.json文件和bin目录并列：curl -XPOST 127.0.0.1:9200/bank/account/_bulk?pretty --data-binary @..\accounts.json 查看索引：curl localhost:9200/_cat/indices?v 上面结果，说明我们成功bulk 1...
从 0 使用 SpringBoot MyBatis MySQL Redis Elasticsearch打造企业级 RESTful API 项目实战【代码】【图】
大家好！这是一门付费视频课程。新课优惠价 699 元，折合每小时 9 元左右，需要朋友的联系爱学啊客服 QQ：3469271680；我们每课程是明码标价的，因为如果售价为现在的 2 倍，然后打 5 折，其实就是没打折，我们不玩这些套路，为什么人与人之间不能多一点真诚呢？1.课程简介这是一门使用Java语言，SpringBoot框架，MyBatis数据库框架，MySQL数据库，Redis数据库，Elasticsearch搜索引擎等技术，从0开发一个RESTful API应用，接近企业...
在windows中的安装并测试elasticsearch5.0.2【代码】
一、安装elasticsearch 下载压缩包并解压到指定目录https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.2.zip启动elasticsearch注：默认至少2G的内存，如果电脑内存不够， 编辑config/jvm.options中的-Xms2g -Xmx2g 为 -Xms1g -Xmx1g启动/bin/elasticsearch.bat打开浏览器，访问进行初始化安装http://localhost:9200/ 二、安装kibana 下载压缩包并解压简介：kibana是elasticsearch5.0.2的状态监控、平台管理...
Elasticsearch 错误小结【代码】
报错： [2019-01-15T12:36:59,779][ERROR][o.e.b.Bootstrap ] Exception java.lang.IllegalStateException: failed to obtain node locks, tried [[/mnt/elasticsearch/data/my-application]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?解决方法：elasticsearch.yml 配置文件最后添加 node.max_local_st...
ElasticSearch笔记整理（三）：Java API使用与ES中文分词【代码】
[TOC] pom.xml使用maven工程构建ES Java API的测试项目，其用到的依赖如下：<dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>2.3.0</version> </dependency> <dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.7.0</version> </dependency> <dependency><groupId>org.dom4j</groupId><artifactId>dom4j</artifact...
使用Python操作Elasticsearch数据索引的教程【代码】
Elasticsearch是一个分布式、Restful的搜索及分析服务器，Apache Solr一样，它也是基于Lucence的索引服务器，但我认为Elasticsearch对比Solr的优点在于： 轻量级：安装启动方便，下载文件之后一条命令就可以启动； Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构； 多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置； 分布式：Solr Cloud的配置...
springboot整合elasticsearch【代码】【图】
5.1.简介Spring Data Elasticsearch是Spring Data项目下的一个子模块。查看 Spring Data的官网：http://projects.spring.io/spring-data/ Spring Data的使命是为数据访问提供熟悉且一致的基于Spring的编程模型，同时仍保留底层数据存储的特殊特性。它使得使用数据访问技术，关系数据库和非关系数据库，map-reduce框架和基于云的数据服务变得容易。这是一个总括项目，其中包含许多特定于给定数据库的子项目。这些令人兴奋的技术项目...
elasticsearch的javaAPI之query【代码】
elasticsearch的javaAPI之query APIthe Search API允许执行一个搜索查询,返回一个与查询匹配的结果（hits）。 它可以在跨一个或多个index上执行， 或者一个或多个types。 查询可以使用提供的 query Java API 或filter Java API 。 搜索请求的主体是建立使用 SearchSourceBuilder上。 这里有一个例子: import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.search.SearchType; import org.elas...
Java之Elasticsearch 增删改查【代码】
<!--ELK --> <dependency><groupId>org.elasticsearch.client</groupId><artifactId>transport</artifactId><version>5.1.1</version><exclusions><!--<exclusion><artifactId>transport-netty4-client</artifactId><groupId>org.elasticsearch.plugin</groupId></exclusion>--></exclusions> </dependency> <dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.6.2</version...
利用kibana插件对Elasticsearch查询【代码】
利用kibana插件对Elasticsearch查询Elasticsearch是功能非常强大的搜索引擎，使用它的目的就是为了快速的查询到需要的数据。查询分类： 基本查询：使用Elasticsearch内置查询条件进行查询 组合查询：把多个查询组合在一起进行复合查询 过滤：查询同时，通过filter条件在不影响打分的情况下筛选数据创建索引 PUT lagou{"mappings": {"job":{"properties": {"title":{"store": true,"type": "text","analyzer": "ik_max_wor...
Elasticsearch( 插件开发)
Elasticsearch源码5(2.x插件开发) Elasticsearch源码5(2.x插件开发)Elasticsearch源码6(5.4插件开发) 原文：http://www.cnblogs.com/ydxblog/p/7827613.html
AWS 为 Elasticsearch 推出开源发行版【图】
WS 近日宣布为 Elasticsearch 推出开源发行版 Open Distro for Elasticsearch。Elasticsearch 是一个分布式、面向文档的搜索和分析引擎，它支持结构化和非结构化查询，并且不需要提前定义模式。Elasticsearch 可用作搜索引擎，通常用于 Web 级日志分析、实时应用监控和点击流分析。Open Distro for Elasticsearch 是 Elasticsearch 的增强发行版本，基于 Apache 2.0 100％ 开源，其除了 Elasticsearch，还包含来自 Elasticsearch 分...
ES之一：Elasticsearch6.4 windows安装 head插件ik分词插件安装【代码】【图】
https://www.cnblogs.com/duanxz/p/5122252.html 准备安装目标：1.Elasticsearch6.42.head插件3.ik分词插件 第一步：安装Elasticsearch6.4下载方式：1.官网下载 https://www.elastic.co/downloads/elasticsearch2.百度网盘下载：https://pan.baidu.com/s/1WcoaXiAY1I-9VP9dGNCiCQ下载完毕后，解压进入bin目录，启动 elasticsearch.bat启动完毕后，访问http://localhost:9200/出现如下图，就是启动成功啦~~第二步：安装head管理端由...
7.ElasticSearch预警服务-Watcher详解-Action设置
ElasticSearch预警服务-Watcher详解-Action设置Watcher中的Action指配置指定的预警动作，在满足触发条件且不节流的情况下执行。每个Action动作执行一次,Action之间相互独立。执行过程中，发生任何错误都会记录结果，可以在历史记录中查看。Action可以访问Context中的内容。Watcher支持的Action类型有四种：EMail(邮件),Webhook(第三方对接),Index(索引),Logging(日志记录)1.EMail发送通知邮件，可以配置至少一个邮箱账号。需要在el...
使用docker安装elasticsearch伪分布式集群【代码】【图】
docker安装elasticsearch伪分布式集群 0.在安装es之前，首先编辑一下宿主机的内核参数，否则配置es集群的时候极有可能启动不成功：[root@study-01 ~]# vim /etc/sysctl.conf vm.max_map_count=655360 [root@study-01 ~]# sysctl -p # 加载参数1.搜索es的镜像，如下第一个就是官方镜像：2.拉取镜像：[root@study-01 ~]# docker pull elasticsearch3.启动镜像为容器：[root@study-01 ~]# docker run -d --name es1 -p 9200:9200 -p 9...
Elasticsearch 【索引模板 index templates】【代码】
https://www.elastic.co/guide/en/elasticsearch/reference/1.7/indices-templates.html一、索引模板，定义模板，当新索引创建时，自动匹配，并应用定义的模板新增索引模板(index templates)我们新建一个索引模板template_1 设置它的主分片为1个。类型有type1且_source disabledPUT /_template/template_1 { "template": "t-*", "settings": { "number_of_shards":1 }, "mappings": { "type1":{ "_source":{...
Elasticsearch学习笔记1【图】
Json (JavaScript Object Notation)，即JavaScript对象标记法，当前十分流行和常见的互联网数据传输格式，尤其是在前端领域。Json是一种用于数据交换的文本格式，目的是取代繁琐笨重的XML格式。Json是一种轻量级（Light-Weight）、基于文本的（Text-Based）、可读的（Human-Readable）格式，相比于XML格式更小。每个Json对象就是一个值，要么是简单类型的值，要么是复合类型的值，但是只能是一个值，不能是两个或多个的值，即每个J...
Elasticsearch search api —— example【代码】【图】
GET *-website-*/_search {"query": {"bool": {"filter":[{"match_phrase":{"XB3TraceId":"a0228cccb8684d698cd11258ef8a24ae"}}]}},"size": 500,"sort": [{"@timestamp":"asc"}] } 官方文档：Elasticsearch Guide [7.13] ? REST APIs ? Search APIs ? Search API 查询不会写，哭哭哭！！！，雕虫小技，小白入门：方法一：UI辅助 方法二：找post，拼凑 原文：https://www.cnblogs.com/panpanwelcome/p/15012416.h...
elasticsearch index 之 Mapping【代码】【图】
Lucene索引的一个特点就filed，索引以field组合。这一特点为索引和搜索提供了很大的灵活性。elasticsearch则在Lucene的基础上更近一步，它可以是 no scheme。实现这一功能的秘密就Mapping。Mapping是对索引各个字段的一种预设，包括索引与分词方式，是否存储等，数据根据字段名在Mapping中找到对应的配置，建立索引。这里将对Mapping的实现结构简单分析，Mapping的放置、更新、应用会在后面的索引fenx中进行说明。首先看一下Mappin...