Elasticsearch-学习总结

Elasticsearch 核心概念

1、索引==数据库；

2、mapping==字段类型；

3、文档==数据。

elasticsearch 是面向文档。

这里用关系型数据库和elasticsearch 客观的对比！

elasticsearch（集群）中可以包含多个索引（数据库），每个索引中可以包含多个类型（表），每个类型下又包含多个文档（行），每个文档中又包含多个字段（列）。

物理设计：

elasticsearch 在后台把每个索引划分成多个分片，每个分片可以在集群中的不同服务器间迁移。

逻辑设计：

一个索引类型中，包含多个文档，比如文档1，文档2.但我们索引一篇文档时，可以通过这样的一个顺序找到它：索引》类型》文档ID，通过这个组合我们就能索引到某个具体的文档。注意：ID不必是整数，实际上它是个字符串。

文档

elasticsearch 是面向文档的，那么就意味着索引和搜索数据的最小单位是文档，elasticsearch 中，文档有几个重要属性：

• 自我包含，一篇文档同时包含字段和对应的值，也就是同时包含 key:value；
• 可以是层次型，一个文档中包含自文档，复杂的逻辑实体就是这么来的；
• 灵活的结构，文档不依赖预先定义的模式，我们知道关系型数据库中，要提前定义字段才能使用，在elasticsearch中，对应字段是非常灵活的，有时候，我们可以忽略该字段，或者动态的添加一个新的字段。

尽管我们可以随意的新增或忽略某个字段，但是，每个字段的类型非常重要，比如一个年龄字段类型，可以是字符串也可以是整型。因为elasticsearch 会保存字段和类型之间的映射及其他的设置。这种映射具体到每个映射的每种类型，这也是为什么在elasticsearch中，类型有时候也成为映射类型。

类型

类型是文档的逻辑容器，就像关系型数据库一样，表格是行的容器。类型中对于字段的定义成为映射，比如 name 映射为字符串类型。我们说文档是无模式的，它们不需要拥有映射中说定义的所有字段，比如新增一个字段，那么elasticsearch 是怎么做的呢？ elasticsearch 会自动的将新字段加入映射，但是这个字段的不确定它是什么类型，elasticsearch 就开始猜，如果这个值是18，那么elasticsearch 会认为它是整型。但是elasticsearch 也可能猜不对，所以最安全的方式就是提前定义好说需要的映射，这点跟关系型数据库殊途同归了，先定义好字段，然后再使用。

索引

索引是映射类型的容器，elasticsearch 中的索引是一个非常大的文档集合。索引存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上。我们来研究下分片是如何工作的。

物理设计：节点和分片 如何工作

一个集群至少有一个节点，而一个节点就是一个 elasticsearch 进程，节点可以有多个索引默认的，如果你创建索引，那么索引将会有5个分片（primary shard，又称主分片，默认5个分片）构成的，每一个主分片会有一个副本（replica shard，又称复制分片）。

主分片和对应的复制分片不会在同一个节点内，这样有利于某个节点挂掉了，数据也不至于丢失。实际上，==一个分片是一个 Lucene 索引==，一个包含倒排索引的文件目录，倒排索引的结构使得elasticsearch 在不扫描全部文档的情况下就能告诉你哪些文档包含特定的关键字。

倒排索引

elasticsearch 使用的是一种称为倒排索引的结构，采用Lucene倒排索引作为底层，这种结构适用于快速的全文搜索，一个索引由文档中所有不重复的列表构成，对于每一个词，都有一个包含它的文档列表。例如，现在有两个文档，每个文档包含如下内容：

Study every day,good good up to forever   # 文档1包含内容
To forever, study every day, good good up # 文档2包含内容

为了创建倒排索引，我们首先将每个文档拆分成独立的词（或称为词条或者tokens），然后创建一个包含所有不重复的词条的排序列表，然后列出每个词条出现在哪个文档。

现在，我们尝试搜索 to forever，只需要查看包含每个词条的文档。

两个文档都匹配，但是第一个文档比第二个匹配程度更高。如果没有别的条件，限制这两个包含关键字的文档都将返回。

再来一个示例，比如通过博客标签来搜索博客文章。那么倒排索引就是这样的一个结构：

如果要搜索含有 python 标签的文章，那相对于查找所有原始数据而言，查找倒排索引后的数据将会快的多。只需要查看标签这一栏，然后获取相关的文章ID即可。完全过滤掉无关的所有数据，提高效率！

elasticsearch 的索引和 Lucene 的索引对比：

在 elasticsearch中，索引（数据库）这个词被频繁使用，这就是术语的使用。在 elasticsearch 中，索引被分为多个分片，每份分片是一个 Lucene的索引。==所以一个elasticsearch索引是由多个Lucene索引组成的。==如无特指，说起索引都是指 elasticsearch 的索引。

IK 分词器插件

什么是IK分词器

分词：即把一段中文或者别的划分成功一个个的关键字，我们在搜索时会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“我是沙比”会被分为“我”，“是”，“沙”，“比”，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。

如果要使用中文，简易使用ik分词器！

IK 提供了两个分词算法：==ik_smart 和 ik_max_word==，其中 ik_smart 为最少切分，ik_max_word 为最细粒度划分！

安装

1、https://github.com/medcl/elasticsearch-analysis-ik

2、下载完毕之后，放入到我们的elasticsearch 插件即可！

3、重启观察ES，可以看到ik分词器被加载了！

4、elasticsearch-plugin 可以通过这个命令来查看加载进来的插件

GET _analyze
{
    "analyzer": "ik_smart",
    "text": "中国共产党"
}
输出： 中国共产党  
# 使用 ik_smart 最小切分未做任何切分

GET _analyze
{
    "analyzer": "ik_max_word",
    "text": "中国共产党"
}
输出： 中国，国共，共产党
# 使用 ik_max_word 对该段文字做了一定切分

ik 分词器增加自己的配置！

GET _analyze
{
    "analyzer": "ik_smart",
    "text": "超级喜欢沙比"
}
输出： 超级，喜欢，沙，比
# 由于 沙比 ，不认为这是个连贯的词语，所以单独列出来了

对于通常不是词语的处理，IK分词器会将分为每一个字为一个词语；

所以，这种我们自己需要的词语，需要自己加到我们的分词器的字典中！

plugins/ik/config # es 插件目录下，创建自己需要的词语命名 {name.}dic，写入内容
沙比

plugins/ik/config/IKAnalyzer.cfg.xml # 修改该配置文件,插入 {name}.dic
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">{name}.dic</entry>
    <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <!--<entry key="remote_ext_dict">words_location</entry>-->
    <!--用户可以在这里配置远程扩展停止词字典 -->
    <!--<entry key="remote_ext_stopwords">words_location</entry>-->
</properties>

重启 es！即可

GET _analyze
{
    "analyzer": "ik_smart",
    "text": "超级喜欢沙比"
}
输出： 超级，喜欢，沙比
# 因为加入了，自定义的词库，所以把沙比认为是一个词语切分了

Rest 风格说明

关于索引的基本操作

<hr/>

1、创建一个索引；

PUT /索引名/~类型名~/文档id
{请求体}

PUT /test1/type1/1
{
    "name": "沙比",
    "age": 3
}

完成了自动增加了索引！数据也成功的添加了，我们未定义 mapping 但是也能插入！

但是建议是提前设置好索引的mapping 字段类型，因为自动识别可能不一定正确。

• 字符串类型

  text 、 keyword

• 数值类型

  long, integer, short, byte, double, float, half_float, scaled_float

• 日期类型

  date

• te 布尔值类型

  boolean

• 等等......

2、指定字段的类型；

PUT /test2
{
    "mappings": {
        "properties": {
            "name": {
                "type": "text"
            },
            "age": {
                "type": "long"
            },
            "birthday": {
                "type": "date"
            }
        }
    }
}
# 创建 mapping 规则

获取这个规则！可以直接 get

GET /test2

3、查看默认的信息

PUT /test3/_doc/1
{
    "name": "买买买"，
    "age": 13,
    "birth": "1997-01-05"
}
# 先不指定字段，随便写点东西进一个新的 索引

GET test3
# 查看es 匹配的字段类型

扩展：通过命令 elasticsearch 索引情况！ 通过 get _cat/ 可以获取 es的当前很多信息！

4、修改文档

PUT 请求做的是覆盖操作，如果只需要修改已添加信息的文档的某个字段信息，可以通过 POST 请求即可

POST /test3/_doc/1/_update
{
    "doc": {
        "name": "法外狂徒张三"
    }
}

但不管是 PUT 还是 POST 只要对该文档做了修改，该文档中的 version 字段都会 +1 ，版本加一。

关于文档的基本操作（重点）

<hr/>

基本操作

1、添加数据；

PUT /jw/_doc/1
{
    "name": "没法开",
    "age": 25,
    "desc": "一顿操作猛如虎，一看工资2500",
    "tags": ["死宅","直男"]
}

2、获取数据 GET；

PUT /jw/_doc/1
{
    "name": "风景照",
    "age": 10,
    "desc": "diwjad 你好吗",
    "tags": ["靓女","唱歌","跳舞"]
}

GET /jw/_doc/1

3、更新数据 PUT（覆盖更新）；

PUT /jw/_doc/1
{
    "name": "米线",
    "age": 8,
    "desc": "How are you",
    "tags": [唱歌","跳舞"]
}
version 版本将出现变动，具体为改动的次数
result 状态为 updated

4、POST _update，推荐使用这种更新方式（POST 指定更新指定的字段）；

POST /jw/_doc/1
{
    "doc": {
        "tags": ["唱","跳","rap"]
    }
}

搜索！

简单的搜索！

GET /jw/_doc/1

简单的条件查询，可以根据默认的映射规则，产生基本的查询！

GET /jw/_doc/_search?q=name:米线

复杂操作搜索 select（排序，分页，高亮，模糊查询，精准查询！）

GET /jw/_doc/_search
{
    "query": {
        "match": {
            "name": "米线"
        }
    }
}

对普通搜索，转换为curl操作

curl 'http://127.0.0.1:9200/jw/_search?pretty' -H 'Content-Type: application/json' -d '{
    "query": {
        "match": {
            "name": "米线"
        }
    }
}'

搜索结果只要特定的几个字段，对结果过滤

GET /jw/_doc/_search
{
    "query": {
        "match": {
            "name": "米线"
        }
    },
    "_source": ["name","desc"]
}

排序！

GET /jw/_doc/_search
{
    "query": {
        "match": {
            "name": "米线"
        }
    },
    "sort": [
      {
          "age": {    # 指定哪个字段进行排序，正序还是倒序 asc,desc
              "order": "asc"
          }
      }
    ]
}

分页查询！

{
    "query": {
        "match": {
            "name": "米线"
        }
    },
    "sort": [
      {
          "age": {    # 指定哪个字段进行排序，正序还是倒序 asc,desc
              "order": "asc"
          }
      }
    ]，
    "from": 0,   # 从第几个数据开始
    "size": 10    # 返回多少条数据（单页的数据条数）
}

数据下标还是从0开始，跟学的所有数据结构是一样的！

/search/{current}/{pagesize}

布尔值查询

must（and），所有的条件都要符合 where id=1 and name=xxx

GET /jw/_doc/_search
{
  "query": {
    "bool": {
      "must": [
        {
            "match": {
              "name": "米线"
            }
        },
        {
            "match": {
              "age": 8
            }
        }
      ]
    }
  }
}

should（or），所有的条件都要符合 where id = 1 or name = xxx

GET /jw/_doc/_search
{
  "query": {
    "bool": {
      "should": [
        {
            "match": {
              "name": "米线"
            }
        },
        {
            "match": {
              "age": 8
            }
        }
      ]
    }
  }
}

must_not （not）

GET /jw/_doc/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
            "match": {
                "age": 3
            }
        }
      ]
    }
  }
}
# 查询年龄不是3岁的

过滤器 filter

GET /jw/_doc/_search
{
  "query": {
    "bool": {
      "must": [
        {
            "match": {
                "name": "米线"
            }
        }
      ],
      "filter": {
        "range": {
          "age": {
              "lt": 10
          }
        }
      }
    }
  }
}
# 对取出的数据在进行过滤

• gt 大于
• gte 大于等于
• lt 小于
• lte 小于等于

GET /jw/_doc/_search
{
  "query": {
    "bool": {
      "must": [
        {
            "match": {
                "name": "米线"
            }
        }
      ],
      "filter": {
        "range": {
          "age": {
              "lt": 10,
              "gte" 1
          }
        }
      }
    }
  }
}

匹配多个条件

GET /jw/_doc/_search
{
  "query": {
      "match": {
          "tags": "男 技术"
      }
  }
}
# 多个条件使用空格隔开，只要满足其中一个结果就可以被查出
# 这个时候可以通过分值进行基本的判断。

精确查询

term 查询是直接通过倒排索引指定的词条进程精确查找！

关于分词：

• term，直接查询精确的 keyword
• match，会使用分词器解析！（先分析文档，然后再通过分析的文档进行查询！）

两个类型 text keyword

keyword 类型不会被分词器解析！ 会始终认为是一个整体，必须eq相等才能搜索

多个值匹配精确查询

GET /jw/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "t1": "22"
          }
        },
        {
          "term": {
            "t1": "33"
          }
        }
      ]
    }
  }
}

高亮查询

GET /textdb/_search
{
  "query": {
    "match": {
      "name": "沙比"
    }
  },
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}

自定义搜索高亮条件

GET /textdb/_search
{
  "query": {
    "match": {
      "name": "沙比"
    }
  },
  "highlight": {
    "pre_tags": "<p class='key' style='color:red'>",
    "post_tags": "</p>",
    "fields": {
      "name": {}
    }
  }
}

这些其实 MySQL 也都可以做，只是 MySQL 效率较低！

查看一个索引下的所有数据

GET /{indexname}/_search?pretty
由于查询每页面的数量限制，所以一般需结合 from,size

GET /{indexname}/_search?pretty
{
  "from": 0,
  "size": 100
}

或者 match_all

GET /unionist_cloud_setting_city_area_gets/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0,
  "size": 100
}

es 获取某个索引下的数据量

GET _cat/indices/MembershipCloudAnalysisMember?v
# 获取单个索引数据量

GET _cat/indices?v
# 获取所有索引数据量

kibana 汉化

kibana.yml 配置文件插入一行

i18n.locale: "zh-CN"

ElasticSearch添加密码

#Elasticsearch
docker run -itd \
--restart=always \
--name elasticsearch \
-e discovery.type=single-node \
-e xpack.security.enabled=true \
-e ELASTIC_PASSWORD="password" \
-p 9200:9200 \
-p 9300:9300 \
-v /data/db_server/elasticsearch/data:/usr/share/elasticsearch/data \
elasticsearch:latest

# 非容器模式启动修改，elasticsearch.yml设置
xpack.security.enabled: true
# 启动服务后，执行设置密码命令
# 自动设置密码
./bin/elasticsearch-setup-passwords auto
# 手动设置密码
./bin/elasticsearch-setup-passwords interactive