ES学习日记(九)-------logstash导入数据

一、安装和下载

es官网
下载地址

官方介绍:Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。(我们的存储库当然是 Elasticsearch。)

下载和ES一样的版本(很重要,必须这么做)

解压到指定目录

二、启动与配置

测试启动命令

bin/logstash -e 'input {stdin {}}output { stdout {} }'

1.准备下面内容

可以直接抄作业,自己手写的,亲测可用,暂时定时更新,后续会更新配置信息:

jdbc.conf

input {
    stdin {
    }
                jdbc {
                # 配置数据库信息
                jdbc_connection_string => "jdbc:mysql://172.18.8.61:3306/chengqu_eplatform?useunicodetrue&characterEncoding=UTF-8&serverlimezone=Asia/shanghai"
                # 驱动包
                jdbc_driver_class =>"com.mysql.cj.jdbc.Driver"
                # 用户名
                jdbc_user => "****"
                # 密码
                jdbc_password => "****"
                # 是否需要分页
                jdbc_paging_enabled => "true"
                # 分页大小
                jdbc_page_size => "50000"
                # 时区
                jdbc_default_timezone => "Asia/Shanghai"
                # 执行 sql 语句文件位置
                statement_filepath => "/home/local/escolony/logstash-7.4.2/jdbc.sql"
                # 定时字段 各字段含义(由左至右)分、吋、天、月、年，全部为*默认含义为每分钟都更新
                schedule => "* * * * *"
                # 是否将 sql 中 column 名称转小写(是否转驼峰)
                lowercase_column_names=> false
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        # 输出位置
        hosts => ["127.0.0.1:9200"]
        # port => "9200"
        # protocol => "http"
        # 索引名称
        index => "shop"
        # 文档 id%{id}意思是取査询出来的id的值，并将其映射到shop的id字段中
        # 文档 id,%{goodsId}如果是别名，意思是取查询出来的goodsId的值，并将其映射到shop的 id字段中
        document_id => "%{id}"
        # cluster => "logstash-elasticsearch"
    }
    stdout {
        codec => json_lines
    }
}

jdbc.sql

select * from goods

把准备好的mysql驱动包放到/logstash-7.4.2/logstash-core/lib/jars/,另外两个文件放到/logstash-7.4.2/下面

执行之前,测试启动(加-t),检查配置文件是否编写正确(注意中英文,大小写,空格啥的,配置文件要求很高,不能出错)

bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf -t

2.创建新的索引

curl -X PUT http://localhost:9200/shop -H 'Content-Type:application/json' -d'{
	"settings": {
		"number_of_shards": 5,
		"number_of_replicas": 1
	}
}'

3.分词

curl -XPOST http://localhost:9200/shop/_mapping -H 'Content-Type:application/json' -d'{
	"properties":{
		"t_name":{
			"type": "text",
			"analyzer":"ik_max_word",
			"search_analyzer":"ik_max_word"
		}
	}
}'

三、关联mysql导入数据

1.连接mysql导数据

测试成功后,建立索引完成(也可以先建),现在就可以从mysql里面导数据了

实际使用中,一般打开了logstash以后就不要动了,每分钟会去数据库取数据,除非你的sql语句发生变化,不然开着不用管就行

启动logstash

bin/logstash -f /home/local/escolony/logstash-7.4.2/jdbc.conf

获取数据成功

刷新下索引,就有了

写在最后

注意配置文件,要求很高,不能出错,需要的命令我都粘上面了,后续会改为实时更新

下一节开始用代码操作ES