Shell脚本处理JSON数据实战指南

在Shell中处理复杂的JSON数据,一般有以下三种方式：

一、基于 jq 处理 JSON

如果未安装jq，会提示如下错误

-bash: jq: command not found

安装jq

# 官方源中目前没有包含jq，因此需要首先安装epel
yum -y install epel-release

# 安装jq
yum -y install jq

示例数据:JSON文件data.json

{
  "user": {
    "name": "Alice",
    "age": 30,
    "contacts": [
      {"type": "email", "value": "alice@example.com"},
      {"type": "phone", "value": "123-456-7890"}
    ]
  }
}

cat data.json | jq '.'

cat data.json | jq '.user.name'
# 输出 "Alice"

处理数组

cat data.json | jq '.user.contacts[]'

cat data.json | jq '.user.contacts[].value'

过滤数据

cat data.json | jq '.user.contacts[] | select(.type == "email") | .value'

嵌套数据结构的修改、合并

cat data.json | jq '.user.contacts += [{"type": "fax", "value": "098-765-4321"}]'

cat data.json | jq '.user.contacts += [{"type": "fax", "value": "098-765-4321"}]' > new_data.json

二、基于Python来处理Json

可以直接在Shell脚本中使用Python的-c选项执行一段Python代码来处理JSON数据（示例数据同上）

cat data.json | python -c 'import json,sys; data=json.load(sys.stdin); print(data["user"]["name"])'

python -c 'import json,sys; data=json.load(sys.stdin); print(data["user"]["contacts"][0]["type"])' < data.json

python3 -c 'import json,sys; data=json.load(sys.stdin); print([c["value"] for c in data["user"]["contacts"]])' < data.json

将Python代码写入Shell脚本

将Python代码放入一个Shell脚本中，作为脚本的一部分。可以使用Python的全部功能来处理JSON数据

#!/bin/bash

json_file="data.json"

name=$(python3 -c "
import json
with open('$json_file') as f:
    data = json.load(f)
    print(data['user']['name'])
")
echo "Name: $name"

contacts=$(python3 -c "
import json
with open('$json_file') as f:
    data = json.load(f)
    contacts = [c['value'] for c in data['user']['contacts']]
    print(', '.join(contacts))
")
echo "Contacts: $contacts"

三、使用grep、sed、awk、cut 处理Json

这种方式在处理嵌套结构和复杂的数据时会变得非常繁琐且容易出错。

grep '"name":' data.json | sed 's/.*"name": "\(.*\)",/\1/'

grep -o '"value": "[^"]*"' data.json | sed 's/"value": "\(.*\)"/\1/'

使用awk处理JSON

awk -F': ' '/"age"/ {print $2}' data.json | tr -d ','

作者：promise524