# 数据可视化

数据可视化的主要任务是将数据转换为易于感知的图形。

## 一、可视化流程

很多人认为数据可视化无非就是数据几组数据，生成各自图表（或图形）等等。其实数据可视化大致可分为：

1. 信息可视化
2. 科学可视化
3. 可视化分析

之前所提到的简单图表只是信息可视化中最常见的几种。面对不同的数据体积以及不同的可视化目标，可视化系统的复杂度很可能就会超出想象。

### 通用的可视化流程

可视化整体可分为三步：分析 -》 处理 -》 生成。

### 1. 分析

分析分为三部分：任务、数据和领域。

首先，要分析该次可视化的出发点和目标是什么。遇到什么问题、展示什么信息、要得出什么结论、验证什么假说等等。数据承载的信息是多种多样的，不同的展示方式的侧重点也是不一样的（说白了，想清楚要干什么，才能确定要过滤什么数据、怎样处理数据最后怎样展示数据）。

其次，分析数据（见**数据模型**）。

最后要针对不同的领域，进行响应的分析。可视化的侧重点要跟随领域做出相应变化。

### 2. 处理

处理可分为两部分：对数据的处理、对视觉编码的处理。

在可视化之前，要对数据进行数据清洗、数据规范、数据分析等数据处理。
所谓视觉编码即指如何使用位置、尺寸、灰度值、纹理、色彩、方向、形状等视觉通道，以映射要展示的数据维度。

### 3. 生成

将之前的分析和设计实现。

## 二、数据模型

数据说白了就是可定性或可量化的一组数据。为了更准确更形象地表达数据，先了解一些数据相关的概念。

### 1. 数据模型与概念模型

数据为什么可以代表世界？带着这个问题，来了解数据和概念两个模型。

**数据模型** 是一组数字或符号的组合，其包含着数据的定义、类型等，可以进行各类数学操作。
**概念模型** 描述的是事物的语义或状态行为等。

现实世界 =》 概念模型 =》 数据模型

现实世界可以用概念模型描述，而概念模型又可以用数据模型来描述。经过两层抽象，数据便可以描述现实世界。

### 2. 数据类型

一个东西属于哪一类，取决于用什么标准划分，数据亦然。

按数据在计算机中的存储，数据可分为浮点数、整数、字符等；从关系模型的角度来说，数据可以分为实体和关系两类；从数据结构来说，数据可以分为一维、二维、三维、多维、时间序列、空间序列、树型、图型等等。接下来说一说和数据可视化有关的分类方法。

按照测量标度来分，数据一般分为四类：类别型、有序型、区间型和比值型。

- 类别型：用于区分事物。如：人可分为男女。
- 有序型：用于表示对象间的顺序关系。如：人的身高可以从矮到高。
- 区间型：用于对象间的定量比较。如：身高 160cm 和身高 158cm。
- 比值型：用于数值间的比例关系。如：6 是 3 的 2 倍。

在数据可视化中，通常不区分区间型和比值型，通一称为 **数值型** 。

### 3. 举个例子

| id  | 类型 | 款式 | 尺码 | 销量 | 年增长 |
| ---- | ---- | ---- | ---- | ---- | ---- |
|  1  | 男款 | 上衣 |  L   |  50  |  10%   |
|  2  | 女款 | 上衣 |  S   |  35  |   5%   |
|  3  | 女款 | 裤子 |  M   |  40  |  20%   |
|  4  | 男款 | 上衣 |  XL  |  30  |  15%   |

如表所示，不难看出：

- _id_ 和 _尺码_ 属于 _有序型_ 数据。
- _类型_ 和 _款式_ 数据 _类别型_ 数据。
- _销量_ 和 _年增长_ 属于 _数值型_ 数据。

## 三、视觉编码

### 1. 什么是视觉编码？

视觉编码描述的是将数据映射到最终可视化结果上的过程。

编码二字，编可以说是指设计、映射的过程，码是指一些图形符号。图形符号和信息间的映射关系可以使人迅速获取信息。可以说图形符号中携带了信息（称之为编码了一些信息）。而人从这些符号中读取信息时，可以称作时解码了一些信息。
人解码信息靠的是眼睛，人的视觉系统。如果说图形符号是编码信息的工具或通道，那么人的视觉系统便是解码信息的通道。通常把这种 **图形符号 《--》 信息 《--》 视觉系统** 的对应过程称为 **视觉通道**。

### 2. 常用的视觉通道

1967 年，Jacques Bertin 初版的《Semiology of Graphics》一书提出了图形符号与信息的对应关系，奠定了可视化编码的理论基础。该书中把图形符号分为两种：

- 位置变量：一般指二维坐标
- 视网膜变量：尺寸、数值、纹理、颜色、方向和形状

后来又补充了 **长度**、**面积**、**体积**、**透明度**、**模糊/聚焦** 和 **动画** 等视觉通道。

### 3. 视觉编码设计原则

首先说一下视觉通道的性质：

- 定性（又称分类）性质 ：适用于类别型数据。如颜色或形状。
- 定量（或定序）性质：适用于有序型和类别型数据。如长度、大小适合于编码数值/量的大小。
- 分组性质：具有相同视觉通道的数据可以分为一组，便于识别。

最后说一下视觉编码设计的两大原则：

- 表达性、一致性：可视化的结果应充分表达了数据要表达的信息，且无多余。
- 有效性、理解性：可视化之后应当比其他数据表达方案更加有效，更加容易让人理解。

数据可视化编码除了视觉通道还需考虑：

- 色彩搭配
- 交互
- 美学因素
- 信息密度
- 直观映射、隐喻

等等。

## 参考文献

- [[1] 浙江大学-陈为、巫英才数据可视化课程](http://www.cad.zju.edu.cn/home/vagblog/?page_id=1302)
- [[2] 陈为 沈则潜 陶煜波. 数据可视化[M]. 电子工业出版社, 2013.](https://book.douban.com/subject/25760272/)
- [[3] CSE512 Data Visualization (Spring 2016)](https://courses.cs.washington.edu/courses/cse512/16sp/)


数据可视化的主要任务是将数据转换为易于感知的图形。

数据可视化

## 安装 Docker


在 [Docker](https://www.docker.com/get-started) 网站下载安装 Docker 。 安装完成后，打开命令行输入 `docker version`，如果有相关输出即安装成功。

## 运行 container


docker 中与 `container` 相关的命令主要有：

*   `docker container run ...`：运行容器
*   `docker container ls`: 列出当前运行容器
*   `docker container start [container_id | container_name]`: 开始运行指定 id（或名称） 的容器
*   `docker container stop [container_id | container_name]`: 停止运行指定 id（或名称） 的容器
*   `docker container rm [container_id| container_name]`: 删除指定 id（或名称） 的容器

其中，也可以使用 `docker ps` 查看正在运行的容器。

### 运行 nginx

打开命令行，键入：

    docker container run -it -p 8080:81 nginx
    

如果报错无法拉取，执行 `docker login` 输入账号密码登录 docker hub 账号后再执行。 在浏览器访问网站：`http://localhost:8080`，如果可以访问到 nginx 相关即表示运行成功。

`-p 8080:81` 指定镜像在容器内运行的端口为：`81`，同时将端口映射到本地机器的 `8080` 端口，所以需要在浏览器访问 `http://localhost:8080` 才可。

### 运行 mysql

不同与 nginx ，运行 mysql 时可能需要设置一些变量，比如数据库密码之类的，这就需要用到 `--env` 参数。

    docker container run -d -p 3006:3036 --env MYSQL_ROOT_PASSWORD=123456 mysql
    

## 进入 container


使用 `docker container -it exec [container_id | container_name]` 可以运行指定的容器内的程序

首先，运行一个名为 `mynginx` 的容器：

    docker container run -d -p 8080:80 --name mynginx nginx
    

然后，调用 `mynginx` 的 `bash` 程序：

    docker container exec -it mynginx bash
    

如此，便可以在 container 内部操作环境执行命令，就像是进入了这个 container 操作环境内一样。

### 绑定挂载点


在上一步中，可以知道 container mynginx 的文件路径为：`/usr/share/nginx/html`。如果想要修改这些文件，就需要进入 container 内部进行修改，这样便会很麻烦。docker 提供了绑定挂载点的功能，这样便可以把本地机器的文件映射到 container 内部。

    docker container run -d -p 8080:81 -v ~/test:/usr/share/nginx/html --nmae mynginx nginx
    

在本地机器的 test 文件夹，新建一个 index.html 文件，然后浏览器访问 `http://localhost:8080`，便可以看到刚刚保存的内容。

### 制作镜像


`docker container run` 的过程是首先拉取镜像，然后运行这个镜像。如此便可以制作自己的镜像。例如：

首先新建一个文件夹，然后新建一个 `index.html` 文件并写入内容，然后再编写 `Dockerfile` 文件。

    FROM nginx:latest
    
    WORKDIR /usr/share/nginx/html
    
    COPY . .
    

然后运行 `docker image build . -t mynginx-web`（`.` 是指当前路径），便完成了镜像制作。

运行这个镜像只需要：`docker container run -it -p 8080:80 mynginx-web`。

Docker 使用笔记（一）

一般情况下，个人购买的服务器可用的内存、CPU 等资源十分有限。比如，今天在服务器上安装了 elasticsearch ，没有注意它的内存占用情况，导致整个服务器内存爆了（服务器配置较低），重启了一次。
较新版本的 <code>docker</code> ，可以使用 <code>docker stats</code> 查看容器具体资源占用。
<pre><code class="lang-bash">CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
1c5d2e9f1gjd mysql 0.04% 243.3MiB / 1.795GiB 13.24% 2.08MB / 10.2MB 6.6GB / 112MB 38
</code></pre>
旧版本 <code>docker</code> 可能必须使用 <code>docker stats [container id]</code>，可以使用一条命令查看所有容器资源占用。
<pre><code class="lang-bash">$ docker ps -q | xargs docker stats --no-stream

CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
fa8c2b0f2f7c mysql 0.04% 243.3MiB / 1.795GiB 13.24% 2.08MB / 10.2MB 6.6GB / 112MB 38
</code></pre>

本文介绍如何查看 docker 容器的资源占用情况。

Docker 查看容器内存和 CPU 占用情况

## 1 注释（#）

行首以 `#` 开头（除 `#!` 之外）的是注释。`#!` 用于指定当前脚本的解释器。

```shell
#!/bin/bash

echo 'The # here is not comment'
echo The \# here is not comment # 注意转义字符
echo The # here is not comment
```

## 2 分号（;）

### 2.1 命令分隔符

使用分号（;）可以在同一行写多个命令。

```shell
#!/bin/bash

echo 'Now start...';
filename=semi.sh
if [ -e "$filename" ]; then
 echo "File $filename exists."; cp $filename $filename.bak # cp 复制命令
else
 echo "File $filename not found"; touch $filename # touch 创建文件
fi;
 echo "End"
```

### 2.2 终止 `case` 选项

使用双分号（;;）可以终止 `case` 选项（类似于其他语言中的 `break`）。

```shell
#!/bin/bash

char=b

case "$char" in
 [a-z]) echo "letter";;
 [0-9]) echo "number";;
esac
```

## 3 点号（.）

等价于 `source` 命令（bash 中的 `source` 命令用于在当前 `bash` 环境下读取并执行 指定的 sh 文件）。

```shell
$ source hello.sh
hi
$ . hello.sh
hi
```

## 4 引号

### 4.1 双引号（"）

由双引号括起来的字符，除$（美元符号）、\（反斜杠）、’（单引号）、和”（双引号）这几个字符仍是特殊字符并保留其特殊功能外，其余字符仍作为普通字符对待。

### 4.2 单引号（'）

由单引号括起来的字符都作为普通字符出现。特殊字符用单引号括起来以后，也会失去原有意义，而只作为普通字符解释。

### 4.3 区别

举个例子：

```shell
name=difference

echo '$name' # name
echo "$name" # difference
```

同样是 `$name`，单引号则认为是字符串，而双引号则认为是一个变量。

## 5 斜线和反斜线

### 5.1 斜线（/）

文件名路径分隔符。分隔文件名不同的部分（如`/home/repo`）。也可以用来作为除法算术操作符。在 linux 中表示路径的时候，许多个/跟一个/是一样的。`/home/repo` 等同于 `////home///repo`

### 5.2 反斜线（\）

转义字符。

## 6 反引号

反引号（\`）中的命令会优先执行（推荐使用`$()`代替`\``）。

```shell
cp `mkdir temp` hello.sh temp # 先创建 temp 文件夹，再将 hello.sh 复制到 temp 文件夹
cp $(mkdir temp) hello.sh temp
```

## 7 冒号（:）

### 7.1 空命令

等价于 “NOP”（`no op`，该命令什么也不做）。`:` 命令是 bash 内建命令，退出码是 `0`。

```shell
#!/bin/bash

num=5

if [ $num -gt 2 ] # gt 表示 greater than（大于）
 then : # 什么都不做，退出分支
else
 echo "$num"
fi
```

### 7.2 其他功能

与 `>` 重定向操作符结合使用时，可以清空一个文件，但是不会修改这个文件的权限。如果这个文件之前不存在，则先创建这个文件。

```shell
: > null.sh
```

## 8 问号（?）

在双括号中就是三元操作符。

```shell
#!/bin/bash

((t=8<10?15:5))
echo $t
```

## 9 美元符号（$）

变量替换。

```shell
#!/bin/bash

a=10
echo $a
```

bash 脚本编程系列之：bash 中的特殊字符（上）。

bash 中的特殊字符（上）

## 1 算数运算符

| 运算符 | 说明 |
| :----: | :----: |
| + | 加法 |
| - | 减法 |
| \* | 乘法 |
| / | 除法 |
| == | 相等 |
| != | 不相等 |

```shell
#!/bin/bash
a=10
b=20

echo "a + b = `expr $a + $b`"
echo "a - b = `expr $a - $b`"
echo "a * b = `expr $a \* $b`"
echo "a / b = `expr $a / $b`"
echo "a % b = `expr $a % $b`"

if [ $a == $b ]; then
 echo "a == b"
else
 echo "a != b"
fi
```

输出：

```shell
a + b = 30
a - b = -10
a * b = 200
a / b = 0
a % b = 10
a != b
```

> - 原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如 `awk` 和 `expr`。`expr` 最常用。
> - `expr` 是一款表达式计算工具，使用它能完成表达式的求值操作。
> - 表达式和运算符之间要有空格 `$a + $b` 写成 `$a+$b` 不行
> - 条件表达式要放在方括号之间，并且要有空格 `[ $a == $b ]` 写成 `[$a==$b]` 不行
> - 乘号（\*）前边必须加反斜杠（\)才能实现乘法运算

## 2 关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

| 运算符 | 说明 |
| :----: | :------------------: |
| `-eq` | 两数是否相等 |
| `-ne` | 两数是否不相等 |
| `-gt` | 左数是否大于右数 |
| `-lt` | 左数是否小于右数 |
| `-ge` | 左数是否大于等于右数 |
| `-le` | 左数是否小于等于右数 |

```shell
#!/bin/bash

a=10
b=20

if [ $a -eq $b ]; then
 echo "a == b"
else
 echo "a != b"
fi
```

## 3 逻辑运算符

| 运算符 | 　说明｜ |
| :----: | :--------: |
| && | 逻辑的 AND |
| \|\| | 逻辑的 OR |

```shell
#!/bin/bash
a=10
b=20

if [[ $a -gt 5 && $b -le 20 ]]; then
 echo "a > 5 and b <= 20"
else :
fi
```

## 4 字符串运算符

| 运算符 | 　说明｜ |
| :----: | :------------------: |
| = | 两个字符串是否相等 |
| != | 两个字符串是否不相等 |
| -z | 字符串长度是否为 0 |
| -N | 字符串长度是否不为 0 |
| str | 字符串是否不为空 |

```shell
#!/bin/bash
a="abc"
b="edf"
c=""

if [ $a = $b ]; then
 echo "$a = $b : a == b"
fi

if [ -n $a ]; then
 echo "-n $a: The string $a's length is not 0"
fi

if [ !$c ]; then
 echo "$c: The string $c is empty"
fi
```

## 5 文件操作符

| 运算符 | 　说明｜ |
| :---------: | :------------------------------------------: |
| `-e` | 文件存在 |
| `-f` | 表示文件是个一般文件，不是目录也不是设备文件 |
| `-s` | 文件大小不为 0 |
| `-d` | 表示是一个目录 |
| `-b` | 表示是一个块设备（软盘，光驱等） |
| `-c` | 表示是一个字符设备（键盘，声卡等） |
| `-p` | 表示是一个管道 |
| `-h` | 表示是符号链接 |
| `-L` | 表示是符号链接 |
| `-S` | 表示是一个 socket |
| `-r` | 文件是否可读 |
| `-w` | 文件是否可写 |
| `-x` | 文件是否可执行 |
| `-N` | 从文件上一次读取到现在，是否有改动 |
| `f1 -nt f2` | 文件 f1 比 文件 f2 新 |
| `f1 -ot f2` | 文件 f1 比 文件 f2 旧 |
| `f1 -ef f2` | 文件 f1 和 文件 f2 是否是相同文件的硬链接 |

bash 脚本编程系列之：基本运算符。

bash 中的基本运算符

深切哀悼为抗击新冠肺炎斗争牺牲烈士和逝世同胞

深切哀悼为抗击新冠肺炎斗争牺牲烈士和逝世同胞。