6.方法测试

在这个部分我们要整体的测试我们的程序，对前面的知识和内容有一个整体的应用和概括。

这是Udacity提供的相应资料，在code文件夹中有一个Rover_Project_Test_Notebook.ipynb文件，提供了输出视频的笔记本文件。

由于个人喜好的原因，我选择了pycharm2019来运行此程序。

（1）方法测试程序概述

在这个部分我们需要完成的项目如下

1. 首先运行笔记本中的每个单元格，检查代码和每个单元格的结果。
2. 在“训练模式”中运行模拟器并记录一些数据。注意：只需要使用一些示例图像，几百张即可。
3. 将数据目录路径（下面的2个单元格）更改为保存数据的目录
4. 测试数据上提供的功能
5. 编写新功能（或修改现有功能）以报告和绘制障碍物和岩石样本（黄色岩石）的检测结果
6. 使用适当的步骤/函数填充process_image（）函数，以从原图像转换为worldmap。
7. 使用moviepy函数运行调用process_image（）的单元格以创建视频输出
8. 如果绘制工作可以进行，则继续修改perception.py和decision.py，让流浪者号自主导航并以自动模式进行绘制。

首先我们需要获取ffmpeg工具

import imageioimageio.plugins.ffmpeg.download()

运行此程序以下载ffmpeg工具。

但我在运行这个程序时遇到了一个问题。

报错

imageio.ffmpeg.download() has been deprecated. Use 'pip install imageio-ffmpeg' instead.'‘

经查阅，该错误是由版本更新引起的错误，解决办法(在Windows上)为

pip install imageio==2.4.1

现在再一次运行我们的程序，如果imageio正确安装且电脑中没有安装ffmpeg，程序会自动下载安装

import imageioimageio.plugins.ffmpeg.download()

python会自动下载ffmpeg，如果下载不成功或者速度太慢可以选择到相应网站下载，单击这里进行下载。

ffmpeg应当放到AppData目录下。

（2）读入以保存的数据和世界地图

我们定义一个名为 Databucket() 类来存储测量数据、图像路径和图像。

当我们实例化这个类时，我们将得到一个名为 data 的全局变量，我们将在之后的 process_image() 函数中来引用其中的数据。

其程序如下：

import pandas as pd
df = pd.read_csv('.../Roversim/Roverdata/robot_log.csv', delimiter=';', decimal='.')
csv_img_list = df["Path"].tolist()
# 读入世界地图并使用它创建一个3通道的图像
ground_truth = mpimg.imread('.../RoboND-Rover-Project-master/calibration_images/map_bw.png')
ground_truth_3d = np.dstack((ground_truth*0, ground_truth*255, ground_truth*0)).astype(np.float)# 创建一个类作为Databucket，读取csv文件中保存的数据并填充此对象。
# worldmap被实例化为200*200个网格，其对应200m*200m的空间。
class Databucket():def __init__(self):self.images = csv_img_list  self.xpos = df["X_Position"].valuesself.ypos = df["Y_Position"].valuesself.yaw = df["Yaw"].valuesself.count = 0 # 运行索引self.worldmap = np.zeros((200, 200, 3)).astype(np.float)self.ground_truth = ground_truth_3d # Ground truth worldmap# 实例化一个databucket,这将是一个全局变量，
# 我们可以在接下来的process_image()函数中使用
data = Databucket()

(3)图像处理函数

1）process_image()函数

编写process_image（）函数，以执行图像分析和映射。我们只需要把对应漫游者号的位置等映射到worldmap上去就可以。

在之前的程序中，我们小车的位置和偏转角是随机生成的，但是这里就需要我们来读取csv文件中的数据，将相应的透视变换之后的图像映射到世界地图上去。

换句话说， 我们将各个图像传递到 process_image（） 函数并以此来构建一个名为 output_image 的图像，该图像将存储为视频的一帧。

下面是经过更改后的 process_image（） 函数：

# 定义图片处理函数
def process_image(img):output_image = np.zeros((img.shape[0] + data.worldmap.shape[0],img.shape[1] * 2, 3))# 定义第一张图为imgoutput_image[0:img.shape[0], 0:img.shape[1]] = img# 定义第二张图为img经过透视变换后的图像warped = perspect_transform(img, src, dst)output_image[0:img.shape[0], img.shape[1]:] = warpedgray_warped = cv2.cvtColor(warped, cv2.COLOR_RGB2GRAY)ret, img_thresh = cv2.threshold(gray_warped, 160, 255, cv2.THRESH_BINARY)test_image = np.expand_dims(img_thresh, axis=2)output_image[180:340, img.shape[1]:, 0] = img_threshxpix, ypix = rover_coords(img_thresh)worldmap = data.worldmapx_world, y_world = pix_to_world(xpix, ypix, data.xpos[data.count], data.ypos[data.count], data.yaw[data.count],data.worldmap.shape[0], 20 )worldmap[y_world, x_world] += 1map_add = cv2.addWeighted(ground_truth_3d, 1, worldmap, 0.2, 0)output_image[img.shape[0]:, 0:data.worldmap.shape[1]] = map_addcv2.putText(output_image, "Test!", (20, 20),cv2.FONT_HERSHEY_COMPLEX, 0.4, (255, 255, 255), 1)# 跟踪Databucket中的索引if data.count < len(data.images) - 1:data.count += 1return output_image

2）cv2.addWeighted

此函数是为了使两个图像叠加使用的，用在我们将小车的透视变换后的图像映射到世界地图上。

dst = cv2.addWeighted(src1, alpha, src2, beta, gamma[, dst[, dtype]]) 

参数说明:

• src1 - 第一个输入数组。
• alpha - 第一个数组元素的权重。
• src2 - 与src1具有相同大小和通道编号的第二个输入数组。
• beta - 第二个数组元素的权重。
• dst - 与输入数组具有相同大小和通道数的输出数组。
• gamma - 标量加到每个总和。
• dtype - 输出数组的可选深度; 当两个输入数组具有相同的深度时，dtype可以设置为-1，这相当于src1.depth（）

此函数可以用一下矩阵表达式来代替：

dst = src1 * alpha + src2 * beta + gamma;

(4)输出测试视频

因为我们要对特定的颜色进行图像颜色阈值处理，比如之后选择特定的黄色的岩石样本，所以我图像二值化选择使用numpy来完成而不是cv2。其程序如下：

def color_thresh(img, rgb_thresh=(160, 160, 160)):color_select = np.zeros_like(img[:,:,0])above_thresh = (img[:,:,0] > rgb_thresh[0]) & (img[:,:,1] > rgb_thresh[1]) & (img[:,:,2] > rgb_thresh[2])color_select[above_thresh] = 1return color_selectthreshed = color_thresh(warped)
plt.imshow(threshed, cmap='gray')

以下是最终程序

import numpy as np
import cv2
import pandas as pd
import matplotlib.image as mpimg
from moviepy.editor import VideoFileClip
from moviepy.editor import ImageSequenceClip##颜色阈值
# 使用Numpy定义二值化图像函数
def color_thresh(img, rgb_thresh=(160, 160, 160)):img_thresh = np.zeros_like(img[:, :, 0])above_thresh = (img[:, :, 0] > rgb_thresh[0]) & (img[:, :, 1] > rgb_thresh[1]) & (img[:, :, 2] > rgb_thresh[2])img_thresh[above_thresh] = 1return img_thresh##透视变换
# 定义图像映射函数，将摄像头的图像映射到平面坐标中去
def perspect_transform(img, src, dst):M = cv2.getPerspectiveTransform(src, dst)  # 定义变换矩阵img_perspect = cv2.warpPerspective(img, M, (img.shape[1], img.shape[0]))return img_perspect##坐标变换
# 定义从图像坐标转换函数
def rover_coords(binary_img):ypos, xpos = binary_img.nonzero()x_pixel = -(ypos - binary_img.shape[0]).astype(np.float)y_pixel = -(xpos - binary_img.shape[1]/2 ).astype(np.float)return x_pixel, y_pixel# 定义旋转操作函数
def rotate_pix(xpix, ypix, yaw):yaw_rad = yaw * np.pi / 180xpix_rotated = (xpix * np.cos(yaw_rad)) - (ypix * np.sin(yaw_rad))ypix_rotated = (xpix * np.sin(yaw_rad)) + (ypix * np.cos(yaw_rad))return xpix_rotated, ypix_rotated# 定义平移操作函数
def translate_pix(xpix_rot, ypix_rot, xpos, ypos, scale):xpix_translated = (xpix_rot / scale) + xposypix_translated = (ypix_rot / scale) + yposreturn xpix_translated, ypix_translated# 定义综合函数，将旋转和平移函数进行结合，并限制了图像范围
def pix_to_world(xpix, ypix, xpos, ypos, yaw, world_size, scale):xpix_rot, ypix_rot = rotate_pix(xpix, ypix, yaw)xpix_tran, ypix_tran = translate_pix(xpix_rot, ypix_rot, xpos, ypos, scale)x_pix_world = np.clip(np.int_(xpix_tran), 0, world_size - 1)y_pix_world = np.clip(np.int_(ypix_tran), 0, world_size - 1)return x_pix_world, y_pix_world# 定义转换为极坐标函数
def to_polar_coords(xpix, ypix):dist = np.sqrt(xpix**2 + ypix ** 2)angles = np.arctan2(ypix, xpix)return dist, angles# 参考图像，用作透视变换
filename = '.../RoboND-Rover-Project-master/calibration_images/example_grid1.jpg'
image = cv2.imread(filename)dst_size = 5
bottom_offset = 0src = np.float32([[14, 140], [301, 140], [200, 96], [118, 96]])
dst = np.float32([[image.shape[1]/2 - dst_size, image.shape[0] - bottom_offset],[image.shape[1]/2 + dst_size, image.shape[0] - bottom_offset],[image.shape[1]/2 + dst_size, image.shape[0