Intro to Parallel Programming CUDA-第二单元
一、parallel communication patterns 并行通信模式
Map：映射，在特定的位置读取和写入。
Gather：收集，从多个不同的位置读入，写入一个位置。
Scatter：分发，写入多个位置。
Transpose转置
结构数组缩写为AOS，数组结构缩写为SOA
转置运算是指任务重新排序内存中的数据元素
Stencil模板
能够在输出结果为每一个元素生成一个结果
二、流处理器Stream Multiprocessors
所有在同一个线程块中的线程运行在同一个SM上
在一个内核中的所有块，在下个内核中任意块启动前都已完成
三、共享内存
共享内存是在一个块的线程之间共享
CUDA中的线程协作主要是通过共享内存实现的。使用关键字“__share__”声明共享变量，将使这个变量驻留在共享内存中，该变量具有以下特征：
- 位于线程块的共享存储器空间中
- 与线程块具有相同的生命周期
- 仅可通过块内的所有线程访问
对于GPU上启动的每个线程块，CUDA C编译器都将创建该变量的一个副本。 线程块中的每个线程都共享这块内存，但线程却无法看到也不能修改其他线程块的变量副本。 这就使得一个线程块中的多个线程能够在计算上进行通信和协作。而且，共享内存缓冲区驻留在物理GPU上，在访问共享内存时的延迟要远远低于访问普通缓冲区的延迟，使得共享内存的访问非常高效。
线程同步机制“__syncthreads()”
关键字“__share__”只是声明了共享变量，位于同一个线程块中的不同线程都可以访问该变量，如果没有同步机制，将会发生竞态条件 (Race Condition)，导致错误的运行结果。
CUDA确保同步的方法是调用“__syncthreads()”。__syncthreads()将确保线程块中的每个线程都执行完 __syncthreads()前面的语句后，才会执行下一条语句。
一个线程可以访问局部内存、一个线程块的共享内存和所有线程都可以访问的全局内存
速度方面：local>shared>global>cpu
四、屏障
__syncthreads()的线程需要其他可以到达该点的线程，而不是等待块内所有其他线程
一个高端的GPU每秒可以进行超过3万亿次的数学计算
五、Global Memory
如果想操作全局变量必须传递一个指向该内存的指针，如：
诀窍：只可以在内核中传递局部变量，然后传入一个指针，要在内核外分配和初始化全局变量
更多相关：
-
多线程有什么好处？提高CPU的利用率，更好地利用系统资源，使用Monitor类可以同步静态/实例化的方法的全部代码或者部分代码段，使用不同的同步类创建自己的同步机制。多线程指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程提升整体处理性能。多线程是指程序中包含多个执行流，即...
-
Step1：在界面主函数的构造函数中初始化多线程 auto mythread = new QThread(); //新建connect(mythread , &QThread::finished, mythread, &QObject::deleteLater);//线程运行结束后释放内存object1->moveToThread...
-
一、thread的基本用法 参见C++使用thread类多线程编程 。 二、类外使用多线程，访问类的成员 这几种方式，新建线程都是在类外，然后通过把友元函数或者成员函数作为thread参数。 #include
#include #include using namesp... -
本博文是根据中科大信息学院谭立湘老师的课件加上自己的理解整理出来的 ************************************************************************************ NVIDIA在2007年推出CUDA这个统一计算架构 CUDA的基本思想是支持大量的线程级并...
-
一、首先是安装VMWare tools 安装过程可参考：http://www.cnblogs.com/jiu0821/p/7559949.html 二、解决安装VMWare tools后/mnt中有hgfs但没共享文件 前提：在虚拟机软件中设置了共享目录 此时在linux中进入 /mnt/hgfs 文件夹，但发现共享的文件没...
-
Windows 2000/XP/2003版本的操作系统提供了默认共享功能，这些默认的共享都有“$”标志，意为隐含的，包括所有的逻辑盘（C$，D$，E$……）和系统目录Winnt或Windows（admin$）。 带来的问题 微软的初衷是便于网管进行远程管理，这虽然方便了局域网用户，但对我们个人用户来说这样的设置是不安全的。...
-
更多内容，欢迎关注微信公众号：全菜工程师小辉~前言在笔者上一篇博客，详解了NIO，并总结NIO相比BIO的效率要高的三个原因，彻底搞懂NIO效率高的原理。这篇博客将针对第三个原因，进行更详细的讲解。首先澄清，零拷贝与内存直接映射并不是Java中独有的概念，并且这两个技术并不是等价的。零拷贝零拷贝是指避免在用户态(User-space)...
-
一、预备知识—程序的内存分配 一个由c/C++编译的程序占用的内存分为以下几个部分 1、栈区（stack）— 由编译器自动分配释放 ，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈，如果还不清楚，那么就把它想成数组，它的内存分配是连续分配的，即，所分配的内存是在一块连续的内存区域内．当我们声明变量时，那么编译器...
-
我的爱机是一台ThinkPad T420，原装三星DDR 1333 4G内存一根，还剩一根内存位置，最近趁京东6.18促销，准备增加一根物理内存。为了确保兼容性，觉得仍然选购DDR 1333 4G内存，于是购买了金士顿这款，比如DDR3 1600的还贵。 这个安装过程完全参照该内存的网页提示进行 这里简单记录一下，以备...
-
陪伴我多年的老本ThinkPad T420渐渐垂垂老矣, 我想更新一下可以更新的部分, 比如将2.5寸HDD更换为SSD, 将单条4G内存再增加一根, 凡此种种想法, 可能最后归结为如何获取该笔记本的硬件配置信息, 在windows下面使用鲁大师之类的检测软件, 也许很好搞定,但是在Ubuntu 14.04平台上如果办到呢? 很简单...
-
一.内存错误出现的场景 这几天在重构ATS插件代码的过程中遇到了烦人的内存泄露问题, 周五周六连续两天通过走查代码的方法,未能看出明显的导致内存错误的代码, 同时也觉得C和C++混合编程得到一个动态库, 在一个.cpp主文件中,即用new又用malloc来动态分配内存, 可能会导致内存错误.后来网上调研和查资料发现, new和mal...