在日常的电脑应用中，我们常追求一种理想化的内存条件：既拥有海纳百川的容量，又能保证高速的访问速度，更需具备平易近人的价格。现实中的内存却难以三者兼得。
是否能够构建一个分层内存系统，使得这个系统看起来更加接近理想的主内存呢？这样的系统可以有效地将各种内存的优点集结在一起。
比如，我们可以将那些经常使用的数据或程序安排在SRAM和DRAM中，这样就能确保低延迟的访问速度。而对于那些不常被访问的数据，我们可以将其存储在更大但访问速度稍慢的内存组件中。在必要时，我们还可以在各种内存之间灵活地传输数据。
沿着这样的思路，我们可以设计出两种内存层次结构。
如图所示，我们公开这种层次结构，为每种类型的存储分配一定的数量。这样，程序员就可以根据实际需求，灵活地分配各类存储资源。当需要进行低延迟的访问时，程序员会编写代码，将数据移动到快速的存储设备中，然后进行计算。而当不再需要低延迟访问时，数据可以自动返回至更大的、访问速度稍慢的内存中。
在这种系统中，最快内存的数量会受到严格控制。随着计算重点的变化，数据会在内存中不断地流转。
在这种设计中，寄存器、SRAM、DRAM、Flash、硬盘等不同种类的内存将被交替使用。我们需要告诉所有的程序员，让他们了解并学会区分各种内存的特点，以及如何正确地使用它们。
另外一种更为便捷的方式是，我们向程序员呈现一个统一的、大而连续的地址空间。这个存储系统会在后台的不同级别的存储器实体之间自动移动数据，这一切都取决于机器检测到的使用模式。如果某个特定区域被频繁访问（比如循环中的指令），内存会自动将其映最快的内存组件中。
值得一提的是，所有的这些操作对程序员来说都是透明的。他们的程序只需简单地取指令、访问数据即可。至于数据的存储位置、移动等复杂操作，都交由存储系统来处理。
如今的计算机系统大多采用了隐藏的层次结构。在这种结构中，编程模式保持了单一存储空间和地址空间的概念；机器能够智能地根据使用模式将数据存储在快速或慢速内存中。