原子力显微镜在工作时，微悬臂的一端固定，另一端安装一个探针，探针针尖的曲率半径非常小（在纳米量级），当探针针尖与样品表面轻轻接触时，针尖J端的原子与样品表面的原子间存在极微弱的力（机械接触力、范德华力、毛吸力、化学键、静电力等等），扫描时控制针尖与样品之间的作用力保持恒定，则微悬臂就会在垂直于样品表面的方向做上下起伏运动，利用光学检测法检测微悬臂对应于扫描各点的位置变化，则可获得样品表面的形貌和力学性能信息。由于是通过测量针尖J端的原子与样品表面原子间的作用来进行测量的，所以AFM原子力显微镜测定样品形貌的空间分辨率达到纳米（nm）级，而力学性能的测量精度可达到皮牛顿（pN）量级。
常用的原子力显微镜工作模式主要包括接触模式、非接触模式和轻敲模式等。接触模式工作时，探针的针尖始终与样品保持接触，针尖与样品间的作用力为库仑排斥力，其大小一般为10 -8 ～10 -11 N。这种模式可以获得稳定的高分辨率图像，但针尖在样品表面上的移动以及针尖与样品间的黏附力，会对针尖造成损坏，也会使样品产生形变，进而产生虚像。非接触模式工作时，控制探针针尖与样品表面的距离保持在约5-20nm进行扫描，检测到的是探针针尖与样品表面的吸引力和静电力等，这种模式针尖不易被损坏，样品表面不易被破坏，但是由于针尖与样品之间的距离比较大，分辨率没有接触模式的高，实际上，由于针尖会被样品表面的黏附力所捕获，所以使得非接触模式的操作变得非常困难。在轻敲模式工作中，针尖与样品短时间接触，针尖和样品表面免遭破坏，轻敲模式探针针尖在接触样品表面时有较大的振幅（大于20nm），足以克服针尖与样品之间的黏附力，其作用力介于接触模式和非接触模式之间，分辨率和接触模式基本相近。
在接触模式中针尖与样品距离短，工作在斥力区，非接触模式工作中针尖与样品距离较大，工作在吸引力区。轻敲模式中探针样品间隙接触，并以一定振幅振动，探针针尖与样品的距离在一定范围内变化，针尖和样品的作用力是引力和斥力的交互作用。