当我第一次阅读了这个文件的源代码的时候。我笑了,忽然想起前几周阿里电话二面的时候,问到了自己定义内存管理函数并处理8字节对齐问题。
当时无言以对,在面试官无数次的提示下才答了出来,结果显而易见,挂掉了二面。而这份源代码中函数zmalloc()和zfree()的设计思路和实现原理,正是面试官想要的答案。
源代码结构
zmalloc.c文件的内容例如以下:
主要函数
- zmalloc()
- zfree()
- zcalloc()
- zrelloc()
- zstrdup()
字长与字节对齐
所谓的8字节对齐,就是指变量的起始地址是8的倍数。比方程序运行时(CPU)在读取long型数据的时候。仅仅须要一个总线周期,时间更短。假设不是8字节对齐的则须要两个总线周期才干读完数据。
里面多用sizeof(long)或sizeof(size_t)来表示。size_t(gcc中其值为long unsigned int)和long的长度是一样的,long的长度就是计算机的字长。
这样在未来的系统中假设字长(long的大小)不是8个字节了。该段代码依旧能保证对应代码可用。
zmalloc
- malloc()
- zmalloc_oom_handler【函数指针】
- zmalloc_default_oom()【被上面的函数指针所指向】
- update_zmalloc_stat_alloc()【宏函数】
- update_zmalloc_stat_add()【宏函数】
zmalloc()源代码
void *zmalloc(size_t size) { void *ptr = malloc(size+PREFIX_SIZE); if (!ptr) zmalloc_oom_handler(size);#ifdef HAVE_MALLOC_SIZE update_zmalloc_stat_alloc(zmalloc_size(ptr)); return ptr;#else *((size_t*)ptr) = size; update_zmalloc_stat_alloc(size+PREFIX_SIZE); return (char*)ptr+PREFIX_SIZE;#endif}
该函数实际上是一个函数指针指向函数zmalloc_default_oom,其主要功能就是打印错误信息并终止程序。
// oom是out of memory(内存不足)的意思static void zmalloc_default_oom(size_t size) { fprintf(stderr, "zmalloc: Out of memory trying to allocate %zu bytes\n", size); fflush(stderr); abort();}接下来是宏的条件编译,我们聚焦在#else的部分。
*((size_t*)ptr) = size; update_zmalloc_stat_alloc(size+PREFIX_SIZE); return (char*)ptr+PREFIX_SIZE;
update_zmalloc_stat_alloc源代码
#define update_zmalloc_stat_alloc(__n) do { \ size_t _n = (__n); \ if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \ if (zmalloc_thread_safe) { \ update_zmalloc_stat_add(_n); \ } else { \ used_memory += _n; \ } \} while(0)这个宏函数最外圈有一个do{...}while(0)循环看似毫无意义,实际上大有深意。
这部分内容不是本文讨论的重点,这里不再赘述。详细请看网上的这篇文章。
if(_n&7) _n += 8 - (_n&7);这段代码就是推断分配的内存空间的大小是不是8的倍数。假设内存大小不是8的倍数,就加上对应的偏移量使之变成8的倍数。_n&7 在功能上等价于 _n%8,只是位操作的效率显然更高。
used_memory是zmalloc.c文件里定义的全局静态变量,表示已分配内存的大小。假设是内存安全的就使用update_zmalloc_stat_add来给used_memory加上n。
#define update_zmalloc_stat_add(__n) do { \ pthread_mutex_lock(&used_memory_mutex); \ used_memory += (__n); \ pthread_mutex_unlock(&used_memory_mutex); \} while(0)pthread_mutex_lock()和pthread_mutex_unlock()使用相互排斥锁(mutex)来实现线程同步,前者表示加锁,后者表示解锁,它们是POSIX定义的线程同步函数。当加锁以后它后面的代码在多线程同一时候运行这段代码的时候就仅仅会运行一次,也就是实现了线程安全。
zfree
- free()
- update_zmalloc_free()【宏函数】
- update_zmalloc_sub()【宏函数】
- zmalloc_size()
zfree()源代码
void zfree(void *ptr) {#ifndef HAVE_MALLOC_SIZE void *realptr; size_t oldsize;#endif if (ptr == NULL) return;#ifdef HAVE_MALLOC_SIZE update_zmalloc_stat_free(zmalloc_size(ptr)); free(ptr);#else realptr = (char*)ptr-PREFIX_SIZE; oldsize = *((size_t*)realptr); update_zmalloc_stat_free(oldsize+PREFIX_SIZE); free(realptr);#endif}重点关注#else后面的代码
realptr = (char *)ptr - PREFIX_SIZE;
oldsize = *((size_t*)realptr);先进行类型转换再取指针所指向的值。通过zmalloc()函数的分析,可知这里存储着我们最初须要分配的内存大小(zmalloc中的size)。这里赋值个oldsize
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);update_zmalloc_stat_free()也是一个宏函数,和zmalloc中update_zmalloc_stat_alloc()大致同样。唯一不同之处是前者在给变量used_memory减去分配的空间,而后者是加上该空间大小。 最后free(realptr)。清除空间
update_zmalloc_free源代码
#define update_zmalloc_stat_free(__n) do { \ size_t _n = (__n); \ if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \ if (zmalloc_thread_safe) { \ update_zmalloc_stat_sub(_n); \ } else { \ used_memory -= _n; \ } \} while(0)当中的函数update_zmalloc_sub与zmalloc()中的update_zmalloc_add相对应,但功能相反,提供线程安全地used_memory减法操作。
#define update_zmalloc_stat_sub(__n) do { \ pthread_mutex_lock(&used_memory_mutex); \ used_memory -= (__n); \ pthread_mutex_unlock(&used_memory_mutex); \} while(0)
zcalloc
void *calloc(size_t nmemb, size_t size);void *zcalloc(size_t size);
- 它分配的空间大小是 size * nmemb。比方calloc(10,sizoef(char)); // 分配10个字节
- calloc()会对分配的空间做初始化工作(初始化为0),而malloc()不会
- calloc()
- update_zmalloc_stat_alloc()【宏函数】
- update_zmalloc_stat_add()【宏函数】
zcalloc()源代码
void *zcalloc(size_t size) { void *ptr = calloc(1, size+PREFIX_SIZE); if (!ptr) zmalloc_oom_handler(size);#ifdef HAVE_MALLOC_SIZE update_zmalloc_stat_alloc(zmalloc_size(ptr)); return ptr;#else *((size_t*)ptr) = size; update_zmalloc_stat_alloc(size+PREFIX_SIZE); return (char*)ptr+PREFIX_SIZE;#endif}
由于它每次调用calloc(),其第一个參数都是1。
也就是说zcalloc()功能是每次分配 size+PREFIX_SIZE 的空间,并初始化。
zrealloc
void *realloc (void *ptr, size_t size);void *zrealloc(void *ptr, size_t size);
- zmalloc()
- zmalloc_size()
- realloc()
- zmalloc_oom_handler【函数指针】
- update_zmalloc_stat_free()【宏函数】
- update_zmalloc_stat_alloc()【宏函数】
zrealloc()源代码
void *zrealloc(void *ptr, size_t size) {#ifndef HAVE_MALLOC_SIZE void *realptr;#endif size_t oldsize; void *newptr; if (ptr == NULL) return zmalloc(size);#ifdef HAVE_MALLOC_SIZE oldsize = zmalloc_size(ptr); newptr = realloc(ptr,size); if (!newptr) zmalloc_oom_handler(size); update_zmalloc_stat_free(oldsize); update_zmalloc_stat_alloc(zmalloc_size(newptr)); return newptr;#else realptr = (char*)ptr-PREFIX_SIZE; oldsize = *((size_t*)realptr); newptr = realloc(realptr,size+PREFIX_SIZE); if (!newptr) zmalloc_oom_handler(size); *((size_t*)newptr) = size; update_zmalloc_stat_free(oldsize); update_zmalloc_stat_alloc(size); return (char*)newptr+PREFIX_SIZE;#endif}经过前面关于zmalloc()和zfree()的源代码解读,相信您一定可以非常轻松地读懂zrealloc()的源代码,这里我就不赘述了。
zstrdup
从这个函数名中,非常easy发现它是string duplicate的缩写,即字符串复制。它的代码比較简单。先看一下声明:char *zstrdup(const char *s);功能描写叙述:复制字符串s的内容。到新的内存空间,构造新的字符串【堆区】。
并将这段新的字符串地址返回。
zstrdup源代码
char *zstrdup(const char *s) { size_t l = strlen(s)+1; char *p = zmalloc(l); memcpy(p,s,l); return p;}
- 首先,先获得字符串s的长度,新闻strlen()函数是不统计'\0'的,所以最后要加1。
- 然后调用zmalloc()来分配足够的空间。首地址为p。
- 调用memcpy来完毕复制。
- 然后返回p。
memcpy
声明例如以下:
void *memcpy(void *dest, const void *src, size_t n);dest即目的地址。src是源地址。n是要复制的字节数。