lib/pagealign_alloc.c

   1 /* Memory allocation aligned to system page boundaries.
   2
   3    Copyright (C) 2005-2007, 2009-2014 Free Software Foundation, Inc.
   4
   5    This program is free software: you can redistribute it and/or modify
   6    it under the terms of the GNU General Public License as published by
   7    the Free Software Foundation; either version 3 of the License, or
   8    (at your option) any later version.
   9
  10    This program is distributed in the hope that it will be useful,
  11    but WITHOUT ANY WARRANTY; without even the implied warranty of
  12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13    GNU General Public License for more details.
  14
  15    You should have received a copy of the GNU General Public License
  16    along with this program.  If not, see <http://www.gnu.org/licenses/>.  */
  17
  18 /* Written by Derek R. Price <derek@ximbiot.com>.  */
  19
  20 #include <config.h>
  21
  22 #include "pagealign_alloc.h"
  23
  24 #include <errno.h>
  25 #include <stdlib.h>
  26
  27 #include <fcntl.h>
  28 #include <unistd.h>
  29
  30 #if HAVE_MMAP
  31 # include <sys/mman.h>
  32 #endif
  33
  34 #include "error.h"
  35 #include "xalloc.h"
  36 #include "gettext.h"
  37
  38 #define _(str) gettext (str)
  39
  40 #if HAVE_MMAP
  41 /* Define MAP_FILE when it isn't otherwise.  */
  42 # ifndef MAP_FILE
  43 #  define MAP_FILE 0
  44 # endif
  45 /* Define MAP_FAILED for old systems which neglect to.  */
  46 # ifndef MAP_FAILED
  47 #  define MAP_FAILED ((void *)-1)
  48 # endif
  49 #endif
  50
  51 /* The results of open() in this file are not used with fchdir,
  52    therefore save some unnecessary work in fchdir.c.  */
  53 #undef open
  54 #undef close
  55
  56
  57 #if HAVE_MMAP || ! HAVE_POSIX_MEMALIGN
  58
  59 # if HAVE_MMAP
  60 /* For each memory region, we store its size.  */
  61 typedef size_t info_t;
  62 # else
  63 /* For each memory region, we store the original pointer returned by
  64    malloc().  */
  65 typedef void * info_t;
  66 # endif
  67
  68 /* A simple linked list of allocated memory regions.  It is probably not the
  69    most efficient way to store these, but anyway...  */
  70 typedef struct memnode_s memnode_t;
  71 struct memnode_s
  72 {
  73   void *aligned_ptr;
  74   info_t info;
  75   memnode_t *next;
  76 };
  77
  78 /* The list of currently allocated memory regions.  */
  79 static memnode_t *memnode_table = NULL;
  80
  81
  82 static void
  83 new_memnode (void *aligned_ptr, info_t info)
  84 {
  85   memnode_t *new_node = XMALLOC (memnode_t);
  86   new_node->aligned_ptr = aligned_ptr;
  87   new_node->info = info;
  88   new_node->next = memnode_table;
  89   memnode_table = new_node;
  90 }
  91
  92
  93 /* Dispose of the memnode containing a map for the ALIGNED_PTR in question
  94    and return the content of the node's INFO field.  */
  95 static info_t
  96 get_memnode (void *aligned_ptr)
  97 {
  98   info_t ret;
  99   memnode_t *c;
 100   memnode_t **p_next = &memnode_table;
 101
 102   for (c = *p_next; c != NULL; p_next = &c->next, c = c->next)
 103     if (c->aligned_ptr == aligned_ptr)
 104       break;
 105
 106   if (c == NULL)
 107     /* An attempt to free untracked memory.  A wrong pointer was passed
 108        to pagealign_free().  */
 109     abort ();
 110
 111   /* Remove this entry from the list, save the return value, and free it.  */
 112   *p_next = c->next;
 113   ret = c->info;
 114   free (c);
 115
 116   return ret;
 117 }
 118
 119 #endif /* HAVE_MMAP || !HAVE_POSIX_MEMALIGN */
 120
 121
 122 void *
 123 pagealign_alloc (size_t size)
 124 {
 125   void *ret;
 126   /* We prefer the mmap() approach over the posix_memalign() or malloc()
 127      based approaches, since the latter often waste an entire memory page
 128      per call.  */
 129 #if HAVE_MMAP
 130 # ifdef HAVE_MAP_ANONYMOUS
 131   const int fd = -1;
 132   const int flags = MAP_ANONYMOUS | MAP_PRIVATE;
 133 # else /* !HAVE_MAP_ANONYMOUS */
 134   static int fd = -1;  /* Only open /dev/zero once in order to avoid limiting
 135                           the amount of memory we may allocate based on the
 136                           number of open file descriptors.  */
 137   const int flags = MAP_FILE | MAP_PRIVATE;
 138   if (fd == -1)
 139     {
 140       fd = open ("/dev/zero", O_RDONLY, 0666);
 141       if (fd < 0)
 142         error (EXIT_FAILURE, errno, _("Failed to open /dev/zero for read"));
 143     }
 144 # endif /* HAVE_MAP_ANONYMOUS */
 145   ret = mmap (NULL, size, PROT_READ | PROT_WRITE, flags, fd, 0);
 146   if (ret == MAP_FAILED)
 147     return NULL;
 148   new_memnode (ret, size);
 149 #elif HAVE_POSIX_MEMALIGN
 150   int status = posix_memalign (&ret, getpagesize (), size);
 151   if (status)
 152     {
 153       errno = status;
 154       return NULL;
 155     }
 156 #else /* !HAVE_MMAP && !HAVE_POSIX_MEMALIGN */
 157   size_t pagesize = getpagesize ();
 158   void *unaligned_ptr = malloc (size + pagesize - 1);
 159   if (unaligned_ptr == NULL)
 160     {
 161       /* Set errno.  We don't know whether malloc already set errno: some
 162          implementations of malloc do, some don't.  */
 163       errno = ENOMEM;
 164       return NULL;
 165     }
 166   ret = (char *) unaligned_ptr
 167         + ((- (unsigned long) unaligned_ptr) & (pagesize - 1));
 168   new_memnode (ret, unaligned_ptr);
 169 #endif /* HAVE_MMAP && HAVE_POSIX_MEMALIGN */
 170   return ret;
 171 }
 172
 173
 174 void *
 175 pagealign_xalloc (size_t size)
 176 {
 177   void *ret;
 178
 179   ret = pagealign_alloc (size);
 180   if (ret == NULL)
 181     xalloc_die ();
 182   return ret;
 183 }
 184
 185
 186 void
 187 pagealign_free (void *aligned_ptr)
 188 {
 189 #if HAVE_MMAP
 190   if (munmap (aligned_ptr, get_memnode (aligned_ptr)) < 0)
 191     error (EXIT_FAILURE, errno, "Failed to unmap memory");
 192 #elif HAVE_POSIX_MEMALIGN
 193   free (aligned_ptr);
 194 #else
 195   free (get_memnode (aligned_ptr));
 196 #endif
 197 }