base64: provide a fast path for encoding well sized buffers
[gnulib.git] / lib / base64.c
1 /* base64.c -- Encode binary data using printable characters.
2    Copyright (C) 1999-2001, 2004-2006, 2009-2013 Free Software Foundation, Inc.
3
4    This program is free software; you can redistribute it and/or modify
5    it under the terms of the GNU General Public License as published by
6    the Free Software Foundation; either version 2, or (at your option)
7    any later version.
8
9    This program is distributed in the hope that it will be useful,
10    but WITHOUT ANY WARRANTY; without even the implied warranty of
11    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12    GNU General Public License for more details.
13
14    You should have received a copy of the GNU General Public License
15    along with this program; if not, see <http://www.gnu.org/licenses/>.  */
16
17 /* Written by Simon Josefsson.  Partially adapted from GNU MailUtils
18  * (mailbox/filter_trans.c, as of 2004-11-28).  Improved by review
19  * from Paul Eggert, Bruno Haible, and Stepan Kasal.
20  *
21  * See also RFC 4648 <http://www.ietf.org/rfc/rfc4648.txt>.
22  *
23  * Be careful with error checking.  Here is how you would typically
24  * use these functions:
25  *
26  * bool ok = base64_decode_alloc (in, inlen, &out, &outlen);
27  * if (!ok)
28  *   FAIL: input was not valid base64
29  * if (out == NULL)
30  *   FAIL: memory allocation error
31  * OK: data in OUT/OUTLEN
32  *
33  * size_t outlen = base64_encode_alloc (in, inlen, &out);
34  * if (out == NULL && outlen == 0 && inlen != 0)
35  *   FAIL: input too long
36  * if (out == NULL)
37  *   FAIL: memory allocation error
38  * OK: data in OUT/OUTLEN.
39  *
40  */
41
42 #include <config.h>
43
44 /* Get prototype. */
45 #include "base64.h"
46
47 /* Get malloc. */
48 #include <stdlib.h>
49
50 /* Get UCHAR_MAX. */
51 #include <limits.h>
52
53 #include <string.h>
54
55 /* C89 compliant way to cast 'char' to 'unsigned char'. */
56 static unsigned char
57 to_uchar (char ch)
58 {
59   return ch;
60 }
61
62 static const char b64c[64] =
63   "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
64
65 /* Base64 encode IN array of size INLEN into OUT array. OUT needs
66    to be of length >= BASE64_LENGTH(INLEN), and INLEN needs to be
67    a multiple of 3.  */
68 static void
69 base64_encode_fast (const char *restrict in, size_t inlen, char *restrict out)
70 {
71   while (inlen)
72     {
73       *out++ = b64c[to_uchar (in[0]) >> 2];
74       *out++ = b64c[((to_uchar (in[0]) << 4) + (to_uchar (in[1]) >> 4)) & 0x3f];
75       *out++ = b64c[((to_uchar (in[1]) << 2) + (to_uchar (in[2]) >> 6)) & 0x3f];
76       *out++ = b64c[to_uchar (in[2]) & 0x3f];
77
78       inlen -= 3;
79       in += 3;
80     }
81 }
82
83 /* Base64 encode IN array of size INLEN into OUT array of size OUTLEN.
84    If OUTLEN is less than BASE64_LENGTH(INLEN), write as many bytes as
85    possible.  If OUTLEN is larger than BASE64_LENGTH(INLEN), also zero
86    terminate the output buffer. */
87 void
88 base64_encode (const char *restrict in, size_t inlen,
89                char *restrict out, size_t outlen)
90 {
91   /* Note this outlen constraint can be enforced at compile time.
92      I.E. that the output buffer is exactly large enough to hold
93      the encoded inlen bytes.  The inlen constraints (of corresponding
94      to outlen, and being a multiple of 3) can change at runtime
95      at the end of input.  However the common case when reading
96      large inputs is to have both constraints satisfied, so we depend
97      on both in base_encode_fast().  */
98   if (outlen % 4 == 0 && inlen == outlen / 4 * 3)
99     return base64_encode_fast (in, inlen, out);
100
101   while (inlen && outlen)
102     {
103       *out++ = b64c[to_uchar (in[0]) >> 2];
104       if (!--outlen)
105         break;
106       *out++ = b64c[((to_uchar (in[0]) << 4)
107                        + (--inlen ? to_uchar (in[1]) >> 4 : 0))
108                       & 0x3f];
109       if (!--outlen)
110         break;
111       *out++ =
112         (inlen
113          ? b64c[((to_uchar (in[1]) << 2)
114                    + (--inlen ? to_uchar (in[2]) >> 6 : 0))
115                   & 0x3f]
116          : '=');
117       if (!--outlen)
118         break;
119       *out++ = inlen ? b64c[to_uchar (in[2]) & 0x3f] : '=';
120       if (!--outlen)
121         break;
122       if (inlen)
123         inlen--;
124       if (inlen)
125         in += 3;
126     }
127
128   if (outlen)
129     *out = '\0';
130 }
131
132 /* Allocate a buffer and store zero terminated base64 encoded data
133    from array IN of size INLEN, returning BASE64_LENGTH(INLEN), i.e.,
134    the length of the encoded data, excluding the terminating zero.  On
135    return, the OUT variable will hold a pointer to newly allocated
136    memory that must be deallocated by the caller.  If output string
137    length would overflow, 0 is returned and OUT is set to NULL.  If
138    memory allocation failed, OUT is set to NULL, and the return value
139    indicates length of the requested memory block, i.e.,
140    BASE64_LENGTH(inlen) + 1. */
141 size_t
142 base64_encode_alloc (const char *in, size_t inlen, char **out)
143 {
144   size_t outlen = 1 + BASE64_LENGTH (inlen);
145
146   /* Check for overflow in outlen computation.
147    *
148    * If there is no overflow, outlen >= inlen.
149    *
150    * If the operation (inlen + 2) overflows then it yields at most +1, so
151    * outlen is 0.
152    *
153    * If the multiplication overflows, we lose at least half of the
154    * correct value, so the result is < ((inlen + 2) / 3) * 2, which is
155    * less than (inlen + 2) * 0.66667, which is less than inlen as soon as
156    * (inlen > 4).
157    */
158   if (inlen > outlen)
159     {
160       *out = NULL;
161       return 0;
162     }
163
164   *out = malloc (outlen);
165   if (!*out)
166     return outlen;
167
168   base64_encode (in, inlen, *out, outlen);
169
170   return outlen - 1;
171 }
172
173 /* With this approach this file works independent of the charset used
174    (think EBCDIC).  However, it does assume that the characters in the
175    Base64 alphabet (A-Za-z0-9+/) are encoded in 0..255.  POSIX
176    1003.1-2001 require that char and unsigned char are 8-bit
177    quantities, though, taking care of that problem.  But this may be a
178    potential problem on non-POSIX C99 platforms.
179
180    IBM C V6 for AIX mishandles "#define B64(x) ...'x'...", so use "_"
181    as the formal parameter rather than "x".  */
182 #define B64(_)                                  \
183   ((_) == 'A' ? 0                               \
184    : (_) == 'B' ? 1                             \
185    : (_) == 'C' ? 2                             \
186    : (_) == 'D' ? 3                             \
187    : (_) == 'E' ? 4                             \
188    : (_) == 'F' ? 5                             \
189    : (_) == 'G' ? 6                             \
190    : (_) == 'H' ? 7                             \
191    : (_) == 'I' ? 8                             \
192    : (_) == 'J' ? 9                             \
193    : (_) == 'K' ? 10                            \
194    : (_) == 'L' ? 11                            \
195    : (_) == 'M' ? 12                            \
196    : (_) == 'N' ? 13                            \
197    : (_) == 'O' ? 14                            \
198    : (_) == 'P' ? 15                            \
199    : (_) == 'Q' ? 16                            \
200    : (_) == 'R' ? 17                            \
201    : (_) == 'S' ? 18                            \
202    : (_) == 'T' ? 19                            \
203    : (_) == 'U' ? 20                            \
204    : (_) == 'V' ? 21                            \
205    : (_) == 'W' ? 22                            \
206    : (_) == 'X' ? 23                            \
207    : (_) == 'Y' ? 24                            \
208    : (_) == 'Z' ? 25                            \
209    : (_) == 'a' ? 26                            \
210    : (_) == 'b' ? 27                            \
211    : (_) == 'c' ? 28                            \
212    : (_) == 'd' ? 29                            \
213    : (_) == 'e' ? 30                            \
214    : (_) == 'f' ? 31                            \
215    : (_) == 'g' ? 32                            \
216    : (_) == 'h' ? 33                            \
217    : (_) == 'i' ? 34                            \
218    : (_) == 'j' ? 35                            \
219    : (_) == 'k' ? 36                            \
220    : (_) == 'l' ? 37                            \
221    : (_) == 'm' ? 38                            \
222    : (_) == 'n' ? 39                            \
223    : (_) == 'o' ? 40                            \
224    : (_) == 'p' ? 41                            \
225    : (_) == 'q' ? 42                            \
226    : (_) == 'r' ? 43                            \
227    : (_) == 's' ? 44                            \
228    : (_) == 't' ? 45                            \
229    : (_) == 'u' ? 46                            \
230    : (_) == 'v' ? 47                            \
231    : (_) == 'w' ? 48                            \
232    : (_) == 'x' ? 49                            \
233    : (_) == 'y' ? 50                            \
234    : (_) == 'z' ? 51                            \
235    : (_) == '0' ? 52                            \
236    : (_) == '1' ? 53                            \
237    : (_) == '2' ? 54                            \
238    : (_) == '3' ? 55                            \
239    : (_) == '4' ? 56                            \
240    : (_) == '5' ? 57                            \
241    : (_) == '6' ? 58                            \
242    : (_) == '7' ? 59                            \
243    : (_) == '8' ? 60                            \
244    : (_) == '9' ? 61                            \
245    : (_) == '+' ? 62                            \
246    : (_) == '/' ? 63                            \
247    : -1)
248
249 static const signed char b64[0x100] = {
250   B64 (0), B64 (1), B64 (2), B64 (3),
251   B64 (4), B64 (5), B64 (6), B64 (7),
252   B64 (8), B64 (9), B64 (10), B64 (11),
253   B64 (12), B64 (13), B64 (14), B64 (15),
254   B64 (16), B64 (17), B64 (18), B64 (19),
255   B64 (20), B64 (21), B64 (22), B64 (23),
256   B64 (24), B64 (25), B64 (26), B64 (27),
257   B64 (28), B64 (29), B64 (30), B64 (31),
258   B64 (32), B64 (33), B64 (34), B64 (35),
259   B64 (36), B64 (37), B64 (38), B64 (39),
260   B64 (40), B64 (41), B64 (42), B64 (43),
261   B64 (44), B64 (45), B64 (46), B64 (47),
262   B64 (48), B64 (49), B64 (50), B64 (51),
263   B64 (52), B64 (53), B64 (54), B64 (55),
264   B64 (56), B64 (57), B64 (58), B64 (59),
265   B64 (60), B64 (61), B64 (62), B64 (63),
266   B64 (64), B64 (65), B64 (66), B64 (67),
267   B64 (68), B64 (69), B64 (70), B64 (71),
268   B64 (72), B64 (73), B64 (74), B64 (75),
269   B64 (76), B64 (77), B64 (78), B64 (79),
270   B64 (80), B64 (81), B64 (82), B64 (83),
271   B64 (84), B64 (85), B64 (86), B64 (87),
272   B64 (88), B64 (89), B64 (90), B64 (91),
273   B64 (92), B64 (93), B64 (94), B64 (95),
274   B64 (96), B64 (97), B64 (98), B64 (99),
275   B64 (100), B64 (101), B64 (102), B64 (103),
276   B64 (104), B64 (105), B64 (106), B64 (107),
277   B64 (108), B64 (109), B64 (110), B64 (111),
278   B64 (112), B64 (113), B64 (114), B64 (115),
279   B64 (116), B64 (117), B64 (118), B64 (119),
280   B64 (120), B64 (121), B64 (122), B64 (123),
281   B64 (124), B64 (125), B64 (126), B64 (127),
282   B64 (128), B64 (129), B64 (130), B64 (131),
283   B64 (132), B64 (133), B64 (134), B64 (135),
284   B64 (136), B64 (137), B64 (138), B64 (139),
285   B64 (140), B64 (141), B64 (142), B64 (143),
286   B64 (144), B64 (145), B64 (146), B64 (147),
287   B64 (148), B64 (149), B64 (150), B64 (151),
288   B64 (152), B64 (153), B64 (154), B64 (155),
289   B64 (156), B64 (157), B64 (158), B64 (159),
290   B64 (160), B64 (161), B64 (162), B64 (163),
291   B64 (164), B64 (165), B64 (166), B64 (167),
292   B64 (168), B64 (169), B64 (170), B64 (171),
293   B64 (172), B64 (173), B64 (174), B64 (175),
294   B64 (176), B64 (177), B64 (178), B64 (179),
295   B64 (180), B64 (181), B64 (182), B64 (183),
296   B64 (184), B64 (185), B64 (186), B64 (187),
297   B64 (188), B64 (189), B64 (190), B64 (191),
298   B64 (192), B64 (193), B64 (194), B64 (195),
299   B64 (196), B64 (197), B64 (198), B64 (199),
300   B64 (200), B64 (201), B64 (202), B64 (203),
301   B64 (204), B64 (205), B64 (206), B64 (207),
302   B64 (208), B64 (209), B64 (210), B64 (211),
303   B64 (212), B64 (213), B64 (214), B64 (215),
304   B64 (216), B64 (217), B64 (218), B64 (219),
305   B64 (220), B64 (221), B64 (222), B64 (223),
306   B64 (224), B64 (225), B64 (226), B64 (227),
307   B64 (228), B64 (229), B64 (230), B64 (231),
308   B64 (232), B64 (233), B64 (234), B64 (235),
309   B64 (236), B64 (237), B64 (238), B64 (239),
310   B64 (240), B64 (241), B64 (242), B64 (243),
311   B64 (244), B64 (245), B64 (246), B64 (247),
312   B64 (248), B64 (249), B64 (250), B64 (251),
313   B64 (252), B64 (253), B64 (254), B64 (255)
314 };
315
316 #if UCHAR_MAX == 255
317 # define uchar_in_range(c) true
318 #else
319 # define uchar_in_range(c) ((c) <= 255)
320 #endif
321
322 /* Return true if CH is a character from the Base64 alphabet, and
323    false otherwise.  Note that '=' is padding and not considered to be
324    part of the alphabet.  */
325 bool
326 isbase64 (char ch)
327 {
328   return uchar_in_range (to_uchar (ch)) && 0 <= b64[to_uchar (ch)];
329 }
330
331 /* Initialize decode-context buffer, CTX.  */
332 void
333 base64_decode_ctx_init (struct base64_decode_context *ctx)
334 {
335   ctx->i = 0;
336 }
337
338 /* If CTX->i is 0 or 4, there are four or more bytes in [*IN..IN_END), and
339    none of those four is a newline, then return *IN.  Otherwise, copy up to
340    4 - CTX->i non-newline bytes from that range into CTX->buf, starting at
341    index CTX->i and setting CTX->i to reflect the number of bytes copied,
342    and return CTX->buf.  In either case, advance *IN to point to the byte
343    after the last one processed, and set *N_NON_NEWLINE to the number of
344    verified non-newline bytes accessible through the returned pointer.  */
345 static char *
346 get_4 (struct base64_decode_context *ctx,
347        char const *restrict *in, char const *restrict in_end,
348        size_t *n_non_newline)
349 {
350   if (ctx->i == 4)
351     ctx->i = 0;
352
353   if (ctx->i == 0)
354     {
355       char const *t = *in;
356       if (4 <= in_end - *in && memchr (t, '\n', 4) == NULL)
357         {
358           /* This is the common case: no newline.  */
359           *in += 4;
360           *n_non_newline = 4;
361           return (char *) t;
362         }
363     }
364
365   {
366     /* Copy non-newline bytes into BUF.  */
367     char const *p = *in;
368     while (p < in_end)
369       {
370         char c = *p++;
371         if (c != '\n')
372           {
373             ctx->buf[ctx->i++] = c;
374             if (ctx->i == 4)
375               break;
376           }
377       }
378
379     *in = p;
380     *n_non_newline = ctx->i;
381     return ctx->buf;
382   }
383 }
384
385 #define return_false                            \
386   do                                            \
387     {                                           \
388       *outp = out;                              \
389       return false;                             \
390     }                                           \
391   while (false)
392
393 /* Decode up to four bytes of base64-encoded data, IN, of length INLEN
394    into the output buffer, *OUT, of size *OUTLEN bytes.  Return true if
395    decoding is successful, false otherwise.  If *OUTLEN is too small,
396    as many bytes as possible are written to *OUT.  On return, advance
397    *OUT to point to the byte after the last one written, and decrement
398    *OUTLEN to reflect the number of bytes remaining in *OUT.  */
399 static bool
400 decode_4 (char const *restrict in, size_t inlen,
401           char *restrict *outp, size_t *outleft)
402 {
403   char *out = *outp;
404   if (inlen < 2)
405     return false;
406
407   if (!isbase64 (in[0]) || !isbase64 (in[1]))
408     return false;
409
410   if (*outleft)
411     {
412       *out++ = ((b64[to_uchar (in[0])] << 2)
413                 | (b64[to_uchar (in[1])] >> 4));
414       --*outleft;
415     }
416
417   if (inlen == 2)
418     return_false;
419
420   if (in[2] == '=')
421     {
422       if (inlen != 4)
423         return_false;
424
425       if (in[3] != '=')
426         return_false;
427     }
428   else
429     {
430       if (!isbase64 (in[2]))
431         return_false;
432
433       if (*outleft)
434         {
435           *out++ = (((b64[to_uchar (in[1])] << 4) & 0xf0)
436                     | (b64[to_uchar (in[2])] >> 2));
437           --*outleft;
438         }
439
440       if (inlen == 3)
441         return_false;
442
443       if (in[3] == '=')
444         {
445           if (inlen != 4)
446             return_false;
447         }
448       else
449         {
450           if (!isbase64 (in[3]))
451             return_false;
452
453           if (*outleft)
454             {
455               *out++ = (((b64[to_uchar (in[2])] << 6) & 0xc0)
456                         | b64[to_uchar (in[3])]);
457               --*outleft;
458             }
459         }
460     }
461
462   *outp = out;
463   return true;
464 }
465
466 /* Decode base64-encoded input array IN of length INLEN to output array
467    OUT that can hold *OUTLEN bytes.  The input data may be interspersed
468    with newlines.  Return true if decoding was successful, i.e. if the
469    input was valid base64 data, false otherwise.  If *OUTLEN is too
470    small, as many bytes as possible will be written to OUT.  On return,
471    *OUTLEN holds the length of decoded bytes in OUT.  Note that as soon
472    as any non-alphabet, non-newline character is encountered, decoding
473    is stopped and false is returned.  If INLEN is zero, then process
474    only whatever data is stored in CTX.
475
476    Initially, CTX must have been initialized via base64_decode_ctx_init.
477    Subsequent calls to this function must reuse whatever state is recorded
478    in that buffer.  It is necessary for when a quadruple of base64 input
479    bytes spans two input buffers.
480
481    If CTX is NULL then newlines are treated as garbage and the input
482    buffer is processed as a unit.  */
483
484 bool
485 base64_decode_ctx (struct base64_decode_context *ctx,
486                    const char *restrict in, size_t inlen,
487                    char *restrict out, size_t *outlen)
488 {
489   size_t outleft = *outlen;
490   bool ignore_newlines = ctx != NULL;
491   bool flush_ctx = false;
492   unsigned int ctx_i = 0;
493
494   if (ignore_newlines)
495     {
496       ctx_i = ctx->i;
497       flush_ctx = inlen == 0;
498     }
499
500
501   while (true)
502     {
503       size_t outleft_save = outleft;
504       if (ctx_i == 0 && !flush_ctx)
505         {
506           while (true)
507             {
508               /* Save a copy of outleft, in case we need to re-parse this
509                  block of four bytes.  */
510               outleft_save = outleft;
511               if (!decode_4 (in, inlen, &out, &outleft))
512                 break;
513
514               in += 4;
515               inlen -= 4;
516             }
517         }
518
519       if (inlen == 0 && !flush_ctx)
520         break;
521
522       /* Handle the common case of 72-byte wrapped lines.
523          This also handles any other multiple-of-4-byte wrapping.  */
524       if (inlen && *in == '\n' && ignore_newlines)
525         {
526           ++in;
527           --inlen;
528           continue;
529         }
530
531       /* Restore OUT and OUTLEFT.  */
532       out -= outleft_save - outleft;
533       outleft = outleft_save;
534
535       {
536         char const *in_end = in + inlen;
537         char const *non_nl;
538
539         if (ignore_newlines)
540           non_nl = get_4 (ctx, &in, in_end, &inlen);
541         else
542           non_nl = in;  /* Might have nl in this case. */
543
544         /* If the input is empty or consists solely of newlines (0 non-newlines),
545            then we're done.  Likewise if there are fewer than 4 bytes when not
546            flushing context and not treating newlines as garbage.  */
547         if (inlen == 0 || (inlen < 4 && !flush_ctx && ignore_newlines))
548           {
549             inlen = 0;
550             break;
551           }
552         if (!decode_4 (non_nl, inlen, &out, &outleft))
553           break;
554
555         inlen = in_end - in;
556       }
557     }
558
559   *outlen -= outleft;
560
561   return inlen == 0;
562 }
563
564 /* Allocate an output buffer in *OUT, and decode the base64 encoded
565    data stored in IN of size INLEN to the *OUT buffer.  On return, the
566    size of the decoded data is stored in *OUTLEN.  OUTLEN may be NULL,
567    if the caller is not interested in the decoded length.  *OUT may be
568    NULL to indicate an out of memory error, in which case *OUTLEN
569    contains the size of the memory block needed.  The function returns
570    true on successful decoding and memory allocation errors.  (Use the
571    *OUT and *OUTLEN parameters to differentiate between successful
572    decoding and memory error.)  The function returns false if the
573    input was invalid, in which case *OUT is NULL and *OUTLEN is
574    undefined. */
575 bool
576 base64_decode_alloc_ctx (struct base64_decode_context *ctx,
577                          const char *in, size_t inlen, char **out,
578                          size_t *outlen)
579 {
580   /* This may allocate a few bytes too many, depending on input,
581      but it's not worth the extra CPU time to compute the exact size.
582      The exact size is 3 * (inlen + (ctx ? ctx->i : 0)) / 4, minus 1 if the
583      input ends with "=" and minus another 1 if the input ends with "==".
584      Dividing before multiplying avoids the possibility of overflow.  */
585   size_t needlen = 3 * (inlen / 4) + 3;
586
587   *out = malloc (needlen);
588   if (!*out)
589     return true;
590
591   if (!base64_decode_ctx (ctx, in, inlen, *out, &needlen))
592     {
593       free (*out);
594       *out = NULL;
595       return false;
596     }
597
598   if (outlen)
599     *outlen = needlen;
600
601   return true;
602 }