fts: bug fixes
[gnulib.git] / lib / fts.c
1 /* Traverse a file hierarchy.
2
3    Copyright (C) 2004, 2005, 2006, 2007, 2008 Free Software Foundation, Inc.
4
5    This program is free software: you can redistribute it and/or modify
6    it under the terms of the GNU General Public License as published by
7    the Free Software Foundation; either version 3 of the License, or
8    (at your option) any later version.
9
10    This program is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13    GNU General Public License for more details.
14
15    You should have received a copy of the GNU General Public License
16    along with this program.  If not, see <http://www.gnu.org/licenses/>.  */
17
18 /*-
19  * Copyright (c) 1990, 1993, 1994
20  *      The Regents of the University of California.  All rights reserved.
21  *
22  * Redistribution and use in source and binary forms, with or without
23  * modification, are permitted provided that the following conditions
24  * are met:
25  * 1. Redistributions of source code must retain the above copyright
26  *    notice, this list of conditions and the following disclaimer.
27  * 2. Redistributions in binary form must reproduce the above copyright
28  *    notice, this list of conditions and the following disclaimer in the
29  *    documentation and/or other materials provided with the distribution.
30  * 4. Neither the name of the University nor the names of its contributors
31  *    may be used to endorse or promote products derived from this software
32  *    without specific prior written permission.
33  *
34  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
35  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
36  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
37  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
38  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
39  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
40  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
41  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
42  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
43  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
44  * SUCH DAMAGE.
45  */
46
47 #include <config.h>
48
49 #if defined(LIBC_SCCS) && !defined(lint)
50 static char sccsid[] = "@(#)fts.c       8.6 (Berkeley) 8/14/94";
51 #endif /* LIBC_SCCS and not lint */
52
53 #include "fts_.h"
54
55 #if HAVE_SYS_PARAM_H || defined _LIBC
56 # include <sys/param.h>
57 #endif
58 #ifdef _LIBC
59 # include <include/sys/stat.h>
60 #else
61 # include <sys/stat.h>
62 #endif
63 #include <fcntl.h>
64 #include <errno.h>
65 #include "dirfd.h"
66 #include <stdbool.h>
67 #include <stdlib.h>
68 #include <string.h>
69 #include <unistd.h>
70
71 #if ! _LIBC
72 # include "fcntl--.h"
73 # include "lstat.h"
74 # include "openat.h"
75 # include "unistd--.h"
76 # include "same-inode.h"
77 #endif
78
79 #include <dirent.h>
80 #ifndef _D_EXACT_NAMLEN
81 # define _D_EXACT_NAMLEN(dirent) strlen ((dirent)->d_name)
82 #endif
83
84 #if HAVE_STRUCT_DIRENT_D_TYPE
85 /* True if the type of the directory entry D is known.  */
86 # define DT_IS_KNOWN(d) ((d)->d_type != DT_UNKNOWN)
87 /* True if the type of the directory entry D must be T.  */
88 # define DT_MUST_BE(d, t) ((d)->d_type == (t))
89 #else
90 # define DT_IS_KNOWN(d) false
91 # define DT_MUST_BE(d, t) false
92 #endif
93
94 enum
95 {
96   NOT_AN_INODE_NUMBER = 0
97 };
98
99 #ifdef D_INO_IN_DIRENT
100 # define D_INO(dp) (dp)->d_ino
101 #else
102 /* Some systems don't have inodes, so fake them to avoid lots of ifdefs.  */
103 # define D_INO(dp) NOT_AN_INODE_NUMBER
104 #endif
105
106 /* If there are more than this many entries in a directory,
107    and the conditions mentioned below are satisfied, then sort
108    the entries on inode number before any further processing.  */
109 #ifndef FTS_INODE_SORT_DIR_ENTRIES_THRESHOLD
110 # define FTS_INODE_SORT_DIR_ENTRIES_THRESHOLD 10000
111 #endif
112 enum
113 {
114   _FTS_INODE_SORT_DIR_ENTRIES_THRESHOLD = FTS_INODE_SORT_DIR_ENTRIES_THRESHOLD
115 };
116
117 enum Fts_stat
118 {
119   FTS_NO_STAT_REQUIRED = 1,
120   FTS_STAT_REQUIRED = 2
121 };
122
123 #ifdef _LIBC
124 # undef close
125 # define close __close
126 # undef closedir
127 # define closedir __closedir
128 # undef fchdir
129 # define fchdir __fchdir
130 # undef open
131 # define open __open
132 # undef opendir
133 # define opendir __opendir
134 # undef readdir
135 # define readdir __readdir
136 #else
137 # undef internal_function
138 # define internal_function /* empty */
139 #endif
140
141 #ifndef __set_errno
142 # define __set_errno(Val) errno = (Val)
143 #endif
144
145 #ifndef __attribute__
146 # if __GNUC__ < 2 || (__GNUC__ == 2 && __GNUC_MINOR__ < 8)
147 #  define __attribute__(x) /* empty */
148 # endif
149 #endif
150
151 #ifndef ATTRIBUTE_UNUSED
152 # define ATTRIBUTE_UNUSED __attribute__ ((__unused__))
153 #endif
154
155 /* If this host provides the openat function, then we can avoid
156    attempting to open "." in some initialization code below.  */
157 #ifdef HAVE_OPENAT
158 # define HAVE_OPENAT_SUPPORT 1
159 #else
160 # define HAVE_OPENAT_SUPPORT 0
161 #endif
162
163 #ifdef NDEBUG
164 # define fts_assert(expr) ((void) 0)
165 #else
166 # define fts_assert(expr)       \
167     do                          \
168       {                         \
169         if (!(expr))            \
170           abort ();             \
171       }                         \
172     while (false)
173 #endif
174
175 static FTSENT   *fts_alloc (FTS *, const char *, size_t) internal_function;
176 static FTSENT   *fts_build (FTS *, int) internal_function;
177 static void      fts_lfree (FTSENT *) internal_function;
178 static void      fts_load (FTS *, FTSENT *) internal_function;
179 static size_t    fts_maxarglen (char * const *) internal_function;
180 static void      fts_padjust (FTS *, FTSENT *) internal_function;
181 static bool      fts_palloc (FTS *, size_t) internal_function;
182 static FTSENT   *fts_sort (FTS *, FTSENT *, size_t) internal_function;
183 static unsigned short int fts_stat (FTS *, FTSENT *, bool) internal_function;
184 static int      fts_safe_changedir (FTS *, FTSENT *, int, const char *)
185      internal_function;
186
187 #if GNULIB_FTS
188 # include "fts-cycle.c"
189 #else
190 static bool enter_dir (FTS *fts, FTSENT *ent) { return true; }
191 static void leave_dir (FTS *fts, FTSENT *ent) {}
192 static bool setup_dir (FTS *fts) { return true; }
193 static void free_dir (FTS *fts) {}
194 #endif
195
196 #ifndef MAX
197 # define MAX(a,b) ((a) > (b) ? (a) : (b))
198 #endif
199
200 #ifndef SIZE_MAX
201 # define SIZE_MAX ((size_t) -1)
202 #endif
203
204 #ifndef O_DIRECTORY
205 # define O_DIRECTORY 0
206 #endif
207
208 #define ISDOT(a)        (a[0] == '.' && (!a[1] || (a[1] == '.' && !a[2])))
209 #define STREQ(a, b)     (strcmp ((a), (b)) == 0)
210
211 #define CLR(opt)        (sp->fts_options &= ~(opt))
212 #define ISSET(opt)      (sp->fts_options & (opt))
213 #define SET(opt)        (sp->fts_options |= (opt))
214
215 /* FIXME: make this a function */
216 #define RESTORE_INITIAL_CWD(sp)                 \
217   (fd_ring_clear (&((sp)->fts_fd_ring)),        \
218    FCHDIR ((sp), (ISSET (FTS_CWDFD) ? AT_FDCWD : (sp)->fts_rfd)))
219
220 /* FIXME: FTS_NOCHDIR is now misnamed.
221    Call it FTS_USE_FULL_RELATIVE_FILE_NAMES instead. */
222 #define FCHDIR(sp, fd)                                  \
223   (!ISSET(FTS_NOCHDIR) && (ISSET(FTS_CWDFD)             \
224                            ? (cwd_advance_fd ((sp), (fd), true), 0) \
225                            : fchdir (fd)))
226
227
228 /* fts_build flags */
229 /* FIXME: make this an enum */
230 #define BCHILD          1               /* fts_children */
231 #define BNAMES          2               /* fts_children, names only */
232 #define BREAD           3               /* fts_read */
233
234 #if FTS_DEBUG
235 # include <inttypes.h>
236 # include <stdint.h>
237 # include <stdio.h>
238 # include "getcwdat.h"
239 bool fts_debug = false;
240 # define Dprintf(x) do { if (fts_debug) printf x; } while (false)
241 #else
242 # define Dprintf(x)
243 # define fd_ring_check(x)
244 # define fd_ring_print(a, b, c)
245 #endif
246
247 #define LEAVE_DIR(Fts, Ent, Tag)                                \
248   do                                                            \
249     {                                                           \
250       Dprintf (("  %s-leaving: %s\n", Tag, (Ent)->fts_path));   \
251       leave_dir (Fts, Ent);                                     \
252       fd_ring_check (Fts);                                      \
253     }                                                           \
254   while (false)
255
256 static void
257 fd_ring_clear (I_ring *fd_ring)
258 {
259   while ( ! i_ring_empty (fd_ring))
260     {
261       int fd = i_ring_pop (fd_ring);
262       if (0 <= fd)
263         close (fd);
264     }
265 }
266
267 /* Overload the fts_statp->st_size member (otherwise unused, when
268    fts_info is FTS_NSOK) to indicate whether fts_read should stat
269    this entry or not.  */
270 static void
271 fts_set_stat_required (FTSENT *p, bool required)
272 {
273   fts_assert (p->fts_info == FTS_NSOK);
274   p->fts_statp->st_size = (required
275                            ? FTS_STAT_REQUIRED
276                            : FTS_NO_STAT_REQUIRED);
277 }
278
279 /* file-descriptor-relative opendir.  */
280 /* FIXME: if others need this function, move it into lib/openat.c */
281 static inline DIR *
282 internal_function
283 opendirat (int fd, char const *dir)
284 {
285   int new_fd = openat (fd, dir, O_RDONLY);
286   DIR *dirp;
287
288   if (new_fd < 0)
289     return NULL;
290   dirp = fdopendir (new_fd);
291   if (dirp == NULL)
292     {
293       int saved_errno = errno;
294       close (new_fd);
295       errno = saved_errno;
296     }
297   return dirp;
298 }
299
300 /* Virtual fchdir.  Advance SP's working directory file descriptor,
301    SP->fts_cwd_fd, to FD, and push the previous value onto the fd_ring.
302    CHDIR_DOWN_ONE is true if FD corresponds to an entry in the directory
303    open on sp->fts_cwd_fd; i.e., to move the working directory one level
304    down.  */
305 static void
306 internal_function
307 cwd_advance_fd (FTS *sp, int fd, bool chdir_down_one)
308 {
309   int old = sp->fts_cwd_fd;
310   fts_assert (old != fd || old == AT_FDCWD);
311
312   if (chdir_down_one)
313     {
314       /* Push "old" onto the ring.
315          If the displaced file descriptor is non-negative, close it.  */
316       int prev_fd_in_slot = i_ring_push (&sp->fts_fd_ring, old);
317       fd_ring_print (sp, stderr, "post-push");
318       if (0 <= prev_fd_in_slot)
319         close (prev_fd_in_slot); /* ignore any close failure */
320     }
321   else if ( ! ISSET (FTS_NOCHDIR))
322     {
323       if (0 <= old)
324         close (old); /* ignore any close failure */
325     }
326
327   sp->fts_cwd_fd = fd;
328 }
329
330 /* Open the directory DIR if possible, and return a file
331    descriptor.  Return -1 and set errno on failure.  It doesn't matter
332    whether the file descriptor has read or write access.  */
333
334 static inline int
335 internal_function
336 diropen (FTS const *sp, char const *dir)
337 {
338   int open_flags = (O_RDONLY | O_DIRECTORY | O_NOCTTY | O_NONBLOCK
339                     | (ISSET (FTS_PHYSICAL) ? O_NOFOLLOW : 0));
340
341   return (ISSET (FTS_CWDFD)
342           ? openat (sp->fts_cwd_fd, dir, open_flags)
343           : open (dir, open_flags));
344 }
345
346 FTS *
347 fts_open (char * const *argv,
348           register int options,
349           int (*compar) (FTSENT const **, FTSENT const **))
350 {
351         register FTS *sp;
352         register FTSENT *p, *root;
353         register size_t nitems;
354         FTSENT *parent = NULL;
355         FTSENT *tmp = NULL;     /* pacify gcc */
356         size_t len;
357         bool defer_stat;
358
359         /* Options check. */
360         if (options & ~FTS_OPTIONMASK) {
361                 __set_errno (EINVAL);
362                 return (NULL);
363         }
364         if ((options & FTS_NOCHDIR) && (options & FTS_CWDFD)) {
365                 __set_errno (EINVAL);
366                 return (NULL);
367         }
368         if ( ! (options & (FTS_LOGICAL | FTS_PHYSICAL))) {
369                 __set_errno (EINVAL);
370                 return (NULL);
371         }
372
373         /* Allocate/initialize the stream */
374         if ((sp = malloc(sizeof(FTS))) == NULL)
375                 return (NULL);
376         memset(sp, 0, sizeof(FTS));
377         sp->fts_compar = compar;
378         sp->fts_options = options;
379
380         /* Logical walks turn on NOCHDIR; symbolic links are too hard. */
381         if (ISSET(FTS_LOGICAL)) {
382                 SET(FTS_NOCHDIR);
383                 CLR(FTS_CWDFD);
384         }
385
386         /* Initialize fts_cwd_fd.  */
387         sp->fts_cwd_fd = AT_FDCWD;
388         if ( ISSET(FTS_CWDFD) && ! HAVE_OPENAT_SUPPORT)
389           {
390             /* While it isn't technically necessary to open "." this
391                early, doing it here saves us the trouble of ensuring
392                later (where it'd be messier) that "." can in fact
393                be opened.  If not, revert to FTS_NOCHDIR mode.  */
394             int fd = open (".", O_RDONLY);
395             if (fd < 0)
396               {
397                 /* Even if `.' is unreadable, don't revert to FTS_NOCHDIR mode
398                    on systems like Linux+PROC_FS, where our openat emulation
399                    is good enough.  Note: on a system that emulates
400                    openat via /proc, this technique can still fail, but
401                    only in extreme conditions, e.g., when the working
402                    directory cannot be saved (i.e. save_cwd fails) --
403                    and that happens on Linux only when "." is unreadable
404                    and the CWD would be longer than PATH_MAX.
405                    FIXME: once Linux kernel openat support is well established,
406                    replace the above open call and this entire if/else block
407                    with the body of the if-block below.  */
408                 if ( openat_needs_fchdir ())
409                   {
410                     SET(FTS_NOCHDIR);
411                     CLR(FTS_CWDFD);
412                   }
413               }
414             else
415               {
416                 close (fd);
417               }
418           }
419
420         /*
421          * Start out with 1K of file name space, and enough, in any case,
422          * to hold the user's file names.
423          */
424 #ifndef MAXPATHLEN
425 # define MAXPATHLEN 1024
426 #endif
427         {
428           size_t maxarglen = fts_maxarglen(argv);
429           if (! fts_palloc(sp, MAX(maxarglen, MAXPATHLEN)))
430                   goto mem1;
431         }
432
433         /* Allocate/initialize root's parent. */
434         if (*argv != NULL) {
435                 if ((parent = fts_alloc(sp, "", 0)) == NULL)
436                         goto mem2;
437                 parent->fts_level = FTS_ROOTPARENTLEVEL;
438           }
439
440         /* The classic fts implementation would call fts_stat with
441            a new entry for each iteration of the loop below.
442            If the comparison function is not specified or if the
443            FTS_DEFER_STAT option is in effect, don't stat any entry
444            in this loop.  This is an attempt to minimize the interval
445            between the initial stat/lstat/fstatat and the point at which
446            a directory argument is first opened.  This matters for any
447            directory command line argument that resides on a file system
448            without genuine i-nodes.  If you specify FTS_DEFER_STAT along
449            with a comparison function, that function must not access any
450            data via the fts_statp pointer.  */
451         defer_stat = (compar == NULL || ISSET(FTS_DEFER_STAT));
452
453         /* Allocate/initialize root(s). */
454         for (root = NULL, nitems = 0; *argv != NULL; ++argv, ++nitems) {
455                 /* Don't allow zero-length file names. */
456                 if ((len = strlen(*argv)) == 0) {
457                         __set_errno (ENOENT);
458                         goto mem3;
459                 }
460
461                 if ((p = fts_alloc(sp, *argv, len)) == NULL)
462                         goto mem3;
463                 p->fts_level = FTS_ROOTLEVEL;
464                 p->fts_parent = parent;
465                 p->fts_accpath = p->fts_name;
466                 /* Even when defer_stat is true, be sure to stat the first
467                    command line argument, since fts_read (at least with
468                    FTS_XDEV) requires that.  */
469                 if (defer_stat && root != NULL) {
470                         p->fts_info = FTS_NSOK;
471                         fts_set_stat_required(p, true);
472                 } else {
473                         p->fts_info = fts_stat(sp, p, false);
474                 }
475
476                 /*
477                  * If comparison routine supplied, traverse in sorted
478                  * order; otherwise traverse in the order specified.
479                  */
480                 if (compar) {
481                         p->fts_link = root;
482                         root = p;
483                 } else {
484                         p->fts_link = NULL;
485                         if (root == NULL)
486                                 tmp = root = p;
487                         else {
488                                 tmp->fts_link = p;
489                                 tmp = p;
490                         }
491                 }
492         }
493         if (compar && nitems > 1)
494                 root = fts_sort(sp, root, nitems);
495
496         /*
497          * Allocate a dummy pointer and make fts_read think that we've just
498          * finished the node before the root(s); set p->fts_info to FTS_INIT
499          * so that everything about the "current" node is ignored.
500          */
501         if ((sp->fts_cur = fts_alloc(sp, "", 0)) == NULL)
502                 goto mem3;
503         sp->fts_cur->fts_link = root;
504         sp->fts_cur->fts_info = FTS_INIT;
505         if (! setup_dir (sp))
506                 goto mem3;
507
508         /*
509          * If using chdir(2), grab a file descriptor pointing to dot to ensure
510          * that we can get back here; this could be avoided for some file names,
511          * but almost certainly not worth the effort.  Slashes, symbolic links,
512          * and ".." are all fairly nasty problems.  Note, if we can't get the
513          * descriptor we run anyway, just more slowly.
514          */
515         if (!ISSET(FTS_NOCHDIR) && !ISSET(FTS_CWDFD)
516             && (sp->fts_rfd = diropen (sp, ".")) < 0)
517                 SET(FTS_NOCHDIR);
518
519         i_ring_init (&sp->fts_fd_ring, -1);
520         return (sp);
521
522 mem3:   fts_lfree(root);
523         free(parent);
524 mem2:   free(sp->fts_path);
525 mem1:   free(sp);
526         return (NULL);
527 }
528
529 static void
530 internal_function
531 fts_load (FTS *sp, register FTSENT *p)
532 {
533         register size_t len;
534         register char *cp;
535
536         /*
537          * Load the stream structure for the next traversal.  Since we don't
538          * actually enter the directory until after the preorder visit, set
539          * the fts_accpath field specially so the chdir gets done to the right
540          * place and the user can access the first node.  From fts_open it's
541          * known that the file name will fit.
542          */
543         len = p->fts_pathlen = p->fts_namelen;
544         memmove(sp->fts_path, p->fts_name, len + 1);
545         if ((cp = strrchr(p->fts_name, '/')) && (cp != p->fts_name || cp[1])) {
546                 len = strlen(++cp);
547                 memmove(p->fts_name, cp, len + 1);
548                 p->fts_namelen = len;
549         }
550         p->fts_accpath = p->fts_path = sp->fts_path;
551 }
552
553 int
554 fts_close (FTS *sp)
555 {
556         register FTSENT *freep, *p;
557         int saved_errno = 0;
558
559         /*
560          * This still works if we haven't read anything -- the dummy structure
561          * points to the root list, so we step through to the end of the root
562          * list which has a valid parent pointer.
563          */
564         if (sp->fts_cur) {
565                 for (p = sp->fts_cur; p->fts_level >= FTS_ROOTLEVEL;) {
566                         freep = p;
567                         p = p->fts_link != NULL ? p->fts_link : p->fts_parent;
568                         free(freep);
569                 }
570                 free(p);
571         }
572
573         /* Free up child linked list, sort array, file name buffer. */
574         if (sp->fts_child)
575                 fts_lfree(sp->fts_child);
576         free(sp->fts_array);
577         free(sp->fts_path);
578
579         if (ISSET(FTS_CWDFD))
580           {
581             if (0 <= sp->fts_cwd_fd)
582               close (sp->fts_cwd_fd);
583           }
584         else if (!ISSET(FTS_NOCHDIR))
585           {
586             /* Return to original directory, save errno if necessary. */
587             if (fchdir(sp->fts_rfd))
588               saved_errno = errno;
589             close(sp->fts_rfd);
590           }
591
592         fd_ring_clear (&sp->fts_fd_ring);
593         free_dir (sp);
594
595         /* Free up the stream pointer. */
596         free(sp);
597
598         /* Set errno and return. */
599         if (saved_errno) {
600                 __set_errno (saved_errno);
601                 return (-1);
602         }
603
604         return (0);
605 }
606
607 /*
608  * Special case of "/" at the end of the file name so that slashes aren't
609  * appended which would cause file names to be written as "....//foo".
610  */
611 #define NAPPEND(p)                                                      \
612         (p->fts_path[p->fts_pathlen - 1] == '/'                         \
613             ? p->fts_pathlen - 1 : p->fts_pathlen)
614
615 FTSENT *
616 fts_read (register FTS *sp)
617 {
618         register FTSENT *p, *tmp;
619         register unsigned short int instr;
620         register char *t;
621
622         /* If finished or unrecoverable error, return NULL. */
623         if (sp->fts_cur == NULL || ISSET(FTS_STOP))
624                 return (NULL);
625
626         /* Set current node pointer. */
627         p = sp->fts_cur;
628
629         /* Save and zero out user instructions. */
630         instr = p->fts_instr;
631         p->fts_instr = FTS_NOINSTR;
632
633         /* Any type of file may be re-visited; re-stat and re-turn. */
634         if (instr == FTS_AGAIN) {
635                 p->fts_info = fts_stat(sp, p, false);
636                 return (p);
637         }
638         Dprintf (("fts_read: p=%s\n",
639                   p->fts_info == FTS_INIT ? "" : p->fts_path));
640
641         /*
642          * Following a symlink -- SLNONE test allows application to see
643          * SLNONE and recover.  If indirecting through a symlink, have
644          * keep a pointer to current location.  If unable to get that
645          * pointer, follow fails.
646          */
647         if (instr == FTS_FOLLOW &&
648             (p->fts_info == FTS_SL || p->fts_info == FTS_SLNONE)) {
649                 p->fts_info = fts_stat(sp, p, true);
650                 if (p->fts_info == FTS_D && !ISSET(FTS_NOCHDIR)) {
651                         if ((p->fts_symfd = diropen (sp, ".")) < 0) {
652                                 p->fts_errno = errno;
653                                 p->fts_info = FTS_ERR;
654                         } else
655                                 p->fts_flags |= FTS_SYMFOLLOW;
656                 }
657                 goto check_for_dir;
658         }
659
660         /* Directory in pre-order. */
661         if (p->fts_info == FTS_D) {
662                 /* If skipped or crossed mount point, do post-order visit. */
663                 if (instr == FTS_SKIP ||
664                     (ISSET(FTS_XDEV) && p->fts_statp->st_dev != sp->fts_dev)) {
665                         if (p->fts_flags & FTS_SYMFOLLOW)
666                                 (void)close(p->fts_symfd);
667                         if (sp->fts_child) {
668                                 fts_lfree(sp->fts_child);
669                                 sp->fts_child = NULL;
670                         }
671                         p->fts_info = FTS_DP;
672                         LEAVE_DIR (sp, p, "1");
673                         return (p);
674                 }
675
676                 /* Rebuild if only read the names and now traversing. */
677                 if (sp->fts_child != NULL && ISSET(FTS_NAMEONLY)) {
678                         CLR(FTS_NAMEONLY);
679                         fts_lfree(sp->fts_child);
680                         sp->fts_child = NULL;
681                 }
682
683                 /*
684                  * Cd to the subdirectory.
685                  *
686                  * If have already read and now fail to chdir, whack the list
687                  * to make the names come out right, and set the parent errno
688                  * so the application will eventually get an error condition.
689                  * Set the FTS_DONTCHDIR flag so that when we logically change
690                  * directories back to the parent we don't do a chdir.
691                  *
692                  * If haven't read do so.  If the read fails, fts_build sets
693                  * FTS_STOP or the fts_info field of the node.
694                  */
695                 if (sp->fts_child != NULL) {
696                         if (fts_safe_changedir(sp, p, -1, p->fts_accpath)) {
697                                 p->fts_errno = errno;
698                                 p->fts_flags |= FTS_DONTCHDIR;
699                                 for (p = sp->fts_child; p != NULL;
700                                      p = p->fts_link)
701                                         p->fts_accpath =
702                                             p->fts_parent->fts_accpath;
703                         }
704                 } else if ((sp->fts_child = fts_build(sp, BREAD)) == NULL) {
705                         if (ISSET(FTS_STOP))
706                                 return (NULL);
707                         /* If fts_build's call to fts_safe_changedir failed
708                            because it was not able to fchdir into a
709                            subdirectory, tell the caller.  */
710                         if (p->fts_errno && p->fts_info != FTS_DNR)
711                                 p->fts_info = FTS_ERR;
712                         LEAVE_DIR (sp, p, "2");
713                         return (p);
714                 }
715                 p = sp->fts_child;
716                 sp->fts_child = NULL;
717                 goto name;
718         }
719
720         /* Move to the next node on this level. */
721 next:   tmp = p;
722         if ((p = p->fts_link) != NULL) {
723                 sp->fts_cur = p;
724                 free(tmp);
725
726                 /*
727                  * If reached the top, return to the original directory (or
728                  * the root of the tree), and load the file names for the next
729                  * root.
730                  */
731                 if (p->fts_level == FTS_ROOTLEVEL) {
732                         if (RESTORE_INITIAL_CWD(sp)) {
733                                 SET(FTS_STOP);
734                                 return (NULL);
735                         }
736                         fts_load(sp, p);
737                         goto check_for_dir;
738                 }
739
740                 /*
741                  * User may have called fts_set on the node.  If skipped,
742                  * ignore.  If followed, get a file descriptor so we can
743                  * get back if necessary.
744                  */
745                 if (p->fts_instr == FTS_SKIP)
746                         goto next;
747                 if (p->fts_instr == FTS_FOLLOW) {
748                         p->fts_info = fts_stat(sp, p, true);
749                         if (p->fts_info == FTS_D && !ISSET(FTS_NOCHDIR)) {
750                                 if ((p->fts_symfd = diropen (sp, ".")) < 0) {
751                                         p->fts_errno = errno;
752                                         p->fts_info = FTS_ERR;
753                                 } else
754                                         p->fts_flags |= FTS_SYMFOLLOW;
755                         }
756                         p->fts_instr = FTS_NOINSTR;
757                 }
758
759 name:           t = sp->fts_path + NAPPEND(p->fts_parent);
760                 *t++ = '/';
761                 memmove(t, p->fts_name, p->fts_namelen + 1);
762 check_for_dir:
763                 sp->fts_cur = p;
764                 if (p->fts_info == FTS_NSOK)
765                   {
766                     if (p->fts_statp->st_size == FTS_STAT_REQUIRED)
767                       p->fts_info = fts_stat(sp, p, false);
768                     else
769                       fts_assert (p->fts_statp->st_size == FTS_NO_STAT_REQUIRED);
770                   }
771
772                 if (p->fts_info == FTS_D)
773                   {
774                     /* Now that P->fts_statp is guaranteed to be valid,
775                        if this is a command-line directory, record its
776                        device number, to be used for FTS_XDEV.  */
777                     if (p->fts_level == FTS_ROOTLEVEL)
778                       sp->fts_dev = p->fts_statp->st_dev;
779                     Dprintf (("  entering: %s\n", p->fts_path));
780                     if (! enter_dir (sp, p))
781                       {
782                         __set_errno (ENOMEM);
783                         return NULL;
784                       }
785                   }
786                 return p;
787         }
788
789         /* Move up to the parent node. */
790         p = tmp->fts_parent;
791         sp->fts_cur = p;
792         free(tmp);
793
794         if (p->fts_level == FTS_ROOTPARENTLEVEL) {
795                 /*
796                  * Done; free everything up and set errno to 0 so the user
797                  * can distinguish between error and EOF.
798                  */
799                 free(p);
800                 __set_errno (0);
801                 return (sp->fts_cur = NULL);
802         }
803
804         fts_assert (p->fts_info != FTS_NSOK);
805
806         /* NUL terminate the file name.  */
807         sp->fts_path[p->fts_pathlen] = '\0';
808
809         /*
810          * Return to the parent directory.  If at a root node, restore
811          * the initial working directory.  If we came through a symlink,
812          * go back through the file descriptor.  Otherwise, move up
813          * one level, via "..".
814          */
815         if (p->fts_level == FTS_ROOTLEVEL) {
816                 if (RESTORE_INITIAL_CWD(sp)) {
817                         p->fts_errno = errno;
818                         SET(FTS_STOP);
819                 }
820         } else if (p->fts_flags & FTS_SYMFOLLOW) {
821                 if (FCHDIR(sp, p->fts_symfd)) {
822                         int saved_errno = errno;
823                         (void)close(p->fts_symfd);
824                         __set_errno (saved_errno);
825                         p->fts_errno = errno;
826                         SET(FTS_STOP);
827                 }
828                 (void)close(p->fts_symfd);
829         } else if (!(p->fts_flags & FTS_DONTCHDIR) &&
830                    fts_safe_changedir(sp, p->fts_parent, -1, "..")) {
831                 p->fts_errno = errno;
832                 SET(FTS_STOP);
833         }
834         p->fts_info = p->fts_errno ? FTS_ERR : FTS_DP;
835         if (p->fts_errno == 0)
836                 LEAVE_DIR (sp, p, "3");
837         return ISSET(FTS_STOP) ? NULL : p;
838 }
839
840 /*
841  * Fts_set takes the stream as an argument although it's not used in this
842  * implementation; it would be necessary if anyone wanted to add global
843  * semantics to fts using fts_set.  An error return is allowed for similar
844  * reasons.
845  */
846 /* ARGSUSED */
847 int
848 fts_set(FTS *sp ATTRIBUTE_UNUSED, FTSENT *p, int instr)
849 {
850         if (instr != 0 && instr != FTS_AGAIN && instr != FTS_FOLLOW &&
851             instr != FTS_NOINSTR && instr != FTS_SKIP) {
852                 __set_errno (EINVAL);
853                 return (1);
854         }
855         p->fts_instr = instr;
856         return (0);
857 }
858
859 FTSENT *
860 fts_children (register FTS *sp, int instr)
861 {
862         register FTSENT *p;
863         int fd;
864
865         if (instr != 0 && instr != FTS_NAMEONLY) {
866                 __set_errno (EINVAL);
867                 return (NULL);
868         }
869
870         /* Set current node pointer. */
871         p = sp->fts_cur;
872
873         /*
874          * Errno set to 0 so user can distinguish empty directory from
875          * an error.
876          */
877         __set_errno (0);
878
879         /* Fatal errors stop here. */
880         if (ISSET(FTS_STOP))
881                 return (NULL);
882
883         /* Return logical hierarchy of user's arguments. */
884         if (p->fts_info == FTS_INIT)
885                 return (p->fts_link);
886
887         /*
888          * If not a directory being visited in pre-order, stop here.  Could
889          * allow FTS_DNR, assuming the user has fixed the problem, but the
890          * same effect is available with FTS_AGAIN.
891          */
892         if (p->fts_info != FTS_D /* && p->fts_info != FTS_DNR */)
893                 return (NULL);
894
895         /* Free up any previous child list. */
896         if (sp->fts_child != NULL)
897                 fts_lfree(sp->fts_child);
898
899         if (instr == FTS_NAMEONLY) {
900                 SET(FTS_NAMEONLY);
901                 instr = BNAMES;
902         } else
903                 instr = BCHILD;
904
905         /*
906          * If using chdir on a relative file name and called BEFORE fts_read
907          * does its chdir to the root of a traversal, we can lose -- we need to
908          * chdir into the subdirectory, and we don't know where the current
909          * directory is, so we can't get back so that the upcoming chdir by
910          * fts_read will work.
911          */
912         if (p->fts_level != FTS_ROOTLEVEL || p->fts_accpath[0] == '/' ||
913             ISSET(FTS_NOCHDIR))
914                 return (sp->fts_child = fts_build(sp, instr));
915
916         if ((fd = diropen (sp, ".")) < 0)
917                 return (sp->fts_child = NULL);
918         sp->fts_child = fts_build(sp, instr);
919         if (ISSET(FTS_CWDFD))
920           {
921             cwd_advance_fd (sp, fd, true);
922           }
923         else
924           {
925             if (fchdir(fd))
926               {
927                 int saved_errno = errno;
928                 close (fd);
929                 __set_errno (saved_errno);
930                 return NULL;
931               }
932             close (fd);
933           }
934         return (sp->fts_child);
935 }
936
937 #if HAVE_SYS_VFS_H && HAVE_FSTATFS && HAVE_STRUCT_STATFS_F_TYPE
938 # include <sys/vfs.h>
939 /* FIXME: what about when f_type is not an integral type?
940    deal with that if/when it's encountered.  */
941 static bool
942 fs_handles_readdir_ordered_dirents_efficiently (uintmax_t fs_type)
943 {
944 /* From coreutils' src/fs.h */
945 #define S_MAGIC_TMPFS 0x1021994
946 #define S_MAGIC_NFS 0x6969
947   switch (fs_type)
948     {
949     case S_MAGIC_TMPFS:
950     case S_MAGIC_NFS:
951       return true;
952     default:
953       return false;
954     }
955 }
956
957 /* Return true if it is easy to determine the file system type of the
958    directory on which DIR_FD is open, and sorting dirents on inode numbers
959    is known to improve traversal performance with that type of file system.  */
960 static bool
961 dirent_inode_sort_may_be_useful (int dir_fd)
962 {
963   /* Skip the sort only if we can determine efficiently
964      that skipping it is the right thing to do.
965      The cost of performing an unnecessary sort is negligible,
966      while the cost of *not* performing it can be O(N^2) with
967      a very large constant.  */
968   struct statfs fs_buf;
969   bool skip = (fstatfs (dir_fd, &fs_buf) == 0
970                && fs_handles_readdir_ordered_dirents_efficiently (dir_fd));
971   return !skip;
972 }
973 #else
974 static bool dirent_inode_sort_may_be_useful (FTS const *sp) { return true; }
975 #endif
976
977 /* A comparison function to sort on increasing inode number.
978    For some file system types, sorting either way makes a huge
979    performance difference for a directory with very many entries,
980    but sorting on increasing values is slightly better than sorting
981    on decreasing values.  The difference is in the 5% range.  */
982 static int
983 fts_compare_ino (struct _ftsent const **a, struct _ftsent const **b)
984 {
985   return (a[0]->fts_statp->st_ino < b[0]->fts_statp->st_ino ? -1
986           : b[0]->fts_statp->st_ino < a[0]->fts_statp->st_ino ? 1 : 0);
987 }
988
989 /*
990  * This is the tricky part -- do not casually change *anything* in here.  The
991  * idea is to build the linked list of entries that are used by fts_children
992  * and fts_read.  There are lots of special cases.
993  *
994  * The real slowdown in walking the tree is the stat calls.  If FTS_NOSTAT is
995  * set and it's a physical walk (so that symbolic links can't be directories),
996  * we can do things quickly.  First, if it's a 4.4BSD file system, the type
997  * of the file is in the directory entry.  Otherwise, we assume that the number
998  * of subdirectories in a node is equal to the number of links to the parent.
999  * The former skips all stat calls.  The latter skips stat calls in any leaf
1000  * directories and for any files after the subdirectories in the directory have
1001  * been found, cutting the stat calls by about 2/3.
1002  */
1003 static FTSENT *
1004 internal_function
1005 fts_build (register FTS *sp, int type)
1006 {
1007         register struct dirent *dp;
1008         register FTSENT *p, *head;
1009         register size_t nitems;
1010         FTSENT *cur, *tail;
1011         DIR *dirp;
1012         void *oldaddr;
1013         int saved_errno;
1014         bool descend;
1015         bool doadjust;
1016         ptrdiff_t level;
1017         nlink_t nlinks;
1018         bool nostat;
1019         size_t len, maxlen, new_len;
1020         char *cp;
1021
1022         /* Set current node pointer. */
1023         cur = sp->fts_cur;
1024
1025         /*
1026          * Open the directory for reading.  If this fails, we're done.
1027          * If being called from fts_read, set the fts_info field.
1028          */
1029 #if defined FTS_WHITEOUT && 0
1030         if (ISSET(FTS_WHITEOUT))
1031                 oflag = DTF_NODUP|DTF_REWIND;
1032         else
1033                 oflag = DTF_HIDEW|DTF_NODUP|DTF_REWIND;
1034 #else
1035 # define __opendir2(file, flag) \
1036         ( ! ISSET(FTS_NOCHDIR) && ISSET(FTS_CWDFD) \
1037           ? opendirat(sp->fts_cwd_fd, file)        \
1038           : opendir(file))
1039 #endif
1040        if ((dirp = __opendir2(cur->fts_accpath, oflag)) == NULL) {
1041                 if (type == BREAD) {
1042                         cur->fts_info = FTS_DNR;
1043                         cur->fts_errno = errno;
1044                 }
1045                 return (NULL);
1046         }
1047        /* Rather than calling fts_stat for each and every entry encountered
1048           in the readdir loop (below), stat each directory only right after
1049           opening it.  */
1050        if (cur->fts_info == FTS_NSOK)
1051          cur->fts_info = fts_stat(sp, cur, false);
1052
1053         /*
1054          * Nlinks is the number of possible entries of type directory in the
1055          * directory if we're cheating on stat calls, 0 if we're not doing
1056          * any stat calls at all, (nlink_t) -1 if we're statting everything.
1057          */
1058         if (type == BNAMES) {
1059                 nlinks = 0;
1060                 /* Be quiet about nostat, GCC. */
1061                 nostat = false;
1062         } else if (ISSET(FTS_NOSTAT) && ISSET(FTS_PHYSICAL)) {
1063                 nlinks = (cur->fts_statp->st_nlink
1064                           - (ISSET(FTS_SEEDOT) ? 0 : 2));
1065                 nostat = true;
1066         } else {
1067                 nlinks = -1;
1068                 nostat = false;
1069         }
1070
1071         /*
1072          * If we're going to need to stat anything or we want to descend
1073          * and stay in the directory, chdir.  If this fails we keep going,
1074          * but set a flag so we don't chdir after the post-order visit.
1075          * We won't be able to stat anything, but we can still return the
1076          * names themselves.  Note, that since fts_read won't be able to
1077          * chdir into the directory, it will have to return different file
1078          * names than before, i.e. "a/b" instead of "b".  Since the node
1079          * has already been visited in pre-order, have to wait until the
1080          * post-order visit to return the error.  There is a special case
1081          * here, if there was nothing to stat then it's not an error to
1082          * not be able to stat.  This is all fairly nasty.  If a program
1083          * needed sorted entries or stat information, they had better be
1084          * checking FTS_NS on the returned nodes.
1085          */
1086         if (nlinks || type == BREAD) {
1087                 int dir_fd = dirfd(dirp);
1088                 if (ISSET(FTS_CWDFD) && 0 <= dir_fd)
1089                   dir_fd = dup (dir_fd);
1090                 if (dir_fd < 0 || fts_safe_changedir(sp, cur, dir_fd, NULL)) {
1091                         if (nlinks && type == BREAD)
1092                                 cur->fts_errno = errno;
1093                         cur->fts_flags |= FTS_DONTCHDIR;
1094                         descend = false;
1095                         closedir(dirp);
1096                         if (ISSET(FTS_CWDFD) && 0 <= dir_fd)
1097                                 close (dir_fd);
1098                         dirp = NULL;
1099                 } else
1100                         descend = true;
1101         } else
1102                 descend = false;
1103
1104         /*
1105          * Figure out the max file name length that can be stored in the
1106          * current buffer -- the inner loop allocates more space as necessary.
1107          * We really wouldn't have to do the maxlen calculations here, we
1108          * could do them in fts_read before returning the name, but it's a
1109          * lot easier here since the length is part of the dirent structure.
1110          *
1111          * If not changing directories set a pointer so that can just append
1112          * each new component into the file name.
1113          */
1114         len = NAPPEND(cur);
1115         if (ISSET(FTS_NOCHDIR)) {
1116                 cp = sp->fts_path + len;
1117                 *cp++ = '/';
1118         } else {
1119                 /* GCC, you're too verbose. */
1120                 cp = NULL;
1121         }
1122         len++;
1123         maxlen = sp->fts_pathlen - len;
1124
1125         level = cur->fts_level + 1;
1126
1127         /* Read the directory, attaching each entry to the `link' pointer. */
1128         doadjust = false;
1129         for (head = tail = NULL, nitems = 0; dirp && (dp = readdir(dirp));) {
1130                 bool is_dir;
1131
1132                 if (!ISSET(FTS_SEEDOT) && ISDOT(dp->d_name))
1133                         continue;
1134
1135                 if ((p = fts_alloc (sp, dp->d_name,
1136                                     _D_EXACT_NAMLEN (dp))) == NULL)
1137                         goto mem1;
1138                 if (_D_EXACT_NAMLEN (dp) >= maxlen) {
1139                         /* include space for NUL */
1140                         oldaddr = sp->fts_path;
1141                         if (! fts_palloc(sp, _D_EXACT_NAMLEN (dp) + len + 1)) {
1142                                 /*
1143                                  * No more memory.  Save
1144                                  * errno, free up the current structure and the
1145                                  * structures already allocated.
1146                                  */
1147 mem1:                           saved_errno = errno;
1148                                 free(p);
1149                                 fts_lfree(head);
1150                                 closedir(dirp);
1151                                 cur->fts_info = FTS_ERR;
1152                                 SET(FTS_STOP);
1153                                 __set_errno (saved_errno);
1154                                 return (NULL);
1155                         }
1156                         /* Did realloc() change the pointer? */
1157                         if (oldaddr != sp->fts_path) {
1158                                 doadjust = true;
1159                                 if (ISSET(FTS_NOCHDIR))
1160                                         cp = sp->fts_path + len;
1161                         }
1162                         maxlen = sp->fts_pathlen - len;
1163                 }
1164
1165                 new_len = len + _D_EXACT_NAMLEN (dp);
1166                 if (new_len < len) {
1167                         /*
1168                          * In the unlikely event that we would end up
1169                          * with a file name longer than SIZE_MAX, free up
1170                          * the current structure and the structures already
1171                          * allocated, then error out with ENAMETOOLONG.
1172                          */
1173                         free(p);
1174                         fts_lfree(head);
1175                         closedir(dirp);
1176                         cur->fts_info = FTS_ERR;
1177                         SET(FTS_STOP);
1178                         __set_errno (ENAMETOOLONG);
1179                         return (NULL);
1180                 }
1181                 p->fts_level = level;
1182                 p->fts_parent = sp->fts_cur;
1183                 p->fts_pathlen = new_len;
1184
1185 #if defined FTS_WHITEOUT && 0
1186                 if (dp->d_type == DT_WHT)
1187                         p->fts_flags |= FTS_ISW;
1188 #endif
1189                 /* Store dirent.d_ino, in case we need to sort
1190                    entries before processing them.  */
1191                 p->fts_statp->st_ino = D_INO (dp);
1192
1193                 /* Build a file name for fts_stat to stat. */
1194                 if (ISSET(FTS_NOCHDIR)) {
1195                         p->fts_accpath = p->fts_path;
1196                         memmove(cp, p->fts_name, p->fts_namelen + 1);
1197                 } else
1198                         p->fts_accpath = p->fts_name;
1199
1200                 if (sp->fts_compar == NULL || ISSET(FTS_DEFER_STAT)) {
1201                         /* Record what fts_read will have to do with this
1202                            entry. In many cases, it will simply fts_stat it,
1203                            but we can take advantage of any d_type information
1204                            to optimize away the unnecessary stat calls.  I.e.,
1205                            if FTS_NOSTAT is in effect and we're not following
1206                            symlinks (FTS_PHYSICAL) and d_type indicates this
1207                            is *not* a directory, then we won't have to stat it
1208                            at all.  If it *is* a directory, then (currently)
1209                            we stat it regardless, in order to get device and
1210                            inode numbers.  Some day we might optimize that
1211                            away, too, for directories where d_ino is known to
1212                            be valid.  */
1213                         bool skip_stat = (ISSET(FTS_PHYSICAL)
1214                                           && ISSET(FTS_NOSTAT)
1215                                           && DT_IS_KNOWN(dp)
1216                                           && ! DT_MUST_BE(dp, DT_DIR));
1217                         p->fts_info = FTS_NSOK;
1218                         fts_set_stat_required(p, !skip_stat);
1219                         is_dir = (ISSET(FTS_PHYSICAL) && ISSET(FTS_NOSTAT)
1220                                   && DT_MUST_BE(dp, DT_DIR));
1221                 } else {
1222                         p->fts_info = fts_stat(sp, p, false);
1223                         is_dir = (p->fts_info == FTS_D
1224                                   || p->fts_info == FTS_DC
1225                                   || p->fts_info == FTS_DOT);
1226                 }
1227
1228                 /* Decrement link count if applicable. */
1229                 if (nlinks > 0 && is_dir)
1230                         nlinks -= nostat;
1231
1232                 /* We walk in directory order so "ls -f" doesn't get upset. */
1233                 p->fts_link = NULL;
1234                 if (head == NULL)
1235                         head = tail = p;
1236                 else {
1237                         tail->fts_link = p;
1238                         tail = p;
1239                 }
1240                 ++nitems;
1241         }
1242         if (dirp)
1243                 closedir(dirp);
1244
1245         /*
1246          * If realloc() changed the address of the file name, adjust the
1247          * addresses for the rest of the tree and the dir list.
1248          */
1249         if (doadjust)
1250                 fts_padjust(sp, head);
1251
1252         /*
1253          * If not changing directories, reset the file name back to original
1254          * state.
1255          */
1256         if (ISSET(FTS_NOCHDIR)) {
1257                 if (len == sp->fts_pathlen || nitems == 0)
1258                         --cp;
1259                 *cp = '\0';
1260         }
1261
1262         /*
1263          * If descended after called from fts_children or after called from
1264          * fts_read and nothing found, get back.  At the root level we use
1265          * the saved fd; if one of fts_open()'s arguments is a relative name
1266          * to an empty directory, we wind up here with no other way back.  If
1267          * can't get back, we're done.
1268          */
1269         if (descend && (type == BCHILD || !nitems) &&
1270             (cur->fts_level == FTS_ROOTLEVEL
1271              ? RESTORE_INITIAL_CWD(sp)
1272              : fts_safe_changedir(sp, cur->fts_parent, -1, ".."))) {
1273                 cur->fts_info = FTS_ERR;
1274                 SET(FTS_STOP);
1275                 fts_lfree(head);
1276                 return (NULL);
1277         }
1278
1279         /* If didn't find anything, return NULL. */
1280         if (!nitems) {
1281                 if (type == BREAD)
1282                         cur->fts_info = FTS_DP;
1283                 fts_lfree(head);
1284                 return (NULL);
1285         }
1286
1287         /* If there are many entries, no sorting function has been specified,
1288            and this file system is of a type that may be slow with a large
1289            number of entries, then sort the directory entries on increasing
1290            inode numbers.  */
1291         if (nitems > _FTS_INODE_SORT_DIR_ENTRIES_THRESHOLD
1292             && !sp->fts_compar
1293             && ISSET (FTS_CWDFD)
1294             && dirent_inode_sort_may_be_useful (sp->fts_cwd_fd)) {
1295                 sp->fts_compar = fts_compare_ino;
1296                 head = fts_sort (sp, head, nitems);
1297                 sp->fts_compar = NULL;
1298         }
1299
1300         /* Sort the entries. */
1301         if (sp->fts_compar && nitems > 1)
1302                 head = fts_sort(sp, head, nitems);
1303         return (head);
1304 }
1305
1306 #if FTS_DEBUG
1307
1308 /* Walk ->fts_parent links starting at E_CURR, until the root of the
1309    current hierarchy.  There should be a directory with dev/inode
1310    matching those of AD.  If not, print a lot of diagnostics.  */
1311 static void
1312 find_matching_ancestor (FTSENT const *e_curr, struct Active_dir const *ad)
1313 {
1314   FTSENT const *ent;
1315   for (ent = e_curr; ent->fts_level >= FTS_ROOTLEVEL; ent = ent->fts_parent)
1316     {
1317       if (ad->ino == ent->fts_statp->st_ino
1318           && ad->dev == ent->fts_statp->st_dev)
1319         return;
1320     }
1321   printf ("ERROR: tree dir, %s, not active\n", ad->fts_ent->fts_accpath);
1322   printf ("active dirs:\n");
1323   for (ent = e_curr;
1324        ent->fts_level >= FTS_ROOTLEVEL; ent = ent->fts_parent)
1325     printf ("  %s(%"PRIuMAX"/%"PRIuMAX") to %s(%"PRIuMAX"/%"PRIuMAX")...\n",
1326             ad->fts_ent->fts_accpath,
1327             (uintmax_t) ad->dev,
1328             (uintmax_t) ad->ino,
1329             ent->fts_accpath,
1330             (uintmax_t) ent->fts_statp->st_dev,
1331             (uintmax_t) ent->fts_statp->st_ino);
1332 }
1333
1334 void
1335 fts_cross_check (FTS const *sp)
1336 {
1337   FTSENT const *ent = sp->fts_cur;
1338   FTSENT const *t;
1339   if ( ! ISSET (FTS_TIGHT_CYCLE_CHECK))
1340     return;
1341
1342   Dprintf (("fts-cross-check cur=%s\n", ent->fts_path));
1343   /* Make sure every parent dir is in the tree.  */
1344   for (t = ent->fts_parent; t->fts_level >= FTS_ROOTLEVEL; t = t->fts_parent)
1345     {
1346       struct Active_dir ad;
1347       ad.ino = t->fts_statp->st_ino;
1348       ad.dev = t->fts_statp->st_dev;
1349       if ( ! hash_lookup (sp->fts_cycle.ht, &ad))
1350         printf ("ERROR: active dir, %s, not in tree\n", t->fts_path);
1351     }
1352
1353   /* Make sure every dir in the tree is an active dir.
1354      But ENT is not necessarily a directory.  If so, just skip this part. */
1355   if (ent->fts_parent->fts_level >= FTS_ROOTLEVEL
1356       && (ent->fts_info == FTS_DP
1357           || ent->fts_info == FTS_D))
1358     {
1359       struct Active_dir *ad;
1360       for (ad = hash_get_first (sp->fts_cycle.ht); ad != NULL;
1361            ad = hash_get_next (sp->fts_cycle.ht, ad))
1362         {
1363           find_matching_ancestor (ent, ad);
1364         }
1365     }
1366 }
1367
1368 static bool
1369 same_fd (int fd1, int fd2)
1370 {
1371   struct stat sb1, sb2;
1372   return (fstat (fd1, &sb1) == 0
1373           && fstat (fd2, &sb2) == 0
1374           && SAME_INODE (sb1, sb2));
1375 }
1376
1377 static void
1378 fd_ring_print (FTS const *sp, FILE *stream, char const *msg)
1379 {
1380   I_ring const *fd_ring = &sp->fts_fd_ring;
1381   unsigned int i = fd_ring->fts_front;
1382   char *cwd = getcwdat (sp->fts_cwd_fd, NULL, 0);
1383   fprintf (stream, "=== %s ========== %s\n", msg, cwd);
1384   free (cwd);
1385   if (i_ring_empty (fd_ring))
1386     return;
1387
1388   while (true)
1389     {
1390       int fd = fd_ring->fts_fd_ring[i];
1391       if (fd < 0)
1392         fprintf (stream, "%d: %d:\n", i, fd);
1393       else
1394         {
1395           char *wd = getcwdat (fd, NULL, 0);
1396           fprintf (stream, "%d: %d: %s\n", i, fd, wd);
1397           free (wd);
1398         }
1399       if (i == fd_ring->fts_back)
1400         break;
1401       i = (i + I_RING_SIZE - 1) % I_RING_SIZE;
1402     }
1403 }
1404
1405 /* Ensure that each file descriptor on the fd_ring matches a
1406    parent, grandparent, etc. of the current working directory.  */
1407 static void
1408 fd_ring_check (FTS const *sp)
1409 {
1410   if (!fts_debug)
1411     return;
1412
1413   /* Make a writable copy.  */
1414   I_ring fd_w = sp->fts_fd_ring;
1415
1416   int cwd_fd = sp->fts_cwd_fd;
1417   cwd_fd = dup (cwd_fd);
1418   char *dot = getcwdat (cwd_fd, NULL, 0);
1419   error (0, 0, "===== check ===== cwd: %s", dot);
1420   free (dot);
1421   while ( ! i_ring_empty (&fd_w))
1422     {
1423       int fd = i_ring_pop (&fd_w);
1424       if (0 <= fd)
1425         {
1426           int parent_fd = openat (cwd_fd, "..", O_RDONLY);
1427           if (parent_fd < 0)
1428             {
1429               // Warn?
1430               break;
1431             }
1432           if (!same_fd (fd, parent_fd))
1433             {
1434               char *cwd = getcwdat (fd, NULL, 0);
1435               error (0, errno, "ring  : %s", cwd);
1436               char *c2 = getcwdat (parent_fd, NULL, 0);
1437               error (0, errno, "parent: %s", c2);
1438               free (cwd);
1439               free (c2);
1440               fts_assert (0);
1441             }
1442           close (cwd_fd);
1443           cwd_fd = parent_fd;
1444         }
1445     }
1446   close (cwd_fd);
1447 }
1448 #endif
1449
1450 static unsigned short int
1451 internal_function
1452 fts_stat(FTS *sp, register FTSENT *p, bool follow)
1453 {
1454         struct stat *sbp = p->fts_statp;
1455         int saved_errno;
1456
1457         if (p->fts_level == FTS_ROOTLEVEL && ISSET(FTS_COMFOLLOW))
1458                 follow = true;
1459
1460 #if defined FTS_WHITEOUT && 0
1461         /* check for whiteout */
1462         if (p->fts_flags & FTS_ISW) {
1463                 memset(sbp, '\0', sizeof (*sbp));
1464                 sbp->st_mode = S_IFWHT;
1465                 return (FTS_W);
1466        }
1467 #endif
1468
1469         /*
1470          * If doing a logical walk, or application requested FTS_FOLLOW, do
1471          * a stat(2).  If that fails, check for a non-existent symlink.  If
1472          * fail, set the errno from the stat call.
1473          */
1474         if (ISSET(FTS_LOGICAL) || follow) {
1475                 if (stat(p->fts_accpath, sbp)) {
1476                         saved_errno = errno;
1477                         if (errno == ENOENT
1478                             && lstat(p->fts_accpath, sbp) == 0) {
1479                                 __set_errno (0);
1480                                 return (FTS_SLNONE);
1481                         }
1482                         p->fts_errno = saved_errno;
1483                         goto err;
1484                 }
1485         } else if (fstatat(sp->fts_cwd_fd, p->fts_accpath, sbp,
1486                            AT_SYMLINK_NOFOLLOW)) {
1487                 p->fts_errno = errno;
1488 err:            memset(sbp, 0, sizeof(struct stat));
1489                 return (FTS_NS);
1490         }
1491
1492         if (S_ISDIR(sbp->st_mode)) {
1493                 if (ISDOT(p->fts_name)) {
1494                         /* Command-line "." and ".." are real directories. */
1495                         return (p->fts_level == FTS_ROOTLEVEL ? FTS_D : FTS_DOT);
1496                 }
1497
1498 #if !GNULIB_FTS
1499                 {
1500                   /*
1501                    * Cycle detection is done by brute force when the directory
1502                    * is first encountered.  If the tree gets deep enough or the
1503                    * number of symbolic links to directories is high enough,
1504                    * something faster might be worthwhile.
1505                    */
1506                   FTSENT *t;
1507
1508                   for (t = p->fts_parent;
1509                        t->fts_level >= FTS_ROOTLEVEL; t = t->fts_parent)
1510                     if (sbp->st_ino == t->fts_statp->st_ino
1511                         && sbp->st_dev == t->fts_statp->st_dev)
1512                       {
1513                         p->fts_cycle = t;
1514                         return (FTS_DC);
1515                       }
1516                 }
1517 #endif
1518
1519                 return (FTS_D);
1520         }
1521         if (S_ISLNK(sbp->st_mode))
1522                 return (FTS_SL);
1523         if (S_ISREG(sbp->st_mode))
1524                 return (FTS_F);
1525         return (FTS_DEFAULT);
1526 }
1527
1528 static int
1529 fts_compar (void const *a, void const *b)
1530 {
1531   /* Convert A and B to the correct types, to pacify the compiler, and
1532      for portability to bizarre hosts where "void const *" and "FTSENT
1533      const **" differ in runtime representation.  The comparison
1534      function cannot modify *a and *b, but there is no compile-time
1535      check for this.  */
1536   FTSENT const **pa = (FTSENT const **) a;
1537   FTSENT const **pb = (FTSENT const **) b;
1538   return pa[0]->fts_fts->fts_compar (pa, pb);
1539 }
1540
1541 static FTSENT *
1542 internal_function
1543 fts_sort (FTS *sp, FTSENT *head, register size_t nitems)
1544 {
1545         register FTSENT **ap, *p;
1546
1547         /* On most modern hosts, void * and FTSENT ** have the same
1548            run-time representation, and one can convert sp->fts_compar to
1549            the type qsort expects without problem.  Use the heuristic that
1550            this is OK if the two pointer types are the same size, and if
1551            converting FTSENT ** to long int is the same as converting
1552            FTSENT ** to void * and then to long int.  This heuristic isn't
1553            valid in general but we don't know of any counterexamples.  */
1554         FTSENT *dummy;
1555         int (*compare) (void const *, void const *) =
1556           ((sizeof &dummy == sizeof (void *)
1557             && (long int) &dummy == (long int) (void *) &dummy)
1558            ? (int (*) (void const *, void const *)) sp->fts_compar
1559            : fts_compar);
1560
1561         /*
1562          * Construct an array of pointers to the structures and call qsort(3).
1563          * Reassemble the array in the order returned by qsort.  If unable to
1564          * sort for memory reasons, return the directory entries in their
1565          * current order.  Allocate enough space for the current needs plus
1566          * 40 so don't realloc one entry at a time.
1567          */
1568         if (nitems > sp->fts_nitems) {
1569                 FTSENT **a;
1570
1571                 sp->fts_nitems = nitems + 40;
1572                 if (SIZE_MAX / sizeof *a < sp->fts_nitems
1573                     || ! (a = realloc (sp->fts_array,
1574                                        sp->fts_nitems * sizeof *a))) {
1575                         free(sp->fts_array);
1576                         sp->fts_array = NULL;
1577                         sp->fts_nitems = 0;
1578                         return (head);
1579                 }
1580                 sp->fts_array = a;
1581         }
1582         for (ap = sp->fts_array, p = head; p; p = p->fts_link)
1583                 *ap++ = p;
1584         qsort((void *)sp->fts_array, nitems, sizeof(FTSENT *), compare);
1585         for (head = *(ap = sp->fts_array); --nitems; ++ap)
1586                 ap[0]->fts_link = ap[1];
1587         ap[0]->fts_link = NULL;
1588         return (head);
1589 }
1590
1591 static FTSENT *
1592 internal_function
1593 fts_alloc (FTS *sp, const char *name, register size_t namelen)
1594 {
1595         register FTSENT *p;
1596         size_t len;
1597
1598         /*
1599          * The file name is a variable length array.  Allocate the FTSENT
1600          * structure and the file name in one chunk.
1601          */
1602         len = sizeof(FTSENT) + namelen;
1603         if ((p = malloc(len)) == NULL)
1604                 return (NULL);
1605
1606         /* Copy the name and guarantee NUL termination. */
1607         memmove(p->fts_name, name, namelen);
1608         p->fts_name[namelen] = '\0';
1609
1610         p->fts_namelen = namelen;
1611         p->fts_fts = sp;
1612         p->fts_path = sp->fts_path;
1613         p->fts_errno = 0;
1614         p->fts_flags = 0;
1615         p->fts_instr = FTS_NOINSTR;
1616         p->fts_number = 0;
1617         p->fts_pointer = NULL;
1618         return (p);
1619 }
1620
1621 static void
1622 internal_function
1623 fts_lfree (register FTSENT *head)
1624 {
1625         register FTSENT *p;
1626
1627         /* Free a linked list of structures. */
1628         while ((p = head)) {
1629                 head = head->fts_link;
1630                 free(p);
1631         }
1632 }
1633
1634 /*
1635  * Allow essentially unlimited file name lengths; find, rm, ls should
1636  * all work on any tree.  Most systems will allow creation of file
1637  * names much longer than MAXPATHLEN, even though the kernel won't
1638  * resolve them.  Add the size (not just what's needed) plus 256 bytes
1639  * so don't realloc the file name 2 bytes at a time.
1640  */
1641 static bool
1642 internal_function
1643 fts_palloc (FTS *sp, size_t more)
1644 {
1645         char *p;
1646         size_t new_len = sp->fts_pathlen + more + 256;
1647
1648         /*
1649          * See if fts_pathlen would overflow.
1650          */
1651         if (new_len < sp->fts_pathlen) {
1652                 free(sp->fts_path);
1653                 sp->fts_path = NULL;
1654                 __set_errno (ENAMETOOLONG);
1655                 return false;
1656         }
1657         sp->fts_pathlen = new_len;
1658         p = realloc(sp->fts_path, sp->fts_pathlen);
1659         if (p == NULL) {
1660                 free(sp->fts_path);
1661                 sp->fts_path = NULL;
1662                 return false;
1663         }
1664         sp->fts_path = p;
1665         return true;
1666 }
1667
1668 /*
1669  * When the file name is realloc'd, have to fix all of the pointers in
1670  *  structures already returned.
1671  */
1672 static void
1673 internal_function
1674 fts_padjust (FTS *sp, FTSENT *head)
1675 {
1676         FTSENT *p;
1677         char *addr = sp->fts_path;
1678
1679 #define ADJUST(p) do {                                                  \
1680         if ((p)->fts_accpath != (p)->fts_name) {                        \
1681                 (p)->fts_accpath =                                      \
1682                     (char *)addr + ((p)->fts_accpath - (p)->fts_path);  \
1683         }                                                               \
1684         (p)->fts_path = addr;                                           \
1685 } while (0)
1686         /* Adjust the current set of children. */
1687         for (p = sp->fts_child; p; p = p->fts_link)
1688                 ADJUST(p);
1689
1690         /* Adjust the rest of the tree, including the current level. */
1691         for (p = head; p->fts_level >= FTS_ROOTLEVEL;) {
1692                 ADJUST(p);
1693                 p = p->fts_link ? p->fts_link : p->fts_parent;
1694         }
1695 }
1696
1697 static size_t
1698 internal_function
1699 fts_maxarglen (char * const *argv)
1700 {
1701         size_t len, max;
1702
1703         for (max = 0; *argv; ++argv)
1704                 if ((len = strlen(*argv)) > max)
1705                         max = len;
1706         return (max + 1);
1707 }
1708
1709 /*
1710  * Change to dir specified by fd or file name without getting
1711  * tricked by someone changing the world out from underneath us.
1712  * Assumes p->fts_statp->st_dev and p->fts_statp->st_ino are filled in.
1713  * If FD is non-negative, expect it to be used after this function returns,
1714  * and to be closed eventually.  So don't pass e.g., `dirfd(dirp)' and then
1715  * do closedir(dirp), because that would invalidate the saved FD.
1716  * Upon failure, close FD immediately and return nonzero.
1717  */
1718 static int
1719 internal_function
1720 fts_safe_changedir (FTS *sp, FTSENT *p, int fd, char const *dir)
1721 {
1722         int ret;
1723         bool is_dotdot = dir && STREQ (dir, "..");
1724         int newfd;
1725
1726         /* This clause handles the unusual case in which FTS_NOCHDIR
1727            is specified, along with FTS_CWDFD.  In that case, there is
1728            no need to change even the virtual cwd file descriptor.
1729            However, if FD is non-negative, we do close it here.  */
1730         if (ISSET (FTS_NOCHDIR))
1731           {
1732             if (ISSET (FTS_CWDFD) && 0 <= fd)
1733               close (fd);
1734             return 0;
1735           }
1736
1737         if (fd < 0 && is_dotdot && ISSET (FTS_CWDFD))
1738           {
1739             /* When possible, skip the diropen and subsequent fstat+dev/ino
1740                comparison.  I.e., when changing to parent directory
1741                (chdir ("..")), use a file descriptor from the ring and
1742                save the overhead of diropen+fstat, as well as avoiding
1743                failure when we lack "x" access to the virtual cwd.  */
1744             if ( ! i_ring_empty (&sp->fts_fd_ring))
1745               {
1746                 int parent_fd;
1747                 fd_ring_print (sp, stderr, "pre-pop");
1748                 parent_fd = i_ring_pop (&sp->fts_fd_ring);
1749                 is_dotdot = true;
1750                 if (0 <= parent_fd)
1751                   {
1752                     fd = parent_fd;
1753                     dir = NULL;
1754                   }
1755               }
1756           }
1757
1758         newfd = fd;
1759         if (fd < 0 && (newfd = diropen (sp, dir)) < 0)
1760           return -1;
1761
1762         /* The following dev/inode check is necessary if we're doing a
1763            `logical' traversal (through symlinks, a la chown -L), if the
1764            system lacks O_NOFOLLOW support, or if we're changing to ".."
1765            (but not via a popped file descriptor).  When changing to the
1766            name "..", O_NOFOLLOW can't help.  In general, when the target is
1767            not "..", diropen's use of O_NOFOLLOW ensures we don't mistakenly
1768            follow a symlink, so we can avoid the expense of this fstat.  */
1769         if (ISSET(FTS_LOGICAL) || ! HAVE_WORKING_O_NOFOLLOW
1770             || (dir && STREQ (dir, "..")))
1771           {
1772             struct stat sb;
1773             if (fstat(newfd, &sb))
1774               {
1775                 ret = -1;
1776                 goto bail;
1777               }
1778             if (p->fts_statp->st_dev != sb.st_dev
1779                 || p->fts_statp->st_ino != sb.st_ino)
1780               {
1781                 __set_errno (ENOENT);           /* disinformation */
1782                 ret = -1;
1783                 goto bail;
1784               }
1785           }
1786
1787         if (ISSET(FTS_CWDFD))
1788           {
1789             cwd_advance_fd (sp, newfd, ! is_dotdot);
1790             return 0;
1791           }
1792
1793         ret = fchdir(newfd);
1794 bail:
1795         if (fd < 0)
1796           {
1797             int oerrno = errno;
1798             (void)close(newfd);
1799             __set_errno (oerrno);
1800           }
1801         return ret;
1802 }