* lib/regcomp.c (re_compile_fastmap_iter, init_dfa, init_word_char):
[gnulib.git] / gnulib-tool
index 1f8068c..435897e 100755 (executable)
@@ -22,7 +22,7 @@
 
 progname=$0
 package=gnulib
-cvsdatestamp='$Date: 2005-08-25 12:02:37 $'
+cvsdatestamp='$Date: 2005-08-29 20:03:02 $'
 last_checkin_date=`echo "$cvsdatestamp" | sed -e 's,^\$[D]ate: ,,'`
 version=`echo "$last_checkin_date" | sed -e 's/ .*$//' -e 's,/,-,g'`
 
@@ -56,6 +56,7 @@ Usage: gnulib-tool --list
        gnulib-tool --extract-include-directive module
        gnulib-tool --extract-license module
        gnulib-tool --extract-maintainer module
+       gnulib-tool --extract-tests-module module
 
 Operation modes:
       --list                print the available module names
@@ -76,6 +77,7 @@ Operation modes:
       --extract-license            report the license terms of the source files
                                    under lib/
       --extract-maintainer         report the maintainer(s) inside gnulib
+      --extract-tests-module       report the unit test module, if it exists
 
 Options:
       --dir=DIRECTORY       specify the target directory
@@ -88,9 +90,12 @@ Options:
                             placed (default \"lib\"), for --import.
       --m4-base=DIRECTORY   Directory relative --dir where *.m4 macros are
                             placed (default \"m4\"), for --import.
+      --tests-base=DIRECTORY
+                            Directory relative --dir where unit tests are
+                            placed (default \"tests\"), for --import.
       --aux-dir=DIRECTORY   Directory relative --dir where auxiliary build
-                            tools are placed (default \"build-aux\"),
-                            for --import.
+                            tools are placed (default \"build-aux\").
+      --with-tests          Include unit tests for the included modules.
       --avoid=MODULE        Avoid including the given MODULE. Useful if you
                             have code that provides equivalent functionality.
                             This option can be repeated.
@@ -109,10 +114,10 @@ Report bugs to <bug-gnulib@gnu.org>."
 func_version ()
 {
   echo "$progname (GNU $package) $version"
-  echo "Copyright (C) 2002 Free Software Foundation, Inc.
+  echo "Copyright (C) 2002-2005 Free Software Foundation, Inc.
 This is free software; see the source for copying conditions.  There is NO
 warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE."
-  echo "Written by" "Bruno Haible"
+  echo "Written by" "Bruno Haible" "and" "Simon Josefsson"
 }
 
 # func_fatal_error message
@@ -184,7 +189,9 @@ func_ln_if_changed ()
 # - libname, supplied_libname  from --lib
 # - sourcebase      from --source-base
 # - m4base          from --m4-base
+# - testsbase       from --tests-base
 # - auxdir          from --aux-dir
+# - inctests        true if --with-tests was given, blank otherwise
 # - avoidlist       list of modules to avoid, from --avoid
 # - lgpl            true if --lgpl was given, blank otherwise
 # - libtool         true if --libtool was given, blank otherwise
@@ -197,7 +204,9 @@ func_ln_if_changed ()
   supplied_libname=
   sourcebase=
   m4base=
+  testsbase=
   auxdir=
+  inctests=
   avoidlist=
   lgpl=
   libtool=
@@ -272,6 +281,16 @@ func_ln_if_changed ()
       --m4-base=* )
         m4base=`echo "X$1" | sed -e 's/^X--m4-base=//'`
         shift ;;
+      --tests-base )
+        shift
+        if test $# = 0; then
+          func_fatal_error "missing argument for --tests-base"
+        fi
+        testsbase=$1
+        shift ;;
+      --tests-base=* )
+        testsbase=`echo "X$1" | sed -e 's/^X--tests-base=//'`
+        shift ;;
       --aux-dir )
         shift
         if test $# = 0; then
@@ -282,6 +301,9 @@ func_ln_if_changed ()
       --aux-dir=* )
         auxdir=`echo "X$1" | sed -e 's/^X--aux-dir=//'`
         shift ;;
+      --with-tests )
+        inctests=true
+        shift ;;
       --avoid )
         shift
         if test $# = 0; then
@@ -357,8 +379,12 @@ gnulib_dir=`echo "$self_abspathname" | sed -e 's,/[^/]*$,,'`
 # func_all_modules
 func_all_modules ()
 {
+  # Filter out metainformation files like README, which are not modules.
+  # Filter out unit test modules; they can be retrieved through
+  # --extract-tests-module if desired.
   (cd "$gnulib_dir/modules" && ls -1) \
-      | sed -e '/^CVS$/d' -e '/^ChangeLog$/d' -e '/^README$/d' -e '/^TEMPLATE$/d' -e '/~$/d' \
+      | sed -e '/^CVS$/d' -e '/^ChangeLog$/d' -e '/^README$/d' -e '/^TEMPLATE$/d' -e '/^TEMPLATE-TESTS$/d' -e '/~$/d' \
+      | sed -e '/-tests$/d' \
       | sort
 }
 
@@ -370,12 +396,33 @@ func_verify_module ()
      || test "CVS" = "$module" \
      || test "ChangeLog" = "$module" \
      || test "README" = "$module" \
-     || test "TEMPLATE" = "$module"; then
+     || test "TEMPLATE" = "$module" \
+     || test "TEMPLATE-TESTS" = "$module"; then
     echo "gnulib-tool: module $module doesn't exist" 1>&2
     module=
   fi
 }
 
+# func_verify_nontests_module
+# verifies a module name, excluding tests modules
+func_verify_nontests_module ()
+{
+  case "$module" in
+    *-tests ) module= ;;
+    * ) func_verify_module ;;
+  esac
+}
+
+# func_verify_tests_module
+# verifies a module name, considering only tests modules
+func_verify_tests_module ()
+{
+  case "$module" in
+    *-tests ) func_verify_module ;;
+    * ) module= ;;
+  esac
+}
+
 sed_extract_prog=':[   ]*$/ {
   :a
     n
@@ -410,6 +457,9 @@ func_get_filelist ()
 # func_get_dependencies module
 func_get_dependencies ()
 {
+  # ${module}-tests always implicitly depends on ${module}.
+  echo "$1" | sed -n -e 's/-tests//p'
+  # Then the explicit dependencies listed in the module description.
   sed -n -e "/^Depends-on$sed_extract_prog" < "$gnulib_dir/modules/$1"
 }
 
@@ -444,6 +494,15 @@ func_get_maintainer ()
   sed -n -e "/^Maintainer$sed_extract_prog" < "$gnulib_dir/modules/$1"
 }
 
+# func_get_tests_module module
+func_get_tests_module ()
+{
+  # The naming convention for tests modules is hardwired: ${module}-tests.
+  if test -f modules/"$1"-tests; then
+    echo "$1"-tests
+  fi
+}
+
 # func_acceptable module
 # tests whether a module is acceptable.
 # Input:
@@ -461,6 +520,7 @@ func_acceptable ()
 # func_modules_transitive_closure
 # Input:
 # - modules         list of specified modules
+# - inctests        true if tests should be included, blank otherwise
 # - avoidlist       list of modules to avoid
 # Output:
 # - modules         list of modules, including dependencies
@@ -483,6 +543,19 @@ func_modules_transitive_closure ()
               xmodules="$xmodules $depmodule"
             fi
           done
+          if test -n "$inctests"; then
+            testsmodule=`func_get_tests_module $module`
+            if test -n "$testsmodule"; then
+              if func_acceptable $testsmodule; then
+                xmodules="$xmodules $testsmodule"
+                for depmodule in `func_get_dependencies $testsmodule`; do
+                  if func_acceptable $depmodule; then
+                    xmodules="$xmodules $depmodule"
+                  fi
+                done
+              fi
+            fi
+          fi
         fi
       fi
     done
@@ -561,7 +634,7 @@ func_emit_lib_Makefile_am ()
   echo "MAINTAINERCLEANFILES ="
   echo
   for module in $modules; do
-    func_verify_module
+    func_verify_nontests_module
     if test -n "$module"; then
       {
         func_get_automake_snippet "$module" |
@@ -585,12 +658,82 @@ func_emit_lib_Makefile_am ()
   echo "# Makefile.am ends here"
 }
 
+# func_emit_tests_Makefile_am
+# emits the contents of tests/Makefile.am to standard output.
+# Input:
+# - modules         list of modules, including dependencies
+# - libname         library name
+# - libtool         true if libtool will be used, blank otherwise
+# - sourcebase      relative directory containing lib source code
+func_emit_tests_Makefile_am ()
+{
+  if test -n "$libtool"; then
+    libext=la
+  else
+    libext=a
+  fi
+  echo "## Process this file with automake to produce Makefile.in."
+  echo "# Copyright (C) 2004-2005 Free Software Foundation, Inc."
+  echo "#"
+  echo "# This file is free software, distributed under the terms of the GNU"
+  echo "# General Public License.  As a special exception to the GNU General"
+  echo "# Public License, this file may be distributed as part of a program"
+  echo "# that contains a configuration script generated by Automake, under"
+  echo "# the same distribution terms as the rest of that program."
+  echo "#"
+  echo "# Generated by gnulib-tool."
+  echo
+  # Generate dependencies here, since it eases the debugging of test failures.
+  echo "AUTOMAKE_OPTIONS = 1.5 foreign"
+  echo
+  echo "ACLOCAL_AMFLAGS = -I ../m4"
+  echo
+  echo "TESTS ="
+  echo "noinst_PROGRAMS ="
+  echo "EXTRA_DIST ="
+  echo "BUILT_SOURCES ="
+  echo "SUFFIXES ="
+  echo "MOSTLYCLEANFILES ="
+  echo "CLEANFILES ="
+  echo "DISTCLEANFILES ="
+  echo "MAINTAINERCLEANFILES ="
+  echo
+  echo "AM_CPPFLAGS = \\"
+  echo "  -I. -I\$(srcdir) \\"
+  echo "  -I.. -I\$(srcdir)/.. \\"
+  echo "  -I../${sourcebase-lib} -I\$(srcdir)/../${sourcebase-lib}"
+  echo
+  echo "LDADD = ../${sourcebase-lib}/${libname}.${libext}"
+  echo
+  for module in $modules; do
+    func_verify_tests_module
+    if test -n "$module"; then
+      func_get_automake_snippet "$module" > amsnippet.tmp
+      # Skip the contents if its entirely empty.
+      if grep '[^      ]' amsnippet.tmp > /dev/null ; then
+        echo "## begin gnulib module $module"
+        echo
+        cat amsnippet.tmp
+        echo "## end   gnulib module $module"
+        echo
+      fi
+      rm -f amsnippet.tmp
+    fi
+  done
+  echo "# Clean up after Solaris cc."
+  echo "clean-local:"
+  echo "       rm -rf SunWS_cache"
+  echo
+  echo "# Makefile.am ends here"
+}
+
 # func_import modules
 # Uses also the variables
 # - destdir         target directory
 # - libname         library name
 # - sourcebase      directory relative to destdir where to place source code
 # - m4base          directory relative to destdir where to place *.m4 macros
+# - auxdir          directory relative to destdir where to place build aux files
 # - avoidlist       list of modules to avoid, from --avoid
 # - lgpl            true if library's license shall be LGPL, blank otherwise
 # - libtool         true if libtool will be used, blank otherwise
@@ -646,7 +789,7 @@ func_import ()
     if test -z "$dry_run" && test -n "$lgpl" && test -n "$source"; then
       perl -pi -e 's/GNU General/GNU Lesser General/g;' \
                -e 's/version 2([ ,])/version 2.1\1/g' \
-               $destdir/$g
+               "$destdir/$g"
     fi
   done
 
@@ -665,18 +808,18 @@ func_import ()
   # Create lib/Makefile.am.
   echo "Creating $destdir/$sourcebase/Makefile.am..."
   if test -z "$dry_run"; then
-    func_emit_lib_Makefile_am > $destdir/$sourcebase/Makefile.am.new
+    func_emit_lib_Makefile_am > "$destdir"/$sourcebase/Makefile.am.new
   else
     func_emit_lib_Makefile_am
   fi
-  func_mv_if_changed $destdir/$sourcebase/Makefile.am.new \
-                     $destdir/$sourcebase/Makefile.am
+  func_mv_if_changed "$destdir"/$sourcebase/Makefile.am.new \
+                     "$destdir"/$sourcebase/Makefile.am
 
   # Create gnulib.m4.
   echo "Creating $destdir/$m4base/gnulib.m4..."
   (
     if test -z "$dry_run"; then
-      exec > $destdir/$m4base/gnulib.m4.new
+      exec > "$destdir"/$m4base/gnulib.m4.new
     else
       echo "# $destdir/$m4base/gnulib.m4"
     fi
@@ -692,6 +835,9 @@ func_import ()
     echo "# Invoked as: $cmd"
     echo "# Reproduce by: $actioncmd"
     echo
+    echo "# This macro should be invoked from $configure_ac, in the section"
+    echo "# \"Checks for programs\", right after AC_PROG_CC, and certainly before"
+    echo "# any checks for libraries, header files, types and library functions."
     echo "AC_DEFUN([gl_EARLY],"
     echo "["
     if grep AC_GNU_SOURCE "$destdir"/$m4base/*.m4 > /dev/null; then
@@ -702,6 +848,8 @@ func_import ()
     fi
     echo "])"
     echo
+    echo "# This macro should be invoked from $configure_ac, in the section"
+    echo "# \"Check for header files, types and library functions\"."
     echo "AC_DEFUN([gl_INIT],"
     echo "["
     for module in $modules; do
@@ -738,7 +886,7 @@ func_import ()
     echo
     echo "# gnulib.m4 ends here"
   )
-  func_mv_if_changed $destdir/$m4base/gnulib.m4.new $destdir/$m4base/gnulib.m4
+  func_mv_if_changed "$destdir"/$m4base/gnulib.m4.new "$destdir"/$m4base/gnulib.m4
   echo "Finished."
   echo
   echo "You may need to add #include directives for the following .h files."
@@ -746,12 +894,19 @@ func_import ()
     func_get_include_directive "$module"
   done | LC_ALL=C sort -u | sed -e '/^$/d;' -e 's/^/  /'
   echo
-  echo "Don't forget to add \"$sourcebase/Makefile\""
-  echo "to AC_CONFIG_FILES in \"$configure_ac\" and to mention"
-  echo "\"`basename $sourcebase`\" in SUBDIRS in some Makefile.am."
+  echo "Don't forget to"
+  echo "  - add \"$sourcebase/Makefile\" to AC_CONFIG_FILES in $configure_ac,"
+  sourcebase_dir=`echo "$sourcebase" | sed -n -e 's,/[^/]*$,/,p'`
+  sourcebase_base=`basename "$sourcebase"`
+  echo "  - mention \"${sourcebase_base}\" in SUBDIRS in ${sourcebase_dir}Makefile.am,"
+  echo "  - mention \"-I ${m4base}\" in ACLOCAL_AMFLAGS in Makefile.am,"
+  echo "  - invoke gl_EARLY in $configure_ac, right after AC_PROG_CC,"
+  echo "  - invoke gl_INIT in $configure_ac."
 }
 
 # func_create_testdir testdir modules
+# Input:
+# - auxdir          directory relative to destdir where to place build aux files
 func_create_testdir ()
 {
   testdir="$1"
@@ -809,6 +964,7 @@ func_create_testdir ()
   ) > "$testdir/m4/Makefile.am"
 
   subdirs="lib m4"
+  subdirs_with_configure_ac=""
 
   if test -f "$testdir"/m4/gettext.m4; then
     # Avoid stupid error message from automake:
@@ -819,6 +975,58 @@ func_create_testdir ()
     subdirs="$subdirs po"
   fi
 
+  if test -n "$inctests"; then
+    test -d "$testdir/tests" || mkdir "$testdir/tests"
+    # Create tests/Makefile.am.
+    sourcebase=lib
+    func_emit_tests_Makefile_am > "$testdir/tests/Makefile.am"
+    # Create tests/configure.ac.
+    (echo "# Process this file with autoconf to produce a configure script."
+     echo "AC_INIT([dummy], [0])"
+     echo "AC_CONFIG_AUX_DIR([../$auxdir])"
+     echo "AM_INIT_AUTOMAKE"
+     echo
+     echo "AM_CONFIG_HEADER([config.h])"
+     echo
+     echo "AC_PROG_CC"
+     echo "AC_PROG_INSTALL"
+     echo "AC_PROG_MAKE_SET"
+     echo "AC_PROG_RANLIB"
+     echo
+     if grep AC_GNU_SOURCE "$testdir"/m4/*.m4 > /dev/null; then
+       echo "AC_GNU_SOURCE"
+       echo
+     fi
+     if grep gl_USE_SYSTEM_EXTENSIONS "$testdir"/m4/*.m4 > /dev/null; then
+       echo "gl_USE_SYSTEM_EXTENSIONS"
+       echo
+     fi
+     # We don't have explicit ordering constraints between the various
+     # autoconf snippets. It's cleanest to put those of the library before
+     # those of the tests.
+     for module in $modules; do
+       func_verify_nontests_module
+       if test -n "$module"; then
+         func_get_autoconf_snippet "$module"
+       fi
+     done
+     for module in $modules; do
+       func_verify_tests_module
+       if test -n "$module"; then
+         func_get_autoconf_snippet "$module"
+       fi
+     done
+     echo
+     # Usually tests/config.h will be a superset of config.h. Verify this by
+     # "merging" config.h into tests/config.h; look out for gcc warnings.
+     echo "AH_TOP([#include \"../config.h\"])"
+     echo
+     echo "AC_OUTPUT([Makefile])"
+    ) > "$testdir/tests/configure.ac"
+    subdirs="$subdirs tests"
+    subdirs_with_configure_ac="$subdirs_with_configure_ac tests"
+  fi
+
   # Create Makefile.am.
   (echo "## Process this file with automake to produce Makefile.in."
    echo
@@ -832,6 +1040,9 @@ func_create_testdir ()
   # Create configure.ac.
   (echo "# Process this file with autoconf to produce a configure script."
    echo "AC_INIT([dummy], [0])"
+   if test "$auxdir" != "."; then
+     echo "AC_CONFIG_AUX_DIR([$auxdir])"
+   fi
    echo "AM_INIT_AUTOMAKE"
    echo
    echo "AM_CONFIG_HEADER([config.h])"
@@ -850,15 +1061,23 @@ func_create_testdir ()
      echo
    fi
    for module in $modules; do
-     func_verify_module
+     func_verify_nontests_module
      if test -n "$module"; then
        func_get_autoconf_snippet "$module"
      fi
    done
    echo
+   if test -n "$subdirs_with_configure_ac"; then
+     echo "AC_CONFIG_SUBDIRS(["`echo $subdirs_with_configure_ac`"])"
+   fi
    makefiles="Makefile"
    for d in $subdirs; do
-     makefiles="$makefiles $d/Makefile"
+     # For subdirs that have a configure.ac by their own, it's the subdir's
+     # configure.ac which creates the subdir's Makefile.am, not this one.
+     case " $subdirs_with_configure_ac " in
+       *" $d "*) ;;
+       *) makefiles="$makefiles $d/Makefile" ;;
+     esac
    done
    echo "AC_OUTPUT([$makefiles])"
   ) > "$testdir/configure.ac"
@@ -883,6 +1102,8 @@ func_create_testdir ()
 }
 
 # func_create_megatestdir megatestdir allmodules
+# Input:
+# - auxdir          directory relative to destdir where to place build aux files
 func_create_megatestdir ()
 {
   megatestdir="$1"
@@ -914,6 +1135,9 @@ func_create_megatestdir ()
   # Create configure.ac.
   (echo "# Process this file with autoconf to produce a configure script."
    echo "AC_INIT([dummy], [0])"
+   if test "$auxdir" != "."; then
+     echo "AC_CONFIG_AUX_DIR([$auxdir])"
+   fi
    echo "AM_INIT_AUTOMAKE"
    echo
    echo "AC_PROG_MAKE_SET"
@@ -924,8 +1148,8 @@ func_create_megatestdir ()
 
   # Create autogenerated files.
   (cd "$megatestdir"
-   echo "executing ${AUTORECONF} --force --install"
-   ${AUTORECONF} --force --install
+   echo "executing ${AUTORECONF} --install"
+   ${AUTORECONF} --install
   )
 }
 
@@ -946,8 +1170,8 @@ case $mode in
       || func_fatal_error "destination directory does not exist: $destdir"
 
     # Prefer configure.ac to configure.in
-    test -f $destdir/configure.in && configure_ac=$destdir/configure.in
-    test -f $destdir/configure.ac && configure_ac=$destdir/configure.ac
+    test -f "$destdir"/configure.in && configure_ac="$destdir/configure.in"
+    test -f "$destdir"/configure.ac && configure_ac="$destdir/configure.ac"
     test -f "$configure_ac" \
       || func_fatal_error "cannot find $destdir/configure.ac"
 
@@ -1016,7 +1240,7 @@ case $mode in
     fi
 
     # Which modules to avoid?
-    avoidlist="$avoidlist $ac_avoidlist"
+    avoidlist=`echo $avoidlist $ac_avoidlist`
 
     func_import "$modules"
     ;;
@@ -1028,6 +1252,7 @@ case $mode in
     mkdir "$destdir"
     test -d "$destdir" \
       || func_fatal_error "could not create destination directory"
+    test -n "$auxdir" || auxdir="build-aux"
     func_create_testdir "$destdir" "$*"
     ;;
 
@@ -1036,12 +1261,14 @@ case $mode in
       func_fatal_error "please specify --dir option"
     fi
     mkdir "$destdir" || func_fatal_error "could not create destination directory"
+    test -n "$auxdir" || auxdir="build-aux"
     func_create_megatestdir "$destdir" "$*"
     ;;
 
   test )
     test -n "$destdir" || destdir=testdir$$
     mkdir "$destdir" || func_fatal_error "could not create destination directory"
+    test -n "$auxdir" || auxdir="build-aux"
     func_create_testdir "$destdir" "$*"
     cd "$destdir"
       mkdir build
@@ -1064,6 +1291,7 @@ case $mode in
   megatest )
     test -n "$destdir" || destdir=testdir$$
     mkdir "$destdir" || func_fatal_error "could not create destination directory"
+    test -n "$auxdir" || auxdir="build-aux"
     func_create_megatestdir "$destdir" "$*"
     cd "$destdir"
       mkdir build
@@ -1163,6 +1391,16 @@ case $mode in
     done
     ;;
 
+  extract-tests-module )
+    for module
+    do
+      func_verify_module
+      if test -n "$module"; then
+        func_get_tests_module "$module"
+      fi
+    done
+    ;;
+
   * )
     func_fatal_error "unknown operation mode --$mode" ;;
 esac