Diff for /servers/slapd/overlays/syncprov.c between versions 1.296 and 1.320

version 1.296, 2009/11/14 20:53:06 version 1.320, 2010/12/12 17:12:05
Line 1 Line 1
 /* $OpenLDAP: pkg/ldap/servers/slapd/overlays/syncprov.c,v 1.295 2009/11/14 08:35:23 hyc Exp $ */  /* $OpenLDAP: pkg/ldap/servers/slapd/overlays/syncprov.c,v 1.319 2010/11/21 18:00:38 rein Exp $ */
 /* syncprov.c - syncrepl provider */  /* syncprov.c - syncrepl provider */
 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.  /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
  *   *
  * Copyright 2004-2009 The OpenLDAP Foundation.   * Copyright 2004-2010 The OpenLDAP Foundation.
  * All rights reserved.   * All rights reserved.
  *   *
  * Redistribution and use in source and binary forms, with or without   * Redistribution and use in source and binary forms, with or without
Line 48  typedef struct modtarget { Line 48  typedef struct modtarget {
 /* A queued result of a persistent search */  /* A queued result of a persistent search */
 typedef struct syncres {  typedef struct syncres {
         struct syncres *s_next;          struct syncres *s_next;
           Entry *s_e;
         struct berval s_dn;          struct berval s_dn;
         struct berval s_ndn;          struct berval s_ndn;
         struct berval s_uuid;          struct berval s_uuid;
Line 112  typedef struct slog_entry { Line 113  typedef struct slog_entry {
 } slog_entry;  } slog_entry;
   
 typedef struct sessionlog {  typedef struct sessionlog {
         struct berval   sl_mincsn;  
         int             sl_num;          int             sl_num;
         int             sl_size;          int             sl_size;
         slog_entry *sl_head;          slog_entry *sl_head;
Line 132  typedef struct syncprov_info_t { Line 132  typedef struct syncprov_info_t {
         int             si_numops;      /* number of ops since last checkpoint */          int             si_numops;      /* number of ops since last checkpoint */
         int             si_nopres;      /* Skip present phase */          int             si_nopres;      /* Skip present phase */
         int             si_usehint;     /* use reload hint */          int             si_usehint;     /* use reload hint */
           int             si_active;      /* True if there are active mods */
           int             si_dirty;       /* True if the context is dirty, i.e changes
                                                    * have been made without updating the csn. */
         time_t  si_chklast;     /* time of last checkpoint */          time_t  si_chklast;     /* time of last checkpoint */
         Avlnode *si_mods;       /* entries being modified */          Avlnode *si_mods;       /* entries being modified */
         sessionlog      *si_logs;          sessionlog      *si_logs;
Line 145  typedef struct opcookie { Line 148  typedef struct opcookie {
         slap_overinst *son;          slap_overinst *son;
         syncmatches *smatches;          syncmatches *smatches;
         modtarget *smt;          modtarget *smt;
           Entry *se;
         struct berval sdn;      /* DN of entry, for deletes */          struct berval sdn;      /* DN of entry, for deletes */
         struct berval sndn;          struct berval sndn;
         struct berval suuid;    /* UUID of entry */          struct berval suuid;    /* UUID of entry */
Line 154  typedef struct opcookie { Line 158  typedef struct opcookie {
         short sreference;       /* Is the entry a reference? */          short sreference;       /* Is the entry a reference? */
 } opcookie;  } opcookie;
   
   typedef struct mutexint {
           ldap_pvt_thread_mutex_t mi_mutex;
           int mi_int;
   } mutexint;
   
 typedef struct fbase_cookie {  typedef struct fbase_cookie {
         struct berval *fdn;     /* DN of a modified entry, for scope testing */          struct berval *fdn;     /* DN of a modified entry, for scope testing */
         syncops *fss;   /* persistent search we're testing against */          syncops *fss;   /* persistent search we're testing against */
Line 739  again: Line 748  again:
         return rc;          return rc;
 }  }
   
   /* Should find a place to cache these */
   static mutexint *get_mutexint()
   {
           mutexint *mi = ch_malloc( sizeof( mutexint ));
           ldap_pvt_thread_mutex_init( &mi->mi_mutex );
           mi->mi_int = 1;
           return mi;
   }
   
   static void inc_mutexint( mutexint *mi )
   {
           ldap_pvt_thread_mutex_lock( &mi->mi_mutex );
           mi->mi_int++;
           ldap_pvt_thread_mutex_unlock( &mi->mi_mutex );
   }
   
   /* return resulting counter */
   static int dec_mutexint( mutexint *mi )
   {
           int i;
           ldap_pvt_thread_mutex_lock( &mi->mi_mutex );
           i = --mi->mi_int;
           ldap_pvt_thread_mutex_unlock( &mi->mi_mutex );
           if ( !i ) {
                   ldap_pvt_thread_mutex_destroy( &mi->mi_mutex );
                   ch_free( mi );
           }
           return i;
   }
   
 static void  static void
 syncprov_free_syncop( syncops *so )  syncprov_free_syncop( syncops *so )
 {  {
Line 746  syncprov_free_syncop( syncops *so ) Line 785  syncprov_free_syncop( syncops *so )
         GroupAssertion *ga, *gnext;          GroupAssertion *ga, *gnext;
   
         ldap_pvt_thread_mutex_lock( &so->s_mutex );          ldap_pvt_thread_mutex_lock( &so->s_mutex );
         if ( --so->s_inuse > 0 ) {          /* already being freed, or still in use */
           if ( !so->s_inuse || --so->s_inuse > 0 ) {
                 ldap_pvt_thread_mutex_unlock( &so->s_mutex );                  ldap_pvt_thread_mutex_unlock( &so->s_mutex );
                 return;                  return;
         }          }
Line 762  syncprov_free_syncop( syncops *so ) Line 802  syncprov_free_syncop( syncops *so )
         ch_free( so->s_base.bv_val );          ch_free( so->s_base.bv_val );
         for ( sr=so->s_res; sr; sr=srnext ) {          for ( sr=so->s_res; sr; sr=srnext ) {
                 srnext = sr->s_next;                  srnext = sr->s_next;
                   if ( sr->s_e ) {
                           if ( !dec_mutexint( sr->s_e->e_private )) {
                                   sr->s_e->e_private = NULL;
                                   entry_free( sr->s_e );
                           }
                   }
                 ch_free( sr );                  ch_free( sr );
         }          }
         ldap_pvt_thread_mutex_destroy( &so->s_mutex );          ldap_pvt_thread_mutex_destroy( &so->s_mutex );
Line 770  syncprov_free_syncop( syncops *so ) Line 816  syncprov_free_syncop( syncops *so )
   
 /* Send a persistent search response */  /* Send a persistent search response */
 static int  static int
 syncprov_sendresp( Operation *op, opcookie *opc, syncops *so,  syncprov_sendresp( Operation *op, opcookie *opc, syncops *so, int mode )
         Entry **e, int mode )  
 {  {
         slap_overinst *on = opc->son;          slap_overinst *on = opc->son;
   
Line 792  syncprov_sendresp( Operation *op, opcook Line 837  syncprov_sendresp( Operation *op, opcook
         }          }
   
 #ifdef LDAP_DEBUG  #ifdef LDAP_DEBUG
         if ( !BER_BVISNULL( &cookie )) {          if ( so->s_sid > 0 ) {
                 if ( so->s_sid > 0 ) {                  Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: to=%03x, cookie=%s\n",
                         Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: to=%03x, cookie=%s\n",                          so->s_sid, cookie.bv_val ? cookie.bv_val : "", 0 );
                                 so->s_sid, cookie.bv_val , 0 );          } else {
                 } else {                  Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: cookie=%s\n",
                         Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: cookie=%s\n",                          cookie.bv_val ? cookie.bv_val : "", 0, 0 );
                                 cookie.bv_val, 0, 0 );          }
                 }  
         }                 
 #endif  #endif
   
         e_uuid.e_attrs = &a_uuid;          e_uuid.e_attrs = &a_uuid;
Line 813  syncprov_sendresp( Operation *op, opcook Line 856  syncprov_sendresp( Operation *op, opcook
         }          }
   
         rs.sr_ctrls = ctrls;          rs.sr_ctrls = ctrls;
         op->o_bd->bd_info = (BackendInfo *)on->on_info;          rs.sr_entry = &e_uuid;
           if ( mode == LDAP_SYNC_ADD || mode == LDAP_SYNC_MODIFY ) {
                   e_uuid = *opc->se;
                   e_uuid.e_private = NULL;
           }
   
         switch( mode ) {          switch( mode ) {
         case LDAP_SYNC_ADD:          case LDAP_SYNC_ADD:
                 rs.sr_entry = *e;  
                 if ( rs.sr_entry->e_private )  
                         rs.sr_flags = REP_ENTRY_MUSTRELEASE;  
                 if ( opc->sreference && so->s_op->o_managedsait <= SLAP_CONTROL_IGNORED ) {                  if ( opc->sreference && so->s_op->o_managedsait <= SLAP_CONTROL_IGNORED ) {
                         rs.sr_ref = get_entry_referrals( op, rs.sr_entry );                          rs.sr_ref = get_entry_referrals( op, rs.sr_entry );
                         rs.sr_err = send_search_reference( op, &rs );                          rs.sr_err = send_search_reference( op, &rs );
                         ber_bvarray_free( rs.sr_ref );                          ber_bvarray_free( rs.sr_ref );
                         if ( !rs.sr_entry )  
                                 *e = NULL;  
                         break;                          break;
                 }                  }
                 /* fallthru */                  /* fallthru */
         case LDAP_SYNC_MODIFY:          case LDAP_SYNC_MODIFY:
                 rs.sr_entry = *e;  
                 if ( rs.sr_entry->e_private )  
                         rs.sr_flags = REP_ENTRY_MUSTRELEASE;  
                 rs.sr_attrs = op->ors_attrs;                  rs.sr_attrs = op->ors_attrs;
                 rs.sr_err = send_search_entry( op, &rs );                  rs.sr_err = send_search_entry( op, &rs );
                 if ( !rs.sr_entry )  
                         *e = NULL;  
                 break;                  break;
         case LDAP_SYNC_DELETE:          case LDAP_SYNC_DELETE:
                 e_uuid.e_attrs = NULL;                  e_uuid.e_attrs = NULL;
                 e_uuid.e_name = opc->sdn;                  e_uuid.e_name = opc->sdn;
                 e_uuid.e_nname = opc->sndn;                  e_uuid.e_nname = opc->sndn;
                 rs.sr_entry = &e_uuid;  
                 if ( opc->sreference && so->s_op->o_managedsait <= SLAP_CONTROL_IGNORED ) {                  if ( opc->sreference && so->s_op->o_managedsait <= SLAP_CONTROL_IGNORED ) {
                         struct berval bv = BER_BVNULL;                          struct berval bv = BER_BVNULL;
                         rs.sr_ref = &bv;                          rs.sr_ref = &bv;
Line 897  syncprov_qplay( Operation *op, syncops * Line 934  syncprov_qplay( Operation *op, syncops *
                 ldap_pvt_thread_mutex_unlock( &so->s_mutex );                  ldap_pvt_thread_mutex_unlock( &so->s_mutex );
   
                 if ( sr->s_mode == LDAP_SYNC_NEW_COOKIE ) {                  if ( sr->s_mode == LDAP_SYNC_NEW_COOKIE ) {
                     SlapReply rs = { REP_INTERMEDIATE };                          SlapReply rs = { REP_INTERMEDIATE };
   
                     rc = syncprov_sendinfo( op, &rs, LDAP_TAG_SYNC_NEW_COOKIE,                          rc = syncprov_sendinfo( op, &rs, LDAP_TAG_SYNC_NEW_COOKIE,
                                 &sr->s_csn, 0, NULL, 0 );                                  &sr->s_csn, 0, NULL, 0 );
                 } else {                  } else {
                         opc.sdn = sr->s_dn;                          opc.sdn = sr->s_dn;
Line 907  syncprov_qplay( Operation *op, syncops * Line 944  syncprov_qplay( Operation *op, syncops *
                         opc.suuid = sr->s_uuid;                          opc.suuid = sr->s_uuid;
                         opc.sctxcsn = sr->s_csn;                          opc.sctxcsn = sr->s_csn;
                         opc.sreference = sr->s_isreference;                          opc.sreference = sr->s_isreference;
                         e = NULL;                          opc.se = sr->s_e;
   
                         if ( sr->s_mode != LDAP_SYNC_DELETE ) {                          rc = syncprov_sendresp( op, &opc, so, sr->s_mode );
                                 rc = overlay_entry_get_ov( op, &opc.sndn, NULL, NULL, 0, &e, on );  
                                 if ( rc ) {  
                                         Debug( LDAP_DEBUG_SYNC, "syncprov_qplay: failed to get %s, "  
                                                 "error (%d), ignoring...\n", opc.sndn.bv_val, rc, 0 );  
                                         ch_free( sr );  
                                         rc = 0;  
                                         continue;  
                                 }  
                         }  
                         rc = syncprov_sendresp( op, &opc, so, &e, sr->s_mode );  
   
                         if ( e ) {                  }
                                 overlay_entry_release_ov( op, e, 0, on );                  if ( sr->s_e ) {
                           if ( !dec_mutexint( sr->s_e->e_private )) {
                                   sr->s_e->e_private = NULL;
                                   entry_free ( sr->s_e );
                         }                          }
                 }                  }
   
Line 1016  syncprov_qresp( opcookie *opc, syncops * Line 1046  syncprov_qresp( opcookie *opc, syncops *
                 srsize += cookie.bv_len + 1;                  srsize += cookie.bv_len + 1;
         sr = ch_malloc( srsize );          sr = ch_malloc( srsize );
         sr->s_next = NULL;          sr->s_next = NULL;
           sr->s_e = opc->se;
           /* bump refcount on this entry */
           if ( opc->se )
                   inc_mutexint( opc->se->e_private );
         sr->s_dn.bv_val = (char *)(sr + 1);          sr->s_dn.bv_val = (char *)(sr + 1);
         sr->s_dn.bv_len = opc->sdn.bv_len;          sr->s_dn.bv_len = opc->sdn.bv_len;
         sr->s_mode = mode;          sr->s_mode = mode;
Line 1159  syncprov_matchops( Operation *op, opcook Line 1193  syncprov_matchops( Operation *op, opcook
                 rc = overlay_entry_get_ov( op, fc.fdn, NULL, NULL, 0, &e, on );                  rc = overlay_entry_get_ov( op, fc.fdn, NULL, NULL, 0, &e, on );
                 /* If we're sending responses now, make a copy and unlock the DB */                  /* If we're sending responses now, make a copy and unlock the DB */
                 if ( e && !saveit ) {                  if ( e && !saveit ) {
                         Entry *e2 = entry_dup( e );                          if ( !opc->se ) {
                                   opc->se = entry_dup( e );
                                   opc->se->e_private = get_mutexint();
                           }
                         overlay_entry_release_ov( op, e, 0, on );                          overlay_entry_release_ov( op, e, 0, on );
                         e = e2;                          e = opc->se;
                 }                  }
                 if ( rc ) {                  if ( rc ) {
                         op->o_bd = b0;                          op->o_bd = b0;
Line 1169  syncprov_matchops( Operation *op, opcook Line 1206  syncprov_matchops( Operation *op, opcook
                 }                  }
         } else {          } else {
                 e = op->ora_e;                  e = op->ora_e;
                   if ( !saveit ) {
                           if ( !opc->se ) {
                                   opc->se = entry_dup( e );
                                   opc->se->e_private = get_mutexint();
                           }
                           e = opc->se;
                   }
         }          }
   
         if ( saveit || op->o_tag == LDAP_REQ_ADD ) {          if ( saveit || op->o_tag == LDAP_REQ_ADD ) {
Line 1198  syncprov_matchops( Operation *op, opcook Line 1242  syncprov_matchops( Operation *op, opcook
                 if ( ss->s_op->o_abandon )                  if ( ss->s_op->o_abandon )
                         continue;                          continue;
   
                 /* First time thru, check for possible skips */                  /* Don't send ops back to the originator */
                 if ( saveit || op->o_tag == LDAP_REQ_ADD ) {                  if ( opc->osid > 0 && opc->osid == ss->s_sid ) {
                           Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping original sid %03x\n",
                         /* Don't send ops back to the originator */                                  opc->osid, 0, 0 );
                         if ( opc->osid > 0 && opc->osid == ss->s_sid ) {                          continue;
                                 Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping original sid %03x\n",                  }
                                         opc->osid, 0, 0 );  
                                 continue;  
                         }  
   
                         /* Don't send ops back to the messenger */                  /* Don't send ops back to the messenger */
                         if ( opc->rsid > 0 && opc->rsid == ss->s_sid ) {                  if ( opc->rsid > 0 && opc->rsid == ss->s_sid ) {
                                 Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping relayed sid %03x\n",                          Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping relayed sid %03x\n",
                                         opc->rsid, 0, 0 );                                  opc->rsid, 0, 0 );
                                 continue;                          continue;
                         }  
                 }                  }
   
                 /* validate base */                  /* validate base */
Line 1233  syncprov_matchops( Operation *op, opcook Line 1273  syncprov_matchops( Operation *op, opcook
                         continue;                          continue;
                 }                  }
   
   
                 /* If we're sending results now, look for this op in old matches */                  /* If we're sending results now, look for this op in old matches */
                 if ( !saveit ) {                  if ( !saveit ) {
                         syncmatches *old;                          syncmatches *old;
Line 1257  syncprov_matchops( Operation *op, opcook Line 1296  syncprov_matchops( Operation *op, opcook
                 }                  }
   
                 if ( fc.fscope ) {                  if ( fc.fscope ) {
                           ldap_pvt_thread_mutex_lock( &ss->s_mutex );
                         op2 = *ss->s_op;                          op2 = *ss->s_op;
                         oh = *op->o_hdr;                          oh = *op->o_hdr;
                         oh.oh_conn = ss->s_op->o_conn;                          oh.oh_conn = ss->s_op->o_conn;
Line 1265  syncprov_matchops( Operation *op, opcook Line 1305  syncprov_matchops( Operation *op, opcook
                         op2.o_hdr = &oh;                          op2.o_hdr = &oh;
                         op2.o_extra = op->o_extra;                          op2.o_extra = op->o_extra;
                         op2.o_callback = NULL;                          op2.o_callback = NULL;
                         rc = test_filter( &op2, e, ss->s_op->ors_filter );                          if (ss->s_flags & PS_FIX_FILTER) {
                                   /* Skip the AND/GE clause that we stuck on in front. We
                                      would lose deletes/mods that happen during the refresh
                                      phase otherwise (ITS#6555) */
                                   op2.ors_filter = ss->s_op->ors_filter->f_and->f_next;
                           }
                           ldap_pvt_thread_mutex_unlock( &ss->s_mutex );
                           rc = test_filter( &op2, e, op2.ors_filter );
                 }                  }
   
                 Debug( LDAP_DEBUG_TRACE, "syncprov_matchops: sid %03x fscope %d rc %d\n",                  Debug( LDAP_DEBUG_TRACE, "syncprov_matchops: sid %03x fscope %d rc %d\n",
Line 1305  syncprov_matchops( Operation *op, opcook Line 1352  syncprov_matchops( Operation *op, opcook
                 if ( !SLAP_ISOVERLAY( op->o_bd )) {                  if ( !SLAP_ISOVERLAY( op->o_bd )) {
                         op->o_bd = &db;                          op->o_bd = &db;
                 }                  }
                 overlay_entry_release_ov( op, e, 0, on );                  if ( saveit )
                           overlay_entry_release_ov( op, e, 0, on );
                 op->o_bd = b0;                  op->o_bd = b0;
         }          }
           if ( opc->se && !saveit ) {
                   if ( !dec_mutexint( opc->se->e_private )) {
                           opc->se->e_private = NULL;
                           entry_free( opc->se );
                           opc->se = NULL;
                   }
           }
         if ( freefdn ) {          if ( freefdn ) {
                 op->o_tmpfree( fc.fdn->bv_val, op->o_tmpmemctx );                  op->o_tmpfree( fc.fdn->bv_val, op->o_tmpmemctx );
         }          }
Line 1324  syncprov_op_cleanup( Operation *op, Slap Line 1379  syncprov_op_cleanup( Operation *op, Slap
         syncmatches *sm, *snext;          syncmatches *sm, *snext;
         modtarget *mt, mtdummy;          modtarget *mt, mtdummy;
   
           ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
           if ( si->si_active )
                   si->si_active--;
           ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
   
         for (sm = opc->smatches; sm; sm=snext) {          for (sm = opc->smatches; sm; sm=snext) {
                 snext = sm->sm_next;                  snext = sm->sm_next;
                 syncprov_free_syncop( sm->sm_op );                  syncprov_free_syncop( sm->sm_op );
Line 1369  syncprov_checkpoint( Operation *op, Slap Line 1429  syncprov_checkpoint( Operation *op, Slap
         SlapReply rsm = { 0 };          SlapReply rsm = { 0 };
         slap_callback cb = {0};          slap_callback cb = {0};
         BackendDB be;          BackendDB be;
           BackendInfo *bi;
   
 #ifdef CHECK_CSN  #ifdef CHECK_CSN
         Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;          Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;
Line 1398  syncprov_checkpoint( Operation *op, Slap Line 1459  syncprov_checkpoint( Operation *op, Slap
         }          }
         opm.o_req_dn = si->si_contextdn;          opm.o_req_dn = si->si_contextdn;
         opm.o_req_ndn = si->si_contextdn;          opm.o_req_ndn = si->si_contextdn;
           bi = opm.o_bd->bd_info;
         opm.o_bd->bd_info = on->on_info->oi_orig;          opm.o_bd->bd_info = on->on_info->oi_orig;
         opm.o_managedsait = SLAP_CONTROL_NONCRITICAL;          opm.o_managedsait = SLAP_CONTROL_NONCRITICAL;
         opm.o_no_schema_check = 1;          opm.o_no_schema_check = 1;
Line 1415  syncprov_checkpoint( Operation *op, Slap Line 1477  syncprov_checkpoint( Operation *op, Slap
                 if ( e == opm.ora_e )                  if ( e == opm.ora_e )
                         be_entry_release_w( &opm, opm.ora_e );                          be_entry_release_w( &opm, opm.ora_e );
         }          }
           opm.o_bd->bd_info = bi;
   
         if ( mod.sml_next != NULL ) {          if ( mod.sml_next != NULL ) {
                 slap_mods_free( mod.sml_next, 1 );                  slap_mods_free( mod.sml_next, 1 );
Line 1437  syncprov_add_slog( Operation *op ) Line 1500  syncprov_add_slog( Operation *op )
   
         sl = si->si_logs;          sl = si->si_logs;
         {          {
                   if ( BER_BVISEMPTY( &op->o_csn ) ) {
                           /* During the syncrepl refresh phase we can receive operations
                            * without a csn.  We cannot reliably determine the consumers
                            * state with respect to such operations, so we ignore them and
                            * wipe out anything in the log if we see them.
                            */
                           ldap_pvt_thread_mutex_lock( &sl->sl_mutex );
                           while ( se = sl->sl_head ) {
                                   sl->sl_head = se->se_next;
                                   ch_free( se );
                           }
                           sl->sl_tail = NULL;
                           sl->sl_num = 0;
                           ldap_pvt_thread_mutex_unlock( &sl->sl_mutex );
                           return;
                   }
   
                 /* Allocate a record. UUIDs are not NUL-terminated. */                  /* Allocate a record. UUIDs are not NUL-terminated. */
                 se = ch_malloc( sizeof( slog_entry ) + opc->suuid.bv_len +                   se = ch_malloc( sizeof( slog_entry ) + opc->suuid.bv_len + 
                         op->o_csn.bv_len + 1 );                          op->o_csn.bv_len + 1 );
Line 1455  syncprov_add_slog( Operation *op ) Line 1535  syncprov_add_slog( Operation *op )
   
                 ldap_pvt_thread_mutex_lock( &sl->sl_mutex );                  ldap_pvt_thread_mutex_lock( &sl->sl_mutex );
                 if ( sl->sl_head ) {                  if ( sl->sl_head ) {
                         sl->sl_tail->se_next = se;                          /* Keep the list in csn order. */
                           if ( ber_bvcmp( &sl->sl_tail->se_csn, &se->se_csn ) <= 0 ) {
                                   sl->sl_tail->se_next = se;
                                   sl->sl_tail = se;
                           } else {
                                   slog_entry **sep;
   
                                   for ( sep = &sl->sl_head; *sep; sep = &(*sep)->se_next ) {
                                           if ( ber_bvcmp( &se->se_csn, &(*sep)->se_csn ) < 0 ) {
                                                   se->se_next = *sep;
                                                   *sep = se;
                                                   break;
                                           }
                                   }
                           }
                 } else {                  } else {
                         sl->sl_head = se;                          sl->sl_head = se;
                           sl->sl_tail = se;
                 }                  }
                 sl->sl_tail = se;  
                 sl->sl_num++;                  sl->sl_num++;
                 while ( sl->sl_num > sl->sl_size ) {                  while ( sl->sl_num > sl->sl_size ) {
                         se = sl->sl_head;                          se = sl->sl_head;
                         sl->sl_head = se->se_next;                          sl->sl_head = se->se_next;
                         strcpy( sl->sl_mincsn.bv_val, se->se_csn.bv_val );  
                         sl->sl_mincsn.bv_len = se->se_csn.bv_len;  
                         ch_free( se );                          ch_free( se );
                         sl->sl_num--;                          sl->sl_num--;
                 }                  }
Line 1677  syncprov_op_response( Operation *op, Sla Line 1769  syncprov_op_response( Operation *op, Sla
                 maxcsn.bv_len = sizeof(cbuf);                  maxcsn.bv_len = sizeof(cbuf);
                 ldap_pvt_thread_rdwr_wlock( &si->si_csn_rwlock );                  ldap_pvt_thread_rdwr_wlock( &si->si_csn_rwlock );
   
                 if ( op->o_dont_replicate && op->o_tag == LDAP_REQ_MODIFY &&  
                                 op->orm_modlist->sml_op == LDAP_MOD_REPLACE &&  
                                 op->orm_modlist->sml_desc == slap_schema.si_ad_contextCSN ) {  
                         /* Catch contextCSN updates from syncrepl. We have to look at  
                          * all the attribute values, as there may be more than one csn  
                          * that changed, and only one can be passed in the csn queue.  
                          */  
                         Modifications *mod = op->orm_modlist;  
                         int i, j, sid;  
   
                         for ( i=0; i<mod->sml_numvals; i++ ) {  
                                 sid = slap_parse_csn_sid( &mod->sml_values[i] );  
   
                                 for ( j=0; j<si->si_numcsns; j++ ) {  
                                         if ( sid == si->si_sids[j] ) {  
                                                 if ( ber_bvcmp( &mod->sml_values[i], &si->si_ctxcsn[j] ) > 0 ) {  
                                                         ber_bvreplace( &si->si_ctxcsn[j], &mod->sml_values[i] );  
                                                         csn_changed = 1;  
                                                 }  
                                                 break;  
                                         }  
                                 }  
   
                                 if ( j == si->si_numcsns ) {  
                                         value_add_one( &si->si_ctxcsn, &mod->sml_values[i] );  
                                         si->si_numcsns++;  
                                         si->si_sids = ch_realloc( si->si_sids, si->si_numcsns *  
                                                 sizeof(int));  
                                         si->si_sids[j] = sid;  
                                         csn_changed = 1;  
                                 }  
                         }  
                         ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );  
   
                         if ( csn_changed ) {  
                                 ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );  
                                 have_psearches = ( si->si_ops != NULL );  
                                 ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );  
   
                                 if ( have_psearches ) {  
                                         for ( sm = opc->smatches; sm; sm=sm->sm_next ) {  
                                                 if ( sm->sm_op->s_op->o_abandon )  
                                                         continue;  
                                                 syncprov_qresp( opc, sm->sm_op, LDAP_SYNC_NEW_COOKIE );  
                                         }  
                                 }  
                         }  
                         goto leave;  
                 }  
   
                 slap_get_commit_csn( op, &maxcsn, &foundit );                  slap_get_commit_csn( op, &maxcsn, &foundit );
                 if ( BER_BVISEMPTY( &maxcsn ) && SLAP_GLUE_SUBORDINATE( op->o_bd )) {                  if ( BER_BVISEMPTY( &maxcsn ) && SLAP_GLUE_SUBORDINATE( op->o_bd )) {
                         /* syncrepl queues the CSN values in the db where                          /* syncrepl queues the CSN values in the db where
Line 1766  syncprov_op_response( Operation *op, Sla Line 1808  syncprov_op_response( Operation *op, Sla
                                         sizeof(int));                                          sizeof(int));
                                 si->si_sids[i] = sid;                                  si->si_sids[i] = sid;
                         }                          }
 #if 0  
                 } else if ( !foundit ) {  
                         /* internal ops that aren't meant to be replicated */  
                         ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );  
                         return SLAP_CB_CONTINUE;  
 #endif  
                 }                  }
   
                 /* Don't do any processing for consumer contextCSN updates */                  /* Don't do any processing for consumer contextCSN updates */
                 if ( op->o_dont_replicate ) {                  if ( op->o_dont_replicate ) {
                           if ( op->o_tag == LDAP_REQ_MODIFY &&
                                   op->orm_modlist->sml_op == LDAP_MOD_REPLACE &&
                                   op->orm_modlist->sml_desc == slap_schema.si_ad_contextCSN ) {
                           /* Catch contextCSN updates from syncrepl. We have to look at
                            * all the attribute values, as there may be more than one csn
                            * that changed, and only one can be passed in the csn queue.
                            */
                           Modifications *mod = op->orm_modlist;
                           int i, j, sid;
   
                           for ( i=0; i<mod->sml_numvals; i++ ) {
                                   sid = slap_parse_csn_sid( &mod->sml_values[i] );
                                   for ( j=0; j<si->si_numcsns; j++ ) {
                                           if ( sid == si->si_sids[j] ) {
                                                   if ( ber_bvcmp( &mod->sml_values[i], &si->si_ctxcsn[j] ) > 0 ) {
                                                           ber_bvreplace( &si->si_ctxcsn[j], &mod->sml_values[i] );
                                                           csn_changed = 1;
                                                   }
                                                   break;
                                           }
                                   }
   
                                   if ( j == si->si_numcsns ) {
                                           value_add_one( &si->si_ctxcsn, &mod->sml_values[i] );
                                           si->si_numcsns++;
                                           si->si_sids = ch_realloc( si->si_sids, si->si_numcsns *
                                                   sizeof(int));
                                           si->si_sids[j] = sid;
                                           csn_changed = 1;
                                   }
                           }
                           if ( csn_changed )
                                   si->si_dirty = 0;
                           ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
   
                           if ( csn_changed ) {
                                   syncops *ss;
                                   ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
                                   for ( ss = si->si_ops; ss; ss = ss->s_next ) {
                                           if ( ss->s_op->o_abandon )
                                                   continue;
                                           /* Send the updated csn to all syncrepl consumers,
                                            * including the server from which it originated.
                                            * The syncrepl consumer and syncprov provider on
                                            * the originating server may be configured to store
                                            * their csn values in different entries.
                                            */
                                           syncprov_qresp( opc, ss, LDAP_SYNC_NEW_COOKIE );
                                   }
                                   ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
                           }
                           } else {
                         ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );                          ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
                           }
                         goto leave;                          goto leave;
                 }                  }
   
Line 1802  syncprov_op_response( Operation *op, Sla Line 1891  syncprov_op_response( Operation *op, Sla
                                 }                                  }
                         }                          }
                 }                  }
                   si->si_dirty = !csn_changed;
                 ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );                  ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
   
                 if ( do_check ) {                  if ( do_check ) {
Line 1929  syncprov_op_mod( Operation *op, SlapRepl Line 2019  syncprov_op_mod( Operation *op, SlapRepl
   
         ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );          ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
         have_psearches = ( si->si_ops != NULL );          have_psearches = ( si->si_ops != NULL );
           si->si_active++;
         ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );          ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
   
         cbsize = sizeof(slap_callback) + sizeof(opcookie) +          cbsize = sizeof(slap_callback) + sizeof(opcookie) +
Line 2319  syncprov_op_search( Operation *op, SlapR Line 2410  syncprov_op_search( Operation *op, SlapR
         BerVarray ctxcsn;          BerVarray ctxcsn;
         int i, *sids, numcsns;          int i, *sids, numcsns;
         struct berval mincsn;          struct berval mincsn;
           int dirty = 0;
   
         if ( !(op->o_sync_mode & SLAP_SYNC_REFRESH) ) return SLAP_CB_CONTINUE;          if ( !(op->o_sync_mode & SLAP_SYNC_REFRESH) ) return SLAP_CB_CONTINUE;
   
Line 2363  syncprov_op_search( Operation *op, SlapR Line 2455  syncprov_op_search( Operation *op, SlapR
                 sop->s_inuse = 1;                  sop->s_inuse = 1;
   
                 ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );                  ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
                   while ( si->si_active ) {
                           /* Wait for active mods to finish before proceeding, as they
                            * may already have inspected the si_ops list looking for
                            * consumers to replicate the change to.  Using the log
                            * doesn't help, as we may finish playing it before the
                            * active mods gets added to it.
                            */
                           ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
                           if ( slapd_shutdown )
                                   return SLAPD_ABANDON;
                           if ( !ldap_pvt_thread_pool_pausecheck( &connection_pool ))
                                   ldap_pvt_thread_yield();
                           ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
                   }
                 sop->s_next = si->si_ops;                  sop->s_next = si->si_ops;
                 si->si_ops = sop;                  si->si_ops = sop;
                 ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );                  ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
Line 2380  syncprov_op_search( Operation *op, SlapR Line 2486  syncprov_op_search( Operation *op, SlapR
                 ctxcsn = NULL;                  ctxcsn = NULL;
                 sids = NULL;                  sids = NULL;
         }          }
           dirty = si->si_dirty;
         ldap_pvt_thread_rdwr_runlock( &si->si_csn_rwlock );          ldap_pvt_thread_rdwr_runlock( &si->si_csn_rwlock );
                   
         /* If we have a cookie, handle the PRESENT lookups */          /* If we have a cookie, handle the PRESENT lookups */
Line 2436  syncprov_op_search( Operation *op, SlapR Line 2543  syncprov_op_search( Operation *op, SlapR
                                         if ( newer < 0 )                                          if ( newer < 0 )
                                                 changed = SS_CHANGED;                                                  changed = SS_CHANGED;
                                         else if ( newer > 0 ) {                                          else if ( newer > 0 ) {
                                         /* our state is older, tell consumer nothing */                                          /* our state is older, complain to consumer */
                                                   rs->sr_err = LDAP_UNWILLING_TO_PERFORM;
                                                   rs->sr_text = "consumer state is newer than provider!";
   bailout:
                                                 if ( sop ) {                                                  if ( sop ) {
                                                         syncops **sp = &si->si_ops;                                                          syncops **sp = &si->si_ops;
                                                                                                                   
Line 2447  syncprov_op_search( Operation *op, SlapR Line 2557  syncprov_op_search( Operation *op, SlapR
                                                         ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );                                                          ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
                                                         ch_free( sop );                                                          ch_free( sop );
                                                 }                                                  }
                                                 rs->sr_err = LDAP_SUCCESS;  
                                                 rs->sr_ctrls = NULL;                                                  rs->sr_ctrls = NULL;
                                                 send_ldap_result( op, rs );                                                  send_ldap_result( op, rs );
                                                 return rs->sr_err;                                                  return rs->sr_err;
Line 2457  syncprov_op_search( Operation *op, SlapR Line 2566  syncprov_op_search( Operation *op, SlapR
                                 if ( changed )                                  if ( changed )
                                         break;                                          break;
                         }                          }
                         if ( !changed ) {                          if ( !changed && !dirty ) {
                                 do_present = 0;                                  do_present = 0;
 no_change:              if ( !(op->o_sync_mode & SLAP_SYNC_PERSIST) ) {  no_change:              if ( !(op->o_sync_mode & SLAP_SYNC_PERSIST) ) {
                                         LDAPControl     *ctrls[2];                                          LDAPControl     *ctrls[2];
Line 2485  no_change:  if ( !(op->o_sync_mode & SLA Line 2594  no_change:  if ( !(op->o_sync_mode & SLA
                         /* Are there any log entries, and is the consumer state                          /* Are there any log entries, and is the consumer state
                          * present in the session log?                           * present in the session log?
                          */                           */
                         if ( sl->sl_num > 0 && ber_bvcmp( &mincsn, &sl->sl_mincsn ) >= 0 ) {                          if ( sl->sl_num > 0 && ber_bvcmp( &mincsn, &sl->sl_head->se_csn ) >= 0 ) {
                                 do_present = 0;                                  do_present = 0;
                                 /* mutex is unlocked in playlog */                                  /* mutex is unlocked in playlog */
                                 syncprov_playlog( op, rs, sl, srs, ctxcsn, numcsns, sids );                                  syncprov_playlog( op, rs, sl, srs, ctxcsn, numcsns, sids );
Line 2502  no_change:  if ( !(op->o_sync_mode & SLA Line 2611  no_change:  if ( !(op->o_sync_mode & SLA
                                         ber_bvarray_free_x( ctxcsn, op->o_tmpmemctx );                                          ber_bvarray_free_x( ctxcsn, op->o_tmpmemctx );
                                 if ( sids )                                  if ( sids )
                                         op->o_tmpfree( sids, op->o_tmpmemctx );                                          op->o_tmpfree( sids, op->o_tmpmemctx );
                                 send_ldap_error( op, rs, LDAP_SYNC_REFRESH_REQUIRED, "sync cookie is stale" );                                  rs->sr_err = LDAP_SYNC_REFRESH_REQUIRED;
                                 return rs->sr_err;                                  rs->sr_text = "sync cookie is stale";
                                   goto bailout;
                         }                          }
                         if ( srs->sr_state.ctxcsn ) {                          if ( srs->sr_state.ctxcsn ) {
                                 ber_bvarray_free_x( srs->sr_state.ctxcsn, op->o_tmpmemctx );                                  ber_bvarray_free_x( srs->sr_state.ctxcsn, op->o_tmpmemctx );
Line 2523  no_change:  if ( !(op->o_sync_mode & SLA Line 2633  no_change:  if ( !(op->o_sync_mode & SLA
                                         ber_bvarray_free_x( ctxcsn, op->o_tmpmemctx );                                          ber_bvarray_free_x( ctxcsn, op->o_tmpmemctx );
                                 if ( sids )                                  if ( sids )
                                         op->o_tmpfree( sids, op->o_tmpmemctx );                                          op->o_tmpfree( sids, op->o_tmpmemctx );
                                 send_ldap_result( op, rs );                                  goto bailout;
                                 return rs->sr_err;  
                         }                          }
                 }                  }
         } else {          } else {
Line 2541  shortcut: Line 2650  shortcut:
         }          }
   
         /* If something changed, find the changes */          /* If something changed, find the changes */
         if ( gotstate && changed ) {          if ( gotstate && ( changed || dirty ) ) {
                 Filter *fand, *fava;                  Filter *fand, *fava;
   
                 fand = op->o_tmpalloc( sizeof(Filter), op->o_tmpmemctx );                  fand = op->o_tmpalloc( sizeof(Filter), op->o_tmpmemctx );
Line 2557  shortcut: Line 2666  shortcut:
 #endif  #endif
                 ber_dupbv_x( &fava->f_ava->aa_value, &mincsn, op->o_tmpmemctx );                  ber_dupbv_x( &fava->f_ava->aa_value, &mincsn, op->o_tmpmemctx );
                 fava->f_next = op->ors_filter;                  fava->f_next = op->ors_filter;
                   if ( sop )
                           ldap_pvt_thread_mutex_lock( &sop->s_mutex );
                 op->ors_filter = fand;                  op->ors_filter = fand;
                 filter2bv_x( op, op->ors_filter, &op->ors_filterstr );                  filter2bv_x( op, op->ors_filter, &op->ors_filterstr );
                 if ( sop )                  if ( sop ) {
                         sop->s_flags |= PS_FIX_FILTER;                          sop->s_flags |= PS_FIX_FILTER;
                           ldap_pvt_thread_mutex_unlock( &sop->s_mutex );
                   }
         }          }
   
         /* Let our callback add needed info to returned entries */          /* Let our callback add needed info to returned entries */
Line 2582  shortcut: Line 2695  shortcut:
          * the refresh phase, just invoke the response callback to transition           * the refresh phase, just invoke the response callback to transition
          * us into persist phase           * us into persist phase
          */           */
         if ( !changed ) {          if ( !changed && !dirty ) {
                 rs->sr_err = LDAP_SUCCESS;                  rs->sr_err = LDAP_SUCCESS;
                 rs->sr_nentries = 0;                  rs->sr_nentries = 0;
                 send_ldap_result( op, rs );                  send_ldap_result( op, rs );
Line 2823  sp_cf_gen(ConfigArgs *c) Line 2936  sp_cf_gen(ConfigArgs *c)
                 }                  }
                 sl = si->si_logs;                  sl = si->si_logs;
                 if ( !sl ) {                  if ( !sl ) {
                         sl = ch_malloc( sizeof( sessionlog ) + LDAP_PVT_CSNSTR_BUFSIZE );                          sl = ch_malloc( sizeof( sessionlog ) );
                         sl->sl_mincsn.bv_val = (char *)(sl+1);  
                         sl->sl_mincsn.bv_len = 0;  
                         sl->sl_num = 0;                          sl->sl_num = 0;
                         sl->sl_head = sl->sl_tail = NULL;                          sl->sl_head = sl->sl_tail = NULL;
                         ldap_pvt_thread_mutex_init( &sl->sl_mutex );                          ldap_pvt_thread_mutex_init( &sl->sl_mutex );
Line 2893  syncprov_db_open( Line 3004  syncprov_db_open(
         }          }
   
         thrctx = ldap_pvt_thread_pool_context();          thrctx = ldap_pvt_thread_pool_context();
         connection_fake_init( &conn, &opbuf, thrctx );          connection_fake_init2( &conn, &opbuf, thrctx, 0 );
         op = &opbuf.ob_op;          op = &opbuf.ob_op;
         op->o_bd = be;          op->o_bd = be;
         op->o_dn = be->be_rootdn;          op->o_dn = be->be_rootdn;
Line 2966  syncprov_db_close( Line 3077  syncprov_db_close(
 {  {
     slap_overinst   *on = (slap_overinst *) be->bd_info;      slap_overinst   *on = (slap_overinst *) be->bd_info;
     syncprov_info_t *si = (syncprov_info_t *)on->on_bi.bi_private;      syncprov_info_t *si = (syncprov_info_t *)on->on_bi.bi_private;
   #ifdef SLAP_CONFIG_DELETE
           syncops *so, *sonext;
   #endif /* SLAP_CONFIG_DELETE */
   
         if ( slapMode & SLAP_TOOL_MODE ) {          if ( slapMode & SLAP_TOOL_MODE ) {
                 return 0;                  return 0;
Line 2978  syncprov_db_close( Line 3092  syncprov_db_close(
                 void *thrctx;                  void *thrctx;
   
                 thrctx = ldap_pvt_thread_pool_context();                  thrctx = ldap_pvt_thread_pool_context();
                 connection_fake_init( &conn, &opbuf, thrctx );                  connection_fake_init2( &conn, &opbuf, thrctx, 0 );
                 op = &opbuf.ob_op;                  op = &opbuf.ob_op;
                 op->o_bd = be;                  op->o_bd = be;
                 op->o_dn = be->be_rootdn;                  op->o_dn = be->be_rootdn;
Line 2986  syncprov_db_close( Line 3100  syncprov_db_close(
                 syncprov_checkpoint( op, &rs, on );                  syncprov_checkpoint( op, &rs, on );
         }          }
   
   #ifdef SLAP_CONFIG_DELETE
           ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
           for ( so=si->si_ops, sonext=so;  so; so=sonext  ) {
                   SlapReply rs = {REP_RESULT};
                   rs.sr_err = LDAP_UNAVAILABLE;
                   send_ldap_result( so->s_op, &rs );
                   sonext=so->s_next;
                   syncprov_drop_psearch( so, 0);
           }
           si->si_ops=NULL;
           ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
           overlay_unregister_control( be, LDAP_CONTROL_SYNC );
   #endif /* SLAP_CONFIG_DELETE */
   
     return 0;      return 0;
 }  }
   

Removed from v.1.296  
changed lines
  Added in v.1.320


______________
© Copyright 1998-2020, OpenLDAP Foundation, info@OpenLDAP.org