mirror of
https://github.com/moses-smt/mosesdecoder.git
synced 2024-09-20 07:42:21 +03:00
Post-merge bug fixes and cleanup.
This commit is contained in:
parent
36427beb2f
commit
e85aa7e932
@ -67,7 +67,7 @@ ConfusionNet() : InputType()
|
|||||||
stats.createOne();
|
stats.createOne();
|
||||||
|
|
||||||
const StaticData& SD = StaticData::Instance();
|
const StaticData& SD = StaticData::Instance();
|
||||||
if (is_syntax(SD.GetSearchAlgorithm())) {
|
if (SD.IsSyntax()) {
|
||||||
m_defaultLabelSet.insert(SD.GetInputDefaultNonTerminal());
|
m_defaultLabelSet.insert(SD.GetInputDefaultNonTerminal());
|
||||||
}
|
}
|
||||||
UTIL_THROW_IF2(&InputFeature::Instance() == NULL, "Input feature must be specified");
|
UTIL_THROW_IF2(&InputFeature::Instance() == NULL, "Input feature must be specified");
|
||||||
|
@ -27,7 +27,7 @@ int BleuScoreState::Compare(const FFState& o) const
|
|||||||
if (&o == this)
|
if (&o == this)
|
||||||
return 0;
|
return 0;
|
||||||
|
|
||||||
if (is_syntax(StaticData::Instance().GetSearchAlgorithm()))
|
if (StaticData::Instance().IsSyntax())
|
||||||
return 0;
|
return 0;
|
||||||
|
|
||||||
const BleuScoreState& other = dynamic_cast<const BleuScoreState&>(o);
|
const BleuScoreState& other = dynamic_cast<const BleuScoreState&>(o);
|
||||||
|
@ -397,62 +397,6 @@ StaticData
|
|||||||
m_parameter->SetParameter(m_isAlwaysCreateDirectTranslationOption, "always-create-direct-transopt", false );
|
m_parameter->SetParameter(m_isAlwaysCreateDirectTranslationOption, "always-create-direct-transopt", false );
|
||||||
}
|
}
|
||||||
|
|
||||||
void
|
|
||||||
StaticData
|
|
||||||
::ini_distortion_options()
|
|
||||||
{
|
|
||||||
// // reordering constraints
|
|
||||||
// m_parameter->SetParameter(m_maxDistortion, "distortion-limit", -1);
|
|
||||||
|
|
||||||
// m_parameter->SetParameter(m_reorderingConstraint, "monotone-at-punctuation", false );
|
|
||||||
|
|
||||||
// // early distortion cost
|
|
||||||
// m_parameter->SetParameter(m_useEarlyDistortionCost, "early-distortion-cost", false );
|
|
||||||
}
|
|
||||||
|
|
||||||
bool
|
|
||||||
StaticData
|
|
||||||
::ini_stack_decoding_options()
|
|
||||||
{
|
|
||||||
// const PARAM_VEC *params;
|
|
||||||
// // settings for pruning
|
|
||||||
// m_parameter->SetParameter(m_maxHypoStackSize, "stack", DEFAULT_MAX_HYPOSTACK_SIZE);
|
|
||||||
|
|
||||||
// m_minHypoStackDiversity = 0;
|
|
||||||
// params = m_parameter->GetParam("stack-diversity");
|
|
||||||
// if (params && params->size()) {
|
|
||||||
// if (m_maxDistortion > 15) {
|
|
||||||
// std::cerr << "stack diversity > 0 is not allowed for distortion limits larger than 15";
|
|
||||||
// return false;
|
|
||||||
// }
|
|
||||||
// if (m_inputType == WordLatticeInput) {
|
|
||||||
// std::cerr << "stack diversity > 0 is not allowed for lattice input";
|
|
||||||
// return false;
|
|
||||||
// }
|
|
||||||
// m_minHypoStackDiversity = Scan<size_t>(params->at(0));
|
|
||||||
// }
|
|
||||||
|
|
||||||
// m_parameter->SetParameter(m_beamWidth, "beam-threshold", DEFAULT_BEAM_WIDTH);
|
|
||||||
// m_beamWidth = TransformScore(m_beamWidth);
|
|
||||||
|
|
||||||
// m_parameter->SetParameter(m_earlyDiscardingThreshold, "early-discarding-threshold", DEFAULT_EARLY_DISCARDING_THRESHOLD);
|
|
||||||
// m_earlyDiscardingThreshold = TransformScore(m_earlyDiscardingThreshold);
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
|
|
||||||
void
|
|
||||||
StaticData
|
|
||||||
::ini_phrase_lookup_options()
|
|
||||||
{
|
|
||||||
// m_parameter->SetParameter(m_translationOptionThreshold, "translation-option-threshold", DEFAULT_TRANSLATION_OPTION_THRESHOLD);
|
|
||||||
// m_translationOptionThreshold = TransformScore(m_translationOptionThreshold);
|
|
||||||
|
|
||||||
// m_parameter->SetParameter(m_maxNoTransOptPerCoverage, "max-trans-opt-per-coverage", DEFAULT_MAX_TRANS_OPT_SIZE);
|
|
||||||
// m_parameter->SetParameter(m_maxNoPartTransOpt, "max-partial-trans-opt", DEFAULT_MAX_PART_TRANS_OPT_SIZE);
|
|
||||||
// m_parameter->SetParameter(m_maxPhraseLength, "max-phrase-length", DEFAULT_MAX_PHRASE_LENGTH);
|
|
||||||
|
|
||||||
}
|
|
||||||
|
|
||||||
void
|
void
|
||||||
StaticData
|
StaticData
|
||||||
::ini_zombie_options()
|
::ini_zombie_options()
|
||||||
@ -462,65 +406,6 @@ StaticData
|
|||||||
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// void
|
|
||||||
// StaticData
|
|
||||||
// ::ini_mbr_options()
|
|
||||||
// {
|
|
||||||
// // minimum Bayes risk decoding
|
|
||||||
// m_parameter->SetParameter(m_mbr, "minimum-bayes-risk", false );
|
|
||||||
// m_parameter->SetParameter<size_t>(m_mbrSize, "mbr-size", 200);
|
|
||||||
// m_parameter->SetParameter(m_mbrScale, "mbr-scale", 1.0f);
|
|
||||||
// }
|
|
||||||
|
|
||||||
|
|
||||||
// void
|
|
||||||
// StaticData
|
|
||||||
// ::ini_lmbr_options()
|
|
||||||
// {
|
|
||||||
// const PARAM_VEC *params;
|
|
||||||
// //lattice mbr
|
|
||||||
// // m_parameter->SetParameter(m_useLatticeMBR, "lminimum-bayes-risk", false );
|
|
||||||
// // if (m_useLatticeMBR && m_mbr) {
|
|
||||||
// // cerr << "Error: Cannot use both n-best mbr and lattice mbr together" << endl;
|
|
||||||
// // exit(1);
|
|
||||||
// // }
|
|
||||||
// // // lattice MBR
|
|
||||||
// // if (m_useLatticeMBR) m_mbr = true;
|
|
||||||
|
|
||||||
// m_parameter->SetParameter<size_t>(m_lmbrPruning, "lmbr-pruning-factor", 30);
|
|
||||||
// m_parameter->SetParameter(m_lmbrPrecision, "lmbr-p", 0.8f);
|
|
||||||
// m_parameter->SetParameter(m_lmbrPRatio, "lmbr-r", 0.6f);
|
|
||||||
// m_parameter->SetParameter(m_lmbrMapWeight, "lmbr-map-weight", 0.0f);
|
|
||||||
// m_parameter->SetParameter(m_useLatticeHypSetForLatticeMBR, "lattice-hypo-set", false );
|
|
||||||
|
|
||||||
// params = m_parameter->GetParam("lmbr-thetas");
|
|
||||||
// if (params) {
|
|
||||||
// m_lmbrThetas = Scan<float>(*params);
|
|
||||||
// }
|
|
||||||
|
|
||||||
// }
|
|
||||||
|
|
||||||
// void
|
|
||||||
// StaticData
|
|
||||||
// ::ini_consensus_decoding_options()
|
|
||||||
// {
|
|
||||||
// //consensus decoding
|
|
||||||
// m_parameter->SetParameter(m_useConsensusDecoding, "consensus-decoding", false );
|
|
||||||
// if (m_useConsensusDecoding && m_mbr) {
|
|
||||||
// cerr<< "Error: Cannot use consensus decoding together with mbr" << endl;
|
|
||||||
// exit(1);
|
|
||||||
// }
|
|
||||||
// if (m_useConsensusDecoding) m_mbr=true;
|
|
||||||
// }
|
|
||||||
|
|
||||||
// void
|
|
||||||
// StaticData
|
|
||||||
// ::ini_mira_options()
|
|
||||||
// {
|
|
||||||
// //mira training
|
|
||||||
// m_parameter->SetParameter(m_mira, "mira", false );
|
|
||||||
// }
|
|
||||||
|
|
||||||
bool StaticData::LoadData(Parameter *parameter)
|
bool StaticData::LoadData(Parameter *parameter)
|
||||||
{
|
{
|
||||||
ResetUserTime();
|
ResetUserTime();
|
||||||
@ -529,10 +414,6 @@ bool StaticData::LoadData(Parameter *parameter)
|
|||||||
const PARAM_VEC *params;
|
const PARAM_VEC *params;
|
||||||
|
|
||||||
m_options.init(*parameter);
|
m_options.init(*parameter);
|
||||||
// m_context_parameters.init(*parameter);
|
|
||||||
|
|
||||||
// to cube or not to cube
|
|
||||||
// m_parameter->SetParameter(m_searchAlgorithm, "search-algorithm", Normal);
|
|
||||||
|
|
||||||
if (IsSyntax())
|
if (IsSyntax())
|
||||||
LoadChartDecodingParameters();
|
LoadChartDecodingParameters();
|
||||||
@ -542,7 +423,6 @@ bool StaticData::LoadData(Parameter *parameter)
|
|||||||
ini_factor_maps();
|
ini_factor_maps();
|
||||||
ini_input_options();
|
ini_input_options();
|
||||||
m_bookkeeping_options.init(*parameter);
|
m_bookkeeping_options.init(*parameter);
|
||||||
// m_nbest_options.init(*parameter);
|
|
||||||
if (!ini_output_options()) return false;
|
if (!ini_output_options()) return false;
|
||||||
|
|
||||||
// threading etc.
|
// threading etc.
|
||||||
@ -552,17 +432,7 @@ bool StaticData::LoadData(Parameter *parameter)
|
|||||||
ini_compact_table_options();
|
ini_compact_table_options();
|
||||||
|
|
||||||
// search
|
// search
|
||||||
ini_distortion_options();
|
|
||||||
if (!ini_stack_decoding_options()) return false;
|
|
||||||
ini_phrase_lookup_options();
|
|
||||||
// ini_cube_pruning_options();
|
|
||||||
|
|
||||||
ini_oov_options();
|
ini_oov_options();
|
||||||
// ini_mbr_options();
|
|
||||||
// ini_lmbr_options();
|
|
||||||
// ini_consensus_decoding_options();
|
|
||||||
|
|
||||||
// ini_mira_options();
|
|
||||||
|
|
||||||
// set m_nbest_options.enabled = true if necessary:
|
// set m_nbest_options.enabled = true if necessary:
|
||||||
if (m_options.mbr.enabled
|
if (m_options.mbr.enabled
|
||||||
|
Loading…
Reference in New Issue
Block a user