Language
Оцифровка австралийских парламентских дебатов, 1998 г.
ДомДом > Блог > Оцифровка австралийских парламентских дебатов, 1998 г.
ПОСЛЕДНИЕ НОВОСТИ

Оцифровка австралийских парламентских дебатов, 1998 г.

Jul 01, 2023

Научные данные, том 10, Номер статьи: 567 (2023) Цитировать эту статью

242 доступа

12 Альтметрика

Подробности о метриках

Публичное знание того, что говорится в парламенте, является принципом демократии и важнейшим ресурсом для политологических исследований. В Австралии, следуя британской традиции, письменная запись того, что говорится в парламенте, известна как Хансард. Хотя австралийский Hansard всегда был общедоступным, его было трудно использовать для крупномасштабного анализа текста на макро- и микроуровне, поскольку он был доступен только в виде PDF-файлов или XML-файлов. Следуя примеру проекта «Связанные парламентские данные», который достиг этой цели для Канады, мы предоставляем новую, комплексную, высококачественную прямоугольную базу данных, которая фиксирует ход австралийских парламентских дебатов с 1998 по 2022 год. База данных общедоступна и может быть связана к другим наборам данных, таким как результаты выборов. Создание и доступность этой базы данных позволяют исследовать новые вопросы и служат ценным ресурсом как для исследователей, так и для политиков.

Официальные письменные протоколы парламентских дебатов, официально известные как Hansard1, играют фундаментальную роль в фиксации истории политических процессов и содействии изучению ценных исследовательских вопросов. Зародившись в британском парламенте, производство Hansard стало традицией во многих других странах Содружества, таких как Канада и Австралия2. Учитывая содержание и масштабы этих записей, они имеют значение, особенно в контексте политологических исследований. В случае Канады Hansard был оцифрован с 1901 по 2019 год3. Наличие оцифрованной версии Hansard позволяет исследователям проводить анализ текста и статистическое моделирование. Следуя примеру этого проекта, в этой статье мы представляем аналогичную базу данных для Австралии. Он состоит из отдельных наборов данных за каждый день заседаний Палаты представителей с марта 1998 года по сентябрь 2022 года и содержит подробную информацию обо всем, что говорилось в парламенте, в форме, удобной для исследователей. С развитием инструментов для крупномасштабного анализа текстов эта база данных со временем станет ресурсом для понимания политического поведения в Австралии.

Существует множество потенциальных применений этой базы данных. Например, в Австралии существует серьезная обеспокоенность по поводу снижения «качества» дебатов о государственной политике (как бы это ни было определено). Наш набор данных можно использовать, чтобы посмотреть, действительно ли ситуация ухудшается в определенных отношениях, и если да, то почему. Нас также может интересовать, адекватно ли представлены определенные группы населения в том, о чем говорят в парламенте. Например, часто возникает обеспокоенность тем, что региональные территории игнорируются по сравнению с мегаполисами. Опять же, нашу базу данных можно использовать для проверки того, изменилось ли это с течением времени. Мы разработали нашу базу данных таким образом, чтобы ее можно было связать с аналогичными базами данных из других стран, что позволило бы провести сравнительный анализ. Например, нас может интересовать, как меняется фокус политики парламента в зависимости от различных глобальных событий, таких как пандемии или войны. Международная связь представляет собой случай сравнения, когда внутренние проблемы различны, а международные проблемы являются общими. В качестве примера включения этой связи мы включили идентификаторы PartyFacts (https://partyfacts.herokuapp.com) в нашу базу данных. Это должно позволить связать нашу базу данных с другими крупными проектами сбора парламентских выступлений, такими как ParlaMint4, ParlSpeech5, ParlEE6 и MAPLE7.

Палата представителей Австралии, часто называемая «Палатой», выполняет ряд важнейших государственных функций, таких как создание новых законов и контроль государственных расходов8, гл. 1. Политики в Палате представителей называются членами парламента (МП). Палата работает в рамках параллельной структуры палат, что означает, что есть две площадки для дебатов, где проходят заседания: Палата и Палата Федерации. Заседания Палаты проводятся в соответствии с заранее определенным порядком дел, регулируемым процедурными правилами, называемыми регламентами8, гл. 8. Типичный день заседания Палаты включает ряд запланированных заседаний, включая дебаты по государственным делам, 90 заявлений вторых членов и время вопросов8, гл. 8. Палата Федерации была создана в 1994 году как подведомственная Палате дискуссионная площадка. Это позволяет лучше управлять делами Палаты представителей, поскольку их заседания происходят одновременно с заседаниями Палаты8, гл. 21. Заседания Палаты Федерации отличаются от заседаний Палаты по порядку работы и объему обсуждений. Деловые вопросы, обсуждаемые в Палате Федерации, ограничиваются в основном промежуточными этапами разработки законопроекта, а дела частных депутатов8, гл. 21. Хансард основывается на записи и компиляции этих разбирательств, и по существу, но не полностью, дословно.

/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p>/p> and serves as a container for the entire document. This parent node may have up to four child nodes, where the first child node contains details on the specific sitting day. Next, contains all proceedings of the Chamber, contains all proceedings of the Federation Chamber, and contains Question Time proceedings. The Federation Chamber does not meet on every sitting day, so this child element is not present in every XML file. The use of separate child nodes allows for the distinction of proceedings between the Chamber and Federation Chamber. The structure of the and nodes are generally the same, where the proceeding begins with which is followed by a series of debates. Debate nodes can contain a child node which has a child node nested within it. That said, sometimes is not nested within . Each of these three elements (i.e., , , and ) as well as their respective sub-elements contain important information on the topic of discussion, who is speaking, and what is being said. The node within each one contains the bulk of the text associated with that debate or sub-debate. A typical node begins with a sub-node, providing information on the MP whose turn it is to speak and the time of their first statement. Unsurprisingly, speeches rarely go uninterrupted in parliamentary debate settings — they are often composed of a series of interjections and continuations. These statements are categorized under different sub-nodes depending on their nature, such as or . The final key component of Hansard is Question Time, in which questions and answers are classified as unique elements. More detail on the purpose and processing of Question Time will follow./p> (highlighted in blue), followed by a child element (highlighted in yellow) with sub-child elements such as the date and parliament number, which are all highlighted in pink. Next, there is the child element containing everything that takes place in the Chamber, , which is also highlighted in yellow in Fig. 1. As previously mentioned, the first sub-node of is . The structure of this can be seen between the nodes highlighted in green in Fig. 1, where the content we parse from the business start is highlighted in orange./p> versus . The next key task stemmed from the fact that the raw text data were not separated by each statement when parsed. In other words, any interjections, comments made by the Speaker or Deputy Speaker and continuations within an individual speech were all parsed together as a single string. As such, the name, name ID, electorate and party details were only provided for the person whose turn it was to speak. There were many intricacies in the task of splitting these speeches in a way that would be generalizable across sitting days. Details on these are provided later./p> content, and some days did not have a Federation Chamber proceeding. To improve the generalizability of these scripts, if-else statements were embedded within the code wherever an error might arise due to a missing element. For example, the entire Federation Chamber block of code is wrapped in an if-else statement for each script, so that it only executes if what the code attempts to parse exists in the file./p> in all XML files prior to 14 August 2012. Having developed our first script based on Hansard from recent years, all XPath expressions for parsing Federation Chamber proceedings contain the specification. To avoid causing issues in our first script which successfully parses about 10 years of Hansard, we created a second script where we replaced all occurrences of with . After making this modification and accounting for other small changes such as timestamp formatting, this second script successfully parses all Hansard sitting days from 10 May 2011 to 28 June 2012 (inclusive)./p> are typically , and . The first child node contains data on the person whose turn it is to speak, and the second contains the entire contents of that speech –- including all interjections, comments, and continuations. After the element closes, there are typically a series of other child nodes which provide a skeleton structure for how the speech proceedings went in chronological order. For example, if the speech began, was interrupted by an MP, and then continued uninterrupted until the end, there would be one node and one node following the node. These would contain details on the MP who made each statement, such as their party and electorate./p> node. Rather than this single child node that contains all speech content, statements are categorized in individual child nodes. This means that unlike our code for parsing more current Hansards, we cannot specify a single XPath expression such as “chamber.xscript//debate//speech/talk.text” to extract all speeches, in their entirety, at once. This difference in nesting structure made many components of our second script unusable for processing transcripts preceding 10 May 2011, and required us to change our data processing approach considerably./p> node, we found that the most straightforward way to preserve the ordering of statements and to parse all speech contents at once was to parse from the element directly. The reason we did not use its child node is because every speech has a unique structure of node children, and this makes it difficult to write code for data cleaning which is generalizable across all speeches and sitting days. The challenge with parsing through the element is that every piece of data stored in that element is parsed as a single string, including all data, and all nested sub-debate data. For example, the data shown in Fig. 2 would be parsed as a single string preceding the speech content, like so:/p>

node, and used them to split statements wherever one of these patterns was found. After separating the statements, we were able to remove these patterns from the body of text. We also used this method of extracting and later removing unwanted patterns for other pieces of data which did not belong to the debate proceedings, such as sub-debate titles./p> child node, with sub-child nodes called and to differentiate the two. Questions in writing, however, are embedded in their own child node called at the end of the XML file./p> speeches used in all four scripts meant that all questions without notice content was already parsed in order. For the first two scripts, questions and answers were already separated onto their own rows. For the third and fourth scripts, just as we did with the rest of the speech content, we used those patterns of data preceding the text to separate questions and answers. Finally, since questions in writing exist in their own child node we were able to use the same parsing method for all scripts, which was to extract all question and answer elements from the child node./p> nodes to separate speeches. As evident in Fig. 3, nodes are nested within nodes, meaning that the patterns of data from interjection statements were separated out in the process. This meant that we did not need to create lists of names and titles for which to search in the text as we did before. However, we used the same list of general interjection statements on which to separate as was used in the first two scripts. We then did an additional check for statements that may have not been separated due to how they were embedded in the XML, and separated those out where needed. In particular, while most statements were categorized in their own child node and hence captured through pattern-based separation, some were not individually categorized, and had to be split manually in this step./p> nodes contain important data on the MP making each statement. As such, we could extract those data associated with each pattern by parsing one element inward, using the XPath expression “talk.start/talker”. We created a pattern lookup table with these data, and merged it with the main Hansard dataframe by the first pattern detected in each statement. Figure 6 provides an example of that lookup table. This approach enabled us to fill in missing data on each MP speaking using data extracted directly from the XML. Finally, we then used the AustralianPoliticians dataset to fill in other missing data, and flagged for interjections in the same manner as before./p> content in their own nodes that contain the voting data and division result. Since we focus primarily on the spoken Hansard content, our parsing scripts do not necessarily capture all divisions data from House proceedings. Our approach to parsing Hansard in the third and fourth scripts described in the Script Differences section naturally allowed for much of the divisions data to be added to our resulting files for 1998 to March 2011, however the parsing scripts used for May 2011 to September 2022 Hansard did not. To supplement our database and in an effort to fill this divisions data gap, we created an additional file containing all divisions data nested under the XPath “//chamber.xscript//division” from the Hansard files in our time frame. To produce this data file, for each Hansard XML we parsed the , , and child-nodes where they existed, extracted any timestamps where available, and did any additional data cleaning as necessary. We used a series of if-else statements in this script to account for variation in the structure of the node over time. Finally, we then added a date variable to distinguish between sitting days./p> element is the date. Every file passed this test, and we detected one discrepancy in an XML file from 03 June 2009, where its session header contained the wrong date. We validated that our file name and date was correct by checking the official PDF release from that sitting day./p>